2016 - 2025

感恩一路有你

数据分析框架分为哪些(主流的大数据分析框架有哪些?)

浏览量:1720 时间:2023-03-15 21:31:49 作者:采采

数据分析框架分为哪些(主流的大数据分析框架有哪些?)

主流的大数据分析框架有哪些?

1、HadoopHadoop采用Map Reduc数据分析规划及思路?

1、明确需求,确定分析目标。

数据分析师满足的是领导或业务部门的需求,所以首先要明确领导或业务部门想要什么,最终想要达到什么目标。这是最基本也是最重要的,偏离目标的数据分析是没有意义的。

2.理清业务逻辑

分析清楚目标后,唐 不要盲目地根据自己的理解进行分析。要进一步和业务部门沟通,梳理业务逻辑。比如业务部门对于不同的模块业务有不同的策略和相应的动作。如果我们不这样做。;看不懂分析,很容易偏离业务部门的需求,不得不重新返工,所以一定要梳理清楚业务逻辑。

3.构建数据分析框架。

在定义了目标和业务逻辑之后,您可以构建一个基本的数据分析框架。数据分析框架包括:我们分析中要用到的方法或模型、要分析的指标、指标的数据来源等。

4.明确指标,收集数据。

分析框架完成后,我们需要的指标和数据就基本明确了,接下来要做的就是收集数据。收集数据主要有两种。一种是自己提取数据(公司数据库或者数据挖掘),一种是业务部门提供。按照自己的想法写代码,自己提取数据并不难。让 我们的重点是从业务部门获取数据。在与业务部门收集数据的过程中,要特别注意确定数据收集模板和数据统计维度,包括指标的单位,因为业务部门不 你不知道你想要什么数据维度,信息不对称的结果就是给你和业务部门带来双倍的工作量。

5、数据清洗

获取数据后,需要对数据进行整理,规范数据格式,包括原始数据的格式规范,以及数据的后续统计操作。数据清理会占用更多的时间,可以说决定了你后续分析的质量。我在做实证研究的时候,因为没有完全清理干净,数据返工真的很痛苦。所谓模型运行5分钟,数据清洗1小时。

6、数据建模和分析

准备好干净无问题的数据后,就可以进行数据建模,建立模型,获取结果数据并进行分析,这些都要结合业务逻辑。

7.数据可视化

在数据分析的过程中,如果只是罗列一堆数字,领导和业务部门都会觉得头晕。为了让他们对数据反映的问题一目了然,我们要把分析的数据结果可视化,做一些简洁直观的图表。

8、内容报告

这时候就要把之前得到的分析结果形成报告(PPT)上报给领导。在撰写报告的过程中,要注意结论先行,指标数据来源明确,其余靠大家 it’自由发挥。

数据 业务部门 分析 业务 指标

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。