大数据开发是什么工作？

网友解答: 大数据方面有很多的技术：一是大数据平台本身，一般是基于某些Hadoop产品如CDH的产品部署后提供服务。部署的产品里面有很多的组件，如HIVE、HBASE、SPARK、ZOO

大数据方面有很多的技术：

一是大数据平台本身，一般是基于某些Hadoop产品如CDH的产品部署后提供服务。部署的产品里面有很多的组件，如HIVE、HBASE、SPARK、ZOOKEEPER等，一般都是基于Java的；

二是ETL，即数据抽取过程；大数据平台中的原始数据一般是来源于公司内的其它业务系统，如银行里面的信贷、核心等，这些业务系统的数据每天会从业务系统抽取到大数据平台中，然后进行一系列的标准化、清理等操作，再然后经过一些建模生成一些模型给下游系统使用； ETL一般对应有一个调度平台，一般是Java等技术实现的，基于Kettle进行封装；因此在ETL过程中有以下工作：一是调度平台的开发（也可以是产品部署）；二是ETL过程中需要使用到的一些Shell脚本的开发；三是ETL及建模过程中调用的一些SQL过程的开发；当然也还有模型的设计等较为高级的工作；

三就是数据分析了；在数据收集完成后基于这些数据要做一些什么样的处理，典型的如报表应用，那每天可能就是写SQL开发报表了；还有一些如风险监测等平台，都要基于大数据平台收集的数据来进行处理；更往上就是一些如客户行为预测分析等分析场景，这个时候就需要使用一些更加专业的数据分析工具如SAS或者其它的一些更加高级的语言如Python、R语言等来进行数据挖掘及分析了。

你所说的大数据平台开发，需要明确到底是哪方面的开发才能做进一步的解答。

大数据开发是大数据职业发展的方向之一，另一方面是大数据分析。从工作内容，主要负责大数据的大数据挖掘，数据清洗的发展，数据建模工作，主要负责处理和大数据应用，主要在发展工作，结合大数据可视化分析工程师，挖掘出价值的数据，为企业提供业务发展支持。

这里还是要推荐下小编的大数据学习群:532218147，不管你是小白还是大牛，小编我都欢迎，不定期分享干货，包括小编自己整理的一份2017最新的大数据资料和0基础入门教程，欢迎初学和进阶中的小伙伴。在不忙的时间我会给解答

了解大数据开发是什么，如果您想从事大型数据开发工作，需要学习什么？。

让我们用光环大数据开发课程的例子来举例说明。

1阶段：JavaSE开发

阶段二：JavaEE开发

第三阶段：并发编程的实战开发

第四阶段：Linux的精彩对话

第五阶段：Hadoop生态系统

第六阶段：Python实际开发

第七阶段：风暴实时发展

第八阶段：星火生态系统

阶段九：Elasticsearch

十阶段：Docker容器引擎

第十一阶段：机器学习

阶段十二：超级集群优化

第十三阶段：大型数据项目实战

总结以上课程内容。大数据的发展需要java，linxu，数据库，Hadoop，Spark，风暴，Python，Elasticsearch知识、码头等。

目前，大数据通道的学习主要是通过参与大数据的训练，因为大数据的技术门槛很高，一般很难通过自学来学习。

最后，什么样的工作可以从事大数据的开发？：

1、Hadoop开发工程师

2。数据挖掘工程师

三.专业的数据科学家

4。首席数据官（CDO）

5.etl的研究与开发

6发展。大数据信息体系结构

7。数据仓库的研究

8.olap发展

9。重大数据安全研究

通过上面的介绍，我们可以了解大数据开发的概念以及大数据开发的学习内容，以及大数据开发具体工作岗位，对于大数据开发有了一个全面的了解，对于想要了解更多的大数据开发培训的信息，可以去光环大数据官网了解。