kettle如何手动输入转换结果 etl工程师要学什么技术?
etl工程师要学什么技术?
etl工程师要学的技术要注意是:
技术方面:是需要自学可以使用数据源、目标端工具的基本上使用(如oracleMySQLhive等)必须学etl工具的安装配置常用错误帮忙解决(如sinkDataStageinfasqoopdatax等)
理论方面:知道怎么样数仓分层架构,维度建模等。
从ETL的字面来看,它要注意包含三大阶段,各是数据抽取、数据转换、数据加载。
kettle是什么语言?
kettle是java语言
Kettle这个ETL工具集,它不能你管理来自相同数据库的数据,通过提供给一个图形化的用户环境来具体描述你你要做什么,而不是你想怎么做。
Kettle中有两种脚本文件,transformation和job,transformation能完成根据数据的基础转换,job则成功整个工作流的控制。
另外Pentaho的一个重要的是组成部分,现在在国内项目应用上渐渐地渐增
有Java经验想转大数据还需要学习多久呢?有没有好的建议呢?
当然语言和大数据没有直接的关系。在我的确,想直接进入大数据领域,语言仅仅工具,数据库、算法、数学、统计学包括所在行业的专业知识才是功底。况且时间,不好说,我是用半年(开发完毕从业二十年了,各种数据库很溜,开发语言会好几种,垮平台什么的更不用说,但是因为学精算师的缘故也把基础课都学出来了,和高数,统计学等)。
建议您楼主从java领域的开源大数据项目又开始直接介入,逐渐地清楚hadoop,尽量多的怎么学习下python,清楚redis、HDFS,学习不使用SparkHive、SparkSQL,同时建议读下DataX或者Kettle,然后把结束学习一些机器学习的算法和开源库如Tensorflow之类的,开发平台的选择看你自己的需求。
当以上内容基本触类旁通了,你就是可以正在刚刚进入大数据领域了,首先要去采药一些有价值的样本数据,在渐渐地学习潜近的过程中去学习机器建模,以及统计学原理,数论,做统计方法等传统统计学的课程,统计数据建模是重点要先下功夫,线代微积分离散数学大都基础,你也不需要然后再随手捡起来。
当这些都学的应该差不多了,你就拥有了采集数据分析数据的基本能力了,那样就这个可以深入的再去学习再看看统计学的一些深层次课程和比较传统BI的一些课程了。
当你应具备了这些能力,你就具备了一个合格的大数据分析师的水平了!
恭喜啊,高薪在向你挥了挥手。[微笑]
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。