shell脚本执行hive命令 大数据ETL工程师是做什么的,发展前景如何?
浏览量:2784
时间:2021-03-13 20:31:06
作者:admin
大数据ETL工程师是做什么的,发展前景如何?
ETL工程师是大数据仓库方向的一个职位,主要从事数据清洗、提取和转换。目前,Hadoop的HDFS主要用作存储平台,hive用作数据建模、清洗和结构化数据分析,并使用工具或脚本将数据导入关系数据库数据节点,作为后续部门的结果数据。
一般的工作应该是通过hivesql、shell脚本或oozie等作业相关工具进行数据分析和统计,以便进行任务周期调度
还有很大的发展空间。利用SQL实现业务可以锻炼思维逻辑,增加工作经验,后续可以做数据建模工程师,可以指导战士做日常开发,而且薪水可观
shell脚本执行hive命令 sqoop脚本 hive执行sql脚本
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
上一篇
a标签去掉点 html标签
下一篇
同步调用 微信怎么同步