产品架构 大数据很难学嘛,我转行想要学习it技术,有大神指点一下嘛?
大数据很难学嘛,我转行想要学习it技术,有大神指点一下嘛?
碰巧我有很多大数据经验要分享。
大数据有几个入口点:业务分析工程师、数据建模工程师和应用程序开发工程师。
首先是业务分析工程师需要的技能
因为大数据是用来产生业务的,20年前,大数据的典型应用场景是商业智能(BI)
BI是在企业客户多年积累的业务数据基础上进行二次挖掘,提取有意义的分析统计数据,方便企业决策者进行决策分析。
业务分析工程师应熟悉行业的业务逻辑,例如电信行业的复杂业务逻辑。它涉及到收款系统、票据生成、综合业务台账和大客户业务。
从业务逻辑上提出分析主题,让设计工程师进一步设计系统。
第二,数据建模工程师的技能
原来,我们需要Pb、数据库等工具来建立数据库,编写数据仓库的ETL脚本。
现在进入机器学习和深度学习阶段,需要对文本数据、音频数据、图像数据等非结构化数据进行管理,这比原来的要求要高。
最后,应用程序开发工程师
应用程序开发工程师,采用流行的开源框架,编码好,界面好,数据接口好。使用的软件和框架基本上取决于每个公司继续使用什么。一般来说,它已经积累多年,有自己的一套。
以上是我的一份。一言以蔽之,所谓万时法则,在长期沉浸于一个行业之后,就可以成为专家,只要你坚持,就能成功
学大数据之后能做什么工作?
1. 数据挖掘工程师
要做数据挖掘,我们需要一定的数学知识从海量数据中发现规律,如线性代数、高等代数、凸优化、概率论等
PS:常用的语言有python、Java、C或C,有些人用的python或Java更多。有时,MapReduce用于编写程序,然后Hadoop或Hyp用于处理数据。如果使用Python,它将与spark相结合。
2. Hadoop开发工程师
精通整个Hadoop生态系统的组件,如纱线、HBase、蜂巢、猪等重要组件,可以实现平台监控和辅助运维系统的开发。Hadoop工程师主要关注开发层面,即围绕大数据平台的系统级研发人员,精通Hadoop大数据平台的核心框架,能够使用Hadoop提供的通用算法,
3。数据分析员
数据分析员是一种数据分析员[“detɪʃəən],是指从事行业数据收集、整理和分析,并根据数据进行行业研究、评估和预测的不同行业的专业人员。
PS:作为一名数据分析师,您至少需要精通SPSS、static、Eviews、SAS等数据分析软件。一个优秀的数据分析师不应该在业务、管理、分析、工具和设计方面落后。
4. 大数据分析师
流行点,这是集Hadoop开发工程师和数据分析师、数据挖掘工程师为一体的大人才。如果你能做到所有这些并且有一些经验,那么薪水就不用说了。
5. 大数据可视化工程师
需要独立熟悉storm、spark等计算框架、Scala/Python语言、java开发、SSM项目、NoSQL如redis或mongodb、Linux基本操作、java多线程开发能力、程序设计模式、数据库和ETL流程。
在现代和当代的培训行业,如果你想赚钱,你必须跟上进步的步伐,踏上新技术的热潮。
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。