2016 - 2024

感恩一路有你

大数据工作主要是什么问题吗 大数据是做什么的?

浏览量:4758 时间:2023-03-08 09:00:22 作者:采采

大数据工作主要是什么问题吗 大数据是做什么的?

大数据是做什么的?

的大数据是一系列技术的总称。大数据经过多年的发展,已经形成了从数据采集、整理、传输、存储、安全、分析、呈现、应用等一系列环节,涉及到很多大数据的工作,而这些工作也与物联网、云计算密切相关。

大数据是一个抽象的概念,无法存储和计算企业、、高校等单位所面临的数据。

大数据是做什么的?

大数据是对反映在网络上的一些基础数据进行调查研究。

大数据开发主要做哪些工作?

你好,我 m湖,专注大数据技术,程序员体验,互联网技术分享。

作为一名软件工程师,目前从事大数据方向。目前大数据可以分为很多具体方向:大数据平台开发、大数据分析师(BI)、大数据运维、大数据处理(ETL)、大数据组件开发(大数据组件底层)。不同的工作方向在工作内容上还是有一定差异的。我来说说不同工作的具体工作内容:

大数据平台的发展更倾向于整体数据平台的功能开发,比如离线计算平台、实时计算平台、算法推荐平台等等。Java是最常用的语言,更倾向于Java开发。如果用户是上层用户,大数据相关组件是最底层,那么大数据平台就在用户和大数据组件之间架起了一座桥梁,方便用户使用大数据组件的功能。

大数据分析师(BI学生)多是分析我们现有线上数据的价值,从相关线上用户产生的数据中发现一些潜在的商业价值,可以更好地辅助决策层进行战略决策。BI需要对数据敏感和细心,善于从数据中发现商业价值。通常大量的工作是数据可视化、简化、深化和PPT。

大数据运维生主要保证公司的稳定 的相关机器集群,这样它们就不会失败。在申请新机时,会在新机上部署各种大数据组件的集群。同样,当有业务生需要使用机器时,可以对大数据运维生提出需求。当大数据组件集群因为某件事突然变得不稳定时,运维同学需要定位并解决问题。运维的同学通常使用更多的Linux Shell脚本和命令行,他们的立场更倾向于为其他同学提供机器稳定性保障。

ETL生(几个仓库生)对我们的线上数据进行处理,形成DWD层(公共明细层)和DWS层(公共汇总层),形成统一的指标口径。根据不同的业务需求,ETL学生一般会使用SQL对数据指标进行处理,以指导商科学生更好地操作相关业务。同时,ETL的学生更看重业务指标的口径。在指标开发过程中,他们使用数据仓库模型来构建业务数据。模式,便于制定更加统一的指标数据,减少口径偏差。

大数据组件的开发更多的是结合公司对大数据基础组件的定制开发、性能优化、BUG修复等等;;的业务。同时,还需要解答业务接入方面的问题,引导他们使用大数据组件来满足业务需求。同时,你还需要运营和维护你的大数据组件。当出现故障BUG时,需要及时修复,保证大数据组件的稳定性。大数据组件的开发需要掌握自己运维的组件原理。只有这样,你才能更好地指导别人。

摘要

大数据发展有很多方向。可以根据自己的兴趣选择职业方向。大数据目前很多互联网公司都在做,所以大数据整体就业形势还是很好的。当你选择大数据的具体方向时,希望你能继续学习你所从事的方向。技术在于深度,不在于浅尝辄止。

如果我的问答对你有帮助,欢迎你喜欢转发或者关注我。你的一点点鼓励,就是我继续分享的动力。谢谢你。

大数据 数据 组件 开发 方向

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。