spark支持go语言 你为什么从后端开发(JAVA/golang)转到大数据开发(Hadoop/Spark)?
你为什么从后端开发(JAVA/golang)转到大数据开发(Hadoop/Spark)?
这个问题有点难回答。作为过路人,试着回答。
无论是Java、go还是Hadoop spark,都没有本质的区别。它们都是针对特定业务场景的开发服务。
比如Java go主要用于业务开发,比如各种业务系统的后台,各种应用或者PC服务,比如淘宝。要解决的主要矛盾是实现业务需求,要提高规模。矛盾在于如何解决并发、流量、服务管理、容量扩展、存储和灾难恢复等问题。
Hadoop spark是为了解决大数据问题而产生的,解决问题的场景是围绕大数据的存储和计算而产生的。当业务规模不上来时,数据的存储和计算都不是问题,比如用户行为的统计、点击、用户分析等。这些大数据框架根本不需要。通常,一台机器就可以做到。如果一台机器可以做到这一点,它当然不需要多台机器分布式。
当业务规模扩大时,单台机器或。即使是多机的,没有这些大数据包,从头开始构建轮子也是不明智和经济的。例如,这家餐馆过去常常雇人洗碗。如果餐馆生意好一点,可以通过雇佣更多的人来做。经过发展,生意越来越好。研究发现,直接购买洗碗机或外包给洗碗机公司,效率更高,质量更好。我们的生意也一样。当我们扩大规模时,我们必须将这些Hadoop spark用于大数据。又快又好。
说了这么多,基本上是基于业务规模。与其无缘无故地转向,不如有转向的动力。
另一方面,对于个人来说,等待业务再次改变有点晚了。当技术出现时,它是对个人技术洞察力的一次巨大考验。毕竟,一个人的经验是有限的。选择一种天花板高、应用广泛的技术路线是非常重要的。提前学习布局。2010年,在Hadoop刚刚兴起的时候,如果你对Hadoop数字很熟悉,也很专业,比如成为Hadoop的提交者,那么毫无疑问,它一定是业界的一头大牛。阿里巴巴、百度和腾讯随意进入。所以你看,选择和努力一样重要。
一个是业务需求,另一个是个人技术见解和高级布局。hadoopspark在相当长的一段时间内一直是一种需求量很大的技术。然而,经过近10年的发展,大数据如今已经遍地开花。例如,弗林克有取代火花的倾向。
总之,我们应该向内看业务需要,向外看行业需要。
欢迎关注代码老王,他已经专业玩代码30年了。
Spark支持通过GO语言编写程序吗?
最新的官方API接口不支持go。
spark支持go语言 spark适用于哪些场景 go spark
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。