spark和flink比较 Spark SQL和Shark在架构上有哪些区别？
Spark SQL和Shark在架构上有哪些区别？
Spark shark |即hive onspark
A.它将HQL转换为Spark上的RDD操作，然后通过hive的元数据获取数据库中的表信息，shark在HDFS上获取数据和文件夹，在spark上进行操作
B.它最大的特点是速度快，与hive完全兼容
C.shark在最终物理计划执行阶段使用hive的API实现查询parsing和逻辑计划，spark代替Hadoop Mr
d.通过配置shark参数，shark可以自动将特定的RDD缓存在内存中，实现数据重用，进而加快特定数据集的检索速度。
e.Shark通过UDF实现了一个特定的数据分析学习算法，它结合了SQL数据查询和操作分析，最大限度地重用RDD。
Spark SQL
A.是一种基于catalyst引擎的交互式大数据SQL技术。它使用schemardd来操作SQL，并支持比shark更高级的查询表达式。
b.支持hive | HBase | Oracle
从普通程序员到高级架构师是一个从量变到质变的过程。除了内部晋升机制或跳槽机会，最重要的是个人能力的增长。在软件行业工作了十多年，我想给你一些建议。
1. 不断丰富理论知识。从广度和深度两个维度，不断拓展和挖掘基础理论、领先技术、行业解决方案、优化方法。
2. 熟悉业务知识。没有业务，纯技术就无法实现。比如说，编写财务软件的人要有财务知识，编写电子软件的人要有电气知识，编写通讯软件的人要有通讯知识。
3. 多总结，多提炼。将经验转化为经验，进而转化为知识力量。项目经验不仅是经验，也是知识体系的重要组成部分。
4. 从全局性、前瞻性、扩展性和系统性的角度来看待代码体系和模块，熟悉框架、消息、协议、标准和方案，经常尝试从不同的角度去审视、理解和消化。
5. 手上有密码，心里却没有密码。这是架构师的高级领域，在这里理论和代码可以相互通信。
我希望所有的程序员都能晋升为架构师，甚至是专家、总工程师、首席技术官。非常感谢。
从程序员到高级系统架构师该如何进阶？
Spark是一种工具，而深度学习是一种解决问题的策略。如果做大数据分析，至少要熟练使用一种工具，深入了解常用的算法。对于大数据分析，您不需要在代码级别和架构级别熟悉spark。因为它只是一个工具，你可以熟练地使用它。如果主题有很好的编程基础，一个月就足够学好SPARKSQL和SPARKML了。算法学习需要花费更多的精力。但如果受试者想学习深度学习，则不建议学习spark。由于目前常用的CNN、RNN等模型通常使用GPU代替CPU进行计算，而spark是一种内存计算框架，主要在CPU上完成计算，因此计算效率不如GPU高。因此，如果将深度学习用于大数据分析，则可以使用tensorflow和其他框架。
spark和flink比较 简述spark工作原理 spark运行原理
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
