spark使用 hive和sparksql的区别？

hive和sparksql的区别？

过去，hive是用来建立数据仓库的，因此对hive管理的数据查询有很大的需求。Hive、shark和sparlsql可以查询Hive数据。Shark使用hive的SQL语法解析器和优化器，修改executor，使其物理执行过程在spark上运行；spark-SQL使用自己的语法解析器、优化器和executor，spark-SQL还扩展了接口，不仅支持hive数据查询，还支持多数据源的数据查询。

有木有用sparksql的，怎么批量执行很多个sql语句？

只需在PL/SQL:PL/SQL developer--->文件--->新建--->命令窗口中使用命令窗口，然后在弹出窗口中依次执行：SQL>@f:ABCa.sqlsql>@f:ABCb.sqlsql>@f:ABCc.SQL

为了实现配置单元兼容性，shark重用解析，逻辑执行计划转换、执行计划优化以及hive中HQL的其他逻辑。可以近似地认为只有物理执行计划被spark作业所取代（由内存列存储和其他与hive关系不大的优化所补充）

spark使用 sparksql执行sql语句 sparksql执行sql脚本

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。