有spark为什么还要hive 如何使用scala开发spark作业，并访问hive？

如何使用scala开发spark作业，并访问hive？

1. 为了让spark连接到hive的原始数据仓库，我们需要在hive中连接hive-网站.xml将该文件复制到spark的conf目录，这样您就可以通过这个配置文件找到hive的元数据和数据存储。

在这里，因为我的spark是自动安装和部署的，所以我需要知道CDH将配置-网站.xml它在哪里？摸索之后。此文件的默认路径在/etc/hive/conf下

类似地，spark的conf在/etc/spark/conf下

此时，如上所述，相应的配置单元被更改-网站.xml复制到spark/conf目录

如果hive的元数据存储在mysql中，我们需要准备mysql相关的驱动程序，例如mysql-connector-java-5.1.22-bin.jar文件.

有spark为什么还要hive sparksql spark读取hive表

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。