2016 - 2024

感恩一路有你

hive同步数据到mysql hive数据同步到关系型数据(mysql),以下说法哪些正确?

浏览量:2105 时间:2021-03-14 06:43:10 作者:admin

hive数据同步到关系型数据(mysql),以下说法哪些正确?

给出了一个实用的解决方案:1。数据可以直接存储在HDFS中。如果是日志文件,可以通过flume和其他工具进行传输。如果数据存在于关系数据库中,可以选择使用sqoop将其导入hdfs2。数据很容易在HDFS上完成。您可以编写Mr或简单地使用hive来计算统计结果。最终结果数据应该非常小。三。把上面的结果数据倒回去MySQL(有很多方法可以选择)做在线查询过来

1。复制到HDFS

2。然后用配置单元的外部表创建一个新表。表建立后,您可以直接选择查询,而不必将其加载到配置单元

例如:

创建外部表testhivedrivertable(host name,string,logdate)string,type string,class string,demo array

我想询问原始数据库中的数据是更新还是删除。如果是这样,就很难实时同步到配置单元。此外,即使可以实时同步到hive,hive中的分析和查询速度也相对较慢。

hive同步数据到mysql 把hive表导入mysql sqoop从mysql导入数据到hive

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。