hive同步数据到mysql hive数据同步到关系型数据(mysql),以下说法哪些正确?
浏览量:2105
时间:2021-03-14 06:43:10
作者:admin
hive数据同步到关系型数据(mysql),以下说法哪些正确?
给出了一个实用的解决方案:1。数据可以直接存储在HDFS中。如果是日志文件,可以通过flume和其他工具进行传输。如果数据存在于关系数据库中,可以选择使用sqoop将其导入hdfs2。数据很容易在HDFS上完成。您可以编写Mr或简单地使用hive来计算统计结果。最终结果数据应该非常小。三。把上面的结果数据倒回去MySQL(有很多方法可以选择)做在线查询过来
1。复制到HDFS
2。然后用配置单元的外部表创建一个新表。表建立后,您可以直接选择查询,而不必将其加载到配置单元
例如:
创建外部表testhivedrivertable(host name,string,logdate)string,type string,class string,demo array
我想询问原始数据库中的数据是更新还是删除。如果是这样,就很难实时同步到配置单元。此外,即使可以实时同步到hive,hive中的分析和查询速度也相对较慢。
hive同步数据到mysql 把hive表导入mysql sqoop从mysql导入数据到hive
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。