hive解析json嵌套数组 如何在Hive中使用Json格式数据?
浏览量:1565
时间:2021-03-11 18:01:22
作者:admin
如何在Hive中使用Json格式数据?
方法: 1、将json以字符串的方式整个入Hive表,然后使用LATERAL VIEW json_tuple的方法,获取所需要的列名。 2、将json拆成各个字段,入Hive表。这将需要使用第三方的SerDe,例如:
https://code.google.com/p/hive-json-serde/
本文将主要使用第二种方法。wgethttps://hive-json-serde.googlecode.com/files/hive-json-serde-0.2.jar
# 添加jar包hive> add jar /home/heyuan.lhy/develop/wanke_http_test/hive-json-serde-0.2.jarhive> # 创建hive表CREATE TABLE test_json( id BIGINT, text STRING,)ROW FORMAT SERDE "org.apache.hadoop.hive.contrib.serde2.JsonSerde"STORED AS TEXTFILELOAD DATA LOCAL INPATH "test.json" OVERWRITE INTO TABLE test_json之后,就可以使用 SELECT等语句进行操作了。 备注:这个SerDe虽然比较老,但经过测试,支持到0.12的版本无压力。hive解析json嵌套数组 hive解析json数据 hive存储json格式的数据
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。