hive数据导入到mysql数据库 大数据怎么入门学习好？
大数据怎么入门学习好？
大数据刚入门简单要自学javase,能够掌握了javase之后，最好就是再学点javaee,假如不学的话，影响也又不是不光大。接下来要学的东西就都很多了，通常是三块，一种是离线模式计算出，以hadoop重点，一种是实时计算，以spark重点，其实大数据并非一两个技术的组合，而是一整套求完整的生态系统，因此要学的东西应该很多的，大数据通常解决的办法的是海量数据的存储和计算问题，个人建议那就把java才能学好，只不过很多大数据的软件全是基于条件javac语言设计的，因为刚入门大数据的话，个人建议先从java刚入门学比较比较好！
如何用sqoop将hive分区表信息导入到mysql命令？
问题分析：
hive中分区表其底层那是HDFS中的多个目录下的单个文件，hive文件导入数据本质是将HDFS中的文件文件导出
hive中的分区表，毕竟分区字段（静态硬盘分区）还在文件中，因此在sqoop导出来的时候，难以将分区字段通过就导出
思路：在hive中创建战队一个充当表，将分区表不能复制进来后分区字段转换成为普通字段，然后再再用sqoop将tmp表导出即实现程序需求
步凑万分感谢：
文章目录
1.创建目标表（分区表）
1.1打开系统表结构
2.导入数据
3.查询表dept_partition
4.创建战队预备表tmp_dept_partition
5.网上查询预备表
6.查看表结构(此时此刻磁盘分区表已经转换的为非主分区表了)
中建表dept_partition
8.可以使用sqoop文件导入到MySQL
网站查询验正是否是成功导出来
1.修改目标表（磁盘分区表）
hivegtCREATETABLE`dept_partition`(
`deptno`int,
`dname`string,
`loc`string)
PARTITIONEDby(`month`string)rowformatdelimitedfieldsterminatedhet.1查找表结构
hivegtshowcreatetabledept_partition
1
1
------------------------------------------------------
|createtab_stmt|
------------------------------------------------------
|CREATETABLE`dept_partition`(|
|`deptno`int,|
|`dname`string,|
|`loc`string)|
|PARTITIONEDBY(|
|`month`string)
1
2
3
4
5
6
7
8
9
1
2
3
4
5
6
7
8
9
2.导入数据
hivegtload datainpath/user/hive/hive_db/data/dept.txtintotabledept_partition
1
1
10tACCOUNTINGt1700
20tRESEARCHt1800
30tSALESt1900
40tOPERATIONSt1700
1
2
3
4
1
2
3
4
3.查询表dept_partition
hivegtselect*fromdept_partition
1
1
---------------------------------------------------------------------------------------------
|dept_|dept_partition.dname|dept_partition.loc|dept_|
---------------------------------------------------------------------------------------------
|10|ACCOUNTING|1700|2019-10-19|
|20|RESEARCH|1800|2019-10-19|
|30|SALES|1900|2019-10-19|
|40|OPERATIONS|1700|2019-10-19|
|10|ACCOUNTING|1700|2019-10-20|
|20|RESEARCH|1800|2019-10-20|
|30|SALES|1900|2019-10-20|
|40|OPERATIONS|1700|2019-10-20|
---------------------------------------------------------------------------------------------
1
2
3
4
5
6
7
8
9
10
11
12
1
2
3
4
5
6
7
8
9
10
11
12
4.创建临时表tmp_dept_partition
hivegtsettmp_dept_partitionasselect*fromdept_partition
1
1
5.查询临时表
hivegtselect*fromtmp_dept_partition
1
1
-------------------------------------------------------------------------------------------------------------
|tmp_dept_|tmp_dept_partition.dname|tmp_dept_partition.loc|tmp_dept_|
-------------------------------------------------------------------------------------------------------------
|10|ACCOUNTING|1700|2019-10-19|
|20|RESEARCH|1800|2019-10-19|
|30|SALES|1900|2019-10-19|
|40|OPERATIONS|1700|2019-10-19|
|10|ACCOUNTING|1700|2019-10-20|
|20|RESEARCH|1800|2019-10-20|
|30|SALES|1900|2019-10-20|
|40|OPERATIONS|1700|2019-10-20|
-------------------------------------------------------------------------------------------------------------
1
2
3
4
5
6
7
8
9
10
11
12
1
2
3
4
5
6
7
8
9
10
11
12
6.栏里点表结构(此时此刻分区表早就装换为非系统分区表了)
hivegtshowcreatetabletmp_dept_partition
1
1
------------------------------------------------------
|createtab_stmt|
------------------------------------------------------
|CREATETABLE`tmp_dept_partition`(|
|`deptno`int,|
|`dname`string,|
|`loc`string,|
|`month`string)
1
2
3
4
5
6
7
8
1
2
3
4
5
6
7
8
中建表dept_partition
mysqlgttracetableifexistsdept_partition
createtabledept_partition(
`deptno`int,
`dname`varchar(20),
`loc`varchar(20),
`month`varchar(50))
1
2
3
4
5
6
1
2
3
4
5
6
8.在用sqoop导入到MySQL
bin/sqoopexport
--connectjdbc:mysql://hadoop01:3306/partitionTb
--usernameroot
--password123456
--tabledept_partition
--num-mappers1
--export-dir/user/hive/warehouse/hive_db.db/tmp_dept_partition
--input-fields-terminated-he
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
