2016 - 2024

感恩一路有你

centos7怎么访问mysql服务器配置 centos7.2怎么安装mariadb?

浏览量:4287 时间:2023-04-28 15:33:05 作者:采采

centos7.2怎么安装mariadb?

yum-y install Maria db-server Maria db Maria db-developsystemctl start mariadbsystemctl enable mariadbmysql _ secure _ installation firewall-cmd-permanent-add-service MySQL systemctl r

怎么用sqoop把hive的数据导入mysql?

运行环境centos 5.6 hadoop hive

Sqoop是clouder公司在hadoop技术支持下开发的工具,用于在关系数据库和HDFS、Hive之间导入导出数据。

上海尚学堂hadoop大数据培训群原创,hadoop大数据技术相关文章陆续呈现,敬请关注!

使用过程中可能遇到的问题:

Sqoop依赖于zookeeper,所以ZOOKEEPER_HOME必须配置到环境变量中。

Sqoop-1.2.0-CDH3B4依赖于hadoop-core-0.20.2-CDH3B4.jar,所以需要下载hadoop-0.20.2-CDH3B4.tar.gz,解压后复制Hadoop-0 . 20 . 2-cdh3b 4/Hadoop-Core-0 . 20 . 2-cdh3b 4 . jar到Sqoop。

1首先安装sqoop,如果使用clouder发行版的话非常简单。

# yum安装sqoop

如果用官方版本的话。

# cd

# wget

# yum -y安装sqoop

将安装Sqoop。

2使用sqoop

首先,将MySQL-connector-Java-5 . 1 . 16-bin . jar文件复制到文件夹/usr/lib/sqoop/lib中。

3导入和导出数据库

1)列出mysql数据库中的所有数据库命令。

# sq OOP list-databases-connect JDBC :mysql://localhost: 3306/-用户名root -密码123456

2)连接mysql,列出数据库中的表命令。

# sqoop列表-表格-连接ect JDBC :mysql://localhost: 3306/test-username root-password 123456

命令中的Test是mysql数据库中的测试数据库名,username password分别是mysql数据库的用户密码。

3)将关系数据的表结构复制到hive中

sq OOP create-hive-table-connect JDBC :mysql://localhost: 3306/test-table用户名-用户名root -密码123456 - hive-table测试

其中-tableusername是mysql中数据库测试的表-hive-tabletest是hive中新创建的表的名称。

4)将文件从关系数据库导入hive。

sqoop导入-连接JDBC :mysql://localhost: 3306/test-用户名root -密码MySQL-password-table t1-hive-import

5)将hive中的表格数据导入mysql。

。/sqoop export-connect JDBC :mysql://localhost: 3306/t: 51 : 22信息运行job: job _ 201108051007 _ 0010

11/08/05 10 : 51 : 23信息地图0%减少0/08/05 10 : 51 : 36信息任务Id :尝试_201108051007_0010_m_000000_0,状态:失败

位于java.util.AbstractList$()

在uv_info。__loadFromFields(uv_)

在紫外波段

在()

在()

在()

在()

在()

在()

价格为100美元

at(本地方法)

在()

在()

在()

这个错误的原因是sqoop解析文件的字段与MySql数据库表的字段不对应。所以需要在执行的时候给sqoop添加参数,告诉sqoop文件的分隔符,让它正确解析文件字段。

配置单元默认字段分隔符是

sqoop hive mysql hadoop 文件

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。