centos7怎么访问mysql服务器配置 centos7.2怎么安装mariadb?
centos7.2怎么安装mariadb?
yum-y install Maria db-server Maria db Maria db-developsystemctl start mariadbsystemctl enable mariadbmysql _ secure _ installation firewall-cmd-permanent-add-service MySQL systemctl r
怎么用sqoop把hive的数据导入mysql?
运行环境centos 5.6 hadoop hive
Sqoop是clouder公司在hadoop技术支持下开发的工具,用于在关系数据库和HDFS、Hive之间导入导出数据。
上海尚学堂hadoop大数据培训群原创,hadoop大数据技术相关文章陆续呈现,敬请关注!
使用过程中可能遇到的问题:
Sqoop依赖于zookeeper,所以ZOOKEEPER_HOME必须配置到环境变量中。
Sqoop-1.2.0-CDH3B4依赖于hadoop-core-0.20.2-CDH3B4.jar,所以需要下载hadoop-0.20.2-CDH3B4.tar.gz,解压后复制Hadoop-0 . 20 . 2-cdh3b 4/Hadoop-Core-0 . 20 . 2-cdh3b 4 . jar到Sqoop。
1首先安装sqoop,如果使用clouder发行版的话非常简单。
# yum安装sqoop
如果用官方版本的话。
# cd
# wget
# yum -y安装sqoop
将安装Sqoop。
2使用sqoop
首先,将MySQL-connector-Java-5 . 1 . 16-bin . jar文件复制到文件夹/usr/lib/sqoop/lib中。
3导入和导出数据库
1)列出mysql数据库中的所有数据库命令。
# sq OOP list-databases-connect JDBC :mysql://localhost: 3306/-用户名root -密码123456
2)连接mysql,列出数据库中的表命令。
# sqoop列表-表格-连接ect JDBC :mysql://localhost: 3306/test-username root-password 123456
命令中的Test是mysql数据库中的测试数据库名,username password分别是mysql数据库的用户密码。
3)将关系数据的表结构复制到hive中
sq OOP create-hive-table-connect JDBC :mysql://localhost: 3306/test-table用户名-用户名root -密码123456 - hive-table测试
其中-tableusername是mysql中数据库测试的表-hive-tabletest是hive中新创建的表的名称。
4)将文件从关系数据库导入hive。
sqoop导入-连接JDBC :mysql://localhost: 3306/test-用户名root -密码MySQL-password-table t1-hive-import
5)将hive中的表格数据导入mysql。
。/sqoop export-connect JDBC :mysql://localhost: 3306/t: 51 : 22信息运行job: job _ 201108051007 _ 0010
11/08/05 10 : 51 : 23信息地图0%减少0/08/05 10 : 51 : 36信息任务Id :尝试_201108051007_0010_m_000000_0,状态:失败
位于java.util.AbstractList$()
在uv_info。__loadFromFields(uv_)
在紫外波段
在()
在()
在()
在()
在()
在()
价格为100美元
at(本地方法)
在()
在()
在()
这个错误的原因是sqoop解析文件的字段与MySql数据库表的字段不对应。所以需要在执行的时候给sqoop添加参数,告诉sqoop文件的分隔符,让它正确解析文件字段。
配置单元默认字段分隔符是
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。