hadoop备份恢复方案 学习大数据难吗？
学习大数据难吗？
在学习之前，首先判断的并非难并不难，完全是估计怎么学好的问题。学习大数据给几点建议：
1.上重点手中掌握大数据体系的架构和原理，比如说：分布式存储和换算的思想
2.大数据框架的体系，.例如：hadoop，spark等等
3.多动手做实验，也多问问看有经验的人。
如果有信心，另外要坚持，是有这个可以把英语学好。
kettle 8导出数据Hadoop File Output上传到集群比较慢？
Kettle有个hdfs插件就可以再用，不过要再注意你的hadoop集群版本和kettle中hadoop查找jar包要一致。
怎么用sqoop把hive的数据导入mysql？
运行环境centos5.6hadoophive
sqoop是让hadoop技术支持的clouder公司的新的一个在关系数据库和hdfs,hive之间数据导入的一个工具。
上海尚学堂hadoop大数据培训组原创，陆陆续续有hadoop大数据技术干货文章奉上，请多参与！
在建议使用过程中可能遇到的问题：
sqoop依恋zookeeper，所以要配置ZOOKEEPER_HOME到环境变量中。
sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.jar，所以我你是需要上网下载hadoop-0.20.2-CDH3B4.tar.gz，解压后将hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4.jar不能复制到sqoop-1.2.0-CDH3B4/lib中。
1首先按装sqoop,如果你可以使用的是clouder清点版的话就更加很简单
#yuminstallsqoop
如果不是用官方版本的话
#cd
#wget
#yum-yinstallsqoop
sqoop都会直接安装能够完成
2使用sqoop
是需要将mysql-connector-java-5.1.16-bin.jar文件截图到/usr/lib/sqoop/lib文件夹下
3导出功能数据库
1)列一mysql数据库中的所有数据库命令
#sqooplist-databases--connectjdbc:mysql://localhost:3306/--usernameroot--password123456
2)连接上mysql并列出来数据库中的表命令
#sqooplist-tables--connectjdbc:mysql://localhost:3306/test--usernameroot--password123456
命令中的test为mysql数据库中的test数据库名称usernamepassword各为mysql数据库的用户密码
3)将关系型数据的表结构剪切粘贴到hive中
sqoopcreate-hive-table--connectjdbc:mysql://localhost:3306/test--tableusername--usernameroot--password123456--hive-tabletest
其中--tableusername为mysql中的数据库test中的表--hive-tabletest为hive中刚建的表名称
4)从关系数据库文件导入文件到hive中
sqoopimport--connectjdbc:mysql://localhost:3306/test--usernameroot--passwordmysql-password--tablet1--hive-import
5)将hive中的表数据导入到mysql中
./sqoopexport--connectjdbc:mysql://localhost:3306/test--usernameroot--passwordadmin--tableuv_info--export-dir/user/hive/warehouse/uv/dt2011-08-03
如果报错
11/08/0510:51:22INFORunningjob:job_201108051007_0010
11/08/0510:51:23INFOmap0%reduce0%
11/08/0510:51:36INFOTaskId:attempt_201108051007_0010_m_000000_0,Status:FAILED
tojava.util.AbstractList$()
arriveuv_info.__loadFromFields(uv_)
asuv_(uv_)
on()
at()
arrive()
on()
to()
to()
as$()
arrive(Native Method)
at()
as()
at()
此出现错误的原因为sqoop解析文件的字段与MySql数据库的表的字段填写不上照成的。但需要在负责执行的时候给sqoop提升参数，告知sqoop文件的分隔符，使它还能够正确的解析文件字段。
hive系统默认的字段分隔符为
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
