centos7登录mysql数据库命令 如何查看mysql数据库操作记录日志?
如何查看mysql数据库操作记录日志?
1、简单确定你日志有无禁用了mysqlgtshowvariablesactuallylog_bin。
2、如果没有重新设置了,即ON,那日志文件就在mysql的安装目录的data目录下。
3、怎样明白当前的日志mysqlgtshowmasterstatus。MySQL的日志操作:1、必须,登入mysql后,执行sql语句:showvariableswantlog_bin。2、#错误`日志log-errol开启在的[mysqld]选项下:去添加代码:log-errorE:log-error.txt。留下记录内容:比较多是记录启动后、不运行或突然停止mysqld时会出现的致命性问题,全是系统级的错误记录。3、#可以查询日志:log,传送在的[mysqld]选项下:添加代码:logE:/mysql_log.txt。
4、#二进制日志:log-bin,再开启在的[mysqld]选项下:去添加代码:log-binE:/mysql_log_bin,留下记录内容:主要是记录所有的改数据的语句,可建议使用mysqlbinlog新的命令重新恢复数据。
怎么用sqoop把hive的数据导入mysql?
运行环境centos5.6hadoophive
sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入的一个工具。
上海尚学堂hadoop大数据培训组原创,先后有hadoop大数据技术历史文章奉上,请多打听一下!
在建议使用过程中可能遇到的问题:
sqoop依赖zookeeper,所以我可以配置ZOOKEEPER_HOME到环境变量中。
sqoop-1.2.0-CDH3B4感情依赖hadoop-core-0.20.2-CDH3B4.jar,因为你不需要去下载hadoop-0.20.2-CDH3B4.tar.gz,文件解压后将hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4.jar截图到sqoop-1.2.0-CDH3B4/lib中。
1是需要直接安装sqoop,要是你建议使用的是clouder清点版的话就太很简单
#yuminstallsqoop
要是用官方版本的话
#cd
#wget
#yum-yinstallsqoop
sqoop是会直接安装完成
2在用sqoop
是需要将mysql-connector-java-5.1.16-bin.jar文件截图到/usr/lib/sqoop/lib文件夹下
3导入和导出数据库
1)列个mysql数据库中的所有数据库命令
#sqooplist-databases--connectjdbc:mysql://localhost:3306/--usernameroot--password123456
2)再连接mysql并列个数据库中的表命令
#sqooplist-tables--connectjdbc:mysql://localhost:3306/test--usernameroot--password123456
命令中的test为mysql数据库中的test数据库名称usernamepassword四个为mysql数据库的用户密码
3)将关系型数据的表结构复制到hive中
sqoopcreate-hive-table--connectjdbc:mysql://localhost:3306/test--tableusername--usernameroot--password123456--hive-tabletest
其中--tableusername为mysql中的数据库test中的表--hive-tabletest为hive中空白文档的表名称
4)从关系数据库文件导入文件到hive中
sqoopimport--connectjdbc:mysql://localhost:3306/test--usernameroot--passwordmysql-password--tablet1--hive-import
5)将hive中的表数据导入到mysql中
./sqoopexport--connectjdbc:mysql://localhost:3306/test--usernameroot--passwordadmin--tableuv_info--export-dir/user/hive/warehouse/uv/dt2011-08-03
假如运行错误
11/08/0510:51:22INFORunningjob:job_201108051007_0010
11/08/0510:51:23INFOmap0%reduce0%
11/08/0510:51:36INFOTaskId:attempt_201108051007_0010_m_000000_0,Status:FAILED
tojava.util.AbstractList$()
arriveuv_info.__loadFromFields(uv_)
asuv_(uv_)
arrive()
at()
as()
as()
at()
arrive()
at$()
to(Native Method)
arrive()
at()
on()
此出错的原因为sqoop推导文件的字段与MySql数据库的表的字段对应不上导致的。但必须在不能执行的时候给sqoop提高参数,告知sqoop文件的分隔符,使它也能对的的解析文件字段。
hive设置成的字段分隔符为
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。