apache日志分析工具 apache里的error.log删不掉?
apache里的error.log删不掉?
删除Apache2/logs/目录下的error.log和access.log文件,打开Apache配置文件,找到以下两个配置错误日志logs/error . logcustomloglogs/access . log common,直接注释掉,替换为以下配置文件。#将Apache错误日志文件限制为1m| bin/rotate logs . exe-llogs/error-% y-% m-% d . log1m "
#生成错误日志文件# Errorlog "| bin/rotate logs . exe-llogs/error-% y-% m-% d . log 86400 "#受限访问日志文件的大小为1m| bin/rotate logs . exe-llogs/Access-% y-% m-% d . log1m "common #生成一个访问日志文件| bin/rotate logs . exe-llogs/acc
Apache Mahout如何使用?
Mahout安装的详细全过程1。jdk安装22。SSH无密码认证配置23。hadoop配置34。Hadop使用65。Maven安装76。看象人装置77。Hadoop集群执行集群算法88。其他8......................................................................................................
开放 "终端 "然后输入:sh
1.3.设置JAVA_HOME环境系统变量input:VI/etc/environment Add:export JAVA _ HOME/root/JDK 1 . 6 . 0 _ 24 export JRE _ HOME/root/JDK 1 . 6 . 0 _ 24/JRE export class path$class path :$JAVA _ HOME/lib:$JAVA _ HOME/JRE/lib同样,修改第二个文件。输入:vi /etc/profile在umask 022前添加以下语句:export Java _ home/root/JDK 1 . 6 . 0 _ 24 export JRE _ home/root/JDK 1 . 6 . 0 _24/jre导出类路径$ class PATH : $ JAVA _ HOME/lib: $ JAVA _ HOME/JRE/lib导出路径$ JAVA _ HOME/bin: $ JAVA _ HOME/JRE/bin: $ PATH : $ HOM:、:、Slav:,三个节点都是CentOS系统,Hadoop在/root/hadoop/目录下。在/etc/hosts上添加主机名和对应的IP地址:192 . 168 . 1 . 10 Master 192 . 168 . 1 . 20 Slave 1192 . 168 . 1 . 21 Slave 23、SSH免密码认证配置2.1 Hadoop需要使用SSH协议。Namenode将使用SSH协议启动namenode和datanode进程。伪分布式模式下的数据节点和名称节点是它们自己,所以SSH localhost必须在没有密码验证的情况下进行配置。以root用户身份登录并在主目录中执行以下命令:ssh-k:的文件
按回车默认路径创建目录。创造。
目录输入密码短语(空表示无密码短语):输入相同的密码短语again:您的身份已保存在_
公钥已保存在_
关键指纹is: C6 : 7 e: 57 : 59 : 0 a: 85 : 49 : 23 : C4 : 58 :
在目录中生成id_rsa私钥和id_。
公钥。进入
namenode节点下的目录配置如下:[。ssh]#猫id_
授权密钥。ssh]# scp授权_密钥[
。ssh]# scp授权_密钥
配置完成后,您可以测试是否需要通过ssh本地IP进行密码登录。2.2如同namenode无需密码登录所有DataNode的原理,将DataNode的公钥复制到Namenode 嘘。
在目录下。[ .ssh]# scp authoriz:/root[root @]# scp authoriz:/root
添加刚刚发送到authorized _ keys[root @]# cat authorized _ keys 1 authorized _ keys[root @]# cat authorized _ keys 2 authorized _ keys,也可以关闭和启动Datanode上的Hadoop服务。4、Hadoop配置下载hadoop-0.20.2.tar.gz。
,用于减压。塔尔zxvf hadoop-0.20.2.tar.gz
修改/etc/profile并添加如下:# set Hadoop path export Hadoop _ home/root/Hadoop export path $ Hadoop _ home/bin: $ path 4.1 .进入hadoop/conf,配置Hadoop配置文件4.1.1,
文件添加# setjavaenvironment export Java _ home/root/JDK 1 . 6 . 0 _ 24编辑后保存并退出。4.1.2配置core-site . XML # Vi core-site . XML 4 . 1 . 3配置HDFS-site . XML # VIH DFS-site . XML 4 . 1 . 4配置map red-site . XML # viMapred-site . XML 4 . 1 . 5配置masters # Vi masters 192 . 168 . 1 . 104 . 1 . 6配置slaves # Vi slaves 192 . 168 . 1 . 20192 . 168 . 1 . 214 . 2、hadoop启动4.2.1/Hadoop Namenode。
命令启动后,可以使用jps命令检查hadoop进程是否完全启动。正常情况下应该有以下进程:10910 namenode 11431 JPS 11176二级NameNode 11053 datanode 11254 Job Tracker 11378 TaskTracker。在建设过程中,这个环节出现的问题最多,启动过程往往不完整。DataNode无常启动,或者NameNode或Tasktracker启动异常。解决方法如下:1)关闭Linux下的防火墙:使用服务iptables stop命令;2)再次格式化namenode:在/root/hadoop/bin目录下执行hadoop namenode -format命令3)重启服务器4)查看datanode或namenode对应的日志文件,该文件保存在/root/hadoop/logs目录下。5)在/bin目录中再次使用它。
命令启动所有进程,通过以上方法应该可以解决进程启动不完整的问题。4.2.3查看集群状态是在bin目录下进行的:Hadoop DFS admin-report # Hadoop DFS admin 。m 50070 localhost: 50030 .5.Hadop使用了一个测试示例wordcount:一个计算输入文本中字数的程序。hadoop主目录中带有WordCount的java包hadoop-0.20.2-examples.jar。
,实现步骤如下:在/root/hadoop/bin/目录下,进行如下操作:。/hadoop fs -mkdir输入(新目录名可以任意命名)mkdir/root/a/vi/root/a.txt。
从本地/root/a/input写hello world hello # Hadoop fs-copy,在/root/hadoop/bin: #下执行。Hadoop-0.20.2-examples.jar。
Wordcount输入输出(提交一个作业,这里要注意输入输出是一组任务,下次执行word count程序,新目录intput1和output1不能和输入输出同名)6。Maven安装6.1,下载Maven解压tar VxZF Apache-Maven-3 . 0 . 2-bin . tar . gzmv。
Apache-maven-3 . 0 . 2/root/maven 6.2 VI ~
添加以下两行:export m3 _ home/root/maven export path $ { m3 _ home }/bin: $ { path } 6.3先注销,然后登录查看maven版本,看mvn -version7是否安装成功。参见:
、hadoop集群实现集群算法8.1数据准备CD/root/Hadoop wget _ control/synthetic _
。/hadoop fs -mkdir testdata。/hadoop fs -put synthetic_
测试数据。/Hadoop fs-LSR test data bin/Hadoop jar/root/mahout/mahout-examples-0.4-job . jar
检查结果,斌/mahout vector dump-seq file/user/root/output/data/part-r-00000这直接在控制台上显示结果。9.hadoop集群实现推荐算法分布式bin/Hadoop jar/root/trunk/mahout-distribution-0.4/mahout-core-0.4-job . jar。
-Dmapred.output.diroutput2伪分布式bin/Hadoop jar/root/trunk/mahout-distribution-0.4/mahout-core-0.4-job . jar。
-推荐者类名
-dmapred . output . dir output _ w10 wan 10,其他离开安全模式:hadoop dfsadmin -safemode离开。
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。