2016 - 2024

感恩一路有你

hadoop中mysql密码忘记了怎么办 Apache Mahout如何使用?

浏览量:2752 时间:2023-07-23 10:40:46 作者:采采

Apache Mahout如何使用?

Mahout安装的详细全过程1。jdk安装22。SSH无密码认证配置23。hadoop配置34。Hadop使用65。Maven安装76。看象人装置77。Hadoop集群执行集群算法88。其他8......................................................................................................

开放 "终端 "然后输入:sh

1.3.设置JAVA_HOME环境系统变量input:VI/etc/environment Add:export JAVA _ HOME/root/JDK 1 . 6 . 0 _ 24 export JRE _ HOME/root/JDK 1 . 6 . 0 _ 24/JRE export class path$class path :$JAVA _ HOM:$JAVA _ HOME/JRE/lib同样,修改第二个文件。输入:vi /etc/profile在umask 022前添加以下语句:export JAVA _ HOME/root/JDK 1 . 6 . 0 _ 24 export JRE _ HOME/root/JDK 1 . 6 . 0 _ 24/JRE导出类路径$ class PATH : $ JAVA _ HOM: $ JAVA _ HOM: $ JAVA _ HOM: $ PATH echo 11输入:Java-版本2。集群环境简介集群由三个节点组成:一个nam:、:、Slav:,三个节点都是CentOS系统,Hadoop在/root/hadoop/目录下。在/etc/hosts上添加主机名和对应的IP地址:192 . 168 . 1 . 10 master 192 . 168 . 1 . 20 slave 1192.16。8.1.21 slave23、SSH免密码认证配置2.1 Hadoop需要使用SSH协议,namenode会使用SSH协议启动namenode和datanode进程,伪分布式的数据节点和名称节点都是自己,所以必须配置SSH localhost免密码认证。以root用户身份登录并在主目录中执行以下命令:ssh-k:的文件

按回车默认路径创建目录。创造。

目录输入密码短语(空表示无密码短语):输入相同的密码短语again:您的身份已保存在_

公钥已保存在_

键指纹is: C6 : 7 : 57 : 59 : 0 a: 85 : 49 : 23 : cc: 4c echo 29-@

在目录中生成id_rsa私钥和id_。

公钥。进入

namenode节点下的目录配置如下:[。ssh]#猫id_

授权密钥。ssh]# scp授权_密钥[

。ssh]# scp授权_密钥

配置完成后,您可以测试是否需要通过ssh本地IP进行密码登录。2.2将Datanode的公钥复制到Name,就像namenode登录所有Datanode不需要密码的原理一样。节点 s .宋承宪

在目录下。[ .ssh]# scp authoriz:/root[root @]# scp authoriz:/root

添加刚刚发送到authorized _ keys[root @]# cat authorized _ keys 1 authorized _ keys[root @]# cat authorized _ keys 2 authorized _ keys,也可以关闭和启动Datanode上的Hadoop服务。4、Hadoop配置下载hadoop-0.20.2.tar.gz。

,用于减压。塔尔zxvf hadoop-0.20.2.tar.gz

修改/etc/profil: $ path 4.1 .进入hadoop/conf,配置Hadoop配置文件4.1.1,

将# setjavaenvironment export Java _ home/root/JDK 1 . 6 . 0 _ 24添加到文件中,保存并退出。4.1.2配置core-site . XML # Vi core-site . XML 4 . 1 . 3配置HDFS-site . XML # VIH DFS-site . XML 4 . 1 . 4配置map red-site . XML # viMapred-site . XML 4 . 1 . 5配置masters # Vi masters 192 . 168 . 1 . 104 . 1 . 6配置slaves # Vi slaves 192 . 168 . 1 . 20192 . 168 . 1 . 214 . 2、hadoop启动4.2.1/Hadoop Namenode。

命令启动后,可以使用jps命令检查hadoop进程是否完全启动。正常情况下应该有以下进程:10910 NameNode11431 Jps11176。二级NameNode 11053 datanode 11254 Job Tracker 11378 TaskTracker在构建的过程中,这个环节的问题最多,启动过程往往不完整。DataNode可以 t正常启动,或者NameNode或Tasktracker异常启动。解决方法如下:1)关闭Linux下的防火墙:使用服务iptables stop命令;2)再次格式化namenode:在/root/hadoop/bin目录下执行hadoop namenode -format命令3)重启服务器4)查看datanode或namenode对应的日志文件,该文件保存在/root/hadoop/logs目录下。5)在/bin目录中再次使用它。

命令启动所有进程,通过以上方法应该可以解决进程启动不完整的问题。4.2.3查看集群状态在bin目录中执行:Hadoop DFS admin-report # Hadoop DFS admin cr: 50070 : 50030 . 5。Hadop使用了一个测试示例wordcount:一个计算输入文本中字数的程序。hadoop主目录中带有WordCount的java包hadoop-0.20.2-examples.jar。

,实现步骤如下:在/root/hadoop/bin/目录下,进行如下操作:。/hadoop fs -mkdir输入(新目录名可以任意命名)mkdir/root/a/vi/root/a.txt。

从本地/root/a/input写hello world hello # Hadoop fs-copy,在/root/hadoop/bin: #下执行。Hadoop-0.20.2-examples.jar。

Wordcount输入输出(提交作业,这里需要注意的是,输入输出是一组任务,下次会执行word count程序,新目录intput1和output1不会跟来。输入和输出同名)6。Maven安装6.1,下载Maven解压tar vxzf Apache-Maven-3 . 0 . 2-bin . tar . gzmv。

Apach: $ { path } 6.3先注销,然后登录查看maven版本,看mvn -version7是否安装成功。参见:

、hadoop集群实现集群算法8.1数据准备CD/root/Hadoop wg _ control/synthetic _

。/hadoop fs -mkdir testdata。/hadoop fs -put synthetic_

测试数据。/Hadoop fs-LSR test data bin/Hadoop jar/root/mahout/mahout-examples-0.4-job . jar

检查结果,bin/mahout vector dump-seq file/user/root/output/data/part-r-00000,并将结果直接显示在控制台上。9.hadoop集群实现推荐算法分布式bin/Hadoop jar/root/trunk/mahout-distribution-0.4/mahout-core-0.4-job . jar。

-Dmapred.output.diroutput2伪分布式bin/Hadoop jar/root/trunk/mahout-distribution-0.4/mahout-cor

hadoop的web管理界面打不开怎么办?

是的,你只能进入路由器的网关。猫连上后直接设置拨号连接就行了。

连接路由器就是先把线连接到猫身上,然后猫拔出网线连接到路由器上的端口。该端口与其他的有点不一样。插座的颜色要不一样。收到后又有另外四个借口连接每台电脑的网卡,然后随便打开一台用网线连接的电脑,打开IE,输入192.168.1.1,然后输入密码admindamin就可以进去了。

目录 密码 hadoop Hadoop

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。