hadoop环境变量怎么配置 Apache Mahout如何使用？
Apache Mahout如何使用？
Mahout安装好祥细全过程1、jdk按装22、SSH无密码验证配置好不好23、Hadoop配置好不好34、Hadop可以使用65、Maven直接安装76、安装lucene77、hadoop集群来执行聚类算法88、其他8――――――――――――――――――――1、jdk安装1.1、到官网下载相关的JDK下载地址：
、再打开“终端”键入：sh
1.3、可以设置JAVA_HOME环境系统变量输入：vi/etc/environment在文件中先添加：exportJAVA_HOME/root/jdk1.6.0_24exportJRE_Home/root/jdk1.6.0_24/jreexportCLASSPATH$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib同样，如何修改第二个文件。键入：vi/etc/profile在umask022之前去添加以上语句：exportJAVA_HOME/root/jdk1.6.0_24exportJRE_Home/root/jdk1.6.0_24/jreexportCLASSPATH$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexportPATH$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin1.4、自动注销用户，可以检测JDK版本。键入：java-version2、集群环境详细介绍集群包含三个节点：1个namenode，2个datanode，节点之间局域网连接到，可以相互之间ping不通通。节点IP 地址分布的位置如下：Namenode:::三台节点上均是CentOS系统，Hadoop在/root/hadoop/目录下。在/etc/hosts上直接添加主机名和或者的IP地址：192.168.1.10master192.168.1.20slave1192.168.1.21slave23、SSH无密码验证配置如何2.1Hadoop要建议使用SSH协议，namenode将使用SSH协议启动时namenode和datanode进程，伪分布式模式数据节点和名称节点均是本身，前提是配置SSHlocalhost无密码验正。用root用户登录，在家里目录下负责执行追加命令：ssh-keygen-trsa[~]#ssh-keygen-trsaGeneratingpublic/privatersakeypair.Enter
fileinwhichneedsavethe key(_rsa):
按回车设置路径Createddirectory.创建家族
目录Enterpassphrase(emptyofnopassphrase):Entersamepassphraseagain:Youridentificationhas beensavedoutside_
publickeyhas beensavedin_
keyfingerprintisn't:c6:7e:57:59:0a:2d:85:49:23:cc:c4:58:ff:db:5b:38是从以上命令将在
目录下生成id_rsa私钥和id_
公钥。刚刚进入
目录在namenode节点下做:配置：[.ssh]#catid_
authorized_keys[.ssh]#scpauthorized_keys[
.ssh]#scpauthorized_keys
配置完毕后，可本机IP测试出来如何确定不需要密码登录。2.2和namenode无密码登录所有Datanode原理一样的，把Datanode的公钥复制到Namenode的.ssh
目录下。[.ssh]#scpauthorized_keys1192.168.1.10:/root[root@]#scpauthorized_keys2192.168.1.10:/root
将刚传过去的authorized_keys1、2加入到authorized_keys[root@]#catauthorized_keys1authorized_keys[root@]#catauthorized_keys2authorized_keys这样的话也能在Datanode上关掉和正常启动Hadoop服务。4、Hadoop配置直接下载hadoop-0.20.2.tar.gz
，接受解压缩。tarzxvfhadoop-0.20.2.tar.gz
修改/etc/profile，一并加入不胜感激：#sethadooppathexportHADOOP_HOME/root/hadoopexportPATH$HADOOP_HOME/bin:$PATH4.1、进入hadoop/conf，配置Hadoop配置文件4.1.1配置
文件添加#setjavaenvironmentexportJAVA_HOME/root/jdk1.6.0_24编辑后需要保存退出。4.1.2配置core-site.xml#vicore-site.xml4.1.3配置hdfs-site.xml#vihdfs-site.xml4.1.4配置mapred-site.xml#vimapred-site.xml4.1.5配置masters#vimasters192.168.1.104.1.6配置slaves#vislaves192.168.1.20192.168.1.214.2、Hadoop启动时4.2.1进入/root/hadoop/bin目录下，格式话namenode#./hadoopnamenodeCformat4.2.2起动hadoop所有进程在/root/hadoop/bin目录下，不能执行
下达命令启动能够完成后，可用jps命令打开系统hadoop进程如何确定启动时完全。正常情况下应该是有如下进程：10910NameNode11431Jps11176SecondaryNameNode11053DataNode11254JobTracker11378TaskTracker我在堆建过程中，在此环节出现的问题最少，每天都出现启动时进程不求下载的情况，要不是datanode没能正常起动，就是namenode如果没有TaskTracker启动时无比。解决的办法的）在Linux下关了防火墙：建议使用serviceiptablesstop命令；2）再次对namenode接受重新格式化：在/root/hadoop/bin目录下执行hadoopnamenode-format命令3）对服务器通过重启后4）查看datanode或是namenode填写的日志文件，日志文件保存在/root/hadoop/logs目录下。5）再度在/bin目录下用
下命令正常启动所有进程，按照以上的几个方法肯定能可以解决进程启动不全部的问题了。4.2.3查找集群状态在bin目录下先执行：hadoopdfsadmin-report#hadoopdfsadminCreport4.3在WEB页面下栏里点Hadoop工作情况然后打开IE浏览器输入输入防御部署Hadoop服务器的IP：:50070:50030。5、Hadop建议使用一个测试例子wordcount：计算再输入文本中词语数量的程序。WordCount在Hadoop主目录下的java程序包hadoop-0.20.2-examples.jar
中，先执行步骤如下：在/root/hadoop/bin/目录下参与不胜感激能操作：./hadoopfs-mkdirinput(空白文档目录名称，可任意命名)mkdir/root/a/vi/root/a/a.txt
写入文件hello worldhello#hadoopfs-copyFromLocal/root/a/inputs在/root/hadoop/bin下先执行：#./hadoopjarhadoop-0.20.2-examples.jar
wordcountinputinput(提交作业，此处需尽量input与output是一组任务，下次先再不能执行wordcount程序，的要刚建目录intput1与parameters1又不能跟input与output重名)6、Maven直接安装6.1直接下载Maven解压tarvxzfapache-maven-3.0.2-bin.tar.gzmv
apache-maven-3.0.2/root/maven6.2vi~
直接添加追加两行exportM3_HOME/root/mavenexportPATH${M3_HOME}/bin:${PATH}6.3先changepassword，之后再logout栏里点maven版本，看是否是安装好成功mvn-version7、安装mahout安装方法见：
、hadoop集群来想执行聚类算法8.1数据准备cd/root/
./hadoopfs-mkdirtestdata./hadoopfs-throwingsynthetic_
testdata./hadoopfs-lsrtestdatabin/hadoopjar/root/mahout/mahout-examples-0.4-job.jar
一栏再看看结果吧bin/hadoopvectordump--seqFile/user/root/output/data/memories-r-00000这个再把结果不显示在控制台上。9、hadoop集群来想执行推荐算法分布式bin/hadoopjar/root/trunk/mahout-distribution-0.4/mahout-core-0.4-job.jar
-Dmapred.output.diroutput2伪分布式bin/hadoopjar/root/trunk/mahout-distribution-0.4/mahout-core-0.4-job.jar
--recommenderClassName
-Dmapred.output.diroutput_w10wan10、其他赶回安全模式：hadoopdfsadmin-safemodeleave
新手如何学习Java？
另外一名从业多年来的Java程序员，而也出版书过Java编程书籍，因为我来问帮一下忙这个问题。
对于新手来说，要想才能学好Java，应该要注重实际以上几个方面：
第一：对的理解Java的各种“抽象”。学Java是学习各种“抽象”，除开类、接口和抽象类等，完全不同层次的抽象意味着什么完全不同的作用。对于初学者来说，要想对的的掌握各种抽象，应该是从都差不多的Java编程过程结束，包括类的设计、对象的创建角色和方法的调用，至于要重点自学一下多态的使用。多做实验是再理解各种抽象的好办法，而且实验并不一定能够为初学者建立起概念的“画面”，最大限度地后期再理解。
第二：特别注重知识结构的全面性。自学Java开发的过程中要系统地去学习看看操作系统、计算机网络、数据结构、算法设计和数据库知识，这些计算机基础内容相对于学习Java更具最重要的意义，如果没有想在Java开发领域走得很远，要先注重基础知识的学习。在学期间建议建议使用Linux操作系统积极开展实验，未来很多Java开发都离得开Linux操作系统，比如大数据治理开发、物联网平台开发等。
第三：确定一个主攻方向。Java目前通常的应用领域除了Web开发、Android开发和大数据开发，不少网络服务也是需要需要Java成功后端功能的c语言程序，另外Java确实是研发级程序员的比较普遍工具，比较复杂到一些平台和容器的开发，诸如大数据平台Hadoop那是区分Java语言编写的。对此Java初学者来说，要根据自身的知识结构和兴趣爱好，选择一个比较适合自己的主攻方向。
到最后，在当前的大数据、云计算时代背景下，Java全栈程序员的岗位需求量也很大，因此去学习Java全栈开发都是另一个比较好的选择。Java全栈开发需要重视看看前端开发技术的学习，重点是JavaScript语言的学习。
我普通机电设备互联网行业二十年，目前也在带计算机专业的研究生，要注意的研究方向聚集在大数据和人工智能领域，我会大批写一些关于互联网技术方面的文章，感兴趣朋友可以打听一下我，完全相信肯定会会收获。
如果有互联网、大数据、人工智能等方面的问题，的或是考研方面的问题，都也可以在评论区给我留言！
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
