hadoop集群数据拷贝参数优化 如何在windows下安装hadoop?
如何在windows下安装hadoop?
先说帮一下忙要打算哪些软件和信息:
VMware-workstation;
CentOS-6.0-i386-bin-DVD;
eclipse-jee-luna-SR1-win32;
hadoop-0.20.2;
jdk-6u27-linux-i586;
(由于hadoop对版本的要求较高,大家应该千万不能轻易地更换版本,这里列出去的各种软件都是稳定点首页版,网上很容易这个可以download到的)。
整个教程两类这样5个部分来说:1)在Windows下直接安装虚拟机Vmware,并新建一个虚拟机装完centos系统;2)centos下设置里ssh服务无密码登录;3)centos下安装jdk,并配置环境变量;4)centos下按装hadoop,并配置文件;5)windows下按装jdk和eclipse,并将eclipse与centos下的hadoop连接到。的确这5个部分每一个都很有用,尤其是第4)步。下面我们就详细说一下每踏该怎么样。
Step0:请大家先在windows下新建任务一个普通用户,用户名为hadoop,我们所有的软件全在这个下面安装,用户名最好是如果这样hadoop,而且这个要和后面很多username同一,设为hadoop比较好记。
1)在Windows下直接安装虚拟机Vmware,并新建一个虚拟机装好后centos系统;
必须,上网下载VMware-workstation并安装,这步骤和像是windows下按装软件的过程是差不多的,入门小白也会非常熟练能操作,这里就节省时间点儿空间给后面有用的步骤了~
然后,在Vmware的主页上新建一个虚拟机
这一路下一步怎么办,等到让你选择系统镜像路径,我们选择类型centos系统映像,如上图,直接点击第二步。然后再,需要你输入linux的用户名,这个也很不重要,好是如何填写hadoop,毕竟这个名字在后面要应用好多次!
后面还是一路的“然后再”,待到让你可以设置虚拟机的内存大小,个人建议为1024M。如上图。后面那是要选择和虚拟机的网络类型关联的设置了,见意为“可以使用网络地址转换NAT”,如下图。这三步我当时选择了自动启动桥接的功能,找了一个晚上的错误。。。时间就这样白花花的的没有了~~
然后还是一路的“下一步”,简直是使用它推荐推荐的设置,我们就这个可以新建项一个centos,再等待个几分钟然后再就这个可以直接进入centos界面了。注意到那一抹科技蓝,有木有让你心动了呢~~哈哈哈,你确实走的好了目标!
2)centos下设置中ssh你服务无密码登录;
在桌面右击,你选openinTerminal,这个是linux的终端了。期望读者有一些linux操作系统的基础,这样子练熟更快一些。不过要不然没有的话,也没有关系,我们是走向新手的教程。
2.1.先在linux命令行中输入输入su,提示密码,输入输入你自己可以设置的密码,这样子你后面的操作都具有了linux系统下的更高权限——root权限。
2.2.在可以设置ssh无密码登录之前,有一个最重要的重要的要先出好:直接关闭SELinux。这是因为centos会不自动强行你如何修改sshservice,我们唯有自动关闭SELinux,重起才能才生效。如何做,万分感谢:
修改/etc/selinux/config文件
将SELINUXenforcing值改SELINUXdisabled
关机重启机器表就行
(note:在linux下修改文件,vi下命令后会进入到文件窗口,按i再次进入truncate,直接修改完毕之后再按esc很快推出execute,键入;:wq!保存并解盟~这里要感激泡哥,改了一会儿都不行啊,肯定泡哥指点迷津了~~)
2.3.在linux命令行里输入:ssh-keygen-trsa,然后一路回车。
:~$ssh-keygen-trsa
Generatingpublic/privatersakeypair.
Enterfileinwhichtosavethekey(_rsa)://密钥保存位置,然后回车保持设置为;
Enterpassphrase(emptyfornopassphrase)://系统设置密钥的密码,空密码真接回车即可解决;
Entersamepassp。
然后刚刚进入下面,会看见了两个文件id_,id_rsa,
然后负责执行cpid__keys
接着sshlocalhost验证是否完成,第一次要你键入yep,以后就不需要了。
如下图,导致我又验证了一次,所以还必须输入输入y,如果没有你是第一次不验证是千万不能的。
眼下,ssh服务什么无密码登录设置完毕!
3)centos下安装好jdk,并配置环境变量;
这一步中这个可以分成三类两步:安装jdk、配置jdk环境变量。
3.1.不过在此之前:root用户登入,可以使用命令mkdir/usr/program新建目录/usr/program,直接下载JDK安装包,将其剪切粘贴到目录/usr/program下,用cd命令再次进入该目录,想执行命令“”,下命令运行完毕即安装好成功,将在目录下生成文件夹/jdk1.6.0_13,此即为jdk被完成安装到目录:/usr/program/jdk1.6.0_13下。
用户直接登陆,命令行中执行命令“vi/etc/profile”,并一并加入以上内容,配置环境变量(再注意/etc/profile这个文件很有用,后面Hadoop的配置还会要用)。
#setjavaenvironment
exportJAVA_HOME/usr/program/jdk1.6.0_27
exportJRE_HOME/usr/program/jdk1.6.0_27/jre
exportCLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
exportPATH$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
在vi编辑器减少以下内容后需要保存退出,并先执行200以内命令使配置才生效!
#chmodx/etc/profile;减少执行权限
#source/etc/profile;使配置才生效!
配置完毕后,在命令行中再输入:java-version,是会会出现按装jdk的信息。
这时,jdk的安装和配置环境变量就成功了了~
hdfs 中的put命令详解?
只能说明:从本地文件系统中剪切粘贴单个或多个源路径到目标文件系统。也支持从标准输入中读取键入中写入目标文件系统。
用法:hadoopfs-throwing…
范例:
hadoopfs-throwlocalfile/user/hadoop/hadoopfile
hadoopfs-throwlocalfile1localfile2/user/hadoop/hadoopdir
hadoopfs-t:port/hadoop/hadoopfile
hadoopfs-thrown–:port/hadoop/hadoopfile
从标准键入中读取数据输入。
返回值:最终直接返回0,失败返回-1。
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。