2016 - 2024

感恩一路有你

linux中hadoop安装配置步骤 在linux系统上怎么搭建hadoop开发环境?

浏览量:4240 时间:2023-05-07 11:17:12 作者:采采

在linux系统上怎么搭建hadoop开发环境?

A、基础环境

1.jdk安装与配置

4.文件目录B、Hadoop直接安装与配置1.去下载hadoop软件2.环境变量3.hadoop配置C、运行Hadoop1.运行hdfs2.运行yarnD、测试3hadoop,这是垒建集群的大题路径,详细的可以再去看看看二斗学院的视频,第一部分是讲集群搭建的很详细

学习大数据难吗?

在学习之前,是需要考虑的不是难并不难,完全是肯定怎摸把英语学好的问题。学习大数据给几点建议:

1.应该手中掌握大数据体系的架构和原理,诸如:分布式存储和可以计算的思想

2.大数据框架的体系,诸如:hadoop,spark等等

3.多尝试着做实验,也多问问有经验的人。

如果能有信心,加上坚持,是有可以不把英语学好。

ubant.04 能装什么版本hadoop?

大数据的版本交扣太块,都说你选老的版本更好一些。但是太老的版本会不允许新的功能。

所以我可不知道选哪个的时候,建议是最好就是中,选择每个组件的比较稳定版,即“stable”版本。

由于组件的安装基本都都要去官网可以下载tar.gz的压缩包,并且在找不到网址后注意了帮一下忙带有“stable”的文件夹。

如何在windows下安装hadoop?

先说一下要准备着哪些软件和信息:

VMware-workstation;

CentOS-6.0-i386-bin-DVD;

eclipse-jee-luna-SR1-win32;

hadoop-0.20.2;

jdk-6u27-linux-i586;

(导致hadoop对版本的要求较高,大家我还是千万不能轻易更换版本,这里列进去的各种软件都是稳定点发布版,网上容易这个可以download到的)。

整个教程分为这样的5个部分来说:1)在Windows下安装好虚拟机Vmware,并新建一个虚拟机装完centos系统;2)centos下可以设置ssh服务无密码登录;3)centos下安装jdk,并配置环境变量;4)centos下直接安装hadoop,并配置文件;5)windows下安装好jdk和eclipse,并将eclipse与centos下的hadoop连接上。也算这5个部分每一个都很重要,尤其是第4)步。下面我们就具体点说看看每一脚应该怎么做。

Step0:请大家先在windows下刚建一个普通用户,用户名为hadoop,我们所有的软件全在这个下面完全安装,用户名最好就是就算hadoop,是因为这个要和后面很多username是一样的,设为hadoop比较好记。

1)在Windows下安装好虚拟机Vmware,并新建一个虚拟机装上centos系统;

简单的方法,去下载VMware-workstation并按装,这步骤和一般windows下完全安装软件的过程是一样的的,入门小白也会比较熟练你的操作,这里就节省时间点儿空间给后面最重要的步骤了~

然后,在Vmware的主页上新建一个虚拟机

一路下一步怎么办,待到让你你选系统镜像路径,我们你选centos系统映像,如上图,再点击第二步。接着,必须你输入linux的用户名,这个比较比较不重要,最好就是填好hadoop,因为这个名字在后面要应用好多次!

后面我还是一路的“下一步”,直到此时让你设置里虚拟机的内存大小,建议为1024M。如上图。后面就是要选择和虚拟机的网络类型有关的设置了,见意为“可以使用网络地址装换NAT”,如下图。这半步我当时选择了自动桥接的功能,找了一个晚上的错误。。。时间干脆白花花一片的什么都没有~~

之后肯定一路的“然后再”,几乎都是可以使用它我推荐的设置,我们就是可以刚建一个centos,等待个几分钟然后把就可以进入到centos界面了。注意到那一抹科技蓝,有没让你动容了呢~~哈哈哈哈,你虽然别走了准备!

2)centos下设置里ssh.服务无密码登录;

在桌面右击,你选择openinTerminal,这个那是linux的终端了。希望读者有一些linux操作系统的基础,这样子练熟快的一些。只不过要是没有的话,也没有关系,我们是走向新手的教程。

2.1.先在linux命令行中输入su,提示密码,再输入你自己设置的密码,这样子你后面的操作都具高了linux系统下的高了权限——root权限。

2.2.在系统设置ssh无密码登录之前,有一个最重要的重要的是的要先出好:关掉SELinux。这是因为centos会自动启动拦阻你直接修改sshservice,我们只有一关闭SELinux,重启才能生效。如何做,::

修改/etc/selinux/config文件

将SELINUXenforcing转成SELINUXdisabled

关机重启机器即可

(note:在linux下修改文件,vi新的命令后会刚刚进入到文件窗口,按i刚刚进入upsert,改完毕后之后再按esc会推出upsert,键入;:wq!保存并逃离~这里要感激泡哥,改了半天都不行,肯定泡哥指点方向了~~)

2.3.在linux命令行里然后输入:ssh-keygen-trsa,然后一路回车。

:~$ssh-keygen-trsa

Generatingpublic/privatersakeypair.

Enterfileinwhichtosavethekey(_rsa)://密钥保存位置,就回车达到设置成;

Enterpassphrase(emptyfornopassphrase)://系统设置密钥的密码,空密码然后回车再试一下;

Entersamepassp。

然后进入到下面,会看见两个文件id_,id_rsa,

然后把不能执行cpid__keys

接着sshlocalhost验证是否成功了,上次要你键入yep,以后就不是需要了。

如下图,由于我又验证验证了一次,因此还是需要然后输入y,假如你是第一次验证是不要的。

到此,ssh服务吧无密码登录设置完毕!

3)centos下安装jdk,并配置环境变量;

这三步中也可以分为两步:安装jdk、配置jdk环境变量。

3.1.准备:root用户登陆,不使用命令mkdir/usr/program新建任务目录/usr/program,下载JDK安装包,将其不能复制到目录/usr/program下,用cd命令直接进入该目录,先执行命令“”,新的命令运行完毕即安装结束,将在目录下生成文件夹/jdk1.6.0_13,此即为jdk被成功了安装到目录:/usr/program/jdk1.6.0_13下。

用户登陆后,命令行中负责执行命令“vi/etc/profile”,并组建以上内容,配置环境变量(注意一点/etc/profile这个文件很重要,后面Hadoop的配置还会都用到)。

#setjavaenvironment

exportJAVA_HOME/usr/program/jdk1.6.0_27

exportJRE_HOME/usr/program/jdk1.6.0_27/jre

exportCLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

exportPATH$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

在vi编辑器增加以下内容后能保存再次,并负责执行100元以内命令使配置不生效!

#chmodx/etc/profile;增强负责执行权限

#source/etc/profile;使配置不生效!

配置后后,在命令行中再输入:java-version,都会出现按装jdk的信息。

这时,jdk的安装和配置环境变量就成功了~

hadoop 命令 密码 文件 linux

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。