hadoop操作方法 如何装Hadoop？详细点哈？
如何装Hadoop？详细点哈？
简单的方法，个人建议免费试用版Linux或Unix操作系统。接着按装jdk，尽量版本号选1.8的。
配置环境变量JAVA_HOME，系统设置JAVA_HOME的命令如：exportJAVA_HOME/...
然后把完全安装hadoop，安装过程比较好简单的，官网去下载hadoop的bin压缩包，舒缓压力的某个目录下就这个可以。接着把hadoop下的bin目录再添加到环境变量PATH中。
hadoop mapreduce分别是干啥的？
hadoop是一种架构，单独搭建分布式平台在用mapreduce是一种编程模型，是一种编程方法，抽象理论来的
1、hadoop是一种分布式系统的平台，按照它是可以可以轻松的搭建中两个高效稳定、高质量的分布系统，而且它还有一个许多其它的相关子项目，也就是对它的功能的极大扩充，除开zookeeper,hive,hbase等。
2、MapReduce是hadoop的核心组件之一，hadoop要分布式和两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,互为因果，也就是说，可以是从mapreduce容易在hadoop平台上通过分布式的计算编程。
如何使用Hadoop的Archive处理小文件？
这个处理方法挺多的，大可举个例子吧来很简单只能说明帮一下忙:
可以使用hadooparchive命令是从mapreduce任务生产har压缩文件
测试hdfs源文件：
/test/lizhao/2019-01-13/*
/test/lizhao/2019-01-14/*
压缩命令hadooparchive-archiveNameNAME-pltparentpathgt[-rltreplicationfactorgt]ltsrcgt*ltdestgt：
gtgtgthadooparchive-archiveName2019-01.har-p/test/lizhao2019-01-132019-01-14/test/lizhao/
19/01/1414:11:55INFO client.RMProxy:ConnectingdidResourceManageratIC-1/192.168.11.180:8032
19/01/1414:11:56INFOclient.RMProxy:ConnectingtoResourceManageratIC-1/192.168.11.180:8032
19/01/1414:11:56INFOclient.RMProxy:ConnectingtoResourceManageratIC-1/192.168.11.180:8032
19/01/1414:11:56INFOnumberofsplits:1
19/01/1414:11:57INFOSubmittingtokensforjob:job_1533867597475_0001
19/01/1414:11:58INFOimpl.YarnClientImpl:Submittedapplicationapplication_1533867597475_0001
19/01/1414:11:58INFOTheurltotrackthejob:-1:8088/proxy/application_1533867597475_0001/
19/01/1414:11:58INFORunningjob:job_1533867597475_0001
19/01/1414:12:07INFOJobjob_1533867597475_0001runninginubermode:true
19/01/1414:12:07INFOmap0%reduce0%
19/01/1414:12:13INFOmap100%reduce0%
19/01/1414:12:24INFOmap100%reduce100%
19/01/1414:12:24INFOJobjob_1533867597475_0001completedsuccessfully
19/01/1414:12:24INFOCounters:49
*****
tMap-ReduceFramework
ttMapinputrecords15
ttMapoutputrecords15
ttMapoutputbytes1205
ttMapoutputmaterializedbytes1241
ttInputsplitbytes116
ttCombineinputrecords0
ttCombineoutputrecords0
ttReduceinputgroups15
ttReduceshufflebytes1241
ttReduceinputrecords15
ttReduceoutputrecords0
ttSpilledRecords30
ttShuffledMaps1
ttFailedShuffles0
ttMergedMapoutputs1
ttGCtime elapsed(ms)137
ttCPUtime spent(ms)6370
ttPhysicalmemory(bytes)snapshot457756672
ttVirtualmemory(bytes)snapshot3200942080
ttTotalcommittedheapusage(bytes)398458880
tShuffleErrors
ttBAD_ID0
ttCONNECTION0
ttIO_ERROR0
ttWRONG_LENGTH0
ttWRONG_MAP0
ttWRONG_REDUCE0
tFileInput FormatCounters
ttBytesRead995
tFileOutput FormatCounters
ttBytesWritten0
3、查看压缩后的文件：
gtgtgthadoopfs-ls-01.har
drwxr-xr-x-rootsupergroup02019-01-1414:06-01.har/2019-01-13
drwxr-xr-x-rootsupergroup02019-01-1414:06-01.har/2019-01-14
gtgtgthadoopfs-ls-01.har/2019-01-13
-rw-r--r--2rootsupergroup222019-01-1414:05-01.har/2019-01-13/21.txt
-rw-r--r--2rootsupergroup222019-01-1414:05-01.har/2019-01-13/31.txt
-rw-r--r--2rootsupergroup222019-01-1414:06-01.har/2019-01-13/5b.txt
-rw-r--r--2rootsupergroup222019-01-1414:06-01.har/2019-01-13/6b.txt
4、下载har中的文件
hadoopfs-get
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
