2016 - 2024

感恩一路有你

hadoop调优 hadoop和python能搭配在一起做一个项目么?

浏览量:2440 时间:2021-03-16 11:53:56 作者:admin

hadoop和python能搭配在一起做一个项目么?

Hadoop的HDFS用于存储,数据处理可以用python的Hadoop框架来完成,如mrjob、pydoop、Luigi等(还有Dumbo、Hadoop等框架,推荐两本书:《MapReduce设计模式》和《hive编程指南》。第一本书教你如何用MapReduce处理数据。第二本书是关于蜂巢的简单应用。在公司里,基本上可以用hive编写SQL,但有时还需要知道如何将底层翻译成Mr,否则可能会出现奇怪的问题。

多练习,多阅读,多思考,实践出真知。

hadoop调优 hadoop源码下载 hadoop黑马程序

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。