2016 - 2024

感恩一路有你

数据存储 下面哪个程序负责hdfs数据存储?

浏览量:1907 时间:2021-03-15 04:20:29 作者:admin

下面哪个程序负责hdfs数据存储?

负责“HDFS”和“数据存储”的程序是HDFS。Hadoop分布式文件系统(HDFS)是一种适合在普通硬件上运行的分布式文件系统。它与现有的分布式文件系统有很多共同点。但同时,它又不同于其他分布式文件系统。HDFS是一个高度容错的系统,适合部署在廉价机器上。在HDFS上运行的程序有很多数据集。典型的HDFS文件大小是GB到TB。因此,HDFS被调整为支持大文件。它应该提供高聚合数据带宽。一个集群应该支持数百个节点,一个集群还应该支持数千万个文件。大多数HDFS程序需要写一次,读很多次。一旦创建、写入和关闭了文件,就不需要对其进行修改。这种假设简化了数据一致性问题,使高吞吐量数据访问成为可能。一个map-reduce程序或一个web爬虫程序可以很好地适应这个模型。

Hadoop的HDFS是不是云存储?

HDFS是Hadoop分布式文件系统的缩写,也是Hadoop的分布式文件系统。它适用于存储大文件,一次写入,多次读取。而且每个作业都要读取大部分的数据,它可以建立在普通的商业集群上。HDFS有一个良好的容错机制,尽管它会经常停机。Hadoop中的存储文件以HDFS的形式存储。HDFS有自己的设计原则。文件大小以块的形式存储,每个块分配给三个数据节点(取决于集群)。通过复制机制提高了系统的可靠性和吞吐量。hadoop1.0使用一个主节点(namenode)来协调存储元数据。最有趣的是,Hadoop设计者没有设置客户端缓存机制,这可能是因为对处理数据有足够的信心

数据存储 hdfs和hadoop的关系 hdfs数据存储是哪个程序负责

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。