hadoop分布式文件系统的特性 下面哪个程序负责hdfs数据存储？
下面哪个程序负责hdfs数据存储？
负责“HDFS”和“数据存储”的程序是HDFS。Hadoop分布式文件系统（HDFS）是一种适合在普通硬件上运行的分布式文件系统。它与现有的分布式文件系统有很多共同点。但同时，它又不同于其他分布式文件系统。HDFS是一个高度容错的系统，适合部署在廉价机器上。在HDFS上运行的程序有很多数据集。典型的HDFS文件大小是GB到TB。因此，HDFS被调整为支持大文件。它还应该以高带宽支持集群中的数亿个节点。大多数HDFS程序需要写一次，读很多次。一旦创建、写入和关闭了文件，就不需要对其进行修改。这种假设简化了数据一致性问题，使高吞吐量数据访问成为可能。一个map-reduce程序或一个web爬虫程序可以很好地适应这个模型。
HDFS能够存储哪几种文件格式？
看你保存什么视频，超过100兆的大文件可以考虑HDFS。对于大量100KB或几MB的小文件，例如，如果您保存原始HLS格式，元数据压力太大，HDFS不适合，TFs不支持指定文件名（保存时它会为您分配一个），您可能需要自己维护文件命名空间。另一个选项是一致散列、CEPH或swift。CEPH是用C语言开发的，很难维护。Swift是用Python编写的，openstack的Python代码也非常风骚。一般来说，小文件的开源解决方案对于基于TFs的二次开发是比较可靠的。此外，如果要构建流媒体服务，还需要考虑流媒体服务器和存储之间的连接。当然，HLS是最方便的。对于MP4，一些服务器软件或nginx插件只支持访问本地文件。是否可以优雅地装载到本地文件系统也是一个考虑因素。
hadoop分布式文件系统的特性 hadoophdfs存储方案 hdfs和hadoop的关系
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
