hbase存储海量小文件 大量小文件存储，如何选择存储方案？

大量小文件存储，如何选择存储方案？

关键是如何使用这些文件。

像网站一样，上传后不需要原始文件名，后台会自动重命名。读取时，文件链接是显式指定的，没有遍历操作。一次读取整个文件场景。您可以使用一个文件系统来散列文件名，并根据算法的结果确定存储位置。读取时，散列文件名以确定从何处读取。它避免了在普通文件系统中查找文件分配表的低效操作。使用对象存储也是一种很好的方法，相当于存储在数据库中。我们可以通过对数据库的内存缓存和索引优化来提高读取速度。

如果要使用传统的POSIX标准文件系统随机读取文件数据，则需要保留原始文件名、目录和遍历功能。可以将文件系统与元数据服务一起使用。此元数据服务相当于数据库形式的文件分配表，它存储每个文件的存储位置。在读取文件时，首先查询元数据服务器以找出从何处获取文件，然后从相应的位置获取文件。

hbase存储海量小文件 ps保存什么格式内存最小 小文件存储系统

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。