2016 - 2024

感恩一路有你

分布式存储应用场景 当前主流分布式文件系统有哪一些?

浏览量:2951 时间:2021-03-12 03:09:22 作者:admin

当前主流分布式文件系统有哪一些?

目前,除了GPFS,还有PVFS、lustre、panfs、googlefs等等。

1. PVFS(parallel virtual file system)项目是克莱姆森大学创建的一个开源项目,用于运行Linux集群1)单个管理节点:只有一个管理节点来管理元数据。当集群系统达到一定规模时,管理节点可能过于繁忙,成为系统的瓶颈。2) 数据存储缺乏容错机制:当I/O节点发生故障时,数据将不可用3)静态配置:PVFS只能在启动前配置。一旦系统运行,就不能更改原始配置。

2. Lustre文件系统是一个基于对象存储的分布式文件系统。该项目于1999年在卡内基梅隆大学启动。Lustre也是一个开源项目。它只有两个元数据管理节点,类似于PVFS。当系统达到一定规模时,管理节点将成为lustre系统的瓶颈。

3. Panfs(Panasas文件系统)是Panasas公司用来管理自己的集群存储系统的分布式文件系统。

4. googlefs(Google文件系统)是Google公司为满足公司内部数据处理需要而设计的一套分布式文件系统。

5. 与其他文件系统相比,GPFS的主要优点是:1)采用分布式锁管理和大数据块策略,支持更大规模的集群系统。文件系统的令牌管理器为块、inode、属性和目录项建立细粒度锁。获得锁的第一个客户端将负责维护相应共享对象的一致性管理,这减轻了元数据服务器的负担2)随着多个元数据服务器和分布式元数据的出现,元数据管理不再是系统的瓶颈。3) 令牌管理以字节为最小锁单位,即除非两个请求访问同一个文件中的同一字节数据,否则数据访问请求永远不会冲突

分布式文件系统、集群文件系统、并行文件系统,这三个概念很容易混淆,在实践中,我们经常不加区别地使用它们。总有人问这三者之间的区别和联系。事实上,两者在概念上有一定的重叠,但也存在着显著的差异。

分布式存储应用场景 分布式文件系统有哪些 什么是分布式

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。