分布式存储应用场景 当前主流分布式文件系统有哪一些?
当前主流分布式文件系统有哪一些?
目前,除了GPFS,还有PVFS、lustre、panfs、googlefs等等。
1. PVFS(parallel virtual file system)项目是克莱姆森大学创建的一个开源项目,用于运行Linux集群1)单个管理节点:只有一个管理节点来管理元数据。当集群系统达到一定规模时,管理节点可能过于繁忙,成为系统的瓶颈。2) 数据存储缺乏容错机制:当I/O节点发生故障时,数据将不可用3)静态配置:PVFS只能在启动前配置。一旦系统运行,就不能更改原始配置。
2. Lustre文件系统是一个基于对象存储的分布式文件系统。该项目于1999年在卡内基梅隆大学启动。Lustre也是一个开源项目。它只有两个元数据管理节点,类似于PVFS。当系统达到一定规模时,管理节点将成为lustre系统的瓶颈。
3. Panfs(Panasas文件系统)是Panasas公司用来管理自己的集群存储系统的分布式文件系统。
4. googlefs(Google文件系统)是Google公司为满足公司内部数据处理需要而设计的一套分布式文件系统。
5. 与其他文件系统相比,GPFS的主要优点是:1)采用分布式锁管理和大数据块策略,支持更大规模的集群系统。文件系统的令牌管理器为块、inode、属性和目录项建立细粒度锁。获得锁的第一个客户端将负责维护相应共享对象的一致性管理,这减轻了元数据服务器的负担2)随着多个元数据服务器和分布式元数据的出现,元数据管理不再是系统的瓶颈。3) 令牌管理以字节为最小锁单位,即除非两个请求访问同一个文件中的同一字节数据,否则数据访问请求永远不会冲突
分布式文件系统、集群文件系统、并行文件系统,这三个概念很容易混淆,在实践中,我们经常不加区别地使用它们。总有人问这三者之间的区别和联系。事实上,两者在概念上有一定的重叠,但也存在着显著的差异。
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。