大数据储存有哪些 传统大数据存储系统的三种架构？

传统大数据存储系统的三种架构？

一般分为存储层、基础管理层、应用接口层和接入层。存储层是云存储系统的基础，由存储设备组成(满足FC协议、iSCSI协议、NAS协议等。).基础管理层是云存储系统的核心，负责存储设备之间的协同工作、数据加密、分发和容灾备份。应用程序接口层是根据用户需求开发的系统的一部分。根据不同的业务类型，可以开发不同的应用服务接口。接入层是指通过应用程序接口授权用户登录并享受云服务。其主要优点是:硬件冗余、节能环保、海量并行扩展、强大的负载均衡功能、统一管理、统一服务交付、管理效率高。云存储系统从系统架构、文件结构、缓存等方面针对监控应用进行了优化。数据传输可以采用流式，底层采用突破传统文件系统限制的流媒体数据结构，大大提高了系统性能。

高清监控存储是一种大比特流、多并发写入的存储应用，对性能、并发和稳定性要求很高。存储解决方案采用独特的大缓存排序算法，将多路随机并发访问改为顺序访问，解决了频繁寻道带来的性能快速下降、硬盘寿命缩短等问题。

系统中会产生PB级的海量监控数据，存储设备的数量会达到几十个或者上百个，因此科学高效的管理模式非常重要。云存储可以提供一种基于集群管理技术的多设备集中管理工具，具有设备集中监控、集群管理、系统软硬件运行状态监控、主动报警、镜像系统检测等功能。在海量视频存储和检索的应用中，检索性能尤为重要。在传统的文件系统中，文件检索采用 "目录-子目录-文件-位置 "。在海量数据的高清视频监控中，目录和文件的数量相当可观，这种检索的效率会大打折扣。利用序列号文件定位可以有效解决这个问题。

云存储可以提供非常高的系统冗余和安全性。当在线存储系统出现故障时，热备用机器可以立即接管服务。当故障恢复后，服务和数据将被移回。如果需要调用故障机的数据，可以将故障机的磁盘插入冷备机，实现所有数据的即时可用。

对于高清监控系统，随着监控前端的增加和存储时间的延长，扩展性非常重要。市场上有朋友可以提供只针对容量的扩展柜扩展模式和性能容量同步线性扩展的堆栈扩展模式。

除了上述优势，云存储系统还将面临平台对接整合、业务流程梳理、视频数据和成本的智能分析和深度挖掘等挑战。构建大型系统和构建云存储的商业模式也需要创新。受限于宽带网络、web2.0技术、应用存储技术、文件系统、P2P、数据压缩。随着shrink、CDN技术、虚拟化技术的发展，未来云存储还有很长的路要走。

系统 存储 监控 数据

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。