如何保证系统的可用性和连续性 大数据测试需要掌握哪些知识?
大数据测试需要掌握哪些知识?
1.什么是大数据?
大数据是一个庞大的数据集,传统计算技术无法处理。这些数据集的测试需要使用各种工具、技术和框架来处理。大数据涉及数据创建、存储、检索和分析,在数量、多样性和速度方面都很出色。它是一种海量、高增长、多元化的信息资产,需要新的处理模式来拥有更强的决策力、洞察和发现能力以及流程优化能力。
2.大数据测试类型
测试大数据应用更多的是验证其数据处理,而不是测试软件产品的单个功能。说到大数据测试,性能和功能测试是关键。处理有三种类型:
一批
实时
交互在测试一个应用之前,需要检查数据的质量,并将其作为数据库测试的一部分。它涉及检查各种字段,如一致性、准确性、重复性、一致性、有效性、数据完整性等等。
3.容错测试
它可以从部分故障中自动恢复,整体性能不会受到验证的影响。特别是当出现故障时,大数据分析系统在恢复的同时要继续以可接受的运行,在出现错误时也能在一定程度上继续运行。需要根据应用场景设计解决方案和具体部署,然后手动测试。
4.可用性测试
高可用性是大数据分析不可或缺的特性之一,从而保证了数据应用业务的连续性。大数据的高可用性对于很多应用来说非常关键,需要严格的测试和验证,主要是人工测试。
5.延展性测试
弹性可扩展性对于大数据时代的文件系统尤为重要。文件系统的可伸缩性测试主要包括测试系统的弹性可伸缩性(扩展/收缩)和扩展系统带来的性能影响,验证是否具有线性可伸缩性,主要通过手工测试。
6.稳定性试验
大数据分析系统通常是长时间连续运行的,稳定性的重要性不言而喻。稳定性测试主要验证系统在长时间(7/30/180/365*24)后是否还能正常运行,功能是否正常。稳定性测试通常以自动化的进行,LTP、10ZON
SQLServer主从数据同步,如何解决延时?
SQL Server中的高可用性功能在工作中使用SQL Server的高可用性功能的场景是数据库主从复制。有三种功能可以使用:复制、镜像和日志传输。复制(发布-订阅模式):
严格来说,复制不是为高可用性而设计的功能,但它可以应用于高可用性。复制在数据库对象级别提供保护。复制使用发布-订阅模式,即主服务器(称为发布服务器)将数据发布到一个或多个辅助服务器或订阅服务器。这些服务中提供复制功能。服务器提供实时可用性和可伸缩性。它支持为订阅者提供数据子集的筛选,还支持分区更新。订阅者是联机的,可以用于报表或其他功能,而无需查询恢复。
SQL Server提供四种类型的复制:快照复制、事务复制、对等复制和合并复制。
我们一般选择快照复制或者事务复制。两者的概念介绍如下:
快照复制
1.概念快照复制是完全根据数据和数据库对象出现时的状态来复制和分发数据和数据库对象的过程。快照复制不需要持续监视数据更改,因为发布的数据更改不会以增量传播到订阅服务器,而是定期复制一次。
2.适用性数据主要是静态的,比如将一个数据仓库复制到一个数据集市中,这允许在一段时间内使用过时的数据副本。小批量数据站点通常是断开的,可以接受高延迟。
事务复制
1.该概念使用事务复制,初始快照数据将传播到订阅服务器,因此订阅服务器有所谓的初始加载,即可以启动的内容。当发布服务器上发生数据修改时,这些单独的事务将被及时捕获并复制到订阅服务器。并保持交易边界。当所有更改都传播后,所有订阅服务器都将具有与传播服务器相同的值。
2.在适用的情况下,数据修改通常会在发生后的几秒钟内传播到订阅服务器,其事务是原子事务的订阅服务器需要创建一个发布-订阅数据库服务器,该服务器的名称不能是IP,而只能是特定的服务器名称,例如:
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。