2016 - 2024

感恩一路有你

两个数据库数据实时同步 写入mysql数据库的数据量很大,数据库架构该怎么去设计?

浏览量:1311 时间:2021-03-14 16:35:10 作者:admin

写入mysql数据库的数据量很大,数据库架构该怎么去设计?

对于这种大数据系统,业界有很多成熟的解决方案

最简单的解决方案就是将读写操作分开。写操作只写在主数据库中,配置自动同步到从数据库。将部分读操作改为从操作,以减轻主数据库的压力。

您还可以向应用程序添加redis缓存。查询时,可以先读取缓存,如果无法读取,则可以读取数据库。

如果是这种情况,压力仍然过高,所以我们应该考虑子表。

有许多方法可以将热数据分离到表中,将非热数据分离到表中。或者根据用户ID的结束号进行散列,并在不同的表中分布不同的表。

如果读写要求超过了单机的支持能力,则需要考虑集群。你可以用MYCAT搜索如何建立数据库集群

以MySQL为列:

1:支持高并发系统肯定会涉及事务,所以数据库引擎必须选择InnoDB。InnoDB支持事务,事务级别取决于业务。如果业务数据一致性要求很高,事务级别就很高,打开序列化级别,这样事务就被完全隔离,但是锁资源的竞争就加剧了。MySQL的性能在一定程度上降低了。

2:数据库分为主数据库和从数据库。主数据库负责写入数据,集群数据库负责读取数据。注意主从数据库的数据一致性。

3:冷热数据分离,美团、饥饿部分设计采用冷热数据分离。以订单为例,出库单的主要业务场景是查询。数据查询越向前,概率越低。这是冷数据。正在交易的订单是热点数据,需要随时查询和更新。冷数据可以放入redis缓存。这将提高查询效率。

4:数据表设计,充分利用索引查询。businesssql避免返回无用的行和列,禁止使用select*query,在查询时增加限制,并尽可能返回满足要求的行。对于复杂的SQL,请考虑拆分SQL。拆分SQL有一个优点。对于重复查询SQL,将第二次查询放入MySQL缓冲区,避免重复磁盘操作,提高访问性能。

5:子数据库和子表。例如,业务数据按月份分类。在一定程度上,增加、删除、修改和检查的压力将得到缓解。

希望对您有所帮助。谢谢您。

两个数据库数据实时同步 分布式数据库 mysql集群搭建

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。