2016 - 2024

感恩一路有你

mysql可视化工具哪个好 mysql表数据量太大,达到了1亿多条数据,除了分库分表之外,还有没有其他的解决方式?

浏览量:2909 时间:2021-03-13 07:05:16 作者:admin

mysql表数据量太大,达到了1亿多条数据,除了分库分表之外,还有没有其他的解决方式?

在正常配置下,MySQL只能承载2000万数据(同时读写,表中有大文本字段,单服务器)。现在已经超过1亿,而且还在增加,建议按以下方式处理:

1子表。它可以按时间或一定的规则进行拆分,以便尽可能地查询子表中的数据库。这是最有效的方法。特别是写,放入一个新表,并定期同步。如果记录不断更新,最好将写入的数据放在redis中,并定期同步表3的大文本字段,将它们分隔成一个新的独立表。对于较大的文本字段,可以使用NoSQL数据库

4优化体系结构,或者优化SQL查询,避免联合表查询,尽量不要使用count(*)、in、recursion等性能消耗语句

5使用内存缓存,或者在前端读取时增加缓存数据库。重复读取时,直接从缓存中读取。

以上是一种低成本的管理方法,基本上几个服务器就可以做到,但是管理起来有点麻烦。

当然,如果总的数据量特别大,并且您不关心成本,那么有四个主要缺点:1。无法存储数据结构

2。即使只操作一列,也需要将整行读入内存。表结构扩展不方便,模式固定

4。全文检索功能支持较弱

针对以上四个缺点,提供不同的数据库来解决问题。

1. K-V存储不能存储数据结构

以redis为例,值可以是数据结构,如字符串、哈希、列表、集合、sortedset、位图等。列存储可以解决在操作HBase

3表示的列

时,将整行读入内存导致的高IO问题。文档存储可以解决mongodb

4表示的表结构扩展不方便的问题。全文搜索引擎解决了全文搜索功能的问题

以elasticsearch为例

以上解决方案虽然解决了关系数据库的不足,但不能很好的支持acid功能。在某些场景下,关系数据库是一个很好的选择,因此这些数据库只是关系数据库的一个很好的补充,不能替代关系数据库。

现在newsql也是大数据时代的一个发展趋势,即可以支持事务,具有良好的可扩展性来支持大数据。以oceanbase、tidb和扳手/F1为例。

国庆节当天,中国蚂蚁金融自主研发的金融级分布式关系数据库oceanbase在被称为“数据库世界杯”的TPC-C基准测试中,打破了美国甲骨文公司9年来的世界纪录,成为第一个登上榜首的中文数据库产品。

mysql可视化工具哪个好 mysql删除记录语句 mysql关系表

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。