mysql水平分表后查询 mysql表数据量太大，达到了1亿多条数据，除了分库分表之外，还有没有其他的解决方式？

mysql表数据量太大，达到了1亿多条数据，除了分库分表之外，还有没有其他的解决方式？

mysql在常规配置下，一般只能承受2000万的数据量(同时读写，且表中有大文本字段，单台服务器)。现在超过1亿，并不断增加的情况下，建议如下处理：

1 分表。可以按时间，或按一定的规则拆分，做到查询某一条数据库，尽量在一个子表中即可。这是最有效的方法

2 读写分离。尤其是写入，放在新表中，定期进行同步。如果其中记录不断有update，最好将写的数据放在 redis中，定期同步

3 表的大文本字段分离出来，成为独立的新表。大文本字段，可以使用NOSQL数据库

4 优化架构，或优化SQL查询，避免联表查询，尽量不要用count(*)， in，递归等消耗性能的语句

5 用内存缓存，或在前端读的时候，增加缓存数据库。重复读取时，直接从缓存中读取。

上面是低成本的管理方法，基本几台服务器即可搞定，但是管理起来麻烦一些。

当然，如果整体数据量特别大的话，也不在乎投入费用的话，用集群吧，用TIDB吧

MySQL分库分表之后，id主键如何处理？

我从分库分表存在的问题和怎么做来回答一下这个问题。。

一，分库分表的ID主键不能依赖于数据库的自增，因为多库中会重复！

通常使用外接的数据组件获取全局唯一的ID：比如加强型UUID（根据Ip，时间戳等得到）和使用Redis(RedisAtomicLong)和zookeeper的API获取，Twitter的雪花算法等等！

二，分库分表之后的连接查询比较困难！

问题没法避免，通常拆分SQL，使用多次查询，用查到的结果再分别查别的结果！

三，分布式事务的数据一致性很难保证！

可以使用TCC编程模型保证两处的事务都能正确提交，但是这种方式对代码的侵入比较重！也可以使用基于消息的数据一致性保证！

四，多数据的排序，分组，统计会比较困难！

1，用多线程，对多个节点分别查询，然后汇总！

2，也可以提前冗余查询表，将所有的经常查询的重点数据提前统一到个库表里！

分库分表涉及到的知识点比较多，建议使用专门的分库分表组件！本人有mycat使用经验，如果您有相关问题，欢迎前来探讨！

mysql水平分表后查询 分库分表数据迁移 mysql怎么建立表

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。