2016 - 2024

感恩一路有你

mysql分表后怎么查询 mysql分库分表后,跨库跨表搜索如何排序?

浏览量:3193 时间:2023-03-22 10:19:24 作者:采采

mysql分库分表后,跨库跨表搜索如何排序?

mysql分为数据库和表后,跨数据库和跨表搜索如何排序?在单个表中处理大量数据是一种非常常见的。比如我们的订单表,一般情况下,我们会按照一个月、三个月、六个月以上的维度来划分运单表,自然也会按照时间来横向划分订单表。

在这种情况下,子仓库和子表非常容易处理,因为我们可以根据时间轴强制将订单存储在不同的仓库中。但是,有可能我们的电商系统用户量大,订单量大。一天有几十万单。可能短短半个月,我们的订单量就上千万了。加上订单的商品数据表,如果没有表,订单表可能会拖累系统。

那么我们必须面对的是,一个月内的数据要按照一定的规则划分到不同的数据库和表格中。我们可以把订单表分成两部分,OrderDB1和OrderDB2,根据我们的订单号来区分。如果订单号是单数,我们就放在OrderDB1,如果订单号是偶数,我们就放在OrderDB2。这样订单表的数据均匀分布到两个数据库的表中,减少了单个表的压力。

在此之后,我们的订单表将很难按页面排序。两个数据库中的数据如何跨数据库按页排序?

一般我们有三种方法,即全局视觉模式、容许精度损失模式和二次搜索模式。

让 让我们先谈谈全局视图模式。通常我们要在第三页找到100个订单的数据,我们会写一个SQL。

select * from t order by time offset 200 limit 100。但是这100条数据分库后可能会有很多办法。

它可能是均匀分布的(在极端情况下)

也有可能都来自一个库(极端情况下)。

它也可能是分散的(通常)

因为按照我们的Order By条件有很多可能,所以我们很难知道第三页的数据是从哪个库的哪里开始取的。如果我们需要准确地获得数据,那么我们必须恢复单个库的全局视野。

如何恢复全球视野?

让 让我们以第三页上我们要查询的数据为例。我们失去全球视野的原因是我们可以 我们不可能一下子得到所有的数据结果,所以恢复我们全球视野的方法就是让我们得到所有的数据结果。所以我们可以在两个库中查询第一页到第三页的所有数据,然后在内存中合并排序,然后从第三页就可以得到正确的数据。

自然地,我们的sql也发生了变化,从

通过时间偏移200 li从T订单中选择*麻省理工100改成了

select * from t order by time offset 0 limit 100 200使用全局视图模式的好处很明显,就是数据绝对准确。但是,缺点也很明显。当查询数据较大时,内存消耗会增加,当页数增加时,查询效率会迅速下降。当我们有N个数据库时,我们需要查询从X到X Y的数据,那么我们需要在内存中组合N*(X Y)条数据,并对它们进行排序。

既然全局查询方法有缺点,我们会解决这个缺点,但是肯定会有一些其他的牺牲。

允许精度损失的方法其实很好理解,就是I don 我不关心数据在两个数据库中是如何分布的。我只是从两个数据库中平均整理出50条数据,然后组合成100条进行展示。

当然,这种方法的准确性会根据你的排序条件和数据存储而有所不同。假设我们的数据是按时间顺序存储的,我们的排序也是基于时间的,那么我们得到的结果会更准确。

然而,如果我们的数据被随机插入多个数据库 s,我们要按时间排序和搜索,或者我们的数据是按时间顺序插入DB的,但是当我们需要按其他条件搜索时,数据的准确性就会很差。这取决于我们的业务需求是什么。

然而,用这种方法搜索,我们不 不必考虑性能问题,并且查询的复杂性非常低。只要我们的业务没有太多的要求,那么使用这种方法是最推荐的。

当然,如果你的业务不允许这种情况发生,你还需要满足交互、效率等各种需求,那么我们也可以使用下面的方法。

第二种查询模式可以说是解决子库查询的终极武器,可以保证数据的准确性、查询的效率和用户的交互页面,代价只是很小的性能开销和一定的代码难度。

其实方法并不难。假设我们想查询第21页的数据,每页5篇文章。在这个时候,让 假设数据是均匀分布的,但是我们查询每个库中的全部5条数据。那就是:

select * from T order by time offset 100限制5

这个时候我们得到的数据可能是这样的。

两个db中,时间最短的是1487500001【minTime】,记录了这个时间。还记录了两个db中的最大时间,即db1: 1487500041 [maxtime1]和DB2: 1487500061 [maxtime2]。

这时候我们在使用时间内再去两个数据库查询。

挑选* from t where time between minTime and maxtime 1 order by time select * from t where time between minTime and maxtime 2 order by time由于之前minTime来自DB1,所以DB1的数据不会改变,但是DB2中的条件放宽了,所以可能会查询到更多的数据。结果可能如下:

两个结果合并后,相当于得到了一个全局视图,很容易就能找出这个页面需要的五条数据。

当然我们也可以使用elasticsearch来完成子数据库的排序搜索,因为elasticsearch引入了缓存机制,可以让查询更快。

mysql数据库分库分表后要是有跨表的查询怎么处理,分页的时候怎么处理?

可以先统计子表,再根据页数获取数据,或者使用中间件获取数据。mysql数据库分表后,如何处理跨表查询,分页时如何处理。

数据 数据库 订单 方法 时间

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。