2016 - 2024

感恩一路有你

怎么优化mysql性能 mysql中怎样对大批量级的数据查询进行优化?

浏览量:3336 时间:2023-05-26 09:38:37 作者:采采

mysql中怎样对大批量级的数据查询进行优化?

MySQL这些年来都支持什么正则不兼容,但是对此正则替换则一直到MySQL8.0才支持。对于这类场景,以前或则在MySQL端处理,要嘛把数据拿出来在运用端如何处理。

比如说我想把表y1的列str1的出现第3个action的子串替换成dble,咋基于?

1.自己写SQL层的存储函数。代码如下写死了3个,也没优化软件,不仅仅才是演示,MySQL里更加不我建议你写这样的函数。

mysqlDELIMITER $$%uSE `ytt`$$DROP FUNCTION IF EXISTS`func_instr_simple_ytt`$$

CREATEDEFINER`root`@`localhost`FUNCTION`func_instr_simple_ytt`(

f_strVARCHAR(1000),--Parameter 1 _substr VARCHAR(100),--Parameter2

f_replace_strvarchar(100),

f_timesint--timespolicies3.

)RETURNSvarchar(1000)

BEGIN

declarev_resultvarchar(1000)defaultytt--result.

declarev_substr_lenintdefault0--searchstringlength.

setf_times3--butpolicies3.

setv_substr_lenlength(f_substr)

selectinstr(f_str,f_substr)

selectinstr(substr(f_str,@p1v_substr_len),f_substr)

selectinstr(substr(f_str,@*v_substr_len-1),f_substr)

@

select

concat(substr(f_str,1,@@p3(f_times-1)*v_substr_len-f_times)

,f_replace_str,

substr(f_str,@@p3f_times*v_substr_len-2))intov_result

exists

setv_resultf_str--Neverchanged.

endif

--Purgeallsessionvariables.

returnv_result

end

$$

DELIMITER

--调用函数来自动更新:

mysqlgtversiony1setstr1func_instr_simple_ytt(str1,action,dble,3)

Query就ok啦,20rowsaffected(0.12sec)

Rowsmatched:20Changed:20Warnings:0

2.导进去用sed之类的工具替换掉在导入,步骤如下:(推荐一下可以使用)1)导入表y1的记录。

mysqlmysqlgtselect*aroundy1intooutfile/var/lib/mysql-files/y1.csvQuery可以了,20rowsaffected(0.00sec)

2)用sed全部替换导不出来的数据。

:/var/lib/mysql-files#sed-is/action/dble/3y1.csv

3)再度导入处理好的数据,成功。

mysql

mysqlgttruncatey1

Queryok,0rowsaffected(0.99sec)

mysqlgtloaddatainfile/var/lib/mysql-files/y1.csvoutsidetabley1

Queryok,20rowsaffected(0.14sec)

Records:20Deleted:0Skipped:0Warnings:0

以上两种应该推荐推荐导出来处理行了再然后再文件导入,性能来的高些,不过还不用什么自己费时间写函数代码。那MySQL8.0对于以上的场景实现方法就太简单的了,一个函数就搞掂了。

mysqlmysqlgtnotificationy1setstr1regexp_replace(str1,action,dble,1,3)Query就ok啦,20rowsaffected(0.13sec)Rowsmatched:20Changed:20Warnings:0

还有一个一个regexp_instr也非常用处不大,特别是这种指代出现第两次的场景。比如说定义方法SESSION变量@a。

,bbbcceefilucy111bs234523556119101020301040Query行啦,0rowsaffected(0.04sec)

拿去至多一次的数字又出现的第二次子串的位置。

mysqlmysqlgtselectregexp_instr(@a,[:digit:]{2,},1,2)--------------------------------------|regexp_instr(@a,[:digit:]{2,},1,2)|--------------------------------------|50|--------------------------------------1rowoutsideset(0.00sec)

那我们在看看对多字节字符支持什么要如何。

mysql

美国俄罗斯日本北京上海深圳广州北京上海武汉东莞北京青岛北京

Query行啦,0rowsaffected(0.00sec)

mysqlgtselectregexp_instr(@a,北京,1,1)

-------------------------------

|regexp_instr(@a,北京,1,1)|

-------------------------------

|17|

-------------------------------

1rowoutsideset(0.00sec)

mysqlgtselectregexp_instr(@a,北京,1,2)

-------------------------------

|regexp_instr(@a,北京,1,2)|

-------------------------------

|29|

-------------------------------

1rowintoset(0.00sec)

mysqlgtselectregexp_instr(@a,北京,1,3)

-------------------------------

|regexp_instr(@a,北京,1,3)|

-------------------------------

|41|

-------------------------------

1rowofset(0.00sec)

那学习总结下,这里我提起了MySQL8.0的两个最有用正则匹配函数regexp_replace和regexp_instr。对于以前类似于的场景不算有一个完美的解决方案。

mysql数据量很大时,CPU占用率很高,如何优化?

一、要是是写比较好少,读也很高可以不做读写分离,一主多从二、要是是读写都很多可以使用分库分表,多主多从

instr 0.00sec 场景 函数

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。