MySQL 数据量太大的解决方案

末蓝、 2024-04-01 13:28 32阅读 0赞

### 面对问题 ###

插入查询慢、且需要时效性比较强的情况

### 原因 ###

MYSQL 容量上千万条以上就会很慢。

### 解决方法 ###

**分区**

对应用透明，相对操作比较简单。

对主键有要求：所有主键里必须包含分区主键，如果又想用id查，又想用年份查就比较难。查询会受一些影响：批量查时快不了多少，插入可以提速。

**分库**

比如不同年份可以放在不同主机上，以加快速度。

**分表**

一般都使用分表策略。

需要看按什么分，比如按用户id分，或者按年份分表。

按时间分：热表 (当前一年数据)、冷表 (往年数据)，最后一个年份的冷表可能看需要看是否保存最新数据。需要确定冷热表是否重叠，如果重叠。

如按年份分表，注意按业务时间而不是编辑时间 (这个时间可能变化)

### 迁移场景 ###

需要定义迁移规则：比如每个月迁一次 (新表、本年表、前一年表)，对时间字段建索引。

历史数据迁移：如果表巨大，则不使用查询，从第一条开始向其它表里分流；选改表，再改其上应用。

新表间迁移：假设每月迁一次，每月把这个月数据从热表里迁出来 (同样是分流)；也可以双写，即每次写入冷表和热表，定期删热表最后的数据。

补采数据：在修修补补的情况下 (补采数据)，又写可能更合适。

数据表结构修改：不分表时操作一次，分表后需要同一操作，执行多次。

*  注意一：单批次迁移每次1000-10000条，不要太大。
 *  注意二：在复杂的场景下，双写最好。

### 注意事项 ###

**索引**

对于在巨大表中可能查询的数据一定要建索引

**表碎片清理**

热表不断地写入删除，需要定期清理，方法如下：

$ alter table 表名 engine=innodb;

原文链接：[https://blog.csdn.net/xieyan0811/article/details/122400271][https_blog.csdn.net_xieyan0811_article_details_122400271]

[https_blog.csdn.net_xieyan0811_article_details_122400271]: https://blog.csdn.net/xieyan0811/article/details/122400271

发表评论取消回复

表情：

评论列表（有 0 条评论，32人围观）

还没有评论，来说两句吧...

相关阅读

相关微信小程序setData数据太大解决方案

1、先码为敬数据结构 speAllArr: [ { id: '86', classifyIIShowFlag:...

冷不防/ 2024年04月17日 19:40/ 0 赞/ 8 阅读

相关 MySQL 数据量太大的解决方案

面对问题插入查询慢、且需要时效性比较强的情况原因 MYSQL 容量上千万条以上就会很慢。解决方法分区对应用透明，相对操作比较简单。对主键有

末蓝、/ 2024年04月01日 13:28/ 0 赞/ 33 阅读

相关 mybatis-plus 处理大数据量太慢的解决

mybatis-plus 处理大数据量太慢的解决方法大批量数据插入方法是Mybatis的foreach拼接SQL 大批量数据插入方法是Mybatis的f

缺乏、安全感/ 2022年12月27日 08:37/ 0 赞/ 121 阅读

相关数据库 wifi探针数据量太大了

[https://www.cnblogs.com/showcase/p/11654045.html][https_www.cnblogs.com_showcase_p_1165

浅浅的花香味﹌/ 2022年12月25日 03:54/ 0 赞/ 125 阅读

相关 Mybatis 大数据量的批量insert解决方案

前言通过Mybatis做7000+数据量的批量插入的时候报错了，error log如下： , ('G61010352', '610103

谁借莪１个温暖的怀抱￠/ 2022年08月18日 05:56/ 0 赞/ 181 阅读

相关 java分批量插入数据（数据量太大）

1、需求：数据量过大，并且要经常进行插入操作：分批插入，每次插入600条数据！ public void insertList(

小灰灰/ 2022年05月28日 01:53/ 0 赞/ 359 阅读

相关 get传输数据量太大

由于参数中是base64编码后的图片数据，图片比较大，导致get请求失败，提示数据太大。 get最大是256b，post是2M。解决方式：使用伪post方式：

秒速五厘米/ 2022年05月18日 06:46/ 0 赞/ 211 阅读

相关数据量太大，内存不够怎么办？

最近遇到这个问题，上网查+问同学，基本解决方法：keras，Pipeline,TFrecord，批次读取训练先看第一个，keras，可能需要改网络什么的，不太想改（先挖个坑

谁践踏了优雅/ 2021年12月21日 14:21/ 0 赞/ 246 阅读

相关 Navicat导出excel数据量过大解决方案

Excel一张Sheet最多只能达到1048575行，在网上查询了一大堆都没能找到解决方法，其实解决这个问题很简单，换个导出格式导出即可（txt、csv）注1：txt、cs

灰太狼/ 2021年09月28日 13:12/ 0 赞/ 1189 阅读

相关 Mybatis 大数据量的批量insert解决方案

通过Mybatis做7000+数据量的批量插入的时候报错了，error log如下： current_timestamp, current_timestamp

朱雀/ 2021年06月24日 14:36/ 0 赞/ 382 阅读