小微数据量数据迁移方案

比眉伴天荒 2022-04-12 11:59 191阅读 0赞

#### 1. 将历史数据表和目标数据表转移到同一库 ####

如果历史数据库和目标数据库是同一数据库，如都是mysql，可以使用一些工具软件如sqlyog等进行转移，或者导入导出即可；  
如果历史数据库和目标数据库是不同的数据库，可以使用ETL工具[kettle][]进行转移，kettle作为ETL工具功能非常强大，复杂的数据迁移可以全部在kettle中进行，由于我对kettle不够熟悉，这里仅仅使用到了它跨数据库进行数据复制的功能，数据的整理工作都是通过sql脚本实现的。

#### 2. 清理多余字段（如全null字段，固定值字段） ####

ALTER TABLE Person
    DROP COLUMN Birthday

#### 3. 清理多余记录（如status=0） ####

#### 4. 备份目标表 ####

create table my_table_copy like my_table;
    insert into my_table_copy select * from my_table;

#### 5. 对应复制到目标表，顺便填写默认值 ####

truncate table target_table;
    INSERT INTO target_table (target_field)
    select history_field from history_table;

如果存在类似“类型”的键值的列，新的key值与之前不同，迁移的时候存在一个对应关系，如果这个类型只有几种，可以迁移过来后update即可，如果较多，可以建立一张临时的对应关系表，在select的时候进行转换即可。

#### 6. 做必要的进一步处理（如update某些特殊字段） ####

特殊字段如：

*  如前台有每页10条的新闻图片，目前仅准备了10张图片，需要给每条新闻设置一个缩略图，在前台看起来每页没有重复图片

set @rownum=-1;
    update news set thumb = CONCAT('/images/news_',(@rownum:=(@rownum+1)%10)+1,'.jpg');

这个迁移过程虽然简单，但实际操作也挺麻烦的，各种字段对应感觉非常乱套，本来想写篇博客梳理出一个清晰可操作性的步骤方案来，但是又好像没什么可总结的了，无非就是把数据复制过来整理整理而已，那就这样吧。

[kettle]: http://www.kettle.net.cn/

发表评论取消回复

表情：

评论列表（有 0 条评论，191人围观）

还没有评论，来说两句吧...

相关阅读

相关 mysql数据量很大的数据库迁移最优的方案

mysql数据量很大的数据库迁移最优的方案数据库迁移时，考虑数据量的大小和性能，可以采取以下几种方法：数据导出：使用mysqldump工具导出数据，可以使用--q...

系统管理员/ 2024年03月17日 15:02/ 0 赞/ 927 阅读

相关关于MongDB数据迁移方案的研究

如果说[mongodb][]在设计上有什么缺陷,那数据迁移应该算是不小的一个,在集群内部,不同分片之间的auto-balance问题频出,无法用于实际生产环境,而集群之间的数据

た入场券/ 2022年07月28日 04:21/ 0 赞/ 122 阅读

相关 MongoDB数据迁移方案

一次性迁移： mongodump，mongorestore mongodump：命令格式：mongodump -h dbhost -d dbname -o d

末蓝、/ 2022年07月16日 00:57/ 0 赞/ 375 阅读

相关数据迁移实施方案

最近经历了一场大型的数据迁移测试，因为以前对数据迁移测试研究甚少，所以对测试实施方案的制定非常的棘手，在网上也查询了很多，发现相关资料很少，并且大部分都是一些理论指导，没有讲到

小灰灰/ 2022年06月09日 10:23/ 0 赞/ 209 阅读

相关大数据量Elastic数据迁移方法及注意事项

一、需求 1 需求 ES集群Cluster\_A里的数据（某个索引或某几个索引），需要迁移到另外一个ES集群Cluster\_B中。 ES集群的索引有大有小，个别

古城微笑少年丶/ 2022年06月03日 00:20/ 0 赞/ 400 阅读

相关数据迁移小计

方法一：手工数据迁移，使用到了sqlloader 1、使用日终系统按指定的SQL将数据卸数到指定位置，生成所需的.ok文件和.dat文件。其中.ok文件的内容为表名、行数、

青旅半醒/ 2022年06月02日 03:45/ 0 赞/ 246 阅读

相关小微数据量数据迁移方案

1. 将历史数据表和目标数据表转移到同一库如果历史数据库和目标数据库是同一数据库，如都是mysql，可以使用一些工具软件如sqlyog等进行转移，或者导入导出即可；

比眉伴天荒/ 2022年04月12日 11:59/ 0 赞/ 192 阅读

相关 OSS无缝数据迁移方案

背景众所周知，云计算的出现改变了IT世界的格局，更低廉的成本和更加易于扩展的特点都成为了传统软件行业改变的动力。而阿里云在此基础上提供了更加完善的服务，更高的可靠性，以

客官°小女子只卖身不卖艺/ 2022年01月31日 15:51/ 0 赞/ 558 阅读

相关关于MongDB数据迁移方案的研究

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][] 如果说mongodb在设计上有什么缺陷,那数据迁移应该算是不小的一个,在集群内部,不同

Dear 丶/ 2022年01月16日 23:29/ 0 赞/ 176 阅读

相关 mysql 数据量大小

单表不超过1个亿分库分表：单库建议1000以下，每个表建议500w以下 ![20210728153236576.png][] [20210728153236576.p

末蓝、/ 2021年09月22日 01:10/ 0 赞/ 279 阅读