单个表数据最大在20万,20%表没数据
原数据库机器无法控制,不能直接在机器上操作
Navicat 数据同步
- 开着同步放那里七八个小时跑了2万左右表,然后就挂了,无任何提示
DBSyncer
- 东西是个好东西
- 折腾了半天,配好了数据源,结果发现不能同步表结构只能同步数据
DATAX
- 想同的困境,要有目标表
最终方案
- 由于所有表的结构一致,通过脚本使用 create table like方式创建表
- 使用datax进行同步,由于我们只需要22年12月后的数据,通过在read拼where实现
- 其实DBSyncer也不错,但是对于上万表的场景,他没法指定表,导致配置时加载表信息特别慢