领导让我写个脚本，把数据库700T数据，全部迁移到别的机房，带宽只有2Mbps……

正文

请到「今天看啥」查看全文

• 700T单库直接导等于自杀，先按业务拆分子库（比如订单库、日志库），再按表大小排序，优先迁移小表试水。
• 用 SHOW TABLE STATUS 估算表体积，超过10G的表按主键/时间范围分片（比如 WHERE id BETWEEN 1 AND 1000000 ）。

增量同步兜底

• 全量迁移期间可能有新数据，给大表加 时间戳字段 或 binlog监听 ，全量导完再追增量。
• 工具选型：阿里云DTS/Canal（省心但花钱），或自研脚本（用 SELECT ... WHERE update_time > '最后批次时间' ）。

压缩算法选型

• 文本数据
  ：Zstd（压缩率≈70%，比GZIP快3倍）
• 二进制数据
  ：LZ4（压速逆天，适合紧急限速场景）
• Java示例：

  try (OutputStream os = new ZstdOutputStream(new FileOutputStream("data.zst"))) {  
      os.write(csvData.getBytes()); // 原始数据直接压  
  }  
  

2Mbps精确控速

• 2Mbps=250KB/s，需预留20%带宽波动，实际按200KB/s算。

请到「今天看啥」查看全文