Skip to content

Instantly share code, notes, and snippets.

@ttfcfc
Forked from yangl/TiDB碎碎念.md
Created March 22, 2018 09:46
Show Gist options
  • Save ttfcfc/dc6c286131d922982d8ff40b8c6cc84b to your computer and use it in GitHub Desktop.
Save ttfcfc/dc6c286131d922982d8ff40b8c6cc84b to your computer and use it in GitHub Desktop.
TiDB整理

遗留数据同步方案(Loader + Syncer)具体方案如下:

使用 Mydumper + TiDB Loader 全量导出 MySQL 库中数据,并记录 SavePoint,然后导入 TiDB。 使用 TiDB Syncer 做实时增量同步,将 MySQL 中数据同步到 TiDB。

将 MyCAT 中按月拆分的表通过 ETL 以无主键的形式导回 MySQL 单表( MyCAT 分表中存在主键重复,不能单纯直接导入 TiDB,并且当时 TiDB 对于 ETL 工具的支持还未完善,无法使用 ETL工具导入 TiDB),只保留当前月份数据不导入。

将重新整合后的 MySQL 单表数据通过 Mydumper + TiDB Loader 导入 TiDB。

待上线当天晚上,将当前月份数据导回 MySQL(重建主键),再通过 Mydumper + TiDB Loader 导入TiDB。

将 TiDB 作为 RDS 的从库,将读流量迁移到 TiDB;

从内部业务开始,逐步将写流量迁移到 TiDB;

今日头条TiDB集群部署状态

关于部署,我们把 TiDB 和 PD 部在一起,都是 3 个。TiKV 我们一共是用了 11 台的机器,每台机器是两张 2.8TB 的 SSD 盘。每个盘上我们会起 2 个 TiKV,就相当于一个机器上有 4 个TiKV,一共 11 台机器,那就有 44 个 TiKV。CPU 是 40 个虚拟的 CPU,256G 的内存。

这是目前集群的状态:

集群总容量:56TB

当前使用量:24.5TB

QPS:12W

总连接数:14K

Latency:pct99->60ms

目前平均值 QPS 在 12W,用了 3 个 TiDB,3 个 TiDB 总的连接数加起来大概 14K,然后 Latency 的 pct99 小于 60ms。这其实都属于挺高峰时期的数据了,做活动的时候 QPS 会达到 20W。

引用出处:

https://my.oschina.net/zhaiyuan/blog/1635940

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment