指标说明
- 统计维度:迁移 app_id、migratejob_id;同步 appid、replicationjobid,订阅 appId、subscribeid。
- 统计粒度:60s、300s。
- BPS:表示每秒传输的数据量。
- RPS:表示每秒传输的行数。
数据迁移
MySQL/MariaDB/Percona/TDSQL MySQL
| 指标分类 | 指标中文名称 | 指标英文名称 | 单位 | 说明 |
|---|---|---|---|---|
| BPS-全量阶段 | 源实例全量导出 BPS | MigrateDumperBps | MB/s | 全量阶段,DTS 每秒从源实例导出的数据量。 |
| 目标实例全量导入 BPS | MigrateLoaderBps | MB/s | 全量阶段,DTS 每秒导入到目标实例的数据量。 | |
| BPS-增量阶段 | 源实例增量导出 BPS | MigrateRiverBps | MB/s | 增量阶段,DTS 每秒从源实例导出的数据量。 |
| 目标实例增量导入 BPS | MigrateSinkerBps | MB/s | 增量阶段,DTS 每秒导入到目标实例的数据量。 | |
| RPS-全量阶段 | 源实例全量导出 RPS | MigrateDumperRps | Count/s | 全量阶段,DTS 每秒从源实例导出的数据行数。 |
| 目标实例全量导入 RPS | MigrateLoaderRps | Count/s | 全量阶段,DTS 每秒导入到目标实例的数据行数。 | |
| RPS-增量阶段 | 源实例数据抽取 RPS(同源实例增量导出RPS) | MigrateCaptureRps | Count/s | 该指标为过渡阶段,后续仅保留源实例增量导出 RPS。 |
| 源实例增量导出 RPS | MigrateRiverRps | Count/s | 增量阶段,DTS 每秒从源实例导出的数据行数。 | |
| 目标数据装载 RPS(同目标实例增量导入RPS) | MigrateLoadRps | Count/s | 该指标为过渡阶段,后续仅保留目标实例增量导入 RPS。 | |
| 目标实例增量导入 RPS | MigrateSinkerRps | Count/s | 增量阶段,DTS 每秒导入到目标实例的数据行数。 | |
| 网络延迟-全量阶段 | DTS 全量导出时与源实例网络延迟 | MigrateDumperNetworkLag | ms | 全量阶段,DTS 数据导出与源实例的网络延迟。 |
| DTS 全量导入时与目标实例网络延迟 | MigrateLoaderNetworkLag | ms | 全量阶段,DTS 数据导入与目标实例的网络延迟。 | |
| 网络延迟-增量阶段 | DTS 增量导出时与源实例网络延迟 | MigrateRiverNetworkLag | ms | 增量阶段,DTS 数据导出与源实例的网络延迟。 |
| DTS 增量导入时与目标实例网络延迟 | MigrateSinkerNetworkLag | ms | 增量阶段,DTS 数据导入与目标实例的网络延迟。 | |
| 数据迁移延迟时间 | MigrateLag | s | 增量阶段,目标实例和源实例的时间延迟。 计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。 源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟。<br>“数据迁移延迟时间”指标的计算依赖于源库的增量 Binlog,当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间(例如出现值为“-1”,表示存量数据迁移完成,一直没有增量数据的刷新)。DTS 为了解决这个问题,在源库中插入心跳让增量数据持续更新,但源库为只读的场景无法写入心跳,所以仍会存在延迟的情况。 | |
| 数据迁移延迟数据量 | MigrateLagData | MBytes | 增量阶段,目标实例和源实例的数据差距。 计算方法:源实例最新的 Binlog Event 文件位点减去目标实例当前正在执行的最新一条源实例 Binlog Event 的文件位点。 当这两个位点跨越 Binlog 文件时,该值有估算成分。<br>源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。 | |
| RPS 使用率 | 目标实例增量导入 RPS 使用率 | MigrateSinkerRpsUsage | % | RPS 使用率 = 实时 RPS/ RPS 上限,RPS 上限为链路配置中选择的规格,不同的规格上限不同。
|
Redis®
注意:
2025年4月14日后启动的任务支持查看监控数据。对于2025年4月14日之前创建的任务,如果在2025年4月14日后启动,也会有监控数据。
| 指标分类 | 指标中文名称 | 指标英文名称 | 单位 | 说明 |
|---|---|---|---|---|
| BPS-全量阶段 | 源实例全量导出 BPS | MigrateDumperBps | MB/s | 全量阶段,DTS 每秒从源实例导出的数据量。 |
| 目标实例全量导入 BPS | MigrateLoaderBps | MB/s | 全量阶段,DTS 每秒导入到目标实例的数据量。 | |
| BPS-增量阶段 | 源实例增量导出 BPS | MigrateRiverBps | MB/s | 增量阶段,DTS 每秒从源实例导出的数据量。 |
| 目标实例增量导入 BPS | MigrateSinkerBps | MB/s | 增量阶段,DTS 每秒导入到目标实例的数据量。 | |
| RPS-全量阶段 | 目标实例全量导入 RPS(每秒命令数) | MigrateLoaderRps | Count/s | 在全量阶段,每秒导入数据到目标库的命令数 |
| RPS-增量阶段 | 源实例增量导出 RPS(每秒命令数) | MigrateRiverRps | Count/s | 在增量阶段从源库导出的数据命令数。 初始值为“0”,在全量文件接收完毕后刷新。 |
| 目标实例增量导入 RPS(每秒命令数) | MigrateSinkerRps | Count/s | 在增量阶段导入进目标库的数据命令数。 初始值为“0”,在任意一个分片进入增量阶段后刷新。 | |
| 网络延迟-全量阶段 | DTS 全量导出时与源实例网络延迟 | MigrateDumperNetworkLag | ms | 全量阶段,DTS 数据导出与源实例的网络延迟。 |
| DTS 全量导入时与目标实例网络延迟 | MigrateLoaderNetworkLag | ms | 全量阶段,DTS 数据导入与目标实例的网络延迟。 | |
| 网络延迟-增量阶段 | DTS 增量导出时与源实例网络延迟 | MigrateRiverNetworkLag | ms | 增量阶段,DTS 数据导出与源实例的网络延迟。 |
| DTS 增量导入时与目标实例网络延迟 | MigrateSinkerNetworkLag | ms | 增量阶段,DTS 数据导入与目标实例的网络延迟。 | |
| 数据迁移延迟时间 | MigrateLag | s | 目标实例和源实例的时间延迟。 计算方法:增量延迟数据量/当前目标实例增量导入BPS 在任意一个分片进入增量阶段后刷新。 | |
| 数据迁移延迟数据量 | MigrateLagData | MBytes | 目标实例和源实例的数据差距。 计算方法:源实例的 repl_offset 同 DTS 已导入完成的数据量差值。 在任意一个分片进入增量阶段后刷新。 |
数据同步
MySQL/MariaDB/Percona/TDSQL MySQL
| 指标分类 | 指标中文名 | 指标英文名 | 单位 | 说明 |
|---|---|---|---|---|
| BPS-全量阶段 | 源实例全量导出 BPS | ReplicationDumperBps | MB/s | 全量阶段,DTS 每秒从源实例导出的数据量。 |
| 目标实例全量导入 BPS | ReplicationLoaderBps | MB/s | 全量阶段,DTS 每秒导入到目标实例的数据量。 | |
| BPS-增量阶段 | 源实例增量导出 BPS | ReplicationRiverBps | MB/s | 增量阶段,DTS 每秒从源实例导出的数据量。 |
| 目标实例增量导入 BPS | ReplicationSinkerBps | MB/s | 增量阶段,DTS 每秒导入到目标实例的数据量。 | |
| RPS-全量阶段 | 源实例全量导出 RPS | ReplicationDumperRps | Count/s | 全量阶段,DTS 每秒从源实例导出的数据行数。 |
| 目标实例全量导入 RPS | ReplicationLoaderRps | Count/s | 全量阶段,DTS 每秒导入到目标实例的数据行数。 | |
| RPS-增量阶段 | 源实例数据抽取 RPS(同源实例增量导出RPS) | ReplicationCaptureRps | Count/s | 该指标为过渡阶段,后续仅保留源实例增量导出 RPS。 |
| 源实例增量导出 RPS | ReplicationRiverRps | Count/s | 增量阶段,DTS 每秒从源实例导出的数据行数。 | |
| 目标数据装载 RPS(同目标实例增量导入RPS) | ReplicationLoadRps | Count/s | 该指标为过渡阶段,后续仅保留目标实例增量导入 RPS。 | |
| 目标实例增量导入 RPS | ReplicationSinkerRps | Count/s | 增量阶段,DTS 每秒导入到目标实例的数据行数。 | |
| 网络延迟-全量阶段 | DTS 全量导出时与源实例网络延迟 | ReplicationDumperNetworkLag | ms | 全量阶段,DTS 数据导出与源实例的网络延迟。 |
| DTS 全量导入时与目标实例网络延迟 | ReplicationLoaderNetworkLag | ms | 全量阶段,DTS 数据导入与目标实例的网络延迟。 | |
| 网络延迟-增量阶段 | DTS 增量导出时与源实例网络延迟 | ReplicationRiverNetworkLag | ms | 增量阶段,DTS 数据导出与源实例的网络延迟。 |
| DTS 增量导入时与目标实例网络延迟 | ReplicationSinkerNetworkLag | ms | 增量阶段,DTS 数据导入与目标实例的网络延迟。 | |
| 数据同步延迟时间 | DtsReplicationLag | s | 增量阶段,目标实例和源实例的时间同步延迟。 计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。<br>源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟。“数据同步延迟时间”指标的计算依赖于源库的增量 Binlog,当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。DTS 为了解决这个问题,在源库中插入心跳让增量数据持续更新,但源库为只读的场景无法写入心跳,所以仍会存在延迟的情况。 | |
| 数据同步延迟数据量 | <br>DtsReplicationLagData<br> | MBytes | 增量阶段,目标实例和源实例的数据同步差距。 计算方法:源实例最新的 Binlog Event 文件位点减去目标实例当前正在执行的最新一条源实例 Binlog Event 的文件位点。 当这两个位点跨越 Binlog 文件时,该值有估算成分。<br>源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。 | |
| RPS 使用率 | 目标实例增量导入 RPS 使用率 | ReplicationSinkerRpsUsage | % | RPS 使用率 = 实时 RPS/ RPS 上限,RPS 上限为链路配置中选择的规格,不同的规格上限不同。
|