From b5e1fadd539a3d65d93c7f0a8e40d1008140f855 Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 10:09:12 +0800 Subject: [PATCH 01/10] fix cdc Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index b0639d325b30..c5bedc9bb682 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -53,6 +53,8 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; * v5.1 版本及后续版本将不再支持设置系统表的 replica。在集群升级前，需要清除相关系统表的 replica，否则升级到较高版本后将无法再修改系统表的 replica 设置。 +* 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不会自动为表创建 TiFlash 副本。 + ### 查看表同步进度 可通过如下 SQL 语句查看特定表（通过 WHERE 语句指定，去掉 WHERE 语句则查看所有表）的 TiFlash 副本的状态： From f565ba3b13121155b12186394d461c38736af80d Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 11:00:51 +0800 Subject: [PATCH 02/10] fix cdc2 Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 4 +++- 1 file changed, 3 insertions(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index c5bedc9bb682..7caa2cf0f842 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -53,7 +53,9 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; * v5.1 版本及后续版本将不再支持设置系统表的 replica。在集群升级前，需要清除相关系统表的 replica，否则升级到较高版本后将无法再修改系统表的 replica 设置。 -* 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不会自动为表创建 TiFlash 副本。 +> **注意：** +> +> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不会自动为表创建 TiFlash 副本。 ### 查看表同步进度 From a39e451868a68ffdd617950bc1241844ce835eaa Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 11:57:28 +0800 Subject: [PATCH 03/10] fix cdc3 Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 7caa2cf0f842..68b89f4013c3 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -106,6 +106,8 @@ ALTER DATABASE `tpch50` SET TIFLASH REPLICA 0; > - 该命令执行结束后，在该库中新建的表不会自动创建 TiFlash 副本。 > > - 该命令会跳过系统表、视图、临时表以及包含了 TiFlash 不支持字符集的表。 +> +> - 通过设置 `tidb_batch_pending_tiflash_count` 环境变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 ### 查看库同步进度 From 7c8ca6908d33bfa8944d915dd17c0171e9991eea Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 16:26:27 +0800 Subject: [PATCH 04/10] Update tiflash/create-tiflash-replicas.md Co-authored-by: wlwilliamx <53336371+wlwilliamx@users.noreply.github.com> --- tiflash/create-tiflash-replicas.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 68b89f4013c3..45506f729817 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -55,7 +55,7 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; > **注意：** > -> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不会自动为表创建 TiFlash 副本。 +> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。 ### 查看表同步进度 From 30a4d5b7ea5c17068b144cd2b578cbbe7a11807c Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 16:28:13 +0800 Subject: [PATCH 05/10] f Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 68b89f4013c3..3bc2d9ccb098 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -107,7 +107,7 @@ ALTER DATABASE `tpch50` SET TIFLASH REPLICA 0; > > - 该命令会跳过系统表、视图、临时表以及包含了 TiFlash 不支持字符集的表。 > -> - 通过设置 `tidb_batch_pending_tiflash_count` 环境变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 +> - 通过设置 `tidb_batch_pending_tiflash_count` 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 ### 查看库同步进度 From 4dc177d866669367d08b7bd96d3b13af2fa5977d Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Tue, 11 Mar 2025 17:19:59 +0800 Subject: [PATCH 06/10] fix Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 91222e06e27b..878b0563f498 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -55,7 +55,7 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; > **注意：** > -> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。 +> TiCDC 不会同步添加或移除 TiFlash 副本的 DDL，即 `ALTER TABLE table_name SET TIFLASH REPLICA count`。 ### 查看表同步进度 From 1749c75cbd7a633f8c8a6524d18ba5e5cb1a481b Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Tue, 11 Mar 2025 17:22:29 +0800 Subject: [PATCH 07/10] merge Signed-off-by: Calvin Neo --- ticdc/ticdc-compatibility.md | 8 ++++++++ tiflash/create-tiflash-replicas.md | 5 ++++- 2 files changed, 12 insertions(+), 1 deletion(-) diff --git a/ticdc/ticdc-compatibility.md b/ticdc/ticdc-compatibility.md index d56d8599aa5b..3980ea53883b 100644 --- a/ticdc/ticdc-compatibility.md +++ b/ticdc/ticdc-compatibility.md @@ -26,6 +26,14 @@ summary: 了解 TiCDC 兼容性相关限制和问题处理。 1. 使用下游系统提供的离线导入工具，将 TiDB Lightning 的输入文件导入到下游系统。 2. 创建 changefeed，用于同步后续通过 SQL 写入的增量数据。详情参考[创建同步任务](/ticdc/ticdc-manage-changefeed.md#创建同步任务)。 + +## TiCDC 与 TiFlash 的兼容性 + +目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: + +* `ALTER TABLE table_name SET TIFLASH REPLICA count;` +* `ALTER DATABASE db_name SET TIFLASH REPLICA count;` + ## 命令行参数和配置文件兼容性 * TiCDC v4.0.0 中移除了 `ignore-txn-commit-ts`，添加了 `ignore-txn-start-ts`，使用 start_ts 过滤事务。 diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 878b0563f498..38218103457b 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -55,7 +55,10 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; > **注意：** > -> TiCDC 不会同步添加或移除 TiFlash 副本的 DDL，即 `ALTER TABLE table_name SET TIFLASH REPLICA count`。 +> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: +> +> * `ALTER TABLE table_name SET TIFLASH REPLICA count;` +> * `ALTER DATABASE db_name SET TIFLASH REPLICA count;` ### 查看表同步进度 From 979e1a1599fc975a1144b89d663959a9b710370b Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Tue, 11 Mar 2025 17:27:57 +0800 Subject: [PATCH 08/10] merge Signed-off-by: Calvin Neo --- ticdc/ticdc-compatibility.md | 1 - 1 file changed, 1 deletion(-) diff --git a/ticdc/ticdc-compatibility.md b/ticdc/ticdc-compatibility.md index 3980ea53883b..c5f8853ee387 100644 --- a/ticdc/ticdc-compatibility.md +++ b/ticdc/ticdc-compatibility.md @@ -26,7 +26,6 @@ summary: 了解 TiCDC 兼容性相关限制和问题处理。 1. 使用下游系统提供的离线导入工具，将 TiDB Lightning 的输入文件导入到下游系统。 2. 创建 changefeed，用于同步后续通过 SQL 写入的增量数据。详情参考[创建同步任务](/ticdc/ticdc-manage-changefeed.md#创建同步任务)。 - ## TiCDC 与 TiFlash 的兼容性 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: From 671a40f49e9ff76e71db6fab9448c59de5164fa4 Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Mon, 31 Mar 2025 19:14:01 +0800 Subject: [PATCH 09/10] Apply suggestions from code review --- ticdc/ticdc-compatibility.md | 2 +- tiflash/create-tiflash-replicas.md | 4 ++-- 2 files changed, 3 insertions(+), 3 deletions(-) diff --git a/ticdc/ticdc-compatibility.md b/ticdc/ticdc-compatibility.md index c5f8853ee387..539838593d3d 100644 --- a/ticdc/ticdc-compatibility.md +++ b/ticdc/ticdc-compatibility.md @@ -28,7 +28,7 @@ summary: 了解 TiCDC 兼容性相关限制和问题处理。 ## TiCDC 与 TiFlash 的兼容性 -目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: +目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本，即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: * `ALTER TABLE table_name SET TIFLASH REPLICA count;` * `ALTER DATABASE db_name SET TIFLASH REPLICA count;` diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 38218103457b..fc010ee787f8 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -55,7 +55,7 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; > **注意：** > -> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: +> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本，即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: > > * `ALTER TABLE table_name SET TIFLASH REPLICA count;` > * `ALTER DATABASE db_name SET TIFLASH REPLICA count;` @@ -110,7 +110,7 @@ ALTER DATABASE `tpch50` SET TIFLASH REPLICA 0; > > - 该命令会跳过系统表、视图、临时表以及包含了 TiFlash 不支持字符集的表。 > -> - 通过设置 `tidb_batch_pending_tiflash_count` 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 +> - 通过设置 [`tidb_batch_pending_tiflash_count`](/system-variables.md/#tidb_batch_pending_tiflash_count-从-v60-版本开始引入) 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 ### 查看库同步进度 From 5942555cb4aff48b2f3ab9b93699a867c2ae8e55 Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Tue, 1 Apr 2025 14:09:19 +0800 Subject: [PATCH 10/10] Update tiflash/create-tiflash-replicas.md --- tiflash/create-tiflash-replicas.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index fc010ee787f8..115e5d9e314d 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -110,7 +110,7 @@ ALTER DATABASE `tpch50` SET TIFLASH REPLICA 0; > > - 该命令会跳过系统表、视图、临时表以及包含了 TiFlash 不支持字符集的表。 > -> - 通过设置 [`tidb_batch_pending_tiflash_count`](/system-variables.md/#tidb_batch_pending_tiflash_count-从-v60-版本开始引入) 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 +> - 通过设置 [`tidb_batch_pending_tiflash_count`](/system-variables.md#tidb_batch_pending_tiflash_count-从-v60-版本开始引入) 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 ### 查看库同步进度