普元数据集成平台 普元数据集成平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • CDC连接器组件使用说明
  • 组件说明
  • 配置项说明
  • FAQ

# CDC连接器组件使用说明

  • 组件说明
  • 配置项说明
  • 使用示例
    • CDC同步关系型数据库示例
    • CDC通过FilterRowKind组件过滤数据
  • FAQ

# 组件说明

CDC Source连接器。支持从 MySQL、SQL Server、PostgreSQL、MongoDB数据库实时读取数据。

# 配置项说明

配置名称 数据类型 是否必填 默认值 描述
节点名称 String 是 - 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
节点编码 String 是 - 当前创建的节点编码,以此标识此组件,由用户自定义且不可为空。命名可包含字母、数字、下划线。
选择数据源 String 是 - 从下拉选项中选择列出的当前项目已经关联的数据源。
选择同步数据库 List 否 - 从下拉列表中选择数据库,可以多选。
选择同步数据表 List 否 - 从下拉列表中选择数据表,可以多选。
serverid String 否 - 数据库客户端的数字ID或数字ID范围,语法类似“5400”,数字ID范围语法类似“5400-5408”。在数据库集群中所有当前运行的数据库进程中,每个ID都必须是唯一的。默认生成的随机数介于5400和6400之。
启动模式 String 否 initial 有五种:initial、earliest、latest、specific、timestamp。
initial:启动时先同步历史数据,再同步增量数据。
earliest:从最开始的偏移量同步。
latest:从最后的偏移量同步。
specific:从用户提供的特定偏移量同步。
timestamp:从某一时间戳同步数据
时间戳 String 是 - 从指定的时间戳开始(以毫秒为单位)。当“启动模式”选择“timestamp”时,此选项是必需的。
增量读取阶段并行度 String 否 - 增量阶段中的并行读卡器的数量。
数据输出格式 Enum 否 DEFAULT CDC的可选输出格式,有效的枚举是Default、Compatible Debezium Json。
Debezium相关的配置参数 Config 否 - 将 Debezium的属性传递到Debezium嵌入式引擎,该引擎用于从数据库服务器捕获数据更改。用户可以根据需求进行配置。
启用精确一次语义 Boolean 否 false Boolean类型:是、否。是否启用一次语义。
可选参数 - 否 - CDC 其他参数,用户可以根据需求进行配置。

# FAQ

← 脚本 ClickHouse →