普元数据集成平台 普元数据集成平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • 时间戳StarRocks增量同步(增量)
  • 说明
  • 配置项说明
  • 字段映射配置项说明
  • FAQ

# 时间戳StarRocks增量同步(增量)

  • 说明
  • 配置项说明
  • 使用示例
    • 时间戳StarRocks增量同步
  • FAQ

# 说明

用于基于时间戳的 StarRocks 到 StarRocks 的增量同步,其原理是以目标表的某个字段当做时间戳查询字段,查询该时间戳查询字段的最大值,再查出源表中大于这个最大值的所有数据,从而在目标表进行 Insert 操作。

⚠️ 提示:StarRocks目标数据源的表不存在时,需要手工提前创建表。

# 配置项说明

配置项 是否必填 默认值 描述
选择数据源(来源) 是 - 来源数据的数据源名称,该选项是已经在项目配置中添加过的数据源。
选择库(来源) 是 - 来源数据源中的数据库名称。选择来源数据源后自动读取并显示数据库名称,可以直接选择。
选择数据源(目标) 是 - 目标数据的数据源名称,该选项是已经在项目配置中添加过的数据源。
选择库(目标) 是 - 目标数据源中的数据库名称。选择目标数据源后自动读取并显示数据库名称,可以直接选择。
获取表信息 否 - 如果数据库表发生变化,点击此按钮获取最新的表字段。添加表的弹窗会显示最新的表名称。
前缀/后缀 否 - 给目标表名称添加前缀或者后缀,用于批量修改目标表的名称。
同步 是 同步 是否执行同步的开关,有两个选项:同步、不同步。
同步:表示执行,来源表数据会同步到目标表;
不同步:表示不执行,来源表数据不会同步到目标表。
字段映射 是 - 指定来源表与目标表的字段映射关系、目标表中的时间戳字段、目标表中的查询字段。配置后“未配置”会变为“已配置”。
字段映射关系:来源表与目标表的字段名称映射;
目标表中的时间戳字段:选择时间戳字段;
目标表中的查询字段:行唯一标识字段。
参见:字段映射配置项说明
目标表参数 是 格式:JSON
更新模式:Upsert
有三个参数:格式、更新模式、Stream Load。
格式:CSV、JSON。
更新模式:UPSERT用于插入或更新数据。如果数据已存在(基于主键/唯一键),它将更新该数据;如果数据不存在,它将插入新数据。 DELETE用于删除符合条件的数据记录。需要指定删除的条件,满足该条件的所有记录都将被删除。
Stream Load:其他更多的扩展参数。
数据添加模式 是 追加数据 支持三种模式:
1、追加数据:数据统一追加到目标表中;
2、同步前删除数据:先清空目标表数据,然后再给目标表添加数据;
3、当存在数据时,报告错误:当目标表存在相同数据时,报告错误,不会添加数据。
提示:增量同步的默认值都是:追加数据。
忽略错误继续执行 是 不勾选 勾选:表示在数据同步过程中当一张表出现错误时忽略该表错误继续执行其他同步作业。
不勾选:表示遇到错误时停止后续全部作业的执行。

# 字段映射配置项说明

操作/配置项 是否必填 默认值 描述
手动映射 - - 需要逐个选择来源表与目标表的字段配置字段映射关系。
自动同名映射 - - 当来源表字段与目标表字段同名时,自动批量配置映射关系。
重置映射 - - 清除已经配置好的来源表与目标表的映射关系。
源表字段 - - 指定来源表中的时间戳字段,需要和目标表的时间戳字段配合使用。
目标表字段 - - 指定目标源表中的时间戳字段,需要和来源表的时间戳字段配合使用。

# FAQ

无

← (增量)时间戳关系型数据库到StarRocks同步 (增量)时间戳StarRocks到关系型数据库增量同步 →