普元数据集成平台 普元数据集成平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • 去除重复记录组件使用说明
  • 组件说明
  • 配置项说明

# 去除重复记录组件使用说明

  • 组件说明
  • 配置项说明
  • 使用示例
    • 将上游重复记录进行去除

# 组件说明

该组件用于将数据流中的数据进行字段比较,从而去掉重复值的过程。去除重复记录的前提是需要将数据流中的数据进行排序,然后再进行去重操作。

# 配置项说明

配置名称 数据类型 是否必须 默认值 描述
节点名称 String 是 - 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
计数器字段名称 String 是 - 对重复记录计数的字段名称。
错误描述 String 是 - 设置在检测到重复行时显示的错误处理描述。
字段 String 是 - 字段名称:从前置步骤输出流中,获取用来比较的字段。忽略大小写:比较字段是否区分大小写。