普元数据集成平台 普元数据集成平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • Elasticsearch Source组件使用说明
  • 组件说明
  • 配置项说明
  • FAQ

# Elasticsearch Source组件使用说明

  • 组件说明
  • 配置项说明
  • 使用示例
    • Elasticsearch 到 MySQL 的数据同步示例
  • FAQ

# 组件说明

Elasticsearch Source 连接器。用于从 Elasticsearch 读取数据。支持版本>=2.x和<=8.x。

# 配置项说明

配置名称 数据类型 是否必填 默认值 描述
节点名称 String 是 - 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
节点编码 String 是 - 当前创建的节点编码,以此标识此组件,由用户自定义且不可为空。命名可包含字母、数字、下划线。
选择数据源 String 是 - 从下拉选项中选择列出的当前项目已经关联的数据源。
索引名称 String 是 - Elasticsearch索引名称,支持 * 模糊匹配。索引名称必须是小写的,不能用下划线开头,不能包含逗号,例如:seatunnel_${age}
读取方式 String 否 - 读取方式有两种:数据结构、索引字段,必须二选一进行配置。采用"索引字段"时,用户可以通过指定字段 _id 来获取文档 id。如果将 _id 下沉到其他索引,由于 Elasticsearch 的限制,需要为 _id 指定别名。
查询条件 DSL String 否 - 用户可以通过编写 DSL 语句控制读取数据的范围。Elasticsearch 提供了一个基于 JSON 的完整查询DSL(域特定语言)来定义查询。具体参考:https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html
scrollTime Int 否 1 Elasticsearch 请求保持搜索上下文活动的时间量。 单位:天(-d),小时(-h),分钟(-m),秒(-s),毫秒(-ms),微秒(-micros),纳秒(-nanos) 例如:1d,1h,1m,1s,1ms,1micros,1nanos
scrollSize Int 否 100 每个 Elasticsearch 请求返回的最大点击数。
可选参数 - 否 - 其他参数,用户可以根据需求进行配置。

# FAQ

← ClickHouse Hive →