普元数据集成平台 普元数据集成平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • StarRocks Source组件使用说明
  • 组件说明
  • 配置项说明
  • FAQ

# StarRocks Source组件使用说明

  • 组件说明
  • 配置项说明
  • 使用示例
    • StarRocks数据库同步
    • Split组件分割字段
  • FAQ

# 组件说明

StarRocks Source组件。用于从 StarRocks 读取数据。

# 配置项说明

配置名称 数据类型 是否必填 默认值 描述
节点名称 String 是 - 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
节点编码 String 是 - 当前创建的节点编码,以此标识此组件,由用户自定义且不可为空。命名可包含字母、数字、下划线。
选择数据源 String 是 - 从下拉选项中选择列出的当前项目已经关联的数据源。
选择库 String 否 - 从下拉列表中选择数据库。
选择表 String 否 - 从下拉列表中选择数据表。
字段数据结构 String 否 - 要生成的 StarRocks 的字段数据结构,包括:字段名称和字段类型。
过滤表达式 String 否 - 查询的过滤表达式,StarRocks 使用这个表达式来完成源端数据过滤。
table 数量限制 Int 否 1024 与分区相对应的 StarRocks table 的数量。这个值设置得越小,生成的分区就越多。这将增加引擎方面的并行性,但同时也会给 StarRocks 带来更大的压力。
请求连接超时时间 Int 否 30000 请求连接超时发送到 StarRocks,单位为毫秒。
查询超时时间 Int 否 3600 查询 StarRocks 的超时时间,默认值为 1 小时,-1 表示不限制,单位为秒。
查询 keep alive 时间 Int 否 10 查询任务的持续时间,单位为分钟。默认值值为 10。建议将该参数设置为大于等于 5 的值。
单次读取最大数据行数 Int 否 1024 一次从 BE 读取的最大数据行数。增加此值可以减少引擎和 StarRocks 之间建立的连接数量,从而减轻网络延迟造成的开销。
单次查询最大内存 Int 否 2 BE 节点中单个查询允许的最大内存空间。
重试请求数 Int 否 3 发送到 StarRocks 的重试请求数。

# FAQ

← RabbitMQ 关系型数据库 →