# Kafka Source组件使用说明
# 组件说明
Kafka Source连接器。用于从Kafka实时读取数据。
# 配置项说明
| 配置名称 | 数据类型 | 是否必须 | 默认值 | 描述 |
|---|---|---|---|---|
| 节点名称 | String | 是 | - | 当前创建的节点名称，由用户自定义且不可为空。命名可包含字母、数字、下划线。 |
| 节点编码 | String | 是 | - | 当前创建的节点编码，以此标识此组件，由用户自定义且不可为空。命名可包含字母、数字、下划线。 |
| 选择数据源 | String | 是 | - | 从下拉选项中选择列出的当前项目已经关联的数据源。 |
| 主题名称 | String | 是 | - | Kafka Topic 名称。如果有多个topics，使用英文符号"," 进行拆分，例如："tpc1,tpc2" |
| 主题名称正则匹配 | Boolean | 是 | 否 | 如果设置为true，客户端中主题名称与指定正则表达式匹配的所有主题都将被消费者订阅。 |
| 数据格式 | String | 是 | json | 数据格式支持：json、text。默认格式为 json。默认的字段分隔符是","。如果自定义分隔符，请添加“字段分隔符”选项。 |
| 数据结构 | String | 否 | - | 字段的数据结构（包括字段名称和字段类型）。 详见FAQ-Q1 |
| 消费组ID | String | 是 | - | Kafka 消费者的 group id，用来区分不同的消费群体。 |
| 偏移量是否定期提交 | Boolean | 否 | 否 | boolean 类型，如果为 true，消费者的偏移量将在后台定期提交。 |
| 消费模式 | String | 否 | group_offsets | 消费者的初始消费模式，有 5 种：earliest、group_offsets、latest、specific_offsets、timestamp |
| 动态发现主题和分区时间间隔 | Int | 否 | -1 | 动态发现主题和分区的时间间隔。 |
| 可选参数 | - | 是 | - | Kafka Source 的其他参数，用户可以根据需求进行配置。 |
# FAQ
- 包括字段名称和字段类型：
- 字段类型：
- string
- boolean
- tinyint
- smallint
- int
- bigint
- float
- double
- decimal
- bytes
- date
- timestamp
- map (map<string, int>,map<string, string>,map<string, boolean>,map<string, tinyint>,map<string, smallint>,map<string, bigint>,map<string, float>,map<string, double>,map<string, decimal>,map<string, date>,map<string, time>,map<string, timestamp>,map<string, null>,map<string, array>,map<string, map>
）
- array
- string
Q2:Kafka中有一个Json数据，在数据结构中怎么配置呢？
Kafka json数据：{"id": "1001", "name": "zhangsan"}
数据结构配置：
| 字段名 | 字段类型 |
|---|---|
| id | string |
| name | string |