普元数据集成平台 普元数据集成平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • LocalFile Sink组件使用说明
  • 组件说明
  • 配置项说明
  • FAQ

# LocalFile Sink组件使用说明

  • 组件说明
  • 配置项说明
  • 使用示例
    • Kafka复杂Json数据写入文件
    • 读取Mongo数据写入文本
  • FAQ

# 组件说明

LocalFile Sink连接器。用于写入本地文件。

# 配置项说明

配置名称 数据类型 是否必填 默认值 描述
节点名称 String 是 - 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
节点编码 String 是 - 当前创建的节点编码,以此标识此组件,由用户自定义且不可为空。命名可包含字母、数字、下划线。
输出路径 String 是 - 目标文件路径。
自定义文件名 Boolean 否 否 若选择"是"时,需要配置"文件表达式"和"文件名时间格式"。
文件类型 String 否 - 支持:text、csv、parquet、orc、json、excel 六种文件类型。
压缩算法 String 否 - 支持文件的压缩算法:txt: lzo、none;json: lzo、none;csv: lzo、none;orc: lzo、snappy、lz4、zlib、none;parquet: lzo、snappy、lz4、gzip、brotli、zstd、none;excel 不支持任何压缩算法。
添加头部行 Boolean 否 - 当"是否分区"为 "是" 时使用。如果设置为"是",则分区字段及其值将写入数据文件。
字段分隔符 String 否 - 数据行中列之间的分隔符。仅文本文件格式需要。
行分隔符 String 否 - 文件中行之间的分隔符。仅文本文件格式需要。
写入字段 List 否 - 哪些列需要写入文件,默认值是从"转换"或"数据源"获取的所有列。字段的顺序决定了文件实际写入的顺序。
是否分区 Boolean 否 否 是否需要处理分区。默认为"否"。
分区字段 String 否 - 当"是否分区"为 "是" 时使用。根据所选字段对数据进行分区。
分区目录表达式 Boolean 否 false 当"是否分区"为 "是" 时使用。如果指定了"分区字段",将根据分区信息生成相应的分区目录,最终文件将放置在分区目录中。默认"分区目录表达式"为${k0}=${v0}/${k1}=${v1}//${kn}=${vn}/。k0是第一个分区字段,v0是第一分区字段的值。
分区字段及其值是否写入文件 Boolean 否 否 当"是否分区"为 "是" 时使用。如果"分区字段及其值是否写入文件"为"是",则分区字段及其值将写入数据文件。例如,如果要编写配置单元数据文件,其值应为"否"。
批次大小 Int 否 1000000 文件中的最大行数。对于 SeaTunnel Engine,文件中的行数由batch_size和checkpoint.interval共同决定。如果checkpoint.interval的值足够大,则接收器写入程序将在文件中写入行,直到文件中的行大于batch_size。如果checkpoint.interval很小,则当触发新的检查点时,接收器写入程序将创建一个新文件。
可选参数 否 - 其他参数,用户可以根据需求进行配置。

# FAQ

← Kafka Neo4j →