普元数据集成平台 普元数据集成平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • 文本文件输出组件使用说明
  • 组件说明
  • 配置项说明
  • FAQ

# 文本文件输出组件使用说明

  • 组件说明
  • 配置项说明
  • 使用示例
    • 输出文件至HDFS
    • 输出文件至LOCAL
    • 从字段中获取文件名
  • FAQ

# 组件说明

文本文件输出用于将数据导出到文本文件。此步骤通常用于生成可由电子表格应用程序读取的逗号分隔值 (CSV) 文件,也可用于生成特定长度的文件。

# 配置项说明

配置名称 数据类型 是否必须 默认值 描述
节点名称 String 是 - 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
选择类型 String 是 - 可选择“HDFS”类型或“LOCAL”类型。
文件/目录 String 是 - 读取数据的文件/目录来源。
文件名称 String 是 - 输出文件文件名。
创建父目录 Boolean 是 true 启用此选项可创建父文件夹。
从字段中获取文件名 Boolean 是 false 启用此选项可在输入流的字段中指定文件名。
扩展名 String 是 txt 文件名末尾添加点和扩展名。(.txt)。
定时刷新 Boolean 是 false 是否将缓冲区中的数据立即提交到MongoDB。
刷新间隔 Integer 是 0 刷新间隔。
文件名包含日期 Boolean 是 false 生成的文件名中包含日期。
文件名包含时间 Boolean 是 false 生成的文件名中包含时间。
是否添加文件名到结果 Boolean 是 true 勾选此项,可把转换的结果文件名存进流中,使其可以在后续步骤中被获取。
分隔符 String 是 ; 指定在文本中分隔字段的字符,例如;或者制表符。
编码方式 String 是 UTF-8 指定文件使用的编码。
格式 String 是 Unix 输出文件格式。DOS或者UNIX。UNIX 文件行分隔符是换行符。DOS 文件可以是换行符或者回车符。
压缩格式 String 是 None 指定压缩的类型。
每 行分割数据 Integer 是 0 根据指定行数对结果数据进行行分割输出。
追加方式 Boolean 是 false 是否在指定的文件最后追加行。
添加头部行 Boolean 是 true 勾选后选用第一行数据作为头部,例如:CSV。
内容字段 String 是 - 名称:设置要在输出流中显示的字段名称。内容:字段类型。格式:控制输入数据的格式。长度:对于Number:有效数的数量对于String:字符的长度;对于Date:打印输出字符的长度(例如4 代表返回年份)。精度:只对number有效,为浮点数保留位置。

# FAQ

Q1: 使用星环HDFS数据源,选择追加模式时,需配置hdfs-site.xml参数。
A1:在diserver/plugins/pentaho-big-data-plugin/hadoop-configurations/tdh下,编辑hdfs-site.xml文件,添加

<property>
  <name>dfs.support.append</name>
  <value>true</value>
</property>
<property>
  <name>dfs.client.block.write.replace-datanode-on-failure.enable</name>
<value>true</value>
</property>
<property>
  <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
  <value>NEVER</value>
</property>

← Hbase输出 Excel输出 →