普元数据集成平台 普元数据集成平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • MySQL 批量加载组件使用说明
  • 组件说明
  • 配置项说明
  • FAQ

# MySQL 批量加载组件使用说明

  • 组件说明
  • 配置项说明
  • 使用示例
    • 批量加载示例
  • FAQ

# 组件说明

MySQL批量加载组件主要用于将数据从Kettle内部流式传输到MySQL数据库中‌,这个组件通过创建一个命名管道(FIFO)来实现数据的批量加载,适用于大量数据的快速导入,避免了传统方法在处理大数据量时的内存和时间消耗问题‌。

# 配置项说明

配置名称 数据类型 是否必填 默认值 描述
节点名称 String 是 - 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
选择数据源 String 是 - 当前输入绑定的数据源名称,从下拉选项中列出的指定的关联类型(MySQL)的数据源进行选择。
数据库名称 String 是 - 目标表所在的数据库连接的名称。
目标表名称 String 是 - 目标表的名称。
Fifo文件 String 是 /tmp/fifo 这是用作命名管道的fifo文件。当它不存在时,将使用命令mkfifo和chmod 666创建它(这就是为什么它不能在Windows中工作)。
列分隔符 String 否 ; 字段的分隔符。
封闭符 String 否 " 用于字符串的封闭符。
逃逸符 String 否 \ 如果该框在字段中,则使用转义字符进行转义。
字符集 String 否 utf8 使用的字符集(可选)。
批量提交行数 String 否 将数据加载分割为数据块,然后重新启动数据加载。
与已有键值重复时替换 Boolean 否 是 如果选中,“REPLACE”将被添加到命令中。如果指定,则输入行替换现有行。换句话说,就是与现有行具有相同主键值或唯一索引值的行。
与已有键值重复时忽略 Boolean 否 否 如果选中,“IGNORE”将被添加到命令中。如果指定,则跳过与唯一键值上的现有行重复的输入行。
数据文件位置 Boolean 否 客户机 指定从本地读取文件还是从Mysql服务器读取文件。
加载字段 List 表字段:要在MySQL表中加载的表字段。
流字段:从传入行中获取的字段。
字段格式: 此选项可以决定是否应该保留格式(不更改格式)或更改。

# FAQ