普元数据集成平台 普元数据集成平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • 读取Mongo数据写入文本
  • 准备数据
  • 新建同步作业
  • 拖拽图元
  • 配置组件属性
  • 运行
  • 查看数据
  • 提交版本

# 读取Mongo数据写入文本

本示例主要演示从mongo文件中读取数据,写入json文本。

主要步骤如下:

  • 准备数据
  • 新建同步作业
  • 拖拽图元
  • 运行
  • 查看数据
  • 提交版本

# 准备数据

1、在dws服务器创建目录/home/dws/outfile/mongo
2、在mongodb_sink中插入数据,本示例是DBeaver直接插入

mongodb_sink内容:
_id                     |amount|createtime             |createuser|ordercode|price|updatetime             |
------------------------+------+-----------------------+----------+---------+-----+-----------------------+
66e17721ba6d5e247565689d|  1000|2018-12-13 00:00:00.000|张聪        |001      |5000 |2018-12-13 00:00:00.000|
66e17721ba6d5e247565689e|   500|2018-12-13 00:00:00.000|王强        |002      |1000 |2018-12-13 00:00:00.000|
66e17721ba6d5e247565689f|  1500|2018-12-13 00:00:00.000|魏雨        |003      |7000 |2015-03-13 00:00:00.000|
66e17721ba6d5e24756568a0|  5100|2018-12-13 00:00:00.000|魏雨        |009      |12909|2020-12-13 00:00:00.000|
66e17721ba6d5e24756568a1|  1300|2018-12-13 00:00:00.000|王林        |005      |8000 |2021-12-01 00:00:00.000|
66e17721ba6d5e24756568a2|  3000|2018-12-13 00:00:00.000|王强        |007      |9000 |2024-03-13 00:00:00.000|
66e17721ba6d5e24756568a4|  2300|2018-12-13 00:00:00.000|王强        |008      |11589|2018-12-13 00:00:00.000|
66e17721ba6d5e24756568a5| 20000|2018-12-13 00:00:00.000|王林        |004      |75000|2019-01-01 00:00:00.000|
66ec0448f67ff442c94c906b|  3000|2018-12-13 00:00:00.000|KK        |010      |30000|2018-12-13 00:00:00.000|
66ec0478f67ff442c94c906c| 40000|2018-12-13 00:00:00.000|HH        |006      |40000|2018-12-13 00:00:00.000|
671b3781a8e1bc3d4feed4fc|1002.0|2018-12-13 00:00:00.000|李四        |011      |6000 |2018-12-13 00:00:00.000|

# 新建同步作业

点击数据同步上的【...】,选择弹出菜单【新建数据同步作业】,作业名称为:mongoDB-input。

# 拖拽图元

依次拖拽数据源中的Mongo Source组件和目标中的LocalFile Sink组件,依次连线。如下图所示:

mongo

# 配置组件属性

1、双击"Mongo Source"组件,根据下图所示步骤依次配置。

mongo

2、双击"LocalFile Sink"组件,根据下图所示步骤依次配置。

mongo

3、Ctrl+S保存该模型。

# 运行

点击【运行】按钮,可以运行已经开发完毕的场景,在日志栏可以看运行日志及运行结果。

mongo

# 查看数据

在/home/dws/outfile/mongo下查看数据。

mongo

# 提交版本

当草稿运行正常后,点击【提交】按钮可以将该版本提交到作业调度,每次修改提交都会生成新的版本,可以看到提交的历史版本,并可以随意切换版本。

提交后的版本,可以在作业调度中进行"定时"调度配置。

mongo