配置文件说明

注：本文只对部分可能需要修改的重要配置进行说明

质量后端

user-config.xml 配置文件

数据质量的数据源使用 user-config.xml 配置文件进行配置。配置文件路径：${PACKAGE_HOME}/server/quality/config/QUALITY/config/user-config.xml，内容如下：

...
<group name="default">
    <!--数据库名称,根据实际情况选择MySql/Oracle/DM/Openguass-->
    <configValue key="Database-Type">MySql</configValue>
    <configValue key="Jdbc-Type"/>
<!--
    数据库驱动,根据实际情况选择
    com.mysql.jdbc.Driver/oracle.jdbc.OracleDriver/
    dm.jdbc.driver.DmDriver/org.opengauss.Driver
-->
    <configValue key="C3p0-DriverClass">com.mysql.jdbc.Driver</configValue>
<!--
    数据库连接地址,按实际情况填写
    <configValue key="C3p0-Url">jdbc:mysql://10.16.16.210:3306/dqms_fran?useSSL=false</configValue>
    <configValue key="C3p0-Url">jdbc:oracle:thin:@192.168.2.42:1521:eos</configValue>
    <configValue key="C3p0-Url">jdbc:dm://localhost:5236/schema?columnNameUpperCase=false</configValue>
    <configValue key="C3p0-Url">jdbc:opengauss://10.15.15.148:15400/qcdev?currentSchema=public</configValue>
-->
    <configValue key="C3p0-Url">jdbc:mysql://10.16.16.210:3306/dqms_fran?useSSL=false</configValue>
    <configValue key="C3p0-UserName">root</configValue>
    <configValue key="C3p0-Password">root</configValue>
    <configValue key="C3p0-PoolSize">5</configValue>
    <configValue key="C3p0-MaxPoolSize">30</configValue>
    <configValue key="C3p0-MinPoolSize">5</configValue>

    <!-- //seconds, 0 means connections never expire -->
    <configValue key="C3p0-MaxIdleTime">0</configValue>
    <!-- //idle connections never tested -->
    <configValue key="C3p0-IdleConnectionTestPeriod">0</configValue>
    <configValue key="C3p0-MaxStatements">0</configValue>
    <configValue key="C3p0-NumHelperThreads">3</configValue>

    <configValue key="Transaction-Isolation">ISOLATION_DEFAULT</configValue>
    <configValue key="Test-Connect-Sql">SELECT count(*) from EOS_UNIQUE_TABLE</configValue>
    <configValue key="Retry-Connect-Count">-1</configValue>
</group>
...

其中，default数据源为数据质量数据源（如果是集成式部署，也作为AFCenter的数据源）。

application.properties 配置文件

application.properties 为spring通用配置，配置文件路径：

${PACKAGE_HOME}/server/quality/config/application.properties，配置文件说明：

#应用端口
server.port=8080

#redis
spring.redis.host=10.15.15.136
spring.redis.port=6379
spring.redis.password=primeton

application-afc.properties 配置文件

application-afc.properties 为AFCenter的配置文件。

配置文件路径：${PACKAGE_HOME}/server/quality/config/application-afc.properties，配置文件说明：

afc.application.name=10.15.15.136:28085 # 不使用nacos或eureka时，填写格式为： ip:port
afc.application.tenant=sys_tenant
afc.application.app-code=AFC
afc.application.app-secret=secret

application-dqms.properties 配置文件

application-dqms.properties 为数据质量的配置文件。配置文件路径：

${PACKAGE_HOME}/server/quality/config/application-dqms.properties，配置文件说明：

#mybatis
mybatis.mapper-dir=mysql    #mapper文件目录，根据实际情况选择，目前支持 mysql/oracle/dm/openguass
mapper.identity=MYSQL        #tk-mybatis主键自增数据指定，根据实际情况选择 MYSQL/ORACLE/DM/POSTGRESQL(openguass使用)
pagehelper.helperDialect=mysql    #pagehelper方言，根据实际情况选择 MYSQL/ORACLE/DM/postgresql(openguass使用)

#dqms
common.base_dir=${app.home:.}    #文件生成基础目录(上传文件、检核结果等)，默认当前质量后端安装目录


#xxl
xxl.job.admin.addresses=http://10.15.15.136:28282/job-admin/    #调度器地址
xxl.job.admin.username=admin
xxl.job.admin.password=123456

#hadoop
hadoop.hdfs_type=local    #hadoop 集群配置，如果是真实的 HDFS，则配置为：cluster, 如果不是：local
#hadoop.tenent_name=hadoop    #按实际情况修改

# 文件存储位置
datashard.type=local    # 支持 local、ftp、sftp、hdfs
datashard.base_path=${common.base_dir}/upload    #Local，HDFS 等文件系统的基础路径
datashard.delSrc=true    #上传后是否删除源文件
datashard.fileSuffix=.bcp    #数据文件后缀
#ftp
datashard.ftp.host=192.168.30.142
datashard.ftp.port=2121
datashard.ftp.userName=admin
datashard.ftp.password=primeton000000
#sftp
datashard.sftp.host=192.168.30.143
datashard.sftp.port=22
datashard.sftp.userName=root
datashard.sftp.password=primeton

#数据源同步
#sync.ds-datasource=true    #默认开启
#sync.ds-datasource.interval=0 */5 * * * ?    #同步时间默认5min

更多配置请参考EOS配置文件说明。

调度器

application.properties 配置文件

application.properties 为数据质量的配置文件。配置文件路径：

${PACKAGE_HOME}/server/quality/config/application.properties，配置文件说明：

#web
server.port=28282

## xxl-job, datasource
#mysql
#数据库连接地址,按实际情况填写
#spring.datasource.url=jdbc:oracle:thin:@192.168.2.42:1521:eos
#spring.datasource.url=jdbc:dm://localhost:5236/schema?columnNameUpperCase=false
#spring.datasource.url=jdbc:opengauss://10.15.15.148:15400/qcdev?currentSchema=public
#spring.datasource.url=jdbc:mysql://10.16.16.210:3306/dqms_fran?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.url=jdbc:mysql://10.16.16.210:3306/dqms_fran?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root
#数据库驱动,根据实际情况选择                        com.mysql.jdbc.Driver/oracle.jdbc.OracleDriver/dm.jdbc.driver.DmDriver/org.opengauss.Driver
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

#oracle
#spring.datasource.url=jdbc:oracle:thin:@192.168.2.42:1521:eos
#spring.datasource.username=qcdev
#spring.datasource.password=1234567890
#spring.datasource.driver-class-name=oracle.jdbc.OracleDriver

#dm
spring.datasource.url=jdbc:dm://192.168.1.142:5236/LOOP
spring.datasource.username=LOOP
spring.datasource.password=looploop
spring.datasource.driver-class-name=dm.jdbc.driver.DmDriver

#gauss
#spring.datasource.url=jdbc:opengauss://10.15.15.148:15400/dqms_loop?currentSchema=public
#spring.datasource.username=mdmtest
#spring.datasource.password=mdmtest#123
#spring.datasource.driver-class-name=org.opengauss.Driver

执行器

application.yml 配置文件

application.yml 为数据质量的配置文件。配置文件路径：

${PACKAGE_HOME}/server/quality/config/application.yml，配置文件说明：

#应用端口
server:
  port: 18184

#数据源配置
common:
  jdbc:
     #数据库驱动,根据实际情况选择                            com.mysql.jdbc.Driver/oracle.jdbc.OracleDriver/dm.jdbc.driver.DmDriver/org.opengauss.Driver
    driverClass: com.mysql.jdbc.Driver
    username: "root"
    password: "root"
  # 执行器安装的目录，可无需修改
  base_dir: ${app.home:.}
  # 根据质量application-dqms.properties中common.base_dir修改，按需修改
  damp_dir: ${app.home:.}

#mybatis配置
mapper:
  identity: MYSQL    #tk-mybatis主键自增数据指定，按需选择 MYSQL/ORACLE/DM/POSTGRESQL(openguass使用)

#告警邮件服务器配置
spring:
  mail:
    host: smtp.exmail.qq.com
    protocol: smtp
    username: lizw@primeton.com
    password: i7cBHaDFzeWex539
  datasource:
    damp:
      #数据库连接地址,按实际情况填写
      #url: jdbc:oracle:thin:@192.168.2.42:1521:eos
      #url: jdbc:dm://localhost:5236/schema?columnNameUpperCase=false
      #url: jdbc:opengauss://10.15.15.148:15400/qcdev?currentSchema=public
        #url: jdbc:mysql://10.16.16.210:3306/dqms_fran?useUnicode=true&characterEncoding=UTF-8&useSSL=false
        url: jdbc:mysql://10.16.16.210:3306/dqms_fran?useUnicode=true&characterEncoding=UTF-8&useSSL=false
      username: ${common.jdbc.username}
      password: ${common.jdbc.password}
      driver-class-name: ${common.jdbc.driverClass}
      alias: dqms_fran    #库名
    dqms:
      url: jdbc:mysql://10.16.16.210:3306/dqms_fran?useUnicode=true&characterEncoding=utf-8&useSSL=false
      username: ${common.jdbc.username}
      password: ${common.jdbc.password}
      driver-class-name: ${common.jdbc.driverClass}
      alias: dqms_fran    #库名

#paghelper
pagehelper:
  helperDialect: mysql    #pagehelper方言，按需选择 MYSQL/ORACLE/DM/postgresql(openguass使用)

#xxl
xxl:
  job:
    admin:
      addresses: http://10.15.15.136:28282/job-admin/    #调度器地址
      username: admin
      password: 123456
    executor:
      port: 9944    #执行器注册到调度器端口

#hadoop
hadoop:
  # hadoop 集群配置，如果是真实的 HDFS，则配置为：cluster, 如果不是：local
  hdfs_type: local

datashard:
  # 支持 local、ftp、sftp、hdfs
  type: local
  base_path: ${common.base_dir}/upload
  #上传文件到hadoop后删除源文件
  delSrc: true
  #上传文件后缀
  fileSuffix: .bcp
  #ftp
  ftp:
    host: localhost
    port: 21
    userName: admin
    password: primeton000000
  #sftp
  sftp:
    # ip地址
    host: localhost
    # 端口
    port: 22
    # 用户名
    userName: root
    # 密码
    password: primeton