一、JSON文件（将csv文本导入MySQL中）
{
"job": {
"setting": {
"speed": {
"channel": 3
}
},
"content": [
{
"reader": {
"name": "txtfilereader",
"parameter": {
"path":["D:\\爬虫数据\\百度百科\\catalogue.csv"],
"encode":"gbk",
"column" : [
{
"index":0,
"type":"string"
},{
"index":1,
"type":"Long"
}
],
"fieldDelimiter":","
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"writeMode": "insert",
"username": "root",
"password": "xxxxx",
"column": [
"name",
"value"
],
"preSql": [
"truncate table catalogue"
],
"connection": [
{
"jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=utf-8",
"table": [
"catalogue"
]
}
]
}
}
}
]
}
}
二、JSON文件解读
DataX的JSON文件主要的两部分：reader和writer两部分。
1，reader解读
“name”属性对应着读取对象的类型
“parameter”中path属性对应读取对象的路径、encode属性对应读取对象的编码、column属性对应读取对象的表头（其中index属性对应表头的字段顺序，type对应字段的类型）、filedDelimiter属性对应读取对象的分隔符。
2，writer解读
“name”属性对应着读取对象的类型
“parameter”中writeMote属性表示操作、username属性对应MySQL的用户名、password对应MySQL的密码、column对应的是表头字段（注：这里的字段顺序需要和读取对象的顺序一样）、preSql属性表示写入前进行的sql语句、connection属性中jdbcUrl表示数据库的连接路径，table表示表名
原文：https://www.cnblogs.com/goubb/p/12404076.html