使用Datax web 创建同步任务
准备工作
创建数据源 配置数据库相关信息
创建执行器 配置执行器执行地址相关信息
1.构建reade
1.1 SQL语句 （querySql）
在json文件中此部分配置就是 querySql
在有些业务场景下，where这一配置项不足以描述所筛选的条件，用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后，DataX系统就会忽略table，column这些配置型，直接使用这个配置项的内容对数据进行筛选，例如需要进行多表join后同步数据，使用select a,b from table_a join table_b on table_a.id = table_b.id
当用户配置querySql时，xxxReader直接忽略table、column、where条件的配置。如果配置了querySql又配置了table，column、where等，在log中会有警告日志
1.2 表所有字段 （column）
在json文件中此部分配置就是 column
2.构建reade
2.1 前置sql语句 （preSql）
在json文件中此部分配置就是 preSql
写入数据到目的表前，会先执行这里的标准语句。如果 Sql 中有你需要操作到的表名称，请使用 @table 表示，这样在实际执行 Sql 语句时，会对变量按照实际表名称进行替换。比如你的任务是要写入到目的端的100个同构分表(表名称为:datax_00,datax01, … datax_98,datax_99)，并且你希望导入数据前，先对表中数据进行删除操作，那么你可以这样配置：“preSql”:[“delete from 表名”]，效果是：在执行到每个表写入数据前，会先执行对应的 delete from 对应表名称。
// 也可以通过配置参数进行部分数据删除 lastTime为传入的辅助参数"preSql": [ "delete from biz_ad_facebook where date =${lastTime}" ]2.2 postSql （postSql）
在json文件中此部分配置就是 postSql
== 写入数据到目的表后，会执行这里的标准语句。（原理同 preSql ） ==
3.字段映射
4.构建json ----选择模板
5.增量更新的配置
通过上述步骤创建出来的任务，在任务列表找到并编辑。
其中用于增量更新的辅助参数。
1.任务类型选DataX任务
2.辅助参数选择时间自增
3.增量开始时间选择，即sql中查询时间的开始时间，用户使用此选项方便第一次的全量同步。第一次同步完成后，该时间被更新为上一次的任务触发时间，任务失败不更新。
4.增量时间字段,-DlastTime=‘%s’ -DcurrentTime=‘%s’ 先来解析下这段字符串
1.-D是DataX参数的标识符，必配2.-D后面的lastTime和currentTime是DataX json中where条件的时间字段标识符，必须和json中的变量名称保持一致3.='%s'是项目用来去替换时间的占位符，比配并且格式要完全一致4.注意-DlastTime='%s'和-DcurrentTime='%s'中间有一个空格，空格必须保留并且是一个空格6.遇到的问题—增量数据导入 可能重复的主键
解决办法：
datax的writeMode参数："writeMode": "update",insert
这个参数可以设置为insert，这样子就是对于同步的主键进行设置。主要主键存在，那么在更新的时候，就不会将结果表中的数据进行修改。只会增加新的数据。
2.update
在同步到时候，设置主键，那么会查看表中主键内容的数据，如果有变动，就会直接进行替换。
// 示例json{ "job": { "setting": { "speed": { "channel": 3, "byte": 1048576 }, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [ { "reader": { "name": "****", "parameter": { "username": "****", "password": "****", "splitPk": "", "connection": [ { "querySql": [ "select * from tablename where date >= ${lastTime} and date< ${currentTime}" ], "jdbcUrl": [ "****" ] } ] } }, "writer": { "name": "mysqlwriter", "parameter": { "writeMode": "update", "username": "******", "password": "*******", "column": [ "`id`", "`account_id`", "`account_name`", "`campaign_id`", "`campaign_name`", "`ad_set_id`", "`ad_set_name`", "`ad_id`", "`ad_name`", "`date`", "`date_start`", "`date_stop`", "`spend`", "`cpm`", "`ctr`", "`cpc`", "`purchase`", "`order_num`", "`roas`", "`clicks`", "`video_avg_time_watched_actions`", "`video_creator`", "`level`", "`create_by`", "`create_time`", "`update_by`", "`update_time`", "`sys_org_code`", "`product_name`", "`site_short_name`", "`operator`", "`date_timestamp`", "`impressions`", "`add_to_card`", "`video_thirty_sec_watched`", "`unique_clicks`", "`unique_checkout`", "`unique_add_to_card`", "`conversion_rate_ranking`", "`engagement_rate_ranking`", "`quality_ranking`", "`video_p100_watched`", "`video_p25_watched`", "`video_p50_watched`", "`video_p75_watched`", "`video_p95_watched`", "`view_content`", "`landing_page_view`", "`unique_link_clicks`", "`checkout`", "`designer`", "`campaign_objective`", "`inline_clicks`", "`unique_inline_clicks`", "`outbound_clicks`", "`unique_outbound_clicks`", "`frequency`", "`inline_post_engagement`", "`cost_per_inline_click`", "`cost_per_inline_post`", "`cost_per_outbound_click`", "`cost_per_unique_click`", "`cost_per_unique_inline_click`", "`cost_per_unique_outbound_click`", "`watch_avg_time`", "`video_play_curve`", "`asc_flag`" ], "preSql": [ "delete from tablename where date =${lastTime}" ], "connection": [ { "table": [ "biz_ad_facebook" ], "jdbcUrl": "jdbc:mysql://localhost:3322/powerbi" } ] } } } ] }}来源地址：https://blog.csdn.net/weixin_43820104/article/details/129302652
