文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Kettle7.0同步数据(简单操作步骤mysql-mysql)

2024-01-21 15:51

关注

一、Kettle说明介绍和原理说明

Kettle是一款免费的ETL工具。

ETL分别是“Extract”、“ Transform” 、“Load”三个单词的首字母缩写,也就是代表ETL过程的三个最主要步骤:“抽取”、“转换”、“装载”,但我们平时往往简称其为数据抽取。

ETL过程的三个最主要步骤:

“抽取”:将数据从各种原始的业务系统中读取出来,这是所有工作的前提。

“转换”:按照预先设计好的规则将抽取的数据进行转换,使本来异构的数据格式能统一起来。

“装载”:将转换完的数据按计划增量或全部导入到数据仓库中。

二、Kettle同步数据(简单操作步骤)

下载地址:https://sourceforge.net/projects/pentaho/files/Data Integration/

下载:pdi-ce-7.1.0.0-12.zip

1、文件->新建->转换

双击打开spoon.bat,在左侧主对象菜单栏,点击“转换”

2、核心对象-->输入,选择表输入

2.1、选择新建

2.2、输入数据库连接信息,点击测试,点击确定后,表输入那里可选择

 

2.3、输入查询的SQL语句,点击预览 

 

 

3、核心对象-->输出,选择表输出

3.1、点击新建,输入数据库信息进行连接(和1.2步骤一致)

 

3.2、选择数据库连接,选择目标表,点击确定即可

(如果有模式,这里可输入,并预览)

(可选择目标表的预览,看看是否可预览)

4、连接并执行

4.1、选中表输入,按shirt键,拉线和表输出建立连接。

单击【表输入】,按shift键连接【表输入】,建立起【表输入】和【表输出】的连接

 4.2、点击执行

4.3、查看结果

5、问题列表

5.1、问题1:同步的数据乱码

原因是:查看了表输入的预览,数据是正常的,表输出未设置字符设置

useCursorFetch=true

characterEncoding=utf8

再次同步,结果如下,乱码解决

5.2、问题2:mysql表输出的时候出现减速的原因可能是因为网络链接的属性设置

在配置mysql数据库连接时在【选项】中添加参数:

useServerPrepStmts=false  
rewriteBatchedStatements=true  
useCompression=true 

如图:

来源地址:https://blog.csdn.net/fen_fen/article/details/129999682

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯