文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

如何使用 SeaTunnel 同步 MySQL 数据到 Hive

2023-09-24 09:57

关注

第一步:环境准备

第二步:下载SeaTunnel并安装连接器

详细的安装过程可以参考:https://seatunnel.apache.org/docs/2.3.0/start-v2/locally/deployment

第三步:创建测试数据

    1、在MySQL创建表source_user

create table source_user(userid int(4) primary key not null auto_increment,username varchar(16) not null);

       并插入一些数据

insert into source_user (username) values ("z3");insert into source_user (username) values ("l4");insert into source_user (username) values ("w5");

    2、在Hive中创建表sink_user

create table sink_user( userid int, username string);

第四步:运行作业

下载MySQL驱动程序

下载和拷贝Hive连接器所需包

创建任务配置文件mysql_to_hive.conf 放在 ./conf/目录下          

env {  job.mode = "BATCH"} source {    Jdbc {        url = "jdbc:mysql://ctyun9/test?serverTimezone=GMT%2b8"        driver = "com.mysql.cj.jdbc.Driver"        user = "root"        password = "123456"        query = "select * from source_user"    }} transform {} sink {  Hive {    table_name = "st.sink_user"    metastore_uri = "thrift://localhost:9083"  } }

如果我们需要分片并行读取,可以在JDBC中配置partition_column 和 partition_num。

连接器文档可以参考这里👉https://seatunnel.apache.org/docs/2.3.0-beta/connector-v2/source/Jdbc、https://seatunnel.apache.org/docs/2.3.0-beta/connector-v2/sink/Hive

运行任务

./bin/seatunnel.sh -e LOCAL -c ./config/mysql_to_hive.conf

集群模式

SeaTunnel也支持集群模式,集群模式的部署可以参考https://seatunnel.apache.org/docs/2.3.0/seatunnel-engine/deployment。

相比之下,集群模式比Local模式拥有更好的性能,同时支持作业的多机并行,支持集群HA、断点续传、历史作业信息存储等特性。

集群模式的使用方式可以参考 https://seatunnel.apache.org/docs/2.3.0/seatunnel-engine/cluster-mode。

来源地址:https://blog.csdn.net/Enterprisbigdata/article/details/128847786

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯