文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Sqoop怎么将MySQL数据导入到hive中

2023-06-02 16:33

关注

这篇文章主要讲解了“Sqoop怎么将MySQL数据导入到hive中”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Sqoop怎么将MySQL数据导入到hive中”吧!

MySQL表:

mysql> desc t3;

+----------------+------------+------+-----+---------+-------+

| Field          | Type       | Null | Key | Default | Extra |

+----------------+------------+------+-----+---------+-------+

| ISVALID        | int(11)    | YES  | MUL | NULL    |       |

| CREATETIME     | datetime   | YES  |     | NULL    |       |

| UPDATETIME     | datetime   | YES  |     | NULL    |       |

| CONC_UNI_CODE  | bigint(20) | YES  |     | NULL    |       |

| COM_UNI_CODE   | bigint(20) | YES  |     | NULL    |       |

| FUND_INFW_REL  | double     | YES  |     | NULL    |       |

| MARK_MANI_REL  | double     | YES  |     | NULL    |       |

| STOCK_FREQ_REL | double     | YES  |     | NULL    |       |

| STOCK_CONC_REL | double     | YES  |     | NULL    |       |

+----------------+------------+------+-----+---------+-------+

9 rows in set (0.01 sec)

mysql> 

hive中自己创建表:

hive> create table tt1(

ISVALID int,

CREATETIME TIMESTAMP,

UPDATETIME TIMESTAMP,

CONC_UNI_CODE bigint,

COM_UNI_CODE bigint,

FUND_INFW_REL double,

MARK_MANI_REL double,

STOCK_FREQ_REL double,

STOCK_CONC_REL double) 

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ;

hive>

将Mysql数据导入到hive中(提前在hive中创建表)

(1).导入数据到HDFS中

[hdfs@jingong01 ~]$ sqoop import --connect jdbc:mysql://172.16.8.93:3306/db_stktag --username wangying --password wangying --table t3 --target-dir /user/tong/123 --num-mappers 1 --hive-table tt1 -m 1 --split-by date --direct --fields-terminated-by '\t'

(2).加载数据

hive> load data inpath '/user/tong/123' into table tt1;

hive> select * from tt1 limit 2;

OK

02015-06-12 10:00:042016-07-28 18:00:165001000008300000102280.090.070.085.0

02015-06-12 10:00:042015-12-22 15:18:255001000008300007831630.080.070.064.0

Time taken: 0.089 seconds, Fetched: 2 row(s)

hive> 

直接从Mysql导入到hive中,不需要load data加载

[hdfs@jingong01 ~]$ cat test.sql 

create table test(

ISVALID int,

CREATETIME TIMESTAMP,

UPDATETIME TIMESTAMP,

CONC_UNI_CODE bigint,

COM_UNI_CODE bigint,

FUND_INFW_REL double,

MARK_MANI_REL double,

STOCK_FREQ_REL double,

STOCK_CONC_REL double) 

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

[hdfs@jingong01 ~]$ hive -f test.sql   --创建表

Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.13.0-1.cdh6.13.0.p0.29/lib/hive/lib/hive-common-1.1.0-cdh6.13.0.jar!/hive-log4j.properties

OK

Time taken: 6.709 seconds

[hdfs@jingong01 ~]$ sqoop import --connect jdbc:mysql://172.16.8.93:3306/db_stktag --username wangying --password wangying --table t3 --delete-target-dir --num-mappers 1 --hive-import -m 1 --hive-table test --fields-terminated-by '\t'      --导入数据

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

19/01/30 15:35:38 INFO hive.HiveImport: OK

19/01/30 15:35:38 INFO hive.HiveImport: Time taken: 6.207 seconds

19/01/30 15:35:38 INFO hive.HiveImport: Loading data to table default.test

19/01/30 15:35:38 INFO hive.HiveImport: Table default.test stats: [numFiles=1, totalSize=3571294]

19/01/30 15:35:38 INFO hive.HiveImport: OK

19/01/30 15:35:38 INFO hive.HiveImport: Time taken: 0.615 seconds

19/01/30 15:35:38 INFO hive.HiveImport: WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked.

19/01/30 15:35:38 INFO hive.HiveImport: WARN: Please see http://www.slf4j.org/codes.html#release for an explanation.

19/01/30 15:35:39 INFO hive.HiveImport: Hive import complete.

19/01/30 15:35:39 INFO hive.HiveImport: Export directory is contains the _SUCCESS file only, removing the directory.

[hdfs@jingong01 ~]$ hive

Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.13.0-1.cdh6.13.0.p0.29/lib/hive/lib/hive-common-1.1.0-cdh6.13.0.jar!/hive-log4j.properties

hive>  select * from test limit 2;

OK

02015-06-12 10:00:042016-07-28 18:00:165001000008300000102280.090.070.085.0

02015-06-12 10:00:042015-12-22 15:18:255001000008300007831630.080.070.064.0

Time taken: 0.058 seconds, Fetched: 2 row(s)

hive> 

感谢各位的阅读,以上就是“Sqoop怎么将MySQL数据导入到hive中”的内容了,经过本文的学习后,相信大家对Sqoop怎么将MySQL数据导入到hive中这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是编程网,小编将为大家推送更多相关知识点的文章,欢迎关注!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯