文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Hive的静态分区与动态分区的区别

2023-06-02 01:37

关注

本篇内容介绍了“Hive的静态分区与动态分区的区别”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

  1. 静态分区:若分区的值是确定的,那么称为静态分区。新增分区或者是加载分区数据时,已经指定分区名。

  create table if not exists day_part1(

  uid int,

  uname string

  )

  partitioned by(year int,month int)

  row format delimited fields terminated by '\t';

  ##加载数据指定分区

  load data local inpath '/root/Desktop/student.txt' into table day_part1

partition(year=2017,month=04);

  ##新增分区指定分区名

  alter table day_part1 add partition(year=2017,month=1)

partition(year=2016,month=12);

  2. 动态分区:分区的值是非确定的,由输入数据来确定

  2.1 动态分区的相关属性:

  hive.exec.dynamic.partition=true :是否允许动态分区

  hive.exec.dynamic.partition.mode=strict :分区模式设置

  strict:最少需要有一个是静态分区

  nostrict:可以全部是动态分区

  hive.exec.max.dynamic.partitions=1000 :允许动态分区的最大数量

  hive.exec.max.dynamic.partitions.pernode =100

:单个节点上的mapper/reducer允许创建的最大分区

  2.2 动态分区的操作

  ##创建临时表

  create table if not exists tmp

  (uid int,

  commentid bigint,

  recommentid bigint,

  year int,

  month int,

  day int)

  row format delimited fields terminated by '\t';

  ##加载数据

  load data local inpath '/root/Desktop/comm' into table tmp;

  ##创建动态分区表

  create table if not exists dyp1

  (uid int,

  commentid bigint,

  recommentid bigint)

  partitioned by(year int,month int,day int)

  row format delimited fields terminated by '\t';

  ##严格模式

  insert into table dyp1 partition(year=2016,month,day)

  select uid,commentid,recommentid,month,day from tmp;

  ##非严格模式

  ##设置非严格模式动态分区

  set hive.exec.dynamic.partition.mode=nostrict;

  ##创建动态分区表

  create table if not exists dyp2

  (uid int,

  commentid bigint,

  recommentid bigint)

  partitioned by(year int,month int,day int)

  row format delimited fields terminated by '\t';

  ##为非严格模式动态分区加载数据

  insert into table dyp2 partition(year,month,day)

  select uid,commentid,recommentid,year,month,day from tmp;

  3.分区注意细节

  (1)、尽量不要用动态分区,因为动态分区的时候,将会为每一个分区分配reducer数量,当分区数量多的时候,reducer数量将会增加,对服务器是一种灾难。

  (2)、动态分区和静态分区的区别,静态分区不管有没有数据都将会创建该分区,动态分区是有结果集将创建,否则不创建。

  (3)、hive动态分区的严格模式和hive提供的hive.mapred.mode的严格模式。

  hive提供我们一个严格模式:为了阻止用户不小心提交恶意hql

  hive.mapred.mode=nostrict : strict

  如果该模式值为strict,将会阻止以下三种查询:

  (1)、对分区表查询,where中过滤字段不是分区字段。

  (2)、笛卡尔积join查询,join查询语句,不带on条件或者where条件。

  (3)、对order by查询,有order by的查询不带limit语句。

“Hive的静态分区与动态分区的区别”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注编程网网站,小编将为大家输出更多高质量的实用文章!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯