这篇文章给大家分享的是有关Hive中如何使用MAP JOIN的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。
Hive中简介及使用MAP JOIN
Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下mapjoin的原理和机制。
一、MAP JOIN图
二、概述
MapJoin通常用于一个很小的表和一个大表进行join的场景，具体小表有多小，由参数hive.mapjoin.smalltable.filesize来决定，该参数表示小表的总大小，默认值为25000000字节，即25M。
Hive0.7之前，需要使用hint提示 才会执行MapJoin,否则执行Common Join，但在0.7版本之后，默认自动会转换Map Join，由参数hive.auto.convert.join来控制，默认为true.
假设a表为一张大表，b为小表，并且hive.auto.convert.join=true,那么Hive在执行时候会自动转化为MapJoin。
三、测试
1、两表关联：
点击(此处)折叠或打开
select e.empno,e.ename,e.deptno,d.deptno,d.dname from emp e join dept d on e.deptno = d.deptno;
条件：emp表数据为1000条，dept表数据为100条；
说明：执行时间mapjoin会通过元数据(metadata)进行查找，发现是否存在小表（根据hive.mpajoin.samlltable.filesize参数设置，判断是否为小表。此参数默认25M）。
存在小表时将先行进行小表加载到内存中，即dept表，如上HQL语句将dept表加载至内存中，最后再用emp表中数据一条一条与内存中数据进行关联查询。
2、多表关联
条件：emp表数据为1000条，dept表数据为100条，emp_partition表数据为500条；
点击(此处)折叠或打开
select e.empno,e.ename,e.deptno,d.deptno,d.dname from emp e join dept d join emp_partition c on e.deptno = d.deptno and e.empno = c.empno;
说明：执行时间mapjoin会通过元数据(metadata)进行查找，发现是否存在小表（根据hive.mpajoin.samlltable.filesize参数设置，判断是否为小表。此参数默认25M）。
存在小表时将先行进行小表加载到内存中，即dept、emp_partition表，如上HQL语句将dept表加载至内存中，最后再用emp表中数据一条一条与内存中数据进行关联查询。
注：以上可以对照SQL的执行计划或执行日志更详细，后续补充相关截图及说明
四、使用MAPJOIN可解决以下实际问题：
1、有一个极小的表<100行（d表是部门）
2、需要做不等值join操作（a.x<b.y或者a.x like="" b.y等）。普通join语法不支持不等于操作，hive语法解析会直接抛出错误。="" 五、相关参数
点击(此处)折叠或打开
小表自动选择Mapjoin
set hive.auto.convert.join=true;
默认值：false。该参数为true时，Hive自动对左边的表统计量，若是小表就加入内存，即对小表使用Map join
小表阀值
set hive.mapjoin.smalltable.filesize=25000000;
默认值：25M
hive.smalltable.filesize (replaced by hive.mapjoin.smalltable.filesize in Hive 0.8.1)
map join做group by操作时，可使用多大的内存来存储数据。若数据太大则不会保存在内存里
set hive.mapjoin.followby.gby.localtask.max.memory.usage;
默认值：0.55
本地任务可以使用内存的百分比
set hive.mapjoin.localtask.max.memory.usage;
默认值：0.90
感谢各位的阅读！关于“Hive中如何使用MAP JOIN”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！
