这篇文章给大家介绍怎么理解spark的计算器与广播变量，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。
一.计算器
1.官网
2.解释
计数器只支持加，计算器字task里面3.测试
4.结果截图WEBUI
4.应用场景
数据很多有的数据挂了，做数据质量监控用二.广播变量
1.官网
2.join代码
def commonJoin(sc:SparkContext): Unit = { val peopleInfo = sc.parallelize(Array(("G301","糊涂虫"),("G302","森老"),("G303","Gordon"))).map(x=>(x._1, x)) val peopleDetail = sc.parallelize(Array(("G301","清华大学",18))).map(x=>(x._1,x)) // TODO... 大表关联小表 join key from a join b on a.id=b.id peopleInfo.join(peopleDetail).map(x=>{x._1 + "," + x._2._1._2 + "," + x._2._2._2+ "," + x._2._2._3}) }3.结果WEBUI
4.广播变量使用前提
广播变量的前提条件是数据量少，一大一小，不能超过内存数据量大小还要看内存，你内存够大就可以放广播变量放到内存中5.广播变量的join代码
def broadcastJoin(sc:SparkContext): Unit = { val peopleInfo = sc.parallelize(Array(("G301","糊涂虫"),("G302","森老"),("G303","Gordon"))).collectAsMap() val peopleDetail = sc.parallelize(Array(("G301","清华大学",18))).map(x=>(x._1, x)) // 通过sc将变量广播出去 val peopleBroadcast = sc.broadcast(peopleInfo) // mappartition: 取出表中的一条记录和广播变量中的对比 peopleDetail.mapPartitions(x=>{ val map = peopleBroadcast.value // 是不是就是内存的东西 for((key,value)<-x if (map.contains(key))) yield (key,map.get(key).getOrElse(""), value._2) }).foreach(println) }6.WEBUI结果
7.两个join对比
广播变量的没有了shuffer有前提数据量不可以多把小表广播到内存中，大表每个数据与其对比有就要，没有就不要。广播变量与join结合工作中常用关于怎么理解spark的计算器与广播变量就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。
