文章详情

短信预约信息系统项目管理师 报名、考试、查分时间动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

HIVE架构

2016-06-18 04:47

关注

HIVE架构

UI:

     用于提交查询的客户端,hive自带有CLI(command line),现在推荐使用beeline

DRIVER:

               1.用于接收客户端提交的SQL,并实现了session控制

                2.并提供了jdbc/odbc的fetch和execute功能

COMPILER:

               编译器,负责解析SQL,并从METASTORE那里获取元数据生成执行计划,然后发给DRIVER

              执行计划就是一个DAG(有向无环图)

             组件:

                      1.Parser:将查询语句转变成一个parse tree

                      2.Semantic Analyser:将parse tree变成一个内部的查询表示(依然是基于查询块,而不是operator tree)。同时在这一步也会做语法检查,类型检查和类型隐式转换

                      3.Logical Plan Generator:将内部的查询表示转变成一个逻辑计划(包含一个operator tree),一些operator是关系代数的filter,join等,另一些是hive特定的,用于将逻辑计划变成一系列的map/reduce job,比如reduceSink operator(出现在map-reduce边界);这一步Optimizer也会对查询进行优化,比如map端聚合等

                      4.Query Plan Genertor:将逻辑计划转换成一系列的map-reduce tasks.做法是,通过对operator tree递归遍历,然后拆分成一系列的map/reduce task,然后提交到hadoop进行执行

METASTORE

              元数据存储,存储数仓中的DATABASE,TABLE,PARTITION,COLUMN,SERIALIZERS和DESERIALIZERS

             目的:提供数据抽象和数据发现,如果数据抽象,每次查询的时候,用户都需要提供数据格式,extractors和loaders。metasore的数据在表创建或重建都会更新,类似于传统数据仓库(这些信息存在于配置的数据库中,一般是mysql)

EXECUTION ENGINE

              DRIVER将执行计划发给ENGINE,然后ENGINE与底层交互获取结果后,返回给DRIVER。DRIVER再将数据发送给客户端

              这一个ENGINE设计的挺好的,以前是MAPREDUCE,现在可以是TEZ,spark,以后是否在出现新的框架,谁又说得准?!

 

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯