这篇文章主要介绍“Presto怎么安装使用”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“Presto怎么安装使用”文章能帮助大家解决问题。
一、什么是Presto?
背景知识:Hive的缺点和Presto的背景
Hive使用MapReduce作为底层计算框架,是专为批处理设计的。但随着数据越来越多,使用Hive进行一个简单的数据查询可能要花费几分到几小时,显然不能满足交互式查询的需求。Presto是一个分布式SQL查询引擎,它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL,包括复杂查询、聚合(aggregation)、连接(join)和窗口函数(window functions)。这其中有两点就值得探究,首先是架构,其次自然是怎么做到低延迟来支持及时交互。
PRESTO是什么?
Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。
它可以做什么?
Presto支持在线数据查询,包括Hive, Cassandra, 关系数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并,可以跨越整个组织进行分析。Presto以分析师的需求作为目标,他们期望响应时间小于1秒到几分钟。 Presto终结了数据分析的两难选择,要么使用速度快的昂贵的商业方案,要么使用消耗大量硬件的慢速的“免费”方案。
谁在使用它?
Facebook使用Presto进行交互式查询,用于多个内部数据存储,包括300PB的数据仓库。 每天有1000多名Facebook员工使用Presto,执行查询次数超过30000次,扫描数据总量超过1PB。领先的互联网公司包括Airbnb和Dropbox都在使用Presto。
二、Presto的体系架构
Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator和多个worker。 由客户端提交查询,从Presto命令行CLI提交到coordinator。 coordinator进行解析,分析并执行查询计划,然后分发处理队列到worker。
Presto查询引擎是一个Master-Slave的架构,由一个Coordinator节点,一个Discovery Server节点,多个Worker节点组成,Discovery Server通常内嵌于Coordinator节点中。Coordinator负责解析SQL语句,生成执行计划,分发执行任务给Worker节点执行。Worker节点负责实际执行查询任务。Worker节点启动后向Discovery Server服务注册,Coordinator从Discovery Server获得可以正常工作的Worker节点。如果配置了Hive Connector,需要配置一个Hive MetaStore服务为Presto提供Hive元信息,Worker节点与HDFS交互读取数据。
三、安装Presto Server
安装介质
1 免责声明: ① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。 ② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341 软考中级精品资料免费领
相关文章发现更多好内容猜你喜欢AI推送时光机Presto怎么安装使用后端开发2023-06-02 PHP_CodeSniffer怎么安装使用后端开发2023-06-26 CatBoost怎么安装使用后端开发2023-06-19 Betty怎么安装使用后端开发2023-06-16 VueX怎么安装使用后端开发2023-06-28 Fiddler怎么安装使用后端开发2023-06-04 Composer怎么安装使用后端开发2023-07-05 Flatabulous怎么安装使用后端开发2023-06-16 Compose怎么安装和使用后端开发2024-04-02 gearman怎么安装与使用后端开发2023-08-25 postgresql怎么安装和使用后端开发2023-06-27 Vue2怎么安装使用MonacoEditor后端开发2023-07-06 KindEditor怎么安装及使用后端开发2023-10-22 ckplayer怎么安装和使用后端开发2023-10-23 Heritrix1.14.4怎么安装及使用后端开发2023-10-24 Java13怎么安装和使用后端开发2024-04-02 ngx bootstrap怎么安装使用后端开发2024-04-02 GNU nano怎么安装使用后端开发2023-06-15 Xcode怎么安装和使用后端开发2023-10-21 flexbuilder怎么安装和使用后端开发2023-09-25 咦!没有更多了?去看看其它编程学习网 内容吧 |