文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

大数据和开源查询和框架有哪些

2024-04-02 19:55

关注

本篇内容主要讲解“大数据和开源查询和框架有哪些”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“大数据和开源查询和框架有哪些”吧!

阿帕奇Hive

大数据和开源查询和框架有哪些

Apache Hive是基于Hadoop生态系统的旗舰数据仓库工具。它不仅将结构化的数据文件映射到数据库表,而且还提供SQL(HQL)查询功能(例如SQL语句)并将SQL语句转换为MapReduce任务以供执行。

它是由Facebook开发的,于2008年进入Apache孵化器,并于2010年9月成为优秀Apache项目。背后的原理是利用熟悉的SQL模型来处理HDFS(Hadoop)上的数据。借助Hive,学习成本低,并且可以通过HQL语句快速转换简单的MapReduce统计信息,而无需担心开发其他特殊的MapReduce应用程序。

Hive非常方便地在整个企业范围内对数据仓库进行建模和构建,而Hive SQL模型则可以对数据仓库中的数据进行统计和分析。

但是,Hive的底层被转换为MR,而MR的改组依赖于系统磁盘,因此它只能处理离线分析,这效率相对较低,在开发人员社区中不可接受。Hive通常使用Hive在整个组织中构建数据仓库。

Apache SparkSQL

大数据和开源查询和框架有哪些

Apache SparkSQL是主要的Spark组件构建,用于处理结构化数据。Spark SQL于2014年发布,并吸收了Hive-on-Spark项目,该项目现在是使用最广泛的Spark模块。它提供了一个称为DataFrames的可编程抽象数据模型,并被视为分布式SQL查询引擎。

SparkSQL取代了Hive的查询引擎,但也与hive系统兼容。关于Spark RDD API,Spark SQL提供的接口将为Spark提供有关结构化数据和计算的更多信息。SparkSQL最底层是Spark Core,它使您可以轻松地在不同的SQL和API之间切换。

Presto

大数据和开源查询和框架有哪些

Presto是一个分布式数据查询引擎,但从不存储数据本身Presto将提供对多个数据源的访问,并支持跨不同数据源的级联查询。它是一个分布式SQL交互式查询引擎,它也在2012年由Facebook开发,并于2013年开源。

Presto是一种OLAP工具,适用于海量数据的复杂分析,但不适用于OLTP方案。Presto仅提供计算和分析功能,而不能用作数据库系统。

就Hive而言,Presto是一种低延迟,高并发性的内存计算引擎。它的执行效率比Hive高得多。它的MPP(大规模并行处理)模型可以处理PB级数据。Presto的原理只是将一些数据放入内存中进行计算,完成后将其取出,然后再次处理其他一些数据,例如循环和类似于管道处理模式。

Apache Kylin

大数据和开源查询和框架有哪些

Apache Kylin是针对Hadoop生态系统的开源分布式分析引擎。其针对Hadoop / Spark的SQL查询接口和OLAP功能广泛支持超大规模数据。它使用基于多维数据集的预计算技术,该技术可快速高效地处理大数据SQL查询。Kylin由eBay开发,并于2014年11月进入Apache孵化器。

凯林(Kylin)的出现是为了解决分析需要的TB数据。它可以在蜂巢中预先计算数据,并使用Hadoop的MapReduce框架实施。它可以在几秒钟内查询大量的Hive表。

麒麟最关键的两个过程是

Apache Impala

大数据和开源查询和框架有哪些

与其他框架相比,它是用于大数据的实时交互式SQL查询引擎。Apache Impala是由Cloudera开发的SQL MPP查询工具,受Google Dremel的启发,后来于2012年10月开源,并于2017年11月28日成为优秀项目。

Impala使用完全开放且不同的形式集成到Hadoop生态系统中,从而使其使用者可以使用SQL来处理Hadoop生态系统中的大量数据。

目前,它支持多种类型的存储选项,例如:

它诞生时仅支持对大量HDFS数据的交互式分析。它的灵活性和领先的分析数据库性能促进了在全球企业中的大量部署。

Ir为企业业务提供BI和交互式SQL高效分析,并允许第三方生态系统快速增长。

Apache Druid

大数据和开源查询和框架有哪些

Apache Druid是用于实时数据分析的开源工具,旨在快速处理大规模数据。它的分布式实时分析通过快速查询和大规模数据集解决了复杂的任务。

2018年2月28日进入Apache孵化器。它提供了以交互方式访问数据的功能。进入Druid系统后,可以实时摄取数据并立即进行验证。输入的数据a几乎是不可变的。通常是基于时间顺序的事实事件。

Elastic Search

它是一个分布式,可伸缩的实时搜索和分析引擎。它由Shay Banon于2010年建造,后来开源。它具有全文搜索引擎的功能,并具有RESTful Web界面的分布式多用户支持。

ES的工作原理主要分为以下几个步骤。

当用户搜索特定数据时,将根据权重对结果进行排名和评分,然后返回给用户。ES是完全用Java开发的,并且是当前比较受欢迎的企业搜索引擎。

它稳定,可靠,快速且易于安装,专为在云计算环境中使用而设计。

官方客户提供以下语言版本

Apache HAWQ

大数据和开源查询和框架有哪些

Apache HAWQ(带有查询的Hadoop)是Hadoop本机并行SQL分析引擎。它是Pivotal在2012年推出的具有商业许可的高性能SQL引擎。

它是Hadoop的本机SQL查询引擎,结合了MPP数据库的技术优势,巨大的可扩展性和Hadoop的便利性。

经验证,HAWQ的OLAP性能是Hive和Impala的4倍以上。它非常适合在Hadoop平台上快速构建数据仓库系统。

HAWQ具有以下功能,例如

它也可以轻松地与其他开源数据挖掘库(如MADLib)集成。

Apache Lucene

大数据和开源查询和框架有哪些

Apache Lucene是基于Java的开源全文搜索引擎工具箱。它是功能比较强大且被广泛采用的搜索引擎。Lucene不是完整的搜索引擎,而是全文搜索引擎体系结构,使用此原型,您可以制造其他搜索引擎产品。它是一种全文本搜索引擎体系结构,可提供完整的索引创建和查询索引以及文本分析引擎。

Lucene的目标是为软件开发人员提供一个简单易用的工具包,以促进在所需系统中实现全文搜索功能,甚至基于此原型构建完整的全文搜索引擎。它提供了一个简单但功能强大的应用程序编程接口(API),可以进行全文索引和搜索。

Apache Solr

大数据和开源查询和框架有哪些

Apache Solr是一个基于Apache Lucene架构的开源企业搜索平台。它于2004年发布,于2007年1月17日成为Apache优秀项目。

它的高可靠性,可伸缩性和容错能力提供分布式索引,复制和负载平衡查询,自动故障转移,恢复和集中式配置。它是一个完全用Java语言编写的独立全文搜索服务器,并在Servlet容器环境(Apache Tomcat或Jetty)中运行。

Solr依靠Lucene Java搜索库进行全文索引和搜索,并使用HTTP / XML和JSON API执行类似REST的操作。Solr强大的外部配置功能使其无需使用Java语言即可进行调整,以适合多种类型的软件。Solr支持许多大型Internet企业站点的搜索和导航功能。

Apache Phoenix

大数据和开源查询和框架有哪些

Apache Phoenix是基于HBase的SQL类型框架。Apache Phoenix JDBC API取代了传统的HBase客户端API的需求,它还创建表,插入数据和查询HBase数据。基本上,这是Java中间层,允许开发人员使用HBase中的数据表,例如关系数据库(例如,通过Phoenix的MySQL)。

Phoenix会将SQL查询语句编译为一系列Scan操作,并生成JDBC结果集并将其返回给服务使用者。它使您能够使用基础层,例如HBase协处理器和过滤器。无论数据响应时间以秒为单位,小规模查询都会以毫秒为单位进行响应。

到此,相信大家对“大数据和开源查询和框架有哪些”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯