文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Docker安装Presto连接Hive的详细过程

2024-04-02 19:55

关注

1、简介

Presto 是一个开源分布式 SQL 查询引擎,用于针对从千兆字节到 PB 级的各种规模的数据源运行交互式分析查询。Presto 允许查询数据所在的位置,包括 Hive、Cassandra、关系数据库甚至专有数据存储。单个 Presto 查询可以组合来自多个来源的数据,从而允许对整个组织进行分析。

2、下载安装

1)下载镜像


docker pull starburstdata/presto

2)下载客户端jar

因为pull下来的镜像是server,是没有presto-cli命令的,所以需要下载presto-cli-0.260.1-executable.jar,然后将下载好的jar包拉入Linux系统中。

下载完成后,run容器:


#端口号为8080,请自行修改,名字为presto
docker run -d -p 8080:8080  --name presto starburstdata/presto

将客户端jar包拷贝到容器中的bin目录下:


docker cp [客户端jar包所在的linux路径] [容器名]:/bin

进入到hadoop配置文件目录,将core-site.xml和hdfs-site.xml复制到容器中


cd ${HADOOP_HOME}/etc/hadoop
docker cp core-site.xml presto:/usr/lib/presto/etc/
docker cp core-site.xml presto:/usr/lib/presto/etc/

进入容器(以下不标注都是在容器中进行的操作):


#以root用户进入容器,防止没有权限操作文件
docker exec --user=root -it presto /bin/bash

将客户端jar包改名并赋予可执行权限:


cd bin
mv presto-cli-0.260.1-executable.jar presto-cli
chmod a+x presto-cli

3、配置文件

进入配置文件目录,创建hive配置文件:


cd /usr/lib/presto/etc/catalog
vi hive.properties

hive.properties:


#连接名,固定
connector.name=hive-hadoop2
#hive元数据uri,在hive-site.xml里能够找到,请自行修改ip和端口
hive.metastore.uri=thrift://192.168.10.51:9083
#hive配置的资源 core-site.xml和hdfs-site.xml,请根据自己集群中的配置文件路径进行修改,中间用逗号隔开
hive.config.resources=/usr/lib/presto/etc/core-site.xml,/usr/lib/presto/etc/hdfs-site.xml

wq保存退出

重启容器(在linux命令行下):


docker restart presto

4、测试连接

进入容器:


#以root用户进入容器,防止没有权限操作文件
docker exec --user=root -it presto /bin/bash
#进入bin目录
cd bin
#执行命令行脚本并测试hive连接,连接到hive配置文件,数据库是default
./presto-cli --server localhost:8080 --catalog hive --schema default
presto>show tables;

到此这篇关于Docker安装Presto连接Hive的详细过程的文章就介绍到这了,更多相关Docker安装Presto内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     807人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     351人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     314人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     433人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     221人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-服务器
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯