文章详情

登录

短信预约-IT技能 免费直播动态提醒

选择考试省份

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团

请输入下面的图形验证码

提交验证

短信预约提醒成功

通过 Docker-Compose 快速部署 Elasticsearch 和 Kibana 保姆级教程

2024-11-30 06:11

关注
  1. 准备 Docker 和 Docker Compose：确保您已经安装了 Docker 和 Docker Compose。您可以从 Docker 官方网站上获取它们的安装程序。
  2. 创建 Docker Compose 配置文件：创建一个名为 docker-compose.yml 的文件，它将定义 Elasticsearch 和 Kibana 的容器配置。这个文件应该包括服务名称、映像、环境变量、端口映射等信息。
  3. 配置 Elasticsearch：在 docker-compose.yml 文件中，配置 Elasticsearch 容器。您通常需要指定节点名称、发现类型等设置。使用容器版本的 Elasticsearch 镜像。
  4. 配置 Kibana：在 docker-compose.yml 文件中，配置 Kibana 容器。指定要监听的端口，并确保它依赖于 Elasticsearch 服务。
  5. 数据卷设置：在 docker-compose.yml 文件中，通常会使用数据卷来保存 Elasticsearch 数据。这确保了数据的持久性。
  6. 启动容器：在终端中，导航到包含 docker-compose.yml 文件的目录，并运行以下命令以启动 Elasticsearch 和 Kibana。
docker-compose up -d
# -d 选项用于在后台运行容器。
  1. 等待服务启动：容器启动后，等待一段时间以确保 Elasticsearch 和 Kibana 完全启动。
  2. 访问 Kibana 控制台：打开您的浏览器，访问 Kibana 控制台的地址，默认情况下是：http://localhost:5601。默认情况下，Kibana 不需要用户名和密码。
  3. 开始使用：现在，您可以使用 Kibana 控制台来管理和可视化 Elasticsearch 中的数据，执行查询、创建仪表板等操作。

这些步骤将帮助您快速部署 Elasticsearch 和 Kibana，以便进行日志分析、数据可视化和搜索等操作。请注意，您可以根据需要在 docker-compose.yml 文件中更改版本和配置选项。确保您的系统资源足够以支持 Elasticsearch 和 Kibana 的运行。

图片

二、开始编排部署（Elasticsearch 和 Kibana）

Elasticsearch 是一个开源的分布式搜索和分析引擎，最初由 Elasticsearch N.V.（现在是 Elastic N.V.）开发并维护。它是基于 Apache Lucene 搜索引擎构建的，专门设计用于处理和分析大规模的数据，提供了强大的全文搜索、结构化数据存储、分析和可视化功能。以下是 Elasticsearch 的主要特点和用途的概述：

总之，Elasticsearch 是一个强大且多才多艺的搜索和分析引擎，适用于各种用途，从全文搜索到日志分析和可视化数据。它在各种行业中被广泛使用，包括搜索引擎、电子商务、日志管理、安全信息与事件管理、科学研究和更多领域。

图片

服务布局：

服务名称/主机名

开放端口


node-1

9200

1G

node-2

9201

1G

node-3

9202

1G

kibana

5601

不限

1）部署 docker

# 安装yum-config-manager配置工具
yum -y install yum-utils

# 建议使用阿里云yum源：（推荐）
#yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 安装docker-ce版本
yum install -y docker-ce
# 启动并开机启动
systemctl enable --now docker
docker --version

2）部署 docker-compose

curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose

chmod +x /usr/local/bin/docker-compose
docker-compose --version

3）创建网络

# 创建
docker network create bigdata

# 查看
docker network ls

4）创建挂载目录

#创建 es 目录
chmod 777 ./es/node-{1..3}/{config,data,log}
chmod 777 ./es/plugins
# 创建kibana的配置目录
mkdir -p ./kibana/config

#目录授权
chmod 777 ./es/node-{1..3}/{config,data,log}
chmod 777 ./es/plugins
chmod 777 ./kibana/config

5）修改 Linux 句柄数

#查看当前最大句柄数
sysctl -a | grep vm.max_map_count
#修改句柄数
vi /etc/sysctl.conf
vm.max_map_count=262144

#临时生效，修改后需要重启才能生效，不想重启可以设置临时生效
sysctl -w vm.max_map_count=262144

6）修改句柄数和最大线程数

#修改后需要重新登录生效
vi /etc/security/limits.conf

# 添加以下内容
* soft nofile 65535
* hard nofile 65535
* soft nproc 4096
* hard nproc 4096

# 重启服务，-h 立刻重启，默认间隔一段时间才会开始重启
reboot -h now

7）添加 IK 分词器

GitHub 下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

# 将下载的分词器复制到ES安装目录的plugins目录中并进行解压

mkdir ./es/plugins/ik && cd ./es/plugins/ik
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.17.5/elasticsearch-analysis-ik-7.17.5.zip
unzip elasticsearch-analysis-ik-7.17.5.zip

8）编写配置文件

1、node-1

./es/node-1/config/elasticsearch.yml

#集群名称
cluster.name: elastic
#当前该节点的名称
node.name: node-1
#是不是有资格竞选主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#给当前节点自定义属性（可以省略）
#node.attr.rack: r1
#数据存档位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否开启时锁定内存（默认为是）
#bootstrap.memory_lock: true
#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，
#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0
network.host: 0.0.0.0
#设置映射端口
http.port: 9200
#内部节点之间沟通端口
transport.tcp.port: 9300
#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写
#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上
discovery.seed_hosts: ["node-1","node-2","node-3"]
#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新启动后阻止初始恢复，直到启动N个节点
#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，
gateway.recover_after_nodes: 2
#删除索引是是否需要显示其名称，默认为显示
#action.destructive_requires_name: true
# 禁用安全配置，否则查询的时候会提示警告
xpack.security.enabled: false

2、node-2

./es/node-2/config/elasticsearch.yml

#集群名称
cluster.name: elastic
#当前该节点的名称
node.name: node-2
#是不是有资格竞选主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#给当前节点自定义属性（可以省略）
#node.attr.rack: r1
#数据存档位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否开启时锁定内存（默认为是）
#bootstrap.memory_lock: true
#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，
#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0
network.host: 0.0.0.0
#设置映射端口
http.port: 9200
#内部节点之间沟通端口
transport.tcp.port: 9300
#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写
#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上
discovery.seed_hosts: ["node-1","node-2","node-3"]
#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新启动后阻止初始恢复，直到启动N个节点
#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，
gateway.recover_after_nodes: 2
#删除索引是是否需要显示其名称，默认为显示
#action.destructive_requires_name: true
# 禁用安全配置，否则查询的时候会提示警告
xpack.security.enabled: false

3、node-3

./es/node-3/config/elasticsearch.yml

#集群名称
cluster.name: elastic
#当前该节点的名称
node.name: node-3
#是不是有资格竞选主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#给当前节点自定义属性（可以省略）
#node.attr.rack: r1
#数据存档位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否开启时锁定内存（默认为是）
#bootstrap.memory_lock: true
#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，
#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0
network.host: 0.0.0.0
#设置映射端口
http.port: 9200
#内部节点之间沟通端口
transport.tcp.port: 9300
#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写
#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上
discovery.seed_hosts: ["node-1","node-2","node-3"]
#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新启动后阻止初始恢复，直到启动N个节点
#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，
gateway.recover_after_nodes: 2
#删除索引是是否需要显示其名称，默认为显示
#action.destructive_requires_name: true
# 禁用安全配置，否则查询的时候会提示警告
xpack.security.enabled: false

4、kibana

./kibana/config/kibana.yml

server.host: 0.0.0.0
# 监听端口
server.port: 5601
server.name: "kibana"

# kibana访问es服务器的URL,就可以有多个，以逗号","隔开
elasticsearch.hosts: ["http://node-1:9200","http://node-2:9201","http://node-3:9202"]
monitoring.ui.container.elasticsearch.enabled: true
# kibana访问Elasticsearch的账号与密码(如果ElasticSearch设置了的话)
elasticsearch.username: "kibana"
elasticsearch.password: "12345"

# kibana日志文件存储路径
logging.dest: stdout
# 此值为true时，禁止所有日志记录输出
logging.silent: false
# 此值为true时，禁止除错误消息之外的所有日志记录输出
logging.quiet: false
# 此值为true时，记录所有事件，包括系统使用信息和所有请求
logging.verbose: false

ops.interval: 5000
# kibana web语言
i18n.locale: "zh-CN"

9）构建镜像

这里就用别人已经构建好的好的镜像，不再重复构建镜像了，如果不了解怎么构建镜像，可以私信我。

### ES
docker pull elasticsearch:7.17.5
# tag
docker tag docker.io/library/elasticsearch:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5
# 登录将镜像推送到阿里云
docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5

### kibana
docker pull docker.io/library/kibana:7.17.5
docker tag docker.io/library/kibana:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5
docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5

10）编排 docker-compose.yml

version: "3"
services:
  node-1:
    image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5
    container_name: node-1
    hostname: node-1
    environment:
      - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"
      - "TZ=Asia/Shanghai"
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nofile:
        soft: 65536
        hard: 65536
    ports:
      - "9200:9200"
    logging:
      driver: "json-file"
      options:
        max-size: "50m"
    volumes:
      - ./es/node-1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - ./es/plugins:/usr/share/elasticsearch/plugins
      - ./es/node-1/data:/usr/share/elasticsearch/data
      - ./es/node-1/log:/usr/share/elasticsearch/log
    networks:
      - bigdata
    healthcheck:
      test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"]
      interval: 10s
      timeout: 10s
      retries: 5
  node-2:
    image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5
    container_name: node-2
    hostname: node-2
    environment:
      - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"
      - "TZ=Asia/Shanghai"
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nofile:
        soft: 65536
        hard: 65536
    ports:
      - "9201:9200"
    logging:
      driver: "json-file"
      options:
        max-size: "50m"
    volumes:
      - ./es/node-2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - ./es/plugins:/usr/share/elasticsearch/plugins
      - ./es/node-2/data:/usr/share/elasticsearch/data
      - ./es/node-2/log:/usr/share/elasticsearch/log
    networks:
      - bigdata
    healthcheck:
      test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"]
      interval: 10s
      timeout: 10s
      retries: 5
  node-3:
    image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5
    container_name: node-3
    hostname: node-3
    environment:
      - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"
      - "TZ=Asia/Shanghai"
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nofile:
        soft: 65536
        hard: 65536
    ports:
      - "9202:9200"
    logging:
      driver: "json-file"
      options:
        max-size: "50m"
    volumes:
      - ./es/node-3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - ./es/plugins:/usr/share/elasticsearch/plugins
      - ./es/node-3/data:/usr/share/elasticsearch/data
      - ./es/node-3/log:/usr/share/elasticsearch/log
    networks:
      - bigdata
    healthcheck:
      test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"]
      interval: 10s
      timeout: 10s
      retries: 5
  kibana:
    container_name: kibana
    hostname: kibana
    image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5
    environment:
      TZ: 'Asia/Shanghai'
    volumes:
      - ./kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
    ports:
      - 5601:5601
    networks:
      - bigdata
    healthcheck:
      test: ["CMD-SHELL", "curl -I http://localhost:5601 || exit 1"]
      interval: 10s
      timeout: 10s
      retries: 5

# 连接外部网络
networks:
  bigdata:
    external: true

开始执行部署

docker-compose up -d

# 查看
docker-compose ps

11）测试验证

ES 访问地址：http://ip:9200

docker-compose ps
curl localhost:9200
curl localhost:9200/_cat/health

图片

kibana：http://ip:5601/

图片

git 地址：https://gitee.com/hadoop-bigdata/docker-compose-es-kibana.git

来源：大数据与云原生技术分享内容投诉

免责声明：

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题

  • 2024年上半年信息系统项目管理师第二批次真题及答案解析（完整版）

    难度     813人已做
    查看

  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看

  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看

  • 2024年上半年软考高项第一、二批次真题考点汇总（完整版）

    难度     435人已做
    查看

  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机

通过 Docker-Compose 快速部署 Elasticsearch 和 Kibana 保姆级教程

后端开发分布式搜索2024-11-30

通过 Docker-Compose 快速部署 Rancher 保姆级教程

后端开发Rancher容器2024-11-30

通过 Docker-Compose 快速部署 Redis 保姆级教程

后端开发dockerRemote2024-11-30

通过 Docker-compose 快速部署 MinIO 保姆级教程

后端开发MinIO保2024-11-30

【大数据】通过 docker-compose 快速部署 MinIO 保姆级教程

后端开发2023-09-01

通过 Docker-Compose 快速部署 Hive 详细教程

后端开发HiveHadoop2024-11-30
位置：首页-资讯-后端开发
咦！没有更多了？去看看其它编程学习网 内容吧
首页课程
资料下载问答资讯