概述
Kafka的环境配置花了我好几天时间才搞明白，现整理一下。
原来公司对Kafka环境的安装是这样的：
- 获取（下载）Zookeeper和Kafka的Linux安装包
- 安装Zookeeper前保证有Java环境
- 修改配置文件
- 根据官网教程逐步安装
原来的环境部署方式已经有些落后了，现在我们搭建环境基本都会采用Docker容器，不仅简化了部署流程，还方便管理。
在Kafka2.8版本之前，Kafka是强依赖于Zookeeper中间件的，这本身就很不合理，中间件依赖另一个中间件，搭建起来实在麻烦，并且Zookeeper需要搭建三个以上服务作为集群（不考虑挂掉的话一个也可以，但这就不叫集群了，只能算单节点），Kafka也要三个以上做集群（为了数据的高可用），所幸Kafka2.8之后推出了KRaft模式，即抛弃Zookeeper，由Kafka节点自己做Controller来选举Leader，本篇文章内容就是介绍如何在Docker-Compose中搭建Kafka KRaft环境。
环境准备
Docker & Docker-Compose
需要提前准备好Docker和Docker-Compose环境，如果没有安装是不行的
Linux服务器
可以是Windows下的VMware虚拟机，也可以是云服务器
顺带说明一下我当前的环境吧：
- 开发机是Windows，因为需要Linux环境，所以整了个虚拟机安装CentOS 7（有Docker），在这上面搭建我开发时需要的所有环境，比如MySQL、Redis等，这样可以保证开发和生产的环境一致，也不用另一套在Windows上搭建环境的学习成本。
- 虚拟机上的CentOS，上面有说，在这里只安装了Docker & Docker-Compose，然后搭建容器环境给开发时用。
- 云服务器，同样也是CentOS7环境，毕竟光开发是不够的，应用到生产环境上才算部署完整，因为大概率我们会需要Nginx转发等配置，和开发环境会有些许不同，所以最终目的是要在云服务器上搭建完成才可以。
步骤一：部署到开发环境上
首先让我们在开发环境上面部署好Kafka环境，然后写一个Spring Boot应用去连接。
docker-compose.yml文件编写
version: "3"
services:
kafka1:
image: 'bitnami/kafka:3.3.1'
network_mode: mynetwork
container_name: kafka11
user: root
ports:
- 9192:9092
- 9193:9093
environment:
### 通用配置
# 允许使用kraft，即Kafka替代Zookeeper
- KAFKA_ENABLE_KRAFT=yes
# kafka角色，做broker，也要做controller
- KAFKA_CFG_PROCESS_ROLES=broker,controller
# 指定供外部使用的控制类请求信息
- KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
# 定义kafka服务端socket监听端口
- KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
# 定义安全协议
- KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
# 使用Kafka时的集群id，集群内的Kafka都要用这个id做初始化，生成一个UUID即可
- KAFKA_KRAFT_CLUSTER_ID=LelM2dIFQkiUFvXCEcqRWA
# 集群地址
- KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka11:9093,2@kafka22:9093,3@kafka33:9093
# 允许使用PLAINTEXT监听器，默认false，不建议在生产环境使用
- ALLOW_PLAINTEXT_LISTENER=yes
# 设置broker最大内存，和初始内存
- KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
# 不允许自动创建主题
- KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=false
### broker配置
# 定义外网访问地址（宿主机ip地址和端口）
- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.54:9192
# broker.id，必须唯一
- KAFKA_BROKER_ID=1
volumes:
- /home/mycontainers/kafka1/kafka/kraft:/bitnami/kafka
#extra_hosts:
#- "kafka1:云服务器IP"
#- "kafka2:云服务器IP"
#- "kafka3:云服务器IP"
kafka2:
image: 'bitnami/kafka:3.3.1'
network_mode: mynetwork
container_name: kafka22
user: root
ports:
- 9292:9092
- 9293:9093
environment:
### 通用配置
# 允许使用kraft，即Kafka替代Zookeeper
- KAFKA_ENABLE_KRAFT=yes
# kafka角色，做broker，也要做controller
- KAFKA_CFG_PROCESS_ROLES=broker,controller
# 指定供外部使用的控制类请求信息
- KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
# 定义kafka服务端socket监听端口
- KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
# 定义安全协议
- KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
# 使用Kafka时的集群id，集群内的Kafka都要用这个id做初始化，生成一个UUID即可
- KAFKA_KRAFT_CLUSTER_ID=LelM2dIFQkiUFvXCEcqRWA
# 集群地址
- KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka11:9093,2@kafka22:9093,3@kafka33:9093
# 允许使用PLAINTEXT监听器，默认false，不建议在生产环境使用
- ALLOW_PLAINTEXT_LISTENER=yes
# 设置broker最大内存，和初始内存
- KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
# 不允许自动创建主题
- KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=false
### broker配置
# 定义外网访问地址（宿主机ip地址和端口）
- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.54:9292
# broker.id，必须唯一
- KAFKA_BROKER_ID=2
volumes:
- /home/mycontainers/kafka2/kafka/kraft:/bitnami/kafka
kafka3:
image: 'bitnami/kafka:3.3.1'
network_mode: mynetwork
container_name: kafka33
user: root
ports:
- 9392:9092
- 9393:9093
environment:
### 通用配置
# 允许使用kraft，即Kafka替代Zookeeper
- KAFKA_ENABLE_KRAFT=yes
# kafka角色，做broker，也要做controller
- KAFKA_CFG_PROCESS_ROLES=broker,controller
# 指定供外部使用的控制类请求信息
- KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
# 定义kafka服务端socket监听端口
- KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
# 定义安全协议
- KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
# 使用Kafka时的集群id，集群内的Kafka都要用这个id做初始化，生成一个UUID即可
- KAFKA_KRAFT_CLUSTER_ID=LelM2dIFQkiUFvXCEcqRWA
# 集群地址
- KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka11:9093,2@kafka22:9093,3@kafka33:9093
# 允许使用PLAINTEXT监听器，默认false，不建议在生产环境使用
- ALLOW_PLAINTEXT_LISTENER=yes
# 设置broker最大内存，和初始内存
- KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
# 不允许自动创建主题
- KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=false
### broker配置
# 定义外网访问地址（宿主机ip地址和端口）
- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.54:9392
# broker.id，必须唯一
- KAFKA_BROKER_ID=3
volumes:
- /home/mycontainers/kafka3/kafka/kraft:/bitnami/kafka
配置文件说明： 如果你懂一些docker-compose的话，这个配置文件应该很好明白，这里挑一些来说：
镜像选择：bitnami/kafka:3.3.1
这是写这篇文章时最新的版本
容器名是：kafka11、kafka22、kafka33
这个当然随便写，我用11、22、33是为了后面演示生产环境时不冲突，先不用管，后面会说
端口配置是9092和9093：
9092端口用于BROKER传输，即Kafka集群服务端口，我们用Kafka脚本或SpringBoot应用时，连接的就是这个端口；9093是CONTROLLER端口，前面说过，我们抛弃了Zookeeper，用Kafka来代替，这个9093就是充当着原来Zookeeper集群的通讯端口
总结一下，9092用于外网，因为是Kafka要给外部访问；9093用于内网，只用于集群通讯，用于内网是因为环境都搭建在一个服务器的Docker容器内，相当于公司服务器内网，所以不对外开放，生产时一般会搭建在不同的服务器上面，可以是外网也可以是内网，集群的环境配置自由度很高，这点我就不多说明了。
network_mode：
给容器加入网络，这样才可以进行容器间的通讯，可以让容器1中能识别容器2的容器名称，进而解析出IP，很重要，不然只能手动配置容器IP，不过这样很蠢，容器IP不固定，会动态变化。
当然用--link也可以。
KAFKA_KRAFT_CLUSTER_ID：
KRaft模式下，要配置这个集群ID，这个ID可以用Kafka命令去生成：
kafka-storage.sh random-uuid
一开始就用官网示例的LelM2dIFQkiUFvXCEcqRWA就可以了。
KAFKA_BROKER_ID：
broker的id，这个要唯一，搞过Kafka的懂的都懂
KAFKA_CFG_ADVERTISED_LISTENERS：
对外的访问地址，我配置的是192.168.1.54，因为我这台虚拟机用的是桥接网络，分配的IP就是192.168.1.54，这个和容器IP不一样，容器IP只用于容器间的通讯，这个54的配置目的是可以在开发机上（假如开发机的IP是192.168.1.10）通过：192.168.1.54:9092来连接Kafka，很重要
因为有三个Kafka容器，容器内部都用9092和9093端口保持一致，所以端口映射就有所不同：
kafka1配置9192、9193；kafka2配置9292、9293；kafka3配置9392、9393
这个配置也很重要
extra_hosts：
这个配置的目的是修改容器内的hosts文件，增加一个IP的别名映射，在开发阶段用不上，是后面部署生产环境时用的，暂时不用理会，这时候可以先注释掉。
其他的看注释就可以了，还有的是在YML配置文件对Kafka的配置，比如KAFKA_ENABLE_KRAFT，是从Docker Hub的Kafka镜像文档上看的，这是一种快速配置手段，但我们同样可以使用老办法，将kafka的配置文件（server.properties）进行路径映射，如果熟悉docker应该能理解。
运行启动脚本
docker-compose -f docker-compose.yml up
如果没有报错，通过docker ps可以看到Kafka容器：
[root@localhost ~]# docker ps | grep kafka
80cf69513390 provectuslabs/kafka-ui:latest "/bin/sh -c 'java $J…" 14 hours ago Up 14 hours 0.0.0.0:17008->8080/tcp, :::17008->8080/tcp kafka-ui
c66b8c979abb bitnami/kafka:3.3.1 "/opt/bitnami/script…" 14 hours ago Up 4 hours 0.0.0.0:9292->9092/tcp, :::9292->9092/tcp, 0.0.0.0:9293->9093/tcp, :::9293->9093/tcp kafka2
70f26172ba3e bitnami/kafka:3.3.1 "/opt/bitnami/script…" 14 hours ago Up 4 hours 0.0.0.0:9392->9092/tcp, :::9392->9092/tcp, 0.0.0.0:9393->9093/tcp, :::9393->9093/tcp kafka3
0193e15cd92a bitnami/kafka:3.3.1 "/opt/bitnami/script…" 15 hours ago Up 4 hours 0.0.0.0:9192->9092/tcp, :::9192->9092/tcp, 0.0.0.0:9193->9093/tcp, :::9193->9093/tcp kafka1
注意：在启动容器的时候，不出意外的话会出很多意外，检查一下脚本有没有问题，重点排查KAFKA_BROKER_ID和KAFKA_CFG_ADVERTISED_LISTENERS。还有容器名称不要冲突，区分好1、2、3，路径映射也不要弄错，kafka1、kafka2、kafka3。
（拓展）容器可视化页面
如果嫌弃docker ps，可以安装portainer来查看可视化容器页面：
version: "3"
services:
portainer:
container_name: portainer
ports:
- 9000:9000
restart: always
network_mode: mynetwork
volumes:
- /etc/localtime:/etc/localtime
- /var/run/docker.sock:/var/run/docker.sock
- /home/mycontainers/portainer/data:/data:rw
image: portainer/portainer
访问：http://localhost:9000，即可，请自行修改端口和IP
（拓展）Kafka可视化页面
kafka-ui是Apache出品的Kafka可视化容器，入门是够用了，当然还有很多可视化工具，由于篇幅关系，并且这不是本文重点，所以就不细说了。
version: "3"
services:
kafka-ui:
image: provectuslabs/kafka-ui:latest
network_mode: mynetwork
container_name: kafka-ui
restart: always
ports:
- 8080:8080
volumes:
- /etc/localtime:/etc/localtime
environment:
# 集群名称
- KAFKA_CLUSTERS_0_NAME=local
# 集群地址
- KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka11:9092,kafka22:9092,kafka33:9092
访问：http://localhost:8080，即可，请自行修改端口和IP
用脚本命令进行测试
Kafka容器内有自带脚本可以使用，所以部署完Kafka环境后，最简单快速的方式就是进入容器内进行测试：
进入任意一个Kafka容器
docker exec -it kafka11 bash
创建一个主题，名称为demo
kafka-topics.sh --create --topic demo --partitions 3 --replication-factor 3 --bootstrap-server kafka11:9092,kafka22:9092,kafka33:9092
查看所有主题
kafka-topics.sh --bootstrap-server kafka11:9092 --list
生产一些消息
kafka-console-producer.sh --bootstrap-server kafka11:9092 --topic demo
消费一些消息
kafka-console-consumer.sh --bootstrap-server kafka11:9092 --topic demo
制造一些假数据
kafka-producer-perf-test.sh --topic demo --record-size 1024 --num-records 1000000 --throughput 10000 --producer-props bootstrap.servers=kafka11:9092 batch.size=16384 linger.ms=0
测试没有问题，命令可以使用，到kafka-ui的可视化页面查看下，有我们刚刚创建的主题，也有我们制造的假数据，三个Kafka节点没有异常，Controller也进行了选举，说明我们的Kafka已经成功创建并运行，还替代了原本Zookeeper的工作，至此，开发环境搭建完成。
整合Spring Boot应用
搭建完了Kafka环境，现在让我们整合到Spring Boot中来使用
创建一个Maven项目
配置pom.xml：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.cc</groupId>
<artifactId>kafkaDemo</artifactId>
<version>1.0-SNAPSHOT</version>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.3.4.RELEASE</version>
<relativePath/>
</parent>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
<version>2.3.4.RELEASE</version>
</dependency>
</dependencies>
</project>
新建应用程序启动类：
@SpringBootApplication
public class Application {
public static void main(String[] args) {
SpringApplication.run(Application.class, args);
}
}
配置application.yml，去连接Kafka环境
server:
port: 8888
spring:
application:
name: kafkaDemo
kafka:
bootstrap-servers: mylocalhost:9192,mylocalhost:9292,mylocalhost:9392
producer:
# 生产者序列化
key-serializer: org.apache.kafka.common.serialization.StringSerializer
value-serializer: org.apache.kafka.common.serialization.StringSerializer
# ack策略
# 0：生产者发送消息就不管了，效率高，但是容易丢数据，且没有重试机制
# 1：消息发送到Leader并落盘后就返回，如果Leader挂了并且Follower还没有同步数据就会丢失数据
# -1：消息要所有副本都罗盘才返回，保证数据不丢失（但是有可能重复消费）
acks: -1
# 失败重试次数
retries: 3
# 批量提交的数据大小
batch-size: 16384
# 生产者暂存数据的缓冲区大小
buffer-memory: 33554432
consumer:
key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
# 是否自动提交偏移量，如果要手动确认消息，就要设置为false
enable-auto-commit: false
# 消费消息后间隔多长时间提交偏移量（ms）
auto-commit-interval: 100
# 默认的消费者组，如果不指定就会用这个
group-id: mykafka
# kafka意外宕机时的消息消费策略
# earliest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
# latest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
# none:topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常
auto-offset-reset: latest
listener:
# 手动确认消息
ack-mode: manual_immediate
# 消费者运行的线程数
concurrency: 2
我们只测试连接，不演示消息的生产和消费，现在关注application.yml配置文件，我们只看这个配置：
bootstrap-servers: mylocalhost:9192,mylocalhost:9292,mylocalhost:9392
mylocalhost是我在本机hosts中设置的IP别名映射，即：mylocalhost=192.168.1.54
9192、9292、9392是kafka集群容器映射 出来对外的端口，查看一下docker-compose.yml文件即可明白。
启动程序，应用连接Kafka，出现了...JVM...字样，表示成功连接Kafka。
步骤二：部署到生产环境上
生产环境和开发环境有什么不同呢？不同在我们往往没有那么多的IP资源可以对外开放，则需要做Nginx转发。
比如说Kafka集群是在内网机器中部署，最终由一台代理机器转发Kafka集群，当然这个代理机器实际上也是要做负载均衡的，不然代理机器挂了整个集群就无了，不过Nginx的负载均衡不在本文篇幅中。
先来看看生产环境的docker-compose.yml：
docker-compose.yml
version: "3"
services:
kafka1:
image: 'bitnami/kafka:3.3.1'
network_mode: mynetwork
container_name: kafka1
user: root
environment:
### 通用配置
# 允许使用kraft，即Kafka替代Zookeeper
- KAFKA_ENABLE_KRAFT=yes
# kafka角色，做broker，也要做controller
- KAFKA_CFG_PROCESS_ROLES=broker,controller
# 指定供外部使用的控制类请求信息
- KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
# 定义kafka服务端socket监听端口
- KAFKA_CFG_LISTENERS=PLAINTEXT://:17005,CONTROLLER://:9093
# 定义安全协议
- KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
# 集群地址
- KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093
# 允许使用PLAINTEXT监听器，默认false，不建议在生产环境使用
- ALLOW_PLAINTEXT_LISTENER=yes
# 设置broker最大内存，和初始内存
- KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
# 不允许自动创建主题
- KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=false
# 使用Kafka时的集群id，集群内的Kafka都要用这个id做初始化，生成一个UUID即可
- KAFKA_KRAFT_CLUSTER_ID=LelM2dIFQkiUFvXCEcqRWA
### broker配置
# 定义外网访问地址（宿主机ip地址和端口）
- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka1:17005
# broker.id，必须唯一
- KAFKA_BROKER_ID=1
volumes:
- /home/mycontainers/kafka1/kafka/kraft:/bitnami/kafka
kafka2:
image: 'bitnami/kafka:3.3.1'
network_mode: mynetwork
container_name: kafka2
user: root
environment:
### 通用配置
# 允许使用kraft，即Kafka替代Zookeeper
- KAFKA_ENABLE_KRAFT=yes
# kafka角色，做broker，也要做controller
- KAFKA_CFG_PROCESS_ROLES=broker,controller
# 指定供外部使用的控制类请求信息
- KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
# 定义kafka服务端socket监听端口
- KAFKA_CFG_LISTENERS=PLAINTEXT://:17005,CONTROLLER://:9093
# 定义安全协议
- KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
# 集群地址
- KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093
# 允许使用PLAINTEXT监听器，默认false，不建议在生产环境使用
- ALLOW_PLAINTEXT_LISTENER=yes
# 设置broker最大内存，和初始内存
- KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
# 不允许自动创建主题
- KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=false
# 使用Kafka时的集群id，集群内的Kafka都要用这个id做初始化，生成一个UUID即可
- KAFKA_KRAFT_CLUSTER_ID=LelM2dIFQkiUFvXCEcqRWA
### broker配置
# 定义外网访问地址（宿主机ip地址和端口）
- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka2:17005
# broker.id，必须唯一
- KAFKA_BROKER_ID=2
volumes:
- /home/mycontainers/kafka2/kafka/kraft:/bitnami/kafka
kafka3:
image: 'bitnami/kafka:3.3.1'
network_mode: mynetwork
container_name: kafka3
user: root
environment:
### 通用配置
# 允许使用kraft，即Kafka替代Zookeeper
- KAFKA_ENABLE_KRAFT=yes
# kafka角色，做broker，也要做controller
- KAFKA_CFG_PROCESS_ROLES=broker,controller
# 指定供外部使用的控制类请求信息
- KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
# 定义kafka服务端socket监听端口
- KAFKA_CFG_LISTENERS=PLAINTEXT://:17005,CONTROLLER://:9093
# 定义安全协议
- KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
# 集群地址
- KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093
# 允许使用PLAINTEXT监听器，默认false，不建议在生产环境使用
- ALLOW_PLAINTEXT_LISTENER=yes
# 设置broker最大内存，和初始内存
- KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
# 不允许自动创建主题
- KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=false
# 使用Kafka时的集群id，集群内的Kafka都要用这个id做初始化，生成一个UUID即可
- KAFKA_KRAFT_CLUSTER_ID=LelM2dIFQkiUFvXCEcqRWA
### broker配置
# 定义外网访问地址（宿主机ip地址和端口）
- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka3:17005
# broker.id，必须唯一
- KAFKA_BROKER_ID=3
volumes:
- /home/mycontainers/kafka3/kafka/kraft:/bitnami/kafka
注意，这里我们的容器名是kafka1、kafka2、kafka3，和开发环境有所区别。
接下来是重点部分，要理解重点配置才可以正常使用，生产环境这部分我花了两天才搞通。
docker-compose配置文件变化部分以及说明
先重新声明一些题要：
- 开发机的IP是：192.168.1.10
- 开发环境的虚拟机IP是：192.168.1.54（与开发机同网络）
- Kafka集群处于内网环境，比如公司的内部服务器，无法对外访问
- 云服务器的IP是：a.a.a.a（自行脑补）,云服务器就是代理服务器，可以访问Kafka集群服务
- 开发环境的Kafka容器名是：kafka11、kafka22、kafka33
- 生产环境的Kafka容器名是：kafka1、kafka2、kafka3
接下来对生产环境的配置变动进行说明：
- 去掉端口映射，因为我们等会会创建一个Ngnix容器来转发，容器间已经可以进行通讯，所以就不需要对外端口了，除非这个Nginx容器是另外一台机器上，那么就需要对外端口。
- KAFKA_CFG_ADVERTISED_LISTENERS的外网访问地址从实际IP改成了kafka1:17005， 在开发环境中，我们的开发机子可以通过虚拟机IP来访问容器，所以配置192.168.1.54，但是生产环境这里我们不能直接访问了（假设生产环境的Kafka集群是在内网），我们只能访问代理服务器，让代理服务器帮忙转发请求，所以这里改的：kafka1:17005，必须是代理服务器可以访问到的，因为我们代理服务器和生产环境的Kafka集群是同一个容器组内，所以可以访问，这是为了便于演示，实际上代理服务器和Kafka集群肯定不会在同一台机器内，所以就不能用：kafka1:17005，而是要用：[代理服务器可以访问到的Kafka集群地址]:17005
- 17005端口替换原来的9092端口，因为我的云服务器安全组没有开放9092，所以改成17005，这个端口要和等会转发用的Nginx端口保持一致，即Nginx容器也要开放17005端口
启动Nginx容器
nginx.yml：
version: "3"
services:
nginx:
image: nginx:latest
network_mode: mynetwork
container_name: nginx
restart: always
ports:
- 17005:9092
volumes:
- /etc/localtime:/etc/localtime
- /home/mycontainers/nginx/nginx.conf:/etc/nginx/nginx.conf
- /home/mycontainers/nginx/logs:/var/log/nginx
- /home/mycontainers/nginx/conf.d/:/etc/nginx/conf.d
手动修改nginx.conf：
stream {
upstream kafka {
server kafka1:17005;
server kafka2:17005;
server kafka3:17005;
}
server {
listen 9092;
proxy_pass kafka;
}
}
http {
...
location / {
...
}
...
}
启动Nginx容器后，修改一下配置，将Kaka集群配置进来，然后监听9092端口进行转发，当然端口可以定制，这个不重要，重要的是Nginx容器对外的17005端口，流程是这样的：
- 外部访问17005端口，映射到Nginx的9092端口
- Nginx的9092端口对应了Kafka的集群，Kafka集群的端口是17005，所以Nginx的对外也要是17005，这样要保证强一致
至此，生产环境搭建完成。
最后一步：IP别名映射的重要性
还记得上面搭建开发环境时候先注释掉的extra_hosts配置吗：
# 刚刚我们有进行声明，云服务器IP是a.a.a.a，所以去掉注释，自行替换
extra_hosts:
- "kafka1:云服务器IP"
- "kafka2:云服务器IP"
- "kafka3:云服务器IP"
现在用上了，这个只配置到了开发环境的kafka11容器中，kafka22是没有的，我们先进入kafka22容器中去连接生产环境的Kafka集群看看：
进入kafka22容器
docker exec -it kafka22 bash
连接生产环境的Kafka集群（通过Nginx转发）
kafka-topics.sh --bootstrap-server a.a.a.a:17005 --list
会报错：
[2023-01-11 07:29:07,495] WARN [AdminClient clientId=adminclient-1] Error connecting to node kafka3:17005 (id: 3 rack: null) (org.apache.kafka.clients.NetworkClient)
java.net.UnknownHostException: kafka3
at java.base/java.net.InetAddress$CachedAddresses.get(InetAddress.java:797)
at java.base/java.net.InetAddress.getAllByName0(InetAddress.java:1519)
at java.base/java.net.InetAddress.getAllByName(InetAddress.java:1378)
at java.base/java.net.InetAddress.getAllByName(InetAddress.java:1306)
at org.apache.kafka.clients.DefaultHostResolver.resolve(DefaultHostResolver.java:27)
at org.apache.kafka.clients.ClientUtils.resolve(ClientUtils.java:110)
at org.apache.kafka.clients.ClusterConnectionStates$NodeConnectionState.currentAddress(ClusterConnectionStates.java:510)
at org.apache.kafka.clients.ClusterConnectionStates$NodeConnectionState.access$200(ClusterConnectionStates.java:467)
at org.apache.kafka.clients.ClusterConnectionStates.currentAddress(ClusterConnectionStates.java:173)
at org.apache.kafka.clients.NetworkClient.initiateConnect(NetworkClient.java:990)
at org.apache.kafka.clients.NetworkClient.ready(NetworkClient.java:301)
at org.apache.kafka.clients.admin.KafkaAdminClient$AdminClientRunnable.sendEligibleCalls(KafkaAdminClient.java:1143)
at org.apache.kafka.clients.admin.KafkaAdminClient$AdminClientRunnable.processRequests(KafkaAdminClient.java:1403)
at org.apache.kafka.clients.admin.KafkaAdminClient$AdminClientRunnable.run(KafkaAdminClient.java:1346)
at java.base/java.lang.Thread.run(Thread.java:829)
可以看到关键字：kafka3:17005，在开发环境中连接生产环境报这个kafka3，而kafka3是在生产环境中配置的，我们开发环境配置的是kafka33，所以很明显，在连接Kafka的时候，会自动去读取集群地址，就是我们生产环境的docker-compose.yml中的：
- KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093
虽然Kafka集群运行起来了，Nginx转发成功了，但是实际连接不上，因为不知道这个kafka3是什么意思，所以我们还需要做最后一步：IP别名映射
extra_hosts配置
退出kafka22容器，恢复kafka11容器的extra_hosts配置：
extra_hosts:
- "kafka1:a.a.a.a"
- "kafka2:a.a.a.a"
- "kafka3:a.a.a.a"
重新启动开发环境的Kafka容器，然后进入kafka11容器去连接生产环境，这时候就成功了，因为会把kafka1、kafka2、kafka3都映射到a.a.a.a即代理服务器的公网IP，所以至此，生产环境搭建完成。
开发机修改hosts
我们现在知道，连接生产环境的Kafka获取的集群地址是kafka1、kafka2、kafka3，所以在开发机中我们同样需要修改hosts配置，映射实际的公网IP，不然无法识别。
以上就是详细讲解Docker-Compose部署Kafka KRaft集群环境的详细内容，更多关于Docker Compose部署Kafka KRaft的资料请关注编程网其它相关文章！
