文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Kafka的安装与配置

2023-09-28 15:10

关注

一    jar包方式安装Kafka

jar包下载地址:https://kafka.apache.org/downloads下载

 

1.配置java环境

1、上传jdk-8u341-linux-x64.tar.gz到服务器并安装:

# tar -zxf jdk-8u341-linux-x64.tar.gz

配置环境变量:

vim /etc/profile

# 生效 

source /etc/profile 

# 验证 

java -version 

2 Zookeeper的安装配置

1、上传zookeeper-3.4.14.tar.gz到服务器

2、解压到/opt: 

tar -zxf zookeeper-3.4.14.tar.gz -C /opt 

cd /opt/zookeeper-3.4.14/conf 

# 复制zoo_sample.cfg命名为zoo.cfg 

cp zoo_sample.cfg zoo.cfg 

# 编辑zoo.cfg文件 

vim zoo.cfg

3、修改Zookeeper保存数据的目录,dataDir:

dataDir=/var/lagou/zookeeper/data

4、编辑/etc/profile:

设置环境变量ZOO_LOG_DIR,指定Zookeeper保存日志的位置;

ZOOKEEPER_PREFIX指向Zookeeper的解压目录;

将Zookeeper的bin目录添加到PATH中:

 

5、使配置生效:

source /etc/profile

6、验证:

 3 Kafka的安装与配置

1、上传kafka_2.12-1.0.2.tgz到服务器并解压:

tar -zxf kafka_2.12-1.0.2.tgz -C /opt 

2、配置环境变量并生效:

vim /etc/profile 

3、配置/opt/kafka_2.12-1.0.2/config中的server.properties文件:

Kafka连接Zookeeper的地址,此处使用本地启动的Zookeeper实例,连接地址localhost:2181,后面的 kafkaDemo 是Kafka在Zookeeper中的根节点路径:

4、启动Zookeeper: 

zkServer.sh start

5、确认Zookeeper的状态: 

6、启动Kafka:

进入Kafka安装的根目录,执行如下命令:

kafka-server-start.sh ../config/server.properties

 启动成功:

7、查看Zookeeper的节点:

./zkCli.sh  

ls /kafkaDemo

 3.8、此时Kafka是前台模式启动,要停止,使用Ctrl+C。

如果要后台启动,使用命令:

kafka-server-start.sh -daemon ../config/server.properties 

查看kafka进程:

ps -ef | grep kafka

停止后台运行的kafka:

kafka-server-stop.sh

9、 验证kafka是否可以正常使用

kafka-console-producer.sh用于生产消息:

# kafka-console-producer.sh --topic topic_1 --broker-list localhost:9092

kafka-console-consumer.sh用于消费消息:

# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1 

二   Docker安装Kafka

1.docker安装zookeeper

1、拉取zookeeper镜像

# docker pull wurstmeister/zookeeper

2、启动zookeeper

# docker run -d --name zookeeper -p 2181:2181 -e TZ="Asia/Shanghai" --restart always wurstmeister/zookeeper

3、查看zookeeper的启动信息

# docker logs -f zookeeper

2.docker安装kafka

1、拉取镜像

# docker pull wurstmeister/kafka

2、启动kafka

docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=<这里换成你的zookeeper地址和端口> -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://<这里换成你的kafka地址和端口> -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -e TZ="Asia/Shanghai" wurstmeister/kafka

启动环境变量参数说明

变量 描述
KAFKA_BROKER_ID kafka集群中每个kafka都有一个BROKER_ID来区分自己
KAFKA_ADVERTISED_LISTENERS kafka的地址和端口,用于向zookeeper注册
KAFKA_ZOOKEEPER_CONNECT zookeeper地址
KAFKA_LISTENERSkafka监听端口
TZ 容器时区改为上海

3、验证kafka是否可以使用

docker exec -it kafka /bin/sh进入路径:/opt/kafka_2.13-2.7.0/bin下运行kafka生产者发送消息./kafka-console-producer.sh --broker-list localhost:9092 --topic topic_1发送消息

另打开窗口消费者消费消息

kafka-console-consumer.sh --bootstrap-server localhost:9092 - -topic topic_1 --from-beginning

来源地址:https://blog.csdn.net/xiaozhang_man/article/details/127178554

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯