小编给大家分享一下Linux系统如何安装Kafka,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
Kafka简介:
Kafka是一个分布式消息队列。★Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)称为broker。无论是kafka集群,还是consumer都依赖于zookeeper集群保存一些meta信息,来保证系统可用性。
Linux系统安装Kafka具体步骤:
Kafka下载 官网下载地址 http://kafka.apache.org/downloads demo用的版本 https://archive.apache.org/dist/kafka/1.0.0/kafka_2.12-1.0.0.tgz
解压到安装目录下 tar -zxvf kafka_2.12-1.0.0.tgz mv kafka_2.12-1 /usr/local/kafka
配置 #创建日志存放目录,默认Kafka运行的时候都会通过log4j打印很多日志文件,比如server.log, controller.log, state-change.log等,而都会将其输出到$KAFKA_HOME/logs目录下,这样不利于线上运维,因为经常容易出现打爆文件系统
#这里我们把日志目录指向var目录下 cd /var/local mkdir -p kafka-logs #修改配置文件/opt/kafka/config/server.properties vi /usr/local/kafka/config/server.properties #主要修改下面几项内容如下:
broker.id=181 delete.topic.enable=true listeners = PLAINTEXT://192.168.0.166:9092 log.dirs=/var/local/kafka-logs zookeeper.connect=127.0.0.1:2181
添加系统环境变量 vi /etc/profile #添加如下内容:
KAFKA_HOME=/usr/local/kafka PATH=KAFKA_HOME/bin export PATH KAFKA_HOME
启动、测试 kafka-server-start.sh /usr/local/kafka/config/server.properties #发送 ./kafka-console-producer.sh –broker-list 192.168.0.166:9092 –topic test1 #接收 ./kafka-console-consumer.sh –zookeeper 192.168.0.166:2181 -topic test1 –from-beginning
开机启动 #在init.d目下创建kafka脚本文件
cd /etc/rc.d/init.d touch kafka vi kafka
#编辑下面内容
#!/bin/bash
#chkconfig:2345 30 80 #description:kafka #processname:kafka export JAVA_HOME=/usr/local/jvm/jdk1.8.0_201 export KAFKA_HOME=/usr/local/kafka case {KAFKA_HOME}/bin/kafka-server-start.sh -daemon {KAFKA_HOME}/bin/kafka-server-stop.sh ;; status) jps ;; restart) {KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties ;; *) echo “require start|stop|status|restart” ;; esac #权限
chmod 755 kafka #测试一下 service kafka start #添加到服务列表 chkconfig --add kafka chkconfig --list chkconfig kafka on
遇到的坑 Kafka进程总是在启动一段时间后自动停止 使用-daemon守护进程启动 kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
以上是“Linux系统如何安装Kafka”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注编程网行业资讯频道!