kafka生产实践(详解)

1.引言

最近接触到一个APP流量分析的项目，类似于友盟。涉及到几个C端（客户端）高并发的接口，这几个接口主要用于C端数据的提交。在没有任何缓冲的情况下，一个接口涉及到5张表的提交。压测的结果很不理想，主要瓶颈就在与RDS的交互。

一台双核，16G机子，单实例，jdbc最大连接数100，吞吐量竟然只有50TPS。

能想到的改造方案就是引入一层缓冲，让C端接口不与RDS直接交互，很自然就想到了rabbitmq,但是rabbitmq对分布式的支持比较一般，我们的数据体量也比较大，所以我们借鉴了友盟，引入了kafka,Kafka是一种高吞吐量的分布式发布订阅消息系统，起初在不做任何kafka优化的时候，简单地将C端提交的数据直接send到单节点kafka,就这样，我们的吞吐量达到了100TPS.还是有点小惊喜的。

最近一段时间研究了一下kafka,对一些参数进行调整，目前接口的吞吐量已经达到220TPS,写这篇文章主要想记录一下自己优化和部署经历。

2.kafka简介

kafka的结构图

这张图很好的诠释了kafka的结构，但是遗漏了一点，就是group的概念，我这里补充一下，一个组可以包含多个consumer对多个topic进行消费，但是不同组的消费都是独立的。

也就是说同一个topic的同一条消息可以被不同组的consumer消费。

我这里的主要的优化途径就是将kafka集群化，多partition化，使其并发度更高。

集群化都很好理解，那什么是多partition？

partition是topic的一个概念，即对topic进行分组，不同partition之间的消费相互独立，并且有序。并且一个partiton只能被一个消费者消费，所以咯，假如topic只有一个partition的话，那么消费者实例不能大于一个，那实例再多也没用，受限于kafka的partition。

上面都是讲消费，其实send操作也是一样的，要保证有序必然要等上一个发送ack之后，下一个发送才能进行，如果只有一个partition，那send之后的ack的等待时间必然会阻塞下面一次send,设计多个partition之后，可以同时往多个partition发送消息，自然吞吐量也就上去。

3.kafka集群的搭建以及参数配置

集群搭建

准备两台机子，然后去官网（http://kafka.apache.org/downloads）下载一个包。通过scp到服务器上，解压进入config目录，编辑server.config.

第一台机子配置（172.18.240.36）：

broker.id=0 每台服务器的broker.id都不能相同#hostnamehost.name=172.18.240.36#在log.retention.hours=168 下面新增下面三项message.max.byte=5242880default.replication.factor=2replica.fetch.max.bytes=5242880#设置zookeeper的连接端口zookeeper.connect=172.18.240.36:4001#默认partition数num.partitions=2

猜你喜欢

AI推送时光机

kafka生产实践(详解)

后端开发2023-05-31

尴尬，在Kafka生产实践中又出问题了

后端开发Kafka节点2024-12-01

成为 Kafka 高手的秘籍：生产者深度实践总结

后端开发运维架构2024-12-11

Kubernetes生产实践之Redis-cluster

后端开发KubernetesRedis-cluster2024-12-03

kafka生产者发送超时如何解决

后端开发2023-10-20

kafka生产者数据阻塞怎么解决

后端开发2023-10-21

kubernetes生产环境优秀实践

后端开发kubernetes容器2024-12-01

图解 Kafka 生产者初始化核心流程

后端开发Kafka2024-12-02

SpringBoot 生产中 16 条优秀实践 !

后端开发SpringBoot代码2024-12-02

ELK Stack生产实践——Python操作Elasticsearch

后端开发PythonSDK2024-11-30

flink 使用sql实现kafka生产者和消费者

后端开发2015-10-30

Go语言kafka生产消费消息实例搬砖

后端开发2022-06-09

生产者的实现逻辑-kafka知识体系(二）

后端开发生产者kafka2024-12-03

核能产业的数字孪生实践

后端开发数字孪生核能产业2024-12-01

ArcSDE和Oracle分离安装（生产实践）

后端开发2024-04-02

数据湖在快手的生产实践

后端开发链路数据湖2024-11-30

Spring Boot 生产中 16 条优秀实践

后端开发Spring项目2024-12-01

携程机票前端Svelte生产实践

后端开发Svelte前端2024-12-13

生产环境Oracleundo表空间管理实践

后端开发2024-04-02

Java 生产者/消费者问题实例详解

后端开发2023-05-31