文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

什么让 Apache Kafka 如此快速?

2024-11-30 08:18

关注

有几种技术使 Apache Kafka 如此快速:

低延迟消息传递

大多数传统的数据系统使用随机存取内存(RAM)进行数据存储,因为RAM提供了极低的延迟。让我们看看使用RAM的优缺点。

Kafka 避免了随机存取内存,它通过顺序I/O和零拷贝原理实现低延迟消息传递。

顺序I/O:

Kafka 在存储和缓存消息时大量依赖文件系统。有一种普遍的看法是“磁盘很慢”,这意味着高寻址时间。想象一下,如果我们可以避免寻址时间,我们可以实现与RAM一样低的延迟。Kafka 通过顺序I/O来实现这一点。

Kafka 的基本概念是日志(log);这是一种仅附加、完全有序的数据结构。

下面是一个演示日志流(队列)的图示,生产者以不可变和单调的方式在日志流的末尾追加,而订阅者/消费者可以维护自己的指针以指示当前消息的处理。

来源:https://kafka.apache.org/intro.html

每当生产者发布一条消息时,它都会收到包含记录偏移量的确认。第一条发布到分区的记录的偏移量为0,第二条为1,以此类推,以递增的顺序。消费者从由偏移量指定的位置消费数据,然后定期将其位置保存在日志中以进行提交。保存偏移量的目的是让另一个消费者在消费者实例崩溃时可以从其位置恢复。

零拷贝原理:

当我们从内存中提取数据并将其发送到网络时会发生什么。

图像概念来自:https://developer.ibm.com/articles/j-zerocopy/

正如您所看到的,将数据在内核上下文和应用程序上下文之间进行复制是多余的,这会消耗CPU周期和内存带宽,尤其是在数据量很大时会导致性能下降。这正是零拷贝原则要解决的问题。

图像概念来自:https://developer.ibm.com/articles/j-zerocopy/

批量数据和压缩

高效的压缩需要将多个消息一起压缩,而不是分别压缩每个消息。

Kafka 支持这一点,允许递归消息集。一批消息可以被聚合在一起压缩,并以这种形式发送到服务器。这批消息将以压缩形式写入,保持在日志中并只能由消费者解压缩。

假设带宽为10MB/s,一次性发送10MB数据比逐个发送10000条消息要快得多(假设每条消息占用100字节)。

压缩会提高消费者的吞吐量,但会增加一些解压缩成本。

Kafka 支持 GZIP 和 Snappy 压缩协议。

水平扩展

首先让我们了解什么是垂直扩展。假设对于传统数据库服务器,当负载增加时,处理的一种方法是添加更多的资源,例如 CPU、RAM、SSD 等。这被称为垂直扩展。它有一些缺点,如下所示:

水平扩展通过添加更多的机器来解决相同的问题。

Kafka 具有在数千台机器之间为单个主题拥有数千个分区的能力,这意味着 Kafka 可以处理大量负载。

来源:小技术君内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯