编程并不是一个机械性的工作,而是需要有思考,有创新的工作,语法是固定的,但解决问题的思路则是依靠人的思维,这就需要我们坚持学习和更新自己的知识。今天编程网就整理分享《使用 kafka-go 在 Kafka 中计划创建消费者》,文章讲解的知识点主要包括,如果你对Golang方面的知识点感兴趣,就不要错过编程网,在这可以对大家的知识积累有所帮助,助力开发能力的提升。
问题内容我是 kafka 新手,目前正在研究它。我在 golang 中使用 kafka-go 来创建生产者和消费者。目前我可以创建一个生产者,但我希望在创建主题的生产者后创建消费者,而不是每次都创建。意味着对于每个主题,仅创建一次消费者。此外,当需要为某个主题创建更多消费者以平衡负载时,就会创建它。有什么办法可以通过 goroutine 或 Faktory 来安排它吗?
解决方案
你不应该有一个耦合的生产者/消费者,Kafka让你拥有完全解耦的生产者/消费者。
即使主题不存在(Kafka 将创建它,您只会收到领导者不可用警告),您也可以运行您的消费者,并随时运行您的生产者。
关于扩展,我们的想法是,您可以根据需要扩展主题(以消费者数量为单位)创建尽可能多的分区。
以下是一些有关主题分区策略的阅读内容: https://blog.newrelic.com/engineering/effective-strategies-kafka-topic-partitioning/
您在网上有很多关于此的读物。
雅尼克
今天关于《使用 kafka-go 在 Kafka 中计划创建消费者》的内容就介绍到这里了,是不是学起来一目了然!想要了解更多关于的内容请关注编程网公众号!