文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

怎么解决kafka消费不到远程bootstrap-server数据的问题

2023-06-21 21:27

关注

这篇文章主要介绍“怎么解决kafka消费不到远程bootstrap-server数据的问题”,在日常操作中,相信很多人在怎么解决kafka消费不到远程bootstrap-server数据的问题问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”怎么解决kafka消费不到远程bootstrap-server数据的问题”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

问题

执行 ./bin/kafka-console-consumer.sh --bootstrap-server 10.10.151.12:6667 --topic flink_test
取不到数据没有任何返回,也没有报错

解决

使用./bin/kafka-console-consumer.sh --zookeeper 10.10.151.12:2181 --topic flink_test
终于看到报错信息了

[2020-12-02 10:06:41,087] WARN [console-consumer-73229_localhost.localdomain-1606874800409-65d73e12-leader-finder-thread]: Failed to add leader for partitions flink_test-5,flink_test-16,flink_test-2,flink_test-13,flink_test-21,flink_test-10,flink_test-15,flink_test-4,flink_test-7,flink_test-18,flink_test-1,flink_test-23,flink_test-12,flink_test-20,flink_test-9,flink_test-6,flink_test-17,flink_test-22,flink_test-3,flink_test-14,flink_test-19,flink_test-8,flink_test-0,flink_test-11; will retry (kafka.consumer.ConsumerFetcherManager$LeaderFinderThread)java.nio.channels.ClosedChannelExceptionat kafka.network.BlockingChannel.send(BlockingChannel.scala:112)at kafka.consumer.SimpleConsumer.liftedTree1$1(SimpleConsumer.scala:101)at kafka.consumer.SimpleConsumer.kafka$consumer$SimpleConsumer$$sendRequest(SimpleConsumer.scala:86)at kafka.consumer.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:152)at kafka.consumer.SimpleConsumer.earliestOrLatestOffset(SimpleConsumer.scala:191)at kafka.consumer.ConsumerFetcherThread.handleOffsetOutOfRange(ConsumerFetcherThread.scala:92)at kafka.server.AbstractFetcherThread$$anonfun$7.apply(AbstractFetcherThread.scala:243)at kafka.server.AbstractFetcherThread$$anonfun$7.apply(AbstractFetcherThread.scala:240)at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)at scala.collection.immutable.HashMap$HashMap1.foreach(HashMap.scala:221)at scala.collection.immutable.HashMap$HashTrieMap.foreach(HashMap.scala:428)at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)at scala.collection.AbstractTraversable.map(Traversable.scala:104)at kafka.server.AbstractFetcherThread.addPartitions(AbstractFetcherThread.scala:240)at kafka.server.AbstractFetcherManager$$anonfun$addFetcherForPartitions$2.apply(AbstractFetcherManager.scala:97)at kafka.server.AbstractFetcherManager$$anonfun$addFetcherForPartitions$2.apply(AbstractFetcherManager.scala:85)at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:733)at scala.collection.immutable.Map$Map3.foreach(Map.scala:161)at scala.collection.TraversableLike$WithFilter.foreach(TraversableLike.scala:732)at kafka.server.AbstractFetcherManager.addFetcherForPartitions(AbstractFetcherManager.scala:85)at kafka.consumer.ConsumerFetcherManager$LeaderFinderThread.doWork(ConsumerFetcherManager.scala:96)at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:64)

修改/etc/hosts文件

10.10.151.11 test0110.10.151.12 test0210.10.151.13 test03

重新执行./bin/kafka-console-consumer.sh --bootstrap-server 10.10.151.12:6667 --topic flink_test
成功获取数据

原因分析

原来kafka消费者和kafka server 在一个集群中hosts文件都一样,所以没有问题。
2.新的kafka消费者是我新加的一个机器,是独立于集群的,但是需要消费集群中部分数据做实验用
3.集群中的kafka配置中使用的的是hostname,所以新加的机器没有配hosts就连接不上
4.kafka版本比较老了是1.0.0,但是我们项目定版了,这个版就要用1.0.0版防止冲突,下个版本我在升级一下吧。

到此,关于“怎么解决kafka消费不到远程bootstrap-server数据的问题”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注编程网网站,小编会继续努力为大家带来更多实用的文章!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     807人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     351人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     314人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     433人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     221人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯