调整partiton 调整partition可以直接执行如下命令： 注意替换topicName、$ZK_HOST_NODE和partitionNum三个参数。 调整replica factor 调整r
[阅读更多...]-
Kafka 调整partiton数目和replica factor
-
Kafka java.nio.channels.ClosedChannelException
最近开始部署一个工程时遇到了Kafka消费的问题，报错信息如下： 相关的工程已经在测试环境测试过了，部署到新的环境上却报错了。所以这个问题应该是环境问题或配置问题。 进入Kafka源码可以发现这个问题
[阅读更多...] -
kafka0.9 Consumer poll()方法阻塞
最近项目中用到了Kafka0.9，在使用0.9的Consumer API的时候遇到了poll()方法阻塞的问题。程序没有报任何错误，只是持续在poll()方法处阻塞。深入poll()方法可以看到是在A
[阅读更多...] -
获取Kafka Consumer的offset
从kafka的0.8.11版本开始，它会将consumer的offset提交给ZooKeeper。然而当offset的数量（consumer数量 * partition的数量）的很多的时候，ZooKe
[阅读更多...] -
Kafka high level consumer
为什么选择High Level Consumer 很多时候用户只是想从kafka中读取数据，对于如何处理消息的offset则不怎么关注。在抽象了Kafka中消费事件的大部分细节后，High Level
[阅读更多...] -
Kafka Simple Consumer
Kafka的Simple Consumer并不简单。相反的，它是直接在对Kafka的partition和offset进行操作，是一种比较接近底层的方案。 为什么要使用Simple Consumer 使
[阅读更多...] -
Kafka Producer程序示例
这次是要写一个Producer示例程序。使用的kafka版本是0.8.2。开发语言是java。 程序主体是一个Producer类。这个Producer类主要是用来为指定的topic创建消息。 首先需要
[阅读更多...] -
kafka简介
简介 kafka是一个分布式的、可分区的、可复制的日志提交服务。它提供了消息传递的功能，但是有着独特的设计。 首先，先了解一些基础概念： Kafka将消息源的分类称为topic； 向Kafka的top
[阅读更多...]