• springboot入门14 – Kafka应用

    简述 这几天优化了一下之前写的一个springboot kafka组件。比较起原生的spring-kafka来,我希望能够简化kafka的使用,可以更聚焦于具体的消息处理逻辑。 接下来的内容是这个组件

    [阅读更多...]
  • Kafka java.net.SocketTimeoutException

    手上有一个消费Kafka的服务,这个服务每隔一段时间使用SimpleConsumer从kafka集群获取数据。Kafka的版本是0.8.21。今天这个服务一直在报错:SocketTimeoutExce

    [阅读更多...]
  • Kafka报错:Error reading field ‘topics’

    在kafka的server.log中发现了如下报错信息:

    在StackOverflow上找到了类似的问题。知道报这个错的是因为kafk

    [阅读更多...]
  • Kafka警告:No checkpointed highwatermark is found for partition

    测试环境使用的Kafka出现了点儿问题,服务器被停止,所有的topic日志不知怎的被清空。一番大清洗(清理zookeeper节点、kafka topic log)、重启Kafka、创建分区后发现报了如

    [阅读更多...]
  • Kafka报错:connection reset by peer

    在kafka的server.log中发现持续爆出如下错误信息:

    查了下原因,是因为kafka的客户端异常关闭,而Kafka仍在向其推送

    [阅读更多...]
  • Kafka 调整partiton数目和replica factor

    调整partiton 调整partition可以直接执行如下命令:

    注意替换topicName、$ZK_HOST_NODE和parti

    [阅读更多...]
  • Kafka java.nio.channels.ClosedChannelException

    最近开始部署一个工程时遇到了Kafka消费的问题,报错信息如下:

    相关的工程已经在测试环境测试过了,部署到新的环境上却报错了。所以这个

    [阅读更多...]
  • kafka0.9 Consumer poll()方法阻塞

    最近项目中用到了Kafka0.9,在使用0.9的Consumer API的时候遇到了poll()方法阻塞的问题。程序没有报任何错误,只是持续在poll()方法处阻塞。深入poll()方法可以看到是在A

    [阅读更多...]
  • 获取Kafka Consumer的offset

    从kafka的0.8.11版本开始,它会将consumer的offset提交给ZooKeeper。然而当offset的数量(consumer数量 * partition的数量)的很多的时候,ZooKe

    [阅读更多...]
  • Kafka high level consumer

    为什么选择High Level Consumer 很多时候用户只是想从kafka中读取数据,对于如何处理消息的offset则不怎么关注。在抽象了Kafka中消费事件的大部分细节后,High Level

    [阅读更多...]