ZY笔记
  • Java
    • CoreJava
    • Spring
    • java测试
    • 性能分析
  • 大数据
    • Kafka
    • Hadoop
    • HBase
    • Spark
    • Druid
  • Python
  • Scala
    • Scala
    • Gradle
  • Bug
  • Tricks
  • 想法

预则立,不预则废

  • 当前位置 : 
  • ZY笔记
  • /Kafka /
  • springboot入门14 – Kafka应用

    2021年2月16日 作者:白42
    暂无评论

    简述 这几天优化了一下之前写的一个springboot kafka组件。比较起原生的spring-kafka来,我希望能够简化kafka的使用,可以更聚焦于具体的消息处理逻辑。 接下来的内容是这个组件

    [阅读更多...]
  • Kafka java.net.SocketTimeoutException

    2018年12月30日 作者:白42
    暂无评论

    手上有一个消费Kafka的服务,这个服务每隔一段时间使用SimpleConsumer从kafka集群获取数据。Kafka的版本是0.8.21。今天这个服务一直在报错:SocketTimeoutExce

    [阅读更多...]
  • Kafka报错:Error reading field ‘topics’

    2018年10月27日 作者:白42
    暂无评论

    在kafka的server.log中发现了如下报错信息: 在StackOverflow上找到了类似的问题。知道报这个错的是因为kafka服务端的版本和kafka客户端的版本不一致导致的。 解决方案很简

    [阅读更多...]
  • Kafka警告:No checkpointed highwatermark is found for partition

    2018年10月27日 作者:白42
    暂无评论

    测试环境使用的Kafka出现了点儿问题,服务器被停止,所有的topic日志不知怎的被清空。一番大清洗(清理zookeeper节点、kafka topic log)、重启Kafka、创建分区后发现报了如

    [阅读更多...]
  • Kafka报错:connection reset by peer

    2018年10月27日 作者:白42
    暂无评论

    在kafka的server.log中发现持续爆出如下错误信息: 查了下原因,是因为kafka的客户端异常关闭,而Kafka仍在向其推送数据导致的。 没有找到太好的解决办法。最后使用了一个笨方法:先停掉

    [阅读更多...]
  • Kafka 调整partiton数目和replica factor

    2018年7月13日 作者:白42
    暂无评论

    调整partiton 调整partition可以直接执行如下命令: 注意替换topicName、$ZK_HOST_NODE和partitionNum三个参数。 调整replica factor 调整r

    [阅读更多...]
  • Kafka java.nio.channels.ClosedChannelException

    2018年5月5日 作者:白42
    暂无评论

    最近开始部署一个工程时遇到了Kafka消费的问题,报错信息如下: 相关的工程已经在测试环境测试过了,部署到新的环境上却报错了。所以这个问题应该是环境问题或配置问题。 进入Kafka源码可以发现这个问题

    [阅读更多...]
  • kafka0.9 Consumer poll()方法阻塞

    2017年5月21日 作者:白42
    6评论

    最近项目中用到了Kafka0.9,在使用0.9的Consumer API的时候遇到了poll()方法阻塞的问题。程序没有报任何错误,只是持续在poll()方法处阻塞。深入poll()方法可以看到是在A

    [阅读更多...]
  • 获取Kafka Consumer的offset

    2017年5月16日 作者:白42
    暂无评论

    从kafka的0.8.11版本开始,它会将consumer的offset提交给ZooKeeper。然而当offset的数量(consumer数量 * partition的数量)的很多的时候,ZooKe

    [阅读更多...]
  • Kafka high level consumer

    2016年1月28日 作者:白42
    暂无评论

    为什么选择High Level Consumer 很多时候用户只是想从kafka中读取数据,对于如何处理消息的offset则不怎么关注。在抽象了Kafka中消费事件的大部分细节后,High Level

    [阅读更多...]
第 1 页,共 2 页12»

我的专题

  • Memory Analyzer教程
  • scala学习手账

文章归档

  • 2021年2月
  • 2021年1月
  • 2020年11月
  • 2020年10月
  • 2020年9月
  • 2020年8月
  • 2020年7月
  • 2020年6月
  • 2020年4月
  • 2020年3月
  • 2020年2月
  • 2020年1月
  • 2019年12月
  • 2019年11月
  • 2019年10月
  • 2019年9月
  • 2019年8月
  • 2019年7月
  • 2019年6月
  • 2019年5月
  • 2019年4月
  • 2019年3月
  • 2019年2月
  • 2019年1月
  • 2018年12月
  • 2018年11月
  • 2018年10月
  • 2018年9月
  • 2018年7月
  • 2018年5月
  • 2018年4月
  • 2018年3月
  • 2018年2月
  • 2018年1月
  • 2017年12月
  • 2017年11月
  • 2017年10月
  • 2017年9月
  • 2017年7月
  • 2017年6月
  • 2017年5月
  • 2017年4月
  • 2017年3月
  • 2017年2月
  • 2017年1月
  • 2016年12月
  • 2016年11月
  • 2016年10月
  • 2016年9月
  • 2016年8月
  • 2016年7月
  • 2016年6月
  • 2016年5月
  • 2016年4月
  • 2016年3月
  • 2016年2月
  • 2016年1月
  • 2015年12月
  • 2015年11月
  • 2015年10月
  • 2015年9月
  • 2015年8月
  • 2015年7月
  • 2015年4月

友情链接

  • robin's note
  • 我的GIT地址

功能

  • 登录
  • 条目feed
  • 评论feed
  • WordPress.org

标签云

aws BeautifulSoup Fork/Join git gradle hadoop HBase HeapDump high level consumer https IDEA ignore JMeter kafka lambda mapreduce MAT Metrics MockMVC MyBatis mysql MySQL分区 PerfMon PyMySQL scala simple consumer source Spark调优 spring SpringBoot SpringBootTest SSL test TLS yarn 分区 剪贴板 单节点 多线程 方法引用 测试 爬虫 索引 邮件 配置
© ZY笔记 All Rights Reserved. Theme zAlive by zenoven.
  • 冀ICP备15004595号-1