• Kafka报错:Error reading field ‘topics’

    在kafka的server.log中发现了如下报错信息: 在StackOverflow上找到了类似的问题。知道报这个错的是因为kafka服务端的版本和kafka客户端的版本不一致导致的。 解决方案很简单: 调整kafka server端版本

    [阅读更多...]
  • Kafka警告:No checkpointed highwatermark is found for partition

    测试环境使用的Kafka出现了点儿问题,服务器被停止,所有的topic日志不知怎的被清空。一番大清洗(清理zookeeper节点、kafka topic log)、重启Kafka、创建分区后发现报了如下的错误: 找了些资料知道了报警的原因。

    [阅读更多...]
  • Kafka报错:connection reset by peer

    在kafka的server.log中发现持续爆出如下错误信息: 查了下原因,是因为kafka的客户端异常关闭,而Kafka仍在向其推送数据导致的。 没有找到太好的解决办法。最后使用了一个笨方法:先停掉所有的生产者和消费者服务,再停掉Kafk

    [阅读更多...]
  • 解决PKIX:unable to find valid certification path to requested target

    遇到了“unable to find valid certification path to requested target”这样的问题。 错误详情如下: 从异常信息中可以看到错误是因为找不到证书导致的。 解决方案有两个。 正常的方案当然

    [阅读更多...]
  • 偶尔三省

    最近休假在家,但平时琐事太多,难得有敲代码的时间,不过却是一个反思的好时间。在这里记录一些想法。 不要抱怨 这是一个我不自觉会犯的毛病,以后一定要注意。 抱怨本身只能吐出一下自己的郁闷,不过却不能纾解郁闷,对问题本身也无任何裨益。相反的,每

    [阅读更多...]
  • 设计模式讨论可以休矣

    多少有些标题党了。首先声明一下,就我个人来说,我对设计模式没有丝毫反感。我反感的是空泛地没有标的地讨论设计模式,或者说言必谈设计模式。 起因是和同事的一次讨论。讨论的过程不便多说,只说下我的观点:只为学习设计模式而学习设计模式是没有意义的,

    [阅读更多...]
  • Spark堆内存溢出解决记录

    最近的工作有很大一部分是在做用户画像。 画像读取的维度bitmap动辄几百MB,甚至存在部分GB级别的。而我们的Yarn集群规模比较小,内存总计只有100多GB。开发调试时遇到最多的问题除了Task not serializable就是he

    [阅读更多...]
  • Spark Job调优-Part 2

    这一节将主要介绍资源调优,或者说是如何充分利用集群资源。然后再说一下如何对并发度进行优化,这是job性能参数中最难也是最重要的部分。最后我们将了解一些数据自身的表现形式:Spark读取时数据在磁盘上的保存形式(如Apache Avro和 A

    [阅读更多...]
  • Spark Job调优–Part 1

    在开始写spark代码或者翻阅spark文档的时候,会遇到一些诸如“transformation”,“action”和“RDD”这样的术语。了解这些术语对于编写spark代码是至关重要的。 类似的,当写的spark程序执行失败的时候或者尝试

    [阅读更多...]
  • Kafka 调整partiton数目和replica factor

    调整partiton 调整partition可以直接执行如下命令: 注意替换topicName、$ZK_HOST_NODE和partitionNum三个参数。 调整replica factor 调整replica-factor需要先创建一个

    [阅读更多...]