• Spark Job调优–Part 1

    在开始写spark代码或者翻阅spark文档的时候,会遇到一些诸如“transformation”,“action”和“RDD”这样的术语。了解这些术语对于编写spark代码是至关重要的。 类似的,当

    [阅读更多...]
  • Kafka 调整partiton数目和replica factor

    调整partiton 调整partition可以直接执行如下命令: 注意替换topicName、$ZK_HOST_NODE和partitionNum三个参数。 调整replica factor 调整r

    [阅读更多...]
  • Druid historical/broker 节点启动失败

    部署Druid服务时遇到了启动失败的异常。相关的节点是historical和broker。异常信息如下: 异常信息中比较关键的部分是下面这一句: 这一句指明了启动失败的原因:分配的直接内存不足。需要的

    [阅读更多...]
  • IDEA修改类注释自动生成的用户名

    使用IDEA时,自动生成的类注释中的用户名默认为操作系统当前的用户名。这样的用户名通常和实际要用的用户名是不一致的。 已知的有两种调整方式。 第一种方式在File -> Settings -&g

    [阅读更多...]
  • Gradle Refresh异常: Could not HEAD

    在idea中使用Gradle的时候遇到了一个奇怪的异常:获取公司内部repository中的包是正常的,但是获取jar源文件的时候却遇到了一些异常。 异常信息可以通过执行“Refresh All Gr

    [阅读更多...]
  • spark java.lang.StackOverflowError

    问题描述 在工作中使用spark的一个主要内容就是从多个路径下搜集数据并进行处理。常用的代码大致如下: 在readData方法中调用SparkContext的sequenceFile方法读取文件创建R

    [阅读更多...]
  • Kafka java.nio.channels.ClosedChannelException

    最近开始部署一个工程时遇到了Kafka消费的问题,报错信息如下: 相关的工程已经在测试环境测试过了,部署到新的环境上却报错了。所以这个问题应该是环境问题或配置问题。 进入Kafka源码可以发现这个问题

    [阅读更多...]
  • Gradle访问需要用户名密码的仓库

    公司私有的maven仓库在访问时是需要用户名密码的。访问这种仓库的时候需要在build.gradle中配置repository用户权限,如下面这样: 但是如果每个项目都要配置一次的话,多少会让人有些觉

    [阅读更多...]
  • 使用Gradle构建scala多模块工程

    前段时间终于无法忍受sbt慢如龟速的编译打包速度了。稍稍调研了一下,就果断切换到了gradle。由于调研得比较匆忙,在使用过程中遇到了各种问题。好在最后都能解决了。 我这里使用scala主要是用来编写

    [阅读更多...]
  • 理解AOP

    说下我对AOP的理解:AOP是给程序添加统一功能的一种技术。在代码层面上来说,AOP就是在必要的业务代码中织入业务无关的、统一的代码的一种技术。在实现AOP的时候,通常努力争取的目标是对业务代码无侵入

    [阅读更多...]
第 1 页,共 11 页12345...10...最旧 »