• Gradle依赖排除

    在引用依赖时经常会有这样的问题:某些间接引用的依赖项是不需要的;产生了依赖冲突。此时需要排除一些依赖。

    下面的内容介绍了几种在gradle中排除依赖的方式。

    在dependency中排除

  • spark使用kafka报NoSuchMethodError

    运行spark任务消费kafka时,报了如下的异常:

  • gradle: No cached version of org.scala-lang

    在idea中使用gradle构建项目时总是提示失败,发现报错信息如下:

  • 清理idea缓存

    使用idea的时候,有时调整了文件结构或pom文件就会报一些莫名其妙的错误。之前的解决方式是:打开应用目录,删除掉一系列idea生成的工程文件,而后再用idea重新打开就行了。

    现在发现了一个新的解决方式:选择 菜单 -> File –>…

  • 从一段计时代码开始

    下面这段代码估计是我们见过(或写过)最多的代码了:

  • 关于Zero Copy

    概述

    很多web应用都会有大量的静态文件。我们通常是从硬盘读取这些静态文件,并将完全相同的文件数据写到response socket。这样的操作需要较少的CPU,但是效率有些低,它需要经过如下的过程:kernel从硬盘读取数据,越过kernel…

  • SpringBoot集成Jersey的单元测试方案

    使用SpringBoot集成Jersey做单元测试时遇到了application.xml找不到的提示。详情如下:

  • hbase hbck用法

    在这里简单整理下hbase hbck的用法。

    用法:

    opts通用可选项

    -help 展示help信息;

    -detail 展示所有Region的详情;

    -timelag <秒级时间>…

  • 在Spark上通过自定义RDD访问HBase

    这里介绍一个在Spark上使用自定义RDD获取HBase数据的方案。

    这个方案的基础是我们的HBase表的行键设计。行键设计大概是这样子的:标签ID+时间戳+随机码。平时的需求主要是导出指定标签在某个时间范围内的全部记录。根据需求和行键设计确…

  • Unsupported major.minor version

    又遇到了Unsupported major.minor version 52.0这个问题。很清楚这是编译打包时使用的jdk版本与运行环境jre版本不一致导致的。但是总是记不住具体的jdk版本与major version的对应关系。在这里记一下:

    Ja