• Spark数据导出任务内存优化记录

    前两天又接了一个Spark任务,倒不复杂,依然是检索HDFS上的日志数据这样的事情。不过瞅着组内跑着十几二十个任务内存一共只有160来G的yarn集群,有些欲哭无泪。

    事情还是要做的,反正执行时间要求不太严格,只能想办法尽量压缩内存的占用了。 …

  • linux防火墙操作命令

    最近又开了一个VPS,免不了一通配置。在这里简单记录下linux防火墙相关的操作。

    操作系统:centos7

    1. firewall启动、停止、重启

  • Metrics学习02 – Counter

    Counter是要学习的Metrics的第二个工具,顾名思义即是计数器,通常用来执行统计之类的工作。

    Counter比Gauge也复杂不了多少,直接看代码好了:

  • Metrics学习01 – Gauge

    最近在写一个小应用,有些计量方式觉得可以参考一下Metrics,所以打算花两天的时间学习一下这个工具。

    Overview

    Metrics是一个java监控计量工具包。在Spark、Hadoop、Spring等软件中都可以看到它的影子。Metri…

  • SpringBoot探索01 – @Import注解

    Overview

    Spring中@Import注解最初主要是在配置类中使用,目的是引入其他的配置类(@Configuration)并实现自动注入。

    目前Import并不只是支持引入@Configuration注解的类,也支持引入ImportSe