前两天又接了一个Spark任务，倒不复杂，依然是检索HDFS上的日志数据这样的事情。不过瞅着组内跑着十几二十个任务内存一共只有160来G的yarn集群，有些欲哭无泪。
事情还是要做的，反正执行时间要求不太严格，只能想办法尽量压缩内存的占用了。
先说下背景：现在使用的yarn集群由8个容器组成，每个容器的内存大概20G；工作内容是检索数据，源数据大概1T左右，取出…
月度归档：2019年06月
linux防火墙操作命令
最近又开了一个VPS，免不了一通配置。在这里简单记录下linux防火墙相关的操作。
操作系统：centos7。
1. firewall启动、停止、重启
|
1 2 3 4 5 6 7 8 |
#查看防火墙状态 systemctl status firewalld #启动 systemctl start firewalld.service #停止/关闭 systemctl stop firewalld. |
Metrics学习02 – Counter
Counter是要学习的Metrics的第二个工具，顾名思义即是计数器，通常用来执行统计之类的工作。
Counter比Gauge也复杂不了多少，直接看代码好了：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
public class CounterShow { public sta |
Metrics学习01 – Gauge
最近在写一个小应用，有些计量方式觉得可以参考一下Metrics，所以打算花两天的时间学习一下这个工具。
Overview
Metrics是一个java监控计量工具包。在Spark、Hadoop、Spring等软件中都可以看到它的影子。Metrics提供了多种指标工具，如Gauge、Counter、Metrer、Timer、Histogram以及HealthChe…
SpringBoot探索01 – @Import注解
Overview
Spring中@Import注解最初主要是在配置类中使用，目的是引入其他的配置类(@Configuration)并实现自动注入。
目前Import并不只是支持引入@Configuration注解的类，也支持引入ImportSelector和ImportBeanDefinitionRegistrar接口的实现类，甚至可以引入普通的Java Bean…