程序中有一块儿功能是读取硬盘文件到内存里。这块儿代码执行得异常缓慢，读4个G左右的文件竟会用上十几分钟。平时也不着急，但是今天催得紧，就得优化下了。 上传代码大致如下： 这里的问题在于直接使用了FileInputStream，就是说没有使用
[阅读更多...]-
FileInputStream与BufferedInputStream
-
Metrics学习03 – Histogram
Histogram用来统计数据的分布。Histogram可以提供收集到的数据的最大值、最小值、平均值和中值，此外还能提供百分比分布，如75%，95%，99.9%等等。 Histogram是我学习Metrics的驱动之一。最初是想使用Hist
[阅读更多...] -
dependencyManagement导致版本冲突
今天遇到了一个问题： 程序中某处报了ClassNoDefineError。这个类属于jna框架。检查jna的jar，发现确实没有那个类。关键在于这个报错是在一个依赖内部发生的，jna的jar是这个依赖的内部依赖，即当前应用的一个间接依赖。因
[阅读更多...] -
Quartz Job类使用有参数构造方法
也许这篇文章的名字应该改成《Quartz JobFactory的使用》，因为正是使用JobFactory解决的Quartz Job类有参数构造方法的问题。同样，使用JobFactory也能解决Job已有实例重用的问题。 问题描述 问题如标题
[阅读更多...] -
Spark数据导出任务内存优化记录
前两天又接了一个Spark任务，倒不复杂，依然是检索HDFS上的日志数据这样的事情。不过瞅着组内跑着十几二十个任务内存一共只有160来G的yarn集群，有些欲哭无泪。 事情还是要做的，反正执行时间要求不太严格，只能想办法尽量压缩内存的占用了
[阅读更多...] -
linux防火墙操作命令
最近又开了一个VPS，免不了一通配置。在这里简单记录下linux防火墙相关的操作。 操作系统：centos7。 1. firewall启动、停止、重启 2. 配置/取消 firewall开机启动 3. 新增开放端口 注意事项： 执行新增/删
[阅读更多...] -
Metrics学习02 – Counter
Counter是要学习的Metrics的第二个工具，顾名思义即是计数器，通常用来执行统计之类的工作。 Counter比Gauge也复杂不了多少，直接看代码好了： 这里的代码较Gauge的那段稍稍有些不同：主要是在Counter实例的创建上
[阅读更多...] -
Metrics学习01 – Gauge
最近在写一个小应用，有些计量方式觉得可以参考一下Metrics，所以打算花两天的时间学习一下这个工具。 Overview Metrics是一个java监控计量工具包。在Spark、Hadoop、Spring等软件中都可以看到它的影子。Met
[阅读更多...] -
SpringBoot探索01 – @Import注解
Overview Spring中@Import注解最初主要是在配置类中使用，目的是引入其他的配置类(@Configuration)并实现自动注入。 目前Import并不只是支持引入@Configuration注解的类，也支持引入Import
[阅读更多...] -
CaffeineCache 慎用weakKeys
前两天在一个Spring项目里使用了Caffine缓存，在application.yml中的配置如下： 为了避免缓存占用过多内存导致频繁GC，使用了weakKeys和weakValues选项。 不过测试时发现缓存不能命中，仍然会查询数据库。
[阅读更多...]