前两天又接了一个Spark任务,倒不复杂,依然是检索HDFS上的日志数据这样的事情。不过瞅着组内跑着十几二十个任务内存一共只有160来G的yarn集群,有些欲哭无泪。 事情还是要做的,反正执行时间要求不太严格,只能想办法尽量压缩内存的占用了
[阅读更多...]归档
- 2022年12月
- 2022年5月
- 2022年4月
- 2022年3月
- 2021年10月
- 2021年9月
- 2021年7月
- 2021年6月
- 2021年5月
- 2021年2月
- 2021年1月
- 2020年11月
- 2020年10月
- 2020年9月
- 2020年8月
- 2020年7月
- 2020年6月
- 2020年4月
- 2020年3月
- 2020年2月
- 2020年1月
- 2019年12月
- 2019年11月
- 2019年10月
- 2019年9月
- 2019年8月
- 2019年7月
- 2019年6月
- 2019年5月
- 2019年4月
- 2019年3月
- 2019年2月
- 2019年1月
- 2018年12月
- 2018年11月
- 2018年10月
- 2018年9月
- 2018年7月
- 2018年5月
- 2018年4月
- 2018年3月
- 2018年2月
- 2018年1月
- 2017年12月
- 2017年11月
- 2017年10月
- 2017年9月
- 2017年7月
- 2017年6月
- 2017年5月
- 2017年4月
- 2017年3月
- 2017年2月
- 2017年1月
- 2016年12月
- 2016年11月
- 2016年10月
- 2016年9月
- 2016年8月
- 2016年7月
- 2016年6月
- 2016年5月
- 2016年4月
- 2016年3月
- 2016年2月
- 2016年1月
- 2015年12月
- 2015年11月
- 2015年10月
- 2015年9月
- 2015年8月
- 2015年7月
- 2015年4月
友情链接
其他操作
标签云
@Conditional
AES
aws
banner
BeautifulSoup
Bouncy Castle
DataGrip
feign
go
gradle
HBase
https
IDEA
JavaFx
JMeter
json
kafka
lambda
Linux
mapreduce
MAT
maven
Metrics
MockMVC
MyBatis
mysql
MySQL分区
rz
Spark调优
SpEL
spring
spring.factories
SpringBoot
SpringBootTest
Spring自动配置
starter
yarn
唯一ID
广告
时区
条件注解
测试
爬虫
设计模式
配置