前两天又接了一个Spark任务,倒不复杂,依然是检索HDFS上的日志数据这样的事情。不过瞅着组内跑着十几二十个任务内存一共只有160来G的yarn集群,有些欲哭无泪。 事情还是要做的,反正执行时间要求不太严格,只能想办法尽量压缩内存的占用了
[阅读更多...]归档
- 2023 年 12 月
- 2022 年 12 月
- 2022 年 5 月
- 2022 年 4 月
- 2022 年 3 月
- 2021 年 10 月
- 2021 年 9 月
- 2021 年 7 月
- 2021 年 6 月
- 2021 年 5 月
- 2021 年 2 月
- 2021 年 1 月
- 2020 年 11 月
- 2020 年 10 月
- 2020 年 9 月
- 2020 年 8 月
- 2020 年 7 月
- 2020 年 6 月
- 2020 年 4 月
- 2020 年 3 月
- 2020 年 2 月
- 2020 年 1 月
- 2019 年 12 月
- 2019 年 11 月
- 2019 年 10 月
- 2019 年 9 月
- 2019 年 8 月
- 2019 年 7 月
- 2019 年 6 月
- 2019 年 5 月
- 2019 年 4 月
- 2019 年 3 月
- 2019 年 2 月
- 2019 年 1 月
- 2018 年 12 月
- 2018 年 11 月
- 2018 年 10 月
- 2018 年 9 月
- 2018 年 7 月
- 2018 年 5 月
- 2018 年 4 月
- 2018 年 3 月
- 2018 年 2 月
- 2018 年 1 月
- 2017 年 12 月
- 2017 年 11 月
- 2017 年 10 月
- 2017 年 9 月
- 2017 年 7 月
- 2017 年 6 月
- 2017 年 5 月
- 2017 年 4 月
- 2017 年 3 月
- 2017 年 2 月
- 2017 年 1 月
- 2016 年 12 月
- 2016 年 11 月
- 2016 年 10 月
- 2016 年 9 月
- 2016 年 8 月
- 2016 年 7 月
- 2016 年 6 月
- 2016 年 5 月
- 2016 年 4 月
- 2016 年 3 月
- 2016 年 2 月
- 2016 年 1 月
- 2015 年 12 月
- 2015 年 11 月
- 2015 年 10 月
- 2015 年 9 月
- 2015 年 8 月
- 2015 年 7 月
- 2015 年 4 月
友情链接
其他操作
标签云
@Conditional
@ConditionalOnBean
@ConditionalOnClass
AES
aws
BeautifulSoup
Bouncy Castle
DataGrip
feign
getSpringFactoriesInstances
go
gradle
HBase
https
IDEA
JavaFx
JMeter
json
kafka
lambda
mapreduce
MAT
maven
Metrics
MockMVC
MyBatis
mysql
MySQL分区
Spark调优
SpEL
spring
spring.factories
SpringBoot
SpringBootTest
Spring自启动
starter
yarn
伪静态
唯一ID
广告
条件注解
测试
爬虫
设计模式
配置