• Spark堆内存溢出解决记录

    最近的工作有很大一部分是在做用户画像。 画像读取的维度bitmap动辄几百MB,甚至存在部分GB级别的。而我们的Yarn集群规模比较小,内存总计只有100多GB。开发调试时遇到最多的问题除了Task

    [阅读更多...]