最近的工作有很大一部分是在做用户画像。

画像读取的维度bitmap动辄几百MB，甚至存在部分GB级别的。而我们的Yarn集群规模比较小，内存总计只有100多GB。开发调试时遇到最多的问题除了Task not serializable就是heap out of memeory了。

我们使用的Spark版本是1.6.3。yarn集群使用的jdk版本是1.7。

如何解决堆内存溢出…