问题描述
在工作中使用spark的一个主要内容就是从多个路径下搜集数据并进行处理。常用的代码大致如下：
|
1 2 3 |
val paths = obtainPaths() val rdd = paths.map(readData).reduce(_ ++ _) & |
在工作中使用spark的一个主要内容就是从多个路径下搜集数据并进行处理。常用的代码大致如下：
|
1 2 3 |
val paths = obtainPaths() val rdd = paths.map(readData).reduce(_ ++ _) & |