3.3.2　分布式数据处理

每个计算节点对数据分发过程中产生的弹性分布式数据集StringRDD,使用B-DP算法进行数据处理,生成顶点层次结构并计算顶点误差。Spark框架在各个计算节点中启动work进程进行数据处理。

以线对象为例,数据节点误差的分布式计算流程如图3-9所示。首先对弹性分布式数据集StringRDD进行反序列化操作,在各个计算节点中使用Map操作生成线对象弹性分布式数据集WayRDD;其次,对WayRDD执行B-DP算法,对每个线对象计算生成二叉树弹性分布式数据集SortBinaryTreeRDD;最后,使用Map操作计算有序二叉树中各个节点的误差值NodeErrorRDD。(https://www.daowen.com)