DAGScheduler源码分析stage划分算法，task最佳位置计算算法-JobPlus

在DAGScheduler类中的HandleJobSubmitted是job调度的核心入口

进入了newStage（）方法它会创建一个stage对象

进入submitStage（）方法

进入getMissingParentStages方法（）

进入submitWaitingStages（）方法

stage划分算法总结

1，从finalStage倒推

2，通过宽依赖，来进行新的stage的划分

3，使用递归优先提交父stage

接下来是stage会创建task

进入getPreFerredLocasInternal（）方法（task最佳位置计算算法）

<img src="https://file.jobplus.com.cn/2018/07/25/b7975a58f2434f4cbee89e8455f56d00.png" _src="https://file.jobplus.com.cn/2018/07/25/b7975a58f2434f4cbee89e8455f56d00.png"/><h3>在DAGScheduler类中的HandleJobSubmitted是job调度的核心入口</h3><img src="https://file.jobplus.com.cn/2018/07/25/b394ce7a6f4b454fa59ce7881aca1383.png" _src="https://file.jobplus.com.cn/2018/07/25/b394ce7a6f4b454fa59ce7881aca1383.png" style=""/><img src="https://file.jobplus.com.cn/2018/07/25/b8b6530509d34c1a9ff6b15297a2e94c.png" _src="https://file.jobplus.com.cn/2018/07/25/b8b6530509d34c1a9ff6b15297a2e94c.png" style=""/>进入了newStage（）方法它会创建一个stage对象<img src="https://file.jobplus.com.cn/2018/07/25/c4bc33fc52ca4b6b9feb8a035bd4a923.png" _src="https://file.jobplus.com.cn/2018/07/25/c4bc33fc52ca4b6b9feb8a035bd4a923.png"/>进入submitStage（）方法<img src="https://file.jobplus.com.cn/2018/07/25/9dced0f4377443589a433d1910d95055.png" _src="https://file.jobplus.com.cn/2018/07/25/9dced0f4377443589a433d1910d95055.png"/>进入getMissingParentStages方法（）<img src="https://file.jobplus.com.cn/2018/07/25/ee1ad4f47a6a49cb87ae99733bd6e91a.png" _src="https://file.jobplus.com.cn/2018/07/25/ee1ad4f47a6a49cb87ae99733bd6e91a.png"/>进入submitWaitingStages（）方法<img src="https://file.jobplus.com.cn/2018/07/25/1a25c7710b444d3787d7b3b32ff98a06.png" _src="https://file.jobplus.com.cn/2018/07/25/1a25c7710b444d3787d7b3b32ff98a06.png"/>stage划分算法总结1，从finalStage倒推2，通过宽依赖，来进行新的stage的划分3，使用递归优先提交父stage<h3>接下来是stage会创建task</h3><img src="https://file.jobplus.com.cn/2018/07/25/dc3a0457dded47a7b1759e649ac54aa3.png" _src="https://file.jobplus.com.cn/2018/07/25/dc3a0457dded47a7b1759e649ac54aa3.png" style=""/><img src="https://file.jobplus.com.cn/2018/07/25/1d3e96027c4b4f669e696d48446b2415.png" _src="https://file.jobplus.com.cn/2018/07/25/1d3e96027c4b4f669e696d48446b2415.png" style=""/><img src="https://file.jobplus.com.cn/2018/07/25/cae2c6006b8a4d8ab73e0ab6972f574a.png" _src="https://file.jobplus.com.cn/2018/07/25/cae2c6006b8a4d8ab73e0ab6972f574a.png" style=""/><img src="https://file.jobplus.com.cn/2018/07/25/d892116c9f9c4e15981f4e5e5cd86443.png" _src="https://file.jobplus.com.cn/2018/07/25/d892116c9f9c4e15981f4e5e5cd86443.png" style=""/><img src="https://file.jobplus.com.cn/2018/07/25/7fc59eccc4bb416f9d3d33ae0e68b612.png" _src="https://file.jobplus.com.cn/2018/07/25/7fc59eccc4bb416f9d3d33ae0e68b612.png" style=""/>进入getPreFerredLocasInternal（）方法（task最佳位置计算算法）<img src="https://file.jobplus.com.cn/2018/07/25/5abbc17f27714918be35410902626785.png" _src="https://file.jobplus.com.cn/2018/07/25/5abbc17f27714918be35410902626785.png" style=""/><img src="https://file.jobplus.com.cn/2018/07/25/b215850d04fb4ee19d8e022575058ae4.png" _src="https://file.jobplus.com.cn/2018/07/25/b215850d04fb4ee19d8e022575058ae4.png" style=""/>