spark教程菜鸟教程 如何在idea中阅读spark源代码？

如何在idea中阅读spark源代码？

首先，点击项目的“项目结构”菜单，弹出一个对话框。细心的用户一定会发现，其中列出的模块没有纱线！这就是为什么与yarn模块相关的代码总是报告错误！只需在这里添加纱线模块。逐步选择添加->导入模块->选择pom.xml文件，然后逐步单击“确定”。此时，在对话框2.10模块中将有更多spark yarn，然后单击Maven项目中的“重新导入所有Maven项目”。下载完yarn模块中的所有依赖项后，我们可以看到该模块中的代码将不再报告错误

想研读下spark的源码，怎么搭阅读和调试的环境？

考虑到eclipse对Scala的支持较差，不建议使用eclipse构建源代码读取环境。建议使用此方法。方法1。用SBT直接编译生成idea项目文件并导入idea。方法2。用idea直接导入git项目，用idea的SBT插件自动编译。用以上两种方法编译应该是最简单的方法。如果网络畅通，我就不用等太久。我花了大约一个小时来编译spark1.6并下载到Mac上。如果您真的想使用eclipse，可以在将它作为Scala项目导入eclipse之前，尝试用SBT编译它。

spark教程菜鸟教程 spark源码从零开启解析 spark源码解析

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。