2016 - 2024

感恩一路有你

idea远程部署spark 想研读下spark的源码,怎么搭阅读和调试的环境?

浏览量:1537 时间:2021-03-12 10:15:44 作者:admin

想研读下spark的源码,怎么搭阅读和调试的环境?

考虑到eclipse对Scala的支持很差,不建议使用eclipse构建源代码读取环境。建议使用此方法。方法1。用SBT直接编译生成idea项目文件并导入idea。方法2。用idea直接导入git项目,用idea的SBT插件自动编译。用以上两种方法编译应该是最简单的方法。如果网络畅通,我就不用等太久。我花了大约一个小时来编译spark1.6并下载到Mac上。如果您真的想使用eclipse,可以在将它作为Scala项目导入eclipse之前,尝试用SBT编译它。

写java是用mac好还是win好?

基本上是一样的。如果您使用IDE开发,您会觉得eclipse和idea在这两个平台上几乎是相同的。如果你习惯于赢,你就不会习惯在你刚打开Mac时使用快捷键。如果使用命令行,最好使用MAC(这与Linux下的操作基本相同)。

而且Mac很容易使用,而且它不关心环境变量的设置。但我不知道为什么我在MAC中使用eclipse时经常感到卡住,也不知道为什么要使用idea。(想法应该更加面向配置)

此外,在MAC上切换中文和英文的关键并不是一个可恶的转变。你必须在赢的时候重置它。说起来很麻烦。

综上所述,选择Linux是必要的。

1. MacBook通常使用了很长一段时间。虽然32g现在还用不完,但还是要给将来留点空间;

2。作为Java后端开发,16g内存在当前的微服务场景中非常紧张。我们很多员工只能到32g云服务器上调试程序,因为本地的开发环境负担不起这么多微服务;

3。目前我每天使用的16g机是10-12g左右,包括mysql、redis、MQ等后台中间件,一个IDE环境;有时候打开excel、word、OneNote,实际上占用了很多内存;所以16g的利用率在90%左右;已经很高了;

4。如果同时进行IOS/Android客户端开发,由于测试兼容性的模拟器版本不同,需要更多的内存。我已经在同一时间播放了多达四个版本的仿真器;当然,您可以打开一个,用完后关闭一个;

5。我之前部署过区块链的所有节点,然后在上述情况下部署eth或BTC所有节点,这是完全无法忍受的,你应该知道eth单独部署所有节点在一个独立的16g服务器上;

作为一个Java后端,它涉及广泛的技术栈和高的机器配置裕度是非常必要的,就像现在的硬盘是512g一样

idea远程部署spark mac安装spark spark本地调试local

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。