Windows下搭建Jetbrains IDEA + Spark的本地开发环境

安装JDK、Scala、Python环境，在命令行中测试环境是否可用，注意，本机装的是基于Hadoop2.7版本的Spark2.3.1版本，需要的JDK是1.8，Scala是2.11版本，Python用的是3.1，小版本号无所谓，大版本号要对。

1、JDK安装测试 2、Scala安装测试 3、Python安装测试 4、下载Spark，http://spark.apache.org/downloads.html ，我下载的是spark-2.3.1-bin-hadoop2.7.tgz版本，这里可以去华为云提供的镜像下载：https://mirrors.huaweicloud.com/

5、下载完成后解压两次，能得到文件夹，将该文件夹拷贝到某个目录下，（） 6、配置全局环境变量，即SPARK_HOME，并将SPARK_HOME设置为D:\ProgramFiles\spark-2.3.1-bin-hadoop2.7，这是我的路径，然后将D:\ProgramFiles\spark-2.3.1-bin-hadoop2.7\bin加到PATH中即可。然后打开cmd，运行spark-shell即可进入spark的交互界面，可以编程了。注意，如果遇到 Failed to locate the winutils binary in the hadoop binary path 之类的错误，那是由于缺少winutils的原因。解决方案是下载对应的hadoop，然后配置好HADOOP_HOME，并 下载对应版本的winutils.exe拷贝到hadoop下面的bin下，然后即可。