昨天装了一天,出现各种问题,比如版本不对应,hadoop的配置文件修改错误等等,我出现了问题照着网上的教程一步步走,最终还是死在了spark版本应该改低点【传送门】的问题上,这个问题我没有找到其他的解决方法,所以今天我把他们全部卸载重新配置一遍,记录自己遇到的问题供大家参考。
参考教程:milkboylyf写的博客【传送门】
0:安装材料:
(1) jdk-8u171-windows-x64
(2) scala-2.11.8
(3) spark-2.3.1-bin-hadoop2.7.rar
(4) hadoop-2.7.6.rar
1:下载链接
链接: https://pan.baidu.com/s/1TEwzZFwotDvi7Izc1Mr-FA
提取码: dasq
2:安装过程
(1) 安装jdk环境
因为我已经安装过jdk8,所以在这边就不作展示了。
(2) 安装scala-2.11.8
(2.1)双击scala-2.11.8图标,选择路径默认安装。
(2.2)配置环境变量
在path中加入scala的环境变量
(2.3)打开PowerShell窗口输入scala
出现如下窗口。
(3) 安装spark-2.3.1-bin-hadoop2.7
(3.1)解压
(3.2)类似地设置环境变量
注意这里的spark环境变量需要绝对路径,如果用%SPARK_HOME%\bin的话,启动spark-shell
时会出现spark-shell不是内部或外部命令,也不是可运行的程序或批处理文件。
(3.3)cmd输入spark-shell
启动spark,若如下图所示则启动成功
(4) 安装hadoop-2.7.6
(4.1)类似地解压、配置环境变量
(4.2)修改配置文件参考这篇博客【传送门】(很重要!!!)
(4.3)格式化namenode时出现问题
找到hadoop-env.cmd文件右键编辑修改JAVA_HOME的值(根据自己的情况)
(4.4)cmd进入E:\hadoop-2.7.6\sbin
文件夹输入start-all.cmd
再输入jps看是否全部启动
如下图所示则启动成功
3:IDEA配置环境
(1) scala
(2)spark
导入下载好的spark的jar包
4.:总结
目前为止,我遇到的问题告一段落,如果之后还有问题再做记录,配这个环境花了我一天半的时间,真的是太浪费时间了,猛女生气,希望能给大家作个参考不用走太多的弯路。