0
点赞
收藏
分享

微信扫一扫

[Spark基础]--maven编译spark源码(spark-2.3.0)

进击的包籽 2022-11-03 阅读 160


如何编译从Github上下载的Spark源码,然后使用Spark的Api?

本文将先介绍编译Spark最新源码的步骤,供参考。


一、环境准备

Centos-6.8

Scala-2.11.8

Jdk-1.8

Spark-2.3.0-SNAPSHOT(git clone ​​https://github.com/apache/spark.git​​)

Python-2.7.10

Maven-3.3.9


二、编译

使用maven编译源码,命令行如下

[Spark基础]--maven编译spark源码(spark-2.3.0)_spark


执行以下命令之一:

1、mvn clean package -Dmaven.test.skip=true

2、mvn clean install  -Dmaven.test.skip=true (发布到maven本地仓库中)

3、mvn -DskipTests clean package

4、mvn -DskipTests clean install (发布到maven本地仓库中)

注意:

为了防止mvn内存溢出,需要vim  $MAVEN_HOME/bin/mvn

MAVEN_OPTS="$MAVEN_OPTS  -XX:MaxPermSize=256m "

windows下

set MAVEN_OPTS=%MAVEN_OPTS% -XX:MaxPermSize=4096m


三、等待编译完成

网络状况好或者提前已经下载好maven的相关插件和依赖包时,速度会很快,约15分钟左右。否则可能失败,或者耗时长。


[Spark基础]--maven编译spark源码(spark-2.3.0)_github_02



四、使用api

1、构建maven项目

2、通过pom.xml引用即可


参考:

​​https://spark.apache.org/docs/latest/building-spark.html​​





举报

相关推荐

0 条评论