使用Maven对Scala独立应用程序进行编译打包-编程知识

使用Maven对Scala独立应用程序进行编译打包

一、安装Maven

1.解压，移动安装包

sudo tar -zxf ~/apache-maven-3.9.6-bin.tar.gz -C /usr/local/
cd /usr/local/
sudo mv apache-maven-3.9.6/ ./maven-3.9.6
sudo chown -R qiangzi ./maven-3.9.6

二、Scala应用程序代码

1.在终端中执行如下命令创建一个文件夹 sparkapp3作为应用程序根目录：

cd /usr/local/spark-2.1.0/mycode  # 进入项目目录，需提前创建
mkdir ./sparkapp3   # 创建应用程序根目录
mkdir -p ./sparkapp3/src/main/scala     # 创建所需的文件夹结构

2.在 ./sparkapp3/src/main/scala 下建立一个名为 SimpleApp.scala 的文件（vim ./sparkapp3/src/main/scala/SimpleApp.scala），添加代码如下：

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConfobject SimpleApp {def main(args: Array[String]) {val logFile = "file:///usr/local/spark-2.1.0/README.md" // Should be some file on your systemval conf = new SparkConf().setAppName("Simple Application")val sc = new SparkContext(conf)val logData = sc.textFile(logFile, 2).cache()val numAs = logData.filter(line => line.contains("a")).count()val numBs = logData.filter(line => line.contains("b")).count()println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))}}

该程序计算 /usr/local/spark-2.1.0/README 文件中包含 "a" 的行数和包含 "b" 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录，如果不是该目录请自行修改。不同于 Spark shell，独立应用程序需要通过 val sc = new SparkContext(conf) 初始化 SparkContext，SparkContext 的参数 SparkConf 包含了应用程序的信息。

三.使用Maven进行编译打包

1.该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp3目录中新建文件pom.xml，命令如下：

cd usr/local/spark-2.1.0/mycode/sparkapp3
vim pom.xml

2.然后，在pom.xml文件中添加如下内容，用来声明该独立应用程序的信息以及与Spark-2.1.0的依赖关系：

<project><groupId>cn.edu.xyafu</groupId><artifactId>simple-project</artifactId><modelVersion>4.0.0</modelVersion><name>Simple Project</name><packaging>jar</packaging><version>1.0</version><repositories><repository><id>jboss</id><name>JBoss Repository</name><url>http://repository.jboss.com/maven2/</url></repository></repositories><dependencies><dependency> <!-- Spark dependency --><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>2.1.0</version></dependency></dependencies><build><sourceDirectory>src/main/scala</sourceDirectory><plugins><plugin><groupId>org.scala-tools</groupId><artifactId>maven-scala-plugin</artifactId><executions><execution><goals><goal>compile</goal></goals></execution></executions><configuration><scalaVersion>2.11.8</scalaVersion><args><arg>-target:jvm-1.8</arg></args></configuration></plugin></plugins>
</build>
</project>

3.为了保证Maven能够正常运行，先执行如下命令检查整个应用程序的文件结构：

cd usr/local/spark-2.1.0/mycode/sparkapp3
find  .

4.文件结构应该是类似如下的内容：

5.接下来，我们可以通过如下代码将整个应用程序打包成JAR包（注意：计算机需要保持连接网络的状态，而且首次运行打包命令时，Maven会自动下载依赖包，需要消耗几分钟的时间）：

cd usr/local/spark-2.1.0/mycode/sparkapp3   #一定把这个目录设置为当前目录
/usr/local/maven-3.9.6/bin/mvn  package

6.如果屏幕返回如下信息，则说明生成JAR包成功：

7.生成的应用程序JAR包的位置为“~/sparkapp3/target/simple-project-1.0.jar”。

四、通过 spark-submit 运行程序

1.我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了，命令如下：

/usr/local/spark-2.1.0/bin/spark-submit --class "SimpleApp" /usr/local/spark-2.1.0/mycode/sparkapp3/target/simple-project-1.0.jar
#上面命令执行后会输出太多信息，可以不使用上面命令，而使用下面命令查看想要的结果
/usr/local/spark-2.1.0/bin/spark-submit --class "SimpleApp" /usr/local/spark-2.1.0/mycode/sparkapp3/target/simple-project-1.0.jar 2>&1 | grep "Lines with a:"

2.最终得到的结果如下：