Spark是Hadoop的子项目。因此，最好是基于Linux系统安装Spark 。下列步骤显示如何安装Apache Spark。
第1步：验证安装Java
安装Java是安装Spark强制性的事情之一。 试试下面的命令来验证Java版本。
如果Java已经安装在系统上，就能看到类似以下的响应结果
| java version "1.8.0_71"
|
| Java(TM) SE Runtime Environment (build 1.8.0_71-b13)
|
| Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode) |
如果还没有在系统上安装Java，那么在进行下一步之前，先安装Java。
第2步：验证 Scala 安装
Scala语言是来实现Spark。因此，用下面的命令验证Scala是否已安装。
如果Scala已经安装在系统上，应该能看到以下响应
| Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL |
如果您没有安装Scala在系统上，那么继续安装Scala再进入下一步。
第3步： 下载Scala
通过访问以下地址下载 Scala 的最新版本 - 下载Scala. 在本教程中，我们将使用 Scala-2.11.6版本。下载后，在下载文件夹中找到 Scala tar文件。
第4步: 安装Scala
按照以下给出的步骤安装Scala。
提取 Scala tar文件
用于提取Scala tar文件，请键入以下命令。
| $ tar xvf scala-2.11.6.tgz |
移动 Scala 软件文件
使用以下命令移动 Scala 软件文件，到相应目录，一般是 (/usr/local/scala).
| $ su –
|
| Password:
|
| # cd /home/Hadoop/Downloads/
|
| # mv scala-2.11.6 /usr/local/scala
|
| # exit |
5、设置Scala的PATH
使用下面的命令来设置Scala的PATH。
| $ export PATH = $PATH:/usr/local/scala/bin |
验证Scala 安装
安装完毕后，最好是进行验证。使用以下命令来验证Scala 的安装。
如果 Scala 已经安装在系统上，能看到以下响应
| Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL |
第6步: 安装Spark
按照下面给出了安装 Spark 的步骤。
解压提取 Spark tar
提取spark tar 文件使用下面的命令。
| $ tar xvf spark-1.3.1-bin-hadoop2.6.tgz |
移动 Spark 软件文件
移动Spark软件文件到相应目录 (/usr/local/spark)，使用下面的命令.
| $ su –
|
| Password:
|
|
|
| # cd /home/Hadoop/Downloads/
|
| # mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark
|
| # exit |
设置Spark环境
添加以下内容到 ~/.bashrc 文件. 这意味着添加的位置，将spark软件文件的位置到PATH变量。
| export PATH = $PATH:/usr/local/spark/bin |
使用以下命令生效 ~/.bashrc 文件。
第7步：验证Spark安装
使用下面命令打开Spark Shell。
如果 spark 安装成功，那么会发现有下面的输出。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
| Spark assembly has been built with Hive, including Datanucleus jars on classpath
|
| Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
|
| 15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop
|
| 15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
|
| 15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
|
| ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
|
| 15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server
|
| 15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.
|
| Welcome to
|
| ____ __
|
| / __/__ ___ _____/ /__
|
| _\ \/ _ \/ _ `/ __/ '_/
|
| /___/ .__/\_,_/_/ /_/\_\ version 1.4.0
|
| /_/
|
|
|
| Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)
|
| Type in expressions to have them evaluated.
|
| Spark context available as sc
|
| scala> |
