Spark 安装

Spark是Hadoop的子项目。因此,最好是基于Linux系统安装Spark 。下列步骤显示如何安装Apache Spark。

第1步:验证安装Java

安装Java是安装Spark强制性的事情之一。 试试下面的命令来验证Java版本。

$java -version  
如果Java已经安装在系统上,就能看到类似以下的响应结果
java version "1.8.0_71" 
Java(TM) SE Runtime Environment (build 1.8.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果还没有在系统上安装Java,那么在进行下一步之前,先安装Java。

第2步:验证 Scala 安装

Scala语言是来实现Spark。因此,用下面的命令验证Scala是否已安装。
$scala -version 
如果Scala已经安装在系统上,应该能看到以下响应
Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL
如果您没有安装Scala在系统上,那么继续安装Scala再进入下一步。

第3步: 下载Scala 

通过访问以下地址下载 Scala 的最新版本 - 下载Scala. 在本教程中,我们将使用 Scala-2.11.6版本。下载后,在下载文件夹中找到 Scala tar文件。

第4步: 安装Scala

按照以下给出的步骤安装Scala。
提取 Scala tar文件

用于提取Scala tar文件,请键入以下命令。
$ tar xvf scala-2.11.6.tgz

移动 Scala 软件文件

使用以下命令移动 Scala 软件文件,到相应目录,一般是 (/usr/local/scala).

$ su – 
Password: 
# cd /home/Hadoop/Downloads/ 
# mv scala-2.11.6 /usr/local/scala 
# exit

5、设置Scala的PATH

使用下面的命令来设置Scala的PATH。
$ export PATH = $PATH:/usr/local/scala/bin

验证Scala 安装

安装完毕后,最好是进行验证。使用以下命令来验证Scala 的安装。

$scala -version 
如果 Scala 已经安装在系统上,能看到以下响应
Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL
第6步: 安装Spark
按照下面给出了安装 Spark 的步骤。

解压提取 Spark tar

提取spark tar 文件使用下面的命令。
$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz 

移动 Spark 软件文件

移动Spark软件文件到相应目录 (/usr/local/spark),使用下面的命令.

$ su – 
Password:  

# cd /home/Hadoop/Downloads/ 
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark 
# exit 
设置Spark环境

添加以下内容到 ~/.bashrc 文件. 这意味着添加的位置,将spark软件文件的位置到PATH变量。

export PATH = $PATH:/usr/local/spark/bin
使用以下命令生效 ~/.bashrc 文件。
$ source ~/.bashrc
第7步:验证Spark安装
使用下面命令打开Spark Shell。
$spark-shell
如果 spark 安装成功,那么会发现有下面的输出。
Spark assembly has been built with Hive, including Datanucleus jars on classpath 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. 
Welcome to 
      ____              __ 
     / __/__  ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/  '_/ 
   /___/ .__/\_,_/_/ /_/\_\   version 1.4.0 
      /_/  
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) 
Type in expressions to have them evaluated. 
Spark context available as sc  
scala> 
联系我们

邮箱 626512443@qq.com
电话 18611320371(微信)
QQ群 235681453

Copyright © 2015-2024

备案号:京ICP备15003423号-3