Spark Standalone伪分布模式安装

实验目的

1.熟练掌握Spark Standalone伪分布模式的安装流程

2.准确理解Spark Standalone伪分布模式的运行原理

3.学会独立进行SparkStandalone伪分布模式安装

实验原理

Local cluster伪分布式模式，实际是在SparkContext初始化的过程中，在本地启动一个所有服务都在单机上运行的伪分布Spark集群，所以从部署的角度来说无须做任何准备工作。以SparkPi为例，伪分布式模式下的应用程序的启动命令的示例如下：

./bin/run-example org.apache.spark.examples.SparkPi local-cluster[2,2,1024]

上面的伪分布式模式启动两个Worker，每个Worker管理两个CPU和1024MB的内存。

Local cluster伪分布式模式是基于Standalone模式来实现的，所以也叫Standalone伪分布模式，除了启动Master和Worker的位置不同，在集群启动完毕后，后续应用程序的工作流程及资源的调度流程与Standalone集群模式完全相同。

Standalone伪分布模式内部逻辑结构如下图所示：

实验环境

Linux Ubuntu 16.04

jdk-7u75-linux-x64

hadoop-2.6.0-cdh5.4.5

实验内容

在已经安装好的Hadoop伪分布模式下，安装Spark Standalone模式。

实验步骤

1.Spark的运行依赖jdk，Hadoop，Scala。在这里默认已安装jdk以及Hadoop伪分布模式。

2.在Linux上，创建目录/data/spark2，用于存储spark安装所需的文件。

mkdir -p /data/spark2

切换目录到/data/spark2下，使用wget命令，下载所需的Spark的安装包spark-1.6.0-bin-hadoop2.6.tgz及scala安装包scala2.10.4.tgz。

cd /data/spark2/ wget http://192.168.19.201:60000/allfiles/spark2/scala-2.10.4.tgz wget http://192.168.19.201:60000/allfiles/spark2/spark-1.6.0-bin-hadoop2.6.tgz

此处建议使用scala-2.10.4版本。官网中指出，若使用scala2.11.x，则需要重新编译spark，并且编译时，需要指定scala版本的类型。

关于spark版本，没有严格要求。所以我们使用spark1.6版本。

3.安装Scala。切换目录到/data/spark2下，将目录下的scala-2.10.4.tgz解压缩到/apps目录下，并将解压后的目录名改为/apps/scala。

cd /data/spark2/ tar -xzvf /data/spark2/scala-2.10.4.tgz -C /apps/ cd /apps mv /apps/scala-2.10.4/ /apps/scala

使用vim打开用户环境变量~/.bashrc。

vim ~/.bashrc

将scala的bin目录，追加的用户环境变量中。

#scala export SCALA_HOME=/apps/scala export PATH=$SCALA_HOME/bin:$PATH

执行source命令，使系统环境变量生效。

source ~/.bashrc

4.切换目录到/data/spark2下，将Spark的安装包spark-1.6.0-bin-hadoop2.6.tgz，解压缩到/apps目录下，并将解压后的目录名，重命名为spark。

cd /data/spark2 tar -xzvf /data/spark2/spark-1.6.0-bin-hadoop2.6.tgz -C /apps/ cd /apps/ mv /apps/spark-1.6.0-bin-hadoop2.6/ /apps/spark

使用vim打开用户环境变量~/.bashrc。

vim ~/.bashrc

将spark的bin目录，追加到用户环境变量中。

#spark export SPARK_HOME=/apps/spark export PATH=$SPARK_HOME/bin:$PATH

执行source命令，使用户环境变量生效。

source ~/.bashrc

5.切换目录到/apps/spark/conf下，将conf目录下的配置文件slaves.template重命名为slaves。

cd /apps/spark/conf mv slaves.template slaves

在slaves中，存储了所有worker节点的的ip或主机名。使用文本编辑器vim打开slaves文件。

vim slaves

将所有worker节点的ip添加进去。由于目前只有一台节点，所以是。

127.0.0.1

6.将/apps/spark/conf/spark-env.sh.template文件，重命名为/apps/spark/conf/spark-env.sh。

mv /apps/spark/conf/spark-env.sh.template /apps/spark/conf/spark-env.sh

使用vim，打开/apps/spark/conf/spark-env.sh文件。

vim /apps/spark/conf/spark-env.sh

添加如下配置：

HADOOP_CONF_DIR=/apps/hadoop/etc/hadoop JAVA_HOME=/apps/java SPARK_MASTER_IP=127.0.0.1 SPARK_MASTER_PORT=7077 SPARK_MASTER_WEBUI_PORT=8080 SPARK_WORKER_CORES=1 SPARK_WORKER_MEMORY=1g SPARK_WORKER_PORT=7078 SPARK_WORKER_WEBUI_PORT=8081 SPARK_EXECUTOR_INSTANCES=1

此处需要配置JAVA_HOME以及HADOOP配置文件所在的目录HADOOP_CONF_DIR。

SPARK_MASTER_IP、SPARK_MASTER_PORT、SPARK_MASTER_WEBUI_PORT，分别指spark集群中，master节点的ip地址、端口号、提供的web接口的端口。

SPARK_WORKER_CORES、SPARK_WORKER_MEMORY：worker节点的内核数、内存大小。

此处可用根据自己机器情况调整配置项参数。

7.启动Hadoop，首先需要保证Hadoop相关进程为启动状态。

cd /apps/hadoop/sbin ./start-all.sh

切换目录到/apps/spark/sbin目录下，启动Spark。

cd /apps/spark/sbin ./start-all.sh

执行jps，查看进程变化。

8.执行测试

在HDFS上，创建/myspark2目录，并将Linux上/apps/spark/README.md文件，上传到HDFS。

hadoop fs -mkdir /myspark2 hadoop fs -put /apps/spark/README.md /myspark2/

切换目录到/apps/spark/bin目录下，使用Spark Shell客户端，访问服务端，验证安装完的Spark是否可用,进入命令行模式。

cd /apps/spark/bin ./spark-shell --master spark://localhost:7077

在Spark Shell中，使用scala加载HDFS上的README.md文件，并转变为rdd。

var mytxt = sc.textFile("hdfs://localhost:9000/myspark2/README.md");

统计文件的行数。

mytxt.count();

可用看到输出为：

表明安装正确。

9.在刚才执行统计过程中，由于Log4j的日志输出级别为info级别，所以会在屏幕上输出很多的log，很难定位程序的输出结果。

输入exit，退出spark-shell，并切换目录到/apps/spark/sbin目录下，停止Spark。

exit cd /apps/spark/sbin ./stop-all.sh

再切换目录到/apps/spark/conf目录下，将目录下log4j.properties.template重命名为log4j.properties。

cd /apps/spark/conf mv /apps/spark/conf/log4j.properties.template /apps/spark/conf/log4j.properties

使用vim打开log4j.properties文件。

vim log4j.properties

更改log4j的日志级别为WARN级别，修改log4j.rootCategory内容为：

log4j.rootCategory=WARN, console

再次启动Spark。

cd /apps/spark/sbin ./start-all.sh

进入Spark-Shell。

cd /apps/spark/bin spark-shell --master spark://localhost:7077

执行Spark-Shell命令。

val mytxt = sc.textFile("hdfs://localhost:9000/myspark2/README.md"); mytxt.count();

完整效果。

可以看到输出的内容相对于调整log4j日志级别前，更加精简了。