sparkHA的搭建

非HA的spark集群搭建（standalone模式）

关于sparkHA这里有一篇比较好的博客，可以参考！ 首先将spark的压缩包解压到指定的路径；然后进行配置；

第一步：进入spark的conf/目录下，有一个配置文件为spark-env.sh.template 文件，将文件名修改为spark-env.sh (系统默认读取的是spark-env.sh 不会去读取带有template后缀的文件)

mv spark-env.sh.template spark-env.sh

第二步：编辑这个以上修改好名称的配置文件；在最底部加上如下代码块（最简单的配置）e

export JAVA_HOME=$JAVA_HOME (你的jdk路径) export SPARK_MASTER_HOST=【HostName】（需要开启master的节点的主机名） export SPARK_MASTER_PORT=7077 (默认的端口)

第三步：将配置好的conf文件分发到其他spark节点上

scp -r $SPARK_HOME/conf hostName:/$SPARK_HOME/

分发之后就可以了；这样的话就是在主节点上启动master就是SPARK_MASTER_HOST这个配置项后面所带的主机上启动master!

基于zookeeper的spark HA搭建

基于以上的非HA的spark来搭建的；

注意：首先需要确保你的主机上搭建好了zookeeper集群，以及有JDK环境；

这里以我的为例： 三台主机：master、slave01、slave02 目标： master：master(ALIVE)、worker slave01：master(STANDBY)、worker slave02：worker 我的三台主机上是都 装好了zookeeper的； 还是进入到conf/目录下修改配置文件spark-env.sh

首先将以上的SPARK_MASTER_HOST这项配置删除（三台节点都需要删除），然后添加一项配置，如下面所示： export JAVA_HOME=/usr/local/src/jdk1.8.0_201/ export SPARK_MASTER_PORT=7077 export SPARK_DAEMON_JAVA_OPTS="-Dspark.depoly.recoveryMode=ZOOKEEPER -Dspark.depoly.zookeeper.url=master:2181,slave01:2181,slave02:2181 -Dspark.depoly.zookeeper.dir=/sparkHA"

注意：-Dspark.depoly.zookeeper.dir 这一项后面的路径可以自定义

启动spark集群； 在主节点上启动执行命令：

bin/start-all.sh (在master节点执行；) bin/start-master.sh (在备份节点上启动master进程)

到这里就完成了sparkHA的配置了，可以通过8080这个端口去访问master的web界面；

问题：在搭建spark的HA的时候遇到过比较多的问题，有时候就是ALIVE和STANDBY自动切换的时候切换不了；有时候是两个节点上的master web界面的状态都是ALIVE；但是没有找到问题的原因所在；只是重新搭建，所以这里成功搭建好了之后找到了这一片最简单的搭建方法