spark集群搭建

2台电脑，搭建一个spark集群

主机 ip 192.168.11.33  master

从机 ip 192.168.11.32 slave1

CentOS 7 + hadoop-3.1.3 + spark 2.4.4 + jdk1.8

前面的环境准备可以看下

hadoop集群搭建

 

下面开始spark集群的搭建

1、从官网下载spark,解压

spark下载

2.在/etc/profile里配置spark环境变量

export JAVA_HOME="/home/ljt/simple/jdk/jdk1.8.0_231" export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME="/home/ljt/simple/hadoop/hadoop-3.1.3" export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH export SCALA_HOME=/home/ljt/simple/scala/scala-2.12.10 export PATH=$PATH:$SCALA_HOME/bin export SPARK_HOME=/home/ljt/simple/spark/spark-2.4.4-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin

3.到 /conf 里配置slaves 和 spark-env.sh，这里spark提供给我们 slaves.template 和 spark-env.sh.template的模板了，我们复制模板并重命名cp slaves.template slaves

vim slaves

这里放置worker的ip或主机名，如果你想主机也充当worker的话，可以把主机也写进去，这里我并没有使用主机当worker

# A Spark Worker will be started on each of the machines listed below. slave1

vim spark-env.sh

export JAVA_HOME=/home/ljt/simple/jdk/jdk1.8.0_231 export SCALA_HOME=/home/ljt/simple/scala/scala-2.12.10 export HADOOP_CONF_DIR=/home/ljt/simple/hadoop/hadoop-3.1.3/etc/hadoop export SPARK_MASTER_HOST=master export SPARK_MASTER_IP=192.168.11.33 export SPARK_WORKER_MEMORY=1g export SPARK_WORKER_CORES=1

4.把spark配置好的信息复制到子节点

scp 当期spark的路径 子节点 ：子节点spark存放的路径

5.在子节点添加上spark的环境变量

6、在/sbin下 启动 ./start-master.sh,./start-slaves.sh

[root@master conf]# jps 60083 NameNode 44650 Jps 60540 SecondaryNameNode 23980 Master 60847 ResourceManager

会出现master

 

ssh到子节点 jps,

root@master sbin]# ssh slave1 Last login: Fri Nov 1 10:28:32 2019 from master [root@slave1 ~]# jps 61264 Jps 90176 NodeManager 89851 DataNode 40284 Worker [root@slave1 ~]#

出现worker

 

打开web ,输入master:7077

 

可以看到worker那里显示一个，也就是slave1的节点

这样也就搭建成功了！

 

可以参考下这些博客：

spark集群搭建

官方文档