从这里学习的，讲的真好~ https://www.bilibili.com/video/av62992342/?p=41
开头别的不多说了，就说Spark为啥存在。他来到这就是为了代替MapReduce的！
为啥要被代替呢？学过Hadoop知道，Hadoop早期，MR是基于数据集的计算，面向的是数据。基本运算规则是从存储介质中采集数据，然后进行计算，所以它的计算往往是一次性的，这就存在一定的局限性，不适用于数据挖掘和机器学习这样的迭代计算和图形挖掘计算。而且因为文件存储，性能不好！MR和Hadoop耦合，没法换。
后来Hadoop 2.x 就引入了Yarn，这个东西好啊，资源管理器RM（ResourceManager）。这里面有AM（ApplicationMaster）就是应用管理器，AM中的Driver管理NodeManager中的Task。
也就是说：
RM现在管理NodeManager，其中的Driver管理Task，这样实现了解耦。所以这个Task不一定非要是MR任务，此时变成Spark任务或者Flink任务或者Strom任务，都可以！
引入了container，虽然增加了内存的消耗，但是大大提高了扩展性，于是Spark、Flink、Strom才可以搭配使用。
基于内存计算，由Scala语言开发。
###1.Driver 驱动器
是执行程序main方法的进程。负责执行SparkContext、创建RDD、以及RDD转化操作和行动操作代码的执行。如果启动Spark Shell，系统会后台启动一个Spark Driver程序就是在Spark Shell中预加载一个SparkContext叫sc。如果驱动器程序终止，那么Spark应用也结束。工作：
把用户程序转为JOB跟踪Executor的运行状况为执行器节点调度任务UI展示运行情况是一个工作进程，负责在Spark作业中运行任务，任务间相互独立。Spark应用启动时，Executor节点被同时启动，伴随Spark应用整个生命周期。如果有Executor节点故障或崩溃，Spark应用也可以继续执行，会将出错节点上的任务调度到其他Executor节点。工作：
负责运行组成Spark应用的任务，并将结果返回给驱动器进程通过自身的块管理器(Block Manager)为用户程序中要求缓存的RDD提供内存式存储。RDD是直接缓存在Executor进程内的，所以任务可以再运行时充分利用缓存数据，加速运算。前提是HDFS和YARN集群正常启动了！
是否启动一个线程检查每个任务使用虚拟内存量，如果超出分配值，则直接kill掉，默认true：
<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>是否启动一个线程检查每个任务使用物理内存量，如果超出分配值，则直接kill掉，默认true：
<property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property>去找自己的路径，别乱复制！
把这个配置文件给Slave1和Slave2(其实不发也行，Yarn模式的话一个机器能发Spark就足够了)
添加内容：
spark.yarn.historyServer.address=Master:10020 spark.history.ui.port=19888端口别乱填！根据自己hadoop的mapred-site.xml的配置去对应填写！！！
这回看日志。
YARN部署运行流程：
1.Client 提交任务
2.RM创建ApplicationMaster
3.AM向RM申请资源
4.RM向AM提供资源列表
5.AM选择NM节点并创建Spark执行器对象
6.被选中的NM节点Executor反向注册，通知AM已经准备好执行了。
7.AM分解并调度任务
–master：指定的Master地址，默认为Local –class：你的应用启动类 (例如：org.apache.spark.examples.SparkPi) –deploy-mode：是否发布你的驱动到worker节点(cluster)或者作为本地客户端client。默认是client –conf：任意的Spark配置属性，格式key=value，如果值包含空格，可以加引号"key=value"。 application-jar：打包好的应用jar包含依赖，这个URL在集群全局可见。 application-argument：传给main方法的参数 –executor-memory 1G 指定每个Executor可用内存1G
IDEA创建maven项目，然后POM： pom.xml
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.george.sparktest</groupId> <artifactId>sparktest</artifactId> <version>1.0-SNAPSHOT</version> <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>2.4.1</version> </dependency> </dependencies> <build> <finalName>WordCount</finalName> <plugins> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</artifactId> <version>3.2.2</version> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <version>3.0.0</version> <configuration> <archive> <manifest> <mainClass>WordCount</mainClass> </manifest> </archive> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin> </plugins> </build> </project>纯属手敲。。。
然后可以使用Scala开发了。后面可以把程序打成jar包。 idea能看target文件夹里面，有个with-dependencies.jar这个很大，因为依赖都打进去了。 Windows在运行hadoop相关的时候可能会有报错！是个winutils.exe啥啥的，其实不影响我们使用，那个问题主要是源码里有一段这个：
String home = System.getProperty("hadoop.home.dir");一看就是环境变量的事，HADOOP_HOME为空的话，就会null\bin\winutils.exe。找不到。 所以下载一个common的jar包。配置好环境变量。path添加上%HADOOP_HOME%\bin 听说需要重启？？？
或者还有一个办法：
我们写程序的时候前面加上
System.setProperty("hadoop.home.dir", "D:\\hadoop")等打包的时候把这个干掉就完事了。。。但是这个要记得删！！！！！！千万别忘！！！！
