Spark的核心术语

官网地址：http://spark.apache.org/docs/latest/cluster-overview.html

Glossary术语表

标黄色的代表比较重要

术语描述Application由driver program和集群上的executors组成Application jar用户创建的spark应用程序。所依赖的jar包在运行时传入Driver program就是我们写的main方法以及内部包含一个SparkContext对象Cluster manager一个外部的服务，专门向集群申请资源Deploy mode区分driver进程是跑在哪里？集群内还是集群外Worker node相当于Yarn上的NodeManagerExecutor相当于Yarn上的container，每个应用程序都由他们自己的executorsTask工作单元，运行在executor中，一个partition对应一个taskJob一个action就会有一个jobStage有Shuffle就会产生Stage

一般情况下： 一个application：包含1到n个job 一个job ：包含1到n个stage构成 一个stage： 包含1到n个task