Spark经典自带案例---蒙特卡罗求π

蒙特卡罗求π-->应用了数学采样的方式

1：启动master与worker

2：在spark目录下输入

##hdp-1 master ##spark://hdp-1:7077 spark协议 hdp-1作为master如果宕机就会无法使用 可以并列写如其他master例如spark://hdp-1,hdp-2 ##7077二次通信的端口 ##--class org.apache.spark.examples.SparkPi 类的全称 ##examples/jars/spark-examples_2.11-2.4.4.jar jar包所在路径 ##结尾的200是采样的次数 次数越多最后数据越准确 bin/spark-submit --master spark://hdp-1:7077 --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.4.4.jar 200 bin/spark-submit --master spark://hdp-1:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2048mb --total-executor-cores 3 examples/jars/spark-examples_2.11-2.4.4.jar 200 ##--executor-memory 2048mb 指定一个executor使用内存是2048mb ##--total-executor-cores 3 指定核数为 3 ##Excutor在worker所在机器上启的 excutor进程是worker启动的

 

 3：结果

Pi is roughly 3.141284957064248

4：提交一个spark程序到spark集群，会产生哪儿些进程 SparkSubmit（Driver） 是一个java进程   用来提交任务到Spark集群 ，跟master进行通信 不仅仅跟master进行通信 CoarseGrainedExcutorBackend   粗粒度的执行器后端  Excutor是真正执行计算任务的  以上俩个进程 在任务执行完后 进程停掉，释放资源