Spark概述思维导图

2009年，Spark诞生于美国加利福尼亚大学伯克利分校的AMPLab(AMP实验室)最初属于研究性项目。实验室的研究人员基于Hadoop MapReduce 框架进行工作时，发现MapReduce 对于迭代和交互式计算任务的计算效率并不高。因此，研究人员研究的Spark主要是为交互式查询和迭代算法而设计的，支持内存存储和高效的容错恢复。 2010年，Spark正式开源。 2013年6月，Spark成为Apache 软件基金会的孵化器项目。2014年2月，仅仅经历8个月的时间，Spark已成为Apache软件基金会的顶级开源项目之一。同月，大数据公司 Cloudera宣称将加大对 Spark 框架的投人。 2014年5月，PivotalHadoop集成Spark全栈。同月30日，Spark1.0.0发布。 2015年，Spark增加了新的DataFrame API 和 Dataset API。 2016年，Spark2.0发布。Spark2.0与Spark1.0.0的区别主要是，Spark 2.0解决了API的兼容性问题。 2017年，SparkSummit 2017会议介绍了2017年Spark的重点开发方向是深度学习以及对流性能的改进。 而后 Spark 的发展主要是针对 Spark 的可用性、稳定性进行改进，并持续润色代码,随着 Spark 的逐渐成熟，并在社区的推动下，Spark 所提供的强大功能受到了越来越多技术团队和企业的青睐。Spark 于 2020年发布了 3.0.0版本。

1.快速：逻辑回归算法一般需要多次迭代。分别使用 Hadoop MapReduce 和 Spark运行逻辑回归算法，Spark 的运行速度是 Hadoop MapReduce 运行速度的 100多倍，一般情况下，对于迭代次数较多的应用程序，Spark在内存中的运行速度是Hadoop MapReduce 运行速度的 100多倍，Spark在磁盘上的运行速度是 Hadoop MapReduce 运行速度的10多倍。

2.易用：Spark 支持使用 Scala、Python、Java、R 等语言快速编写应用。此外，Spark 提供超过80个高阶算子，使得编写并行应用程序变得容易。并且Spark提供Scala、Python 和R等语言的交互模式界面，使得 Spark编程的学习更加简便。

3.通用：Spark 可以与 SQL语句、实时计算及其他复杂的分析计算进行良好的结合。Spark 框架包含多个紧密集成的组件，包括SparkSQL(即席查询)、Spark Streaming(实时流处理)、Spark MLlib(机器学习库)、Spark GraphX(图计算 )，并且 Spark 支持在一个应用中同时使用这些组件。相较于Hadoop的MapReduce框架,Spark无论在性能还是在方案统一性等方面,都有着极大的优势。Spark全栈统一的解决方案非常具有吸引力，可极大地减少平台部署、开发和维护的人力和物力成本。

4.随处运行：用户可以使用 Spark 的独立集群模式运行 Spark,也可以在亚马逊弹性计算云( AmazonElastic Compute Cloud,Amazon EC2)、Hadoop YARN 资源管理器或 Apache Mesos 上运行Spark。Spark作为一个分布式计算框架，本身并没有存储功能，但是Spark 可以从 HDFS、Cassandra、HBase、Hive、Alluxio(Tachyon)等数据源中读取数据。

5.代码简洁：Spark 支持使用 Scala、Python 等语言编写代码。Scala 和 Python 的代码相对 Java 的代码而言比较简洁，在 Spark 中一般都使用 Scala或 Python 编写应用程序，这也比在MapReduce 中编写应用程序简单方便。

Spark 生态圈中重要组件的简要介绍如下。 1.Spark Core:Spark的核心，提供底层框架及核心支持, 2.BlinkDB:一个用于在海量数据上进行交互式SQL 查询的大规模并行查询引擎,允许用户通过权衡数据精度缩短查询响应时间,数据的精度将被控制在允许的误差范围内。 3.Spark SOL:可以执行 SQL查询，支持基本的SQL语法和 HiveQL语法，可读取的数据源包括 Hive、HDFS、关系数据库(如 MySQL)等。 4.Spark Streaming:可以进行实时数据流式计算。例如，一个网站的流量是每时每刻都有可能产生的,如果想要分析过去15分钟或1小时的流量,则可以使用 Spark Streaming组件解决这个问题。 5.MLBase:MBase是Spark生态圈的一部分，专注于机器学习领域，学习门槛较低。因此，即使是一些可能并不了解机器学习的用户也可以方便地使用MLBase。MLBase由4部分组成:MLib、ML、MLOptimizer 和 MLRuntime。6.GraphX:图计算的应用在很多情况下处理的数据量都是很庞大的。如果用户需要自行编写相关的图计算算法，并且在集群中应用，难度是非常大的。而使用Graphx即可解决这个问题，因为它内置了许多与图相关的算法，如在移动社交关系分析中可使用图计算相关算法进行处理和分析。 7.SparkR:SparkR是AMPLab发布的一个R语言开发包，使得R语言编写的程序不只可以在单机运行，也可以作为Spark的作业运行在集群上，极大地提升了R语言的数据处理能力。

Spark 有3种运行模式,即 Standalone、YARN和 Mesos。其中,在Mesos模式和 YARN 模式下，Spark 作业的运行流程类似。目前用得比较多的是Standalone 模式和 YARN 模式。

1.Standalone 模式

2.YARN 模式

了解 Spark 核心数据集 RDD

为了更加深入地了解 Spark的核心原理,需要先了解两个重要的概念,即窄依赖( NarrowDependency)和宽依赖(Wide Dependency )。

窄依赖指的是子 RDD 的一个分区只依赖于某个父 RDD 中的一个分区。 宽依赖指的是子 RDD 的每一个分区都依赖于某个父 RDD 中一个以上的分区。 理解宽、窄依赖的区别，需要先了解父 RDD(Parent RDD)和子RDD(Child RDD),map0、filter()方法上方箭头左边的 RDD 是父 RDD,而右边的 RDD是子 RDDunion()方法上方箭头左边的两个 RDD 均为右边 RDD的父 RDD,因此,union()方 法是有两个父 RDD 的。 Spark 中还有一个重要的概念，即 Stage(阶段 )。一般而言，一个作业会被划分成一定数量的 Stage，各个 Stage 之间按 照顺序执行。在 Spark 中，一个作业会被拆分成多组任务每组任务即一个 Stage。而在 Spark中有两类任务，分别是 ShuffleMapTask 和 ResultTaskShumleMapTask 的输出是 Shufle 所需的数据，ResultTask 的输出则是最终的结果。因 此Stage 是以任务的类型为依据进行划分的，Shufe 之前的所有操作属于一个 Stage，Shutil之后的操作则属于另一个 Stage。例如,“rdd.parallize(1 to 10).foreach(println)”这个操作并没有 Shufle，直接就输出了，说明任务只有一个， 即 ResultTask，Stage 也只有一个。如果是“rdd.map(x=>(x,1)).reduceByKey(_+_).foreach (println)”，因为有 reduceByKey()方法所以有一个 Shume 过程，那么 reduceByKeyO)方法之前属于一个 Stage，执行的任务类型为 shufleMapTask，而reduceByKey0)方法及最后的 foreachO)方法属于一个 Stage，直接输出结果。如果一个作业中有多 个 Shuffle 过程，那么每个 Shuffle 过程之前都属于一个 Stage。 将某一个作业划分成多个 Stage,有3个 Stage,分别是 Stage(RDDA)、Stage2(RDDC、RDDD、RDDE、RDDF )、Stage3 (包含所有 RDD)。Spark会将每一个作业分为多个不同的 Stage,而 Stage 之间的依赖关系则形成了有向无环图。Spark遇 到宽依赖则划分一个 Stage，遇到窄依赖则将这个 RDD 的操作加入该 Stage 中，由于宽依赖通常意味着 Shume 操作,因 此 Spark 会将 Shufe 操作定义为划分 Stage 的边界。因此，RDDC、RDDD、RDDE、RDDF 被构建在一个 Stage 中， RDDA 被构建在一个单独的Stage中，而RDDB和RDDG又被构建在同一个Stage中。