Spark概述

Spark是一种根据内存的快速、通用、可扩展的大数据剖析核算引擎

Hadoop与Spark结构对比

  • Hadoop MR 结构

    从数据源获取数据，经过剖析核算后，将成果输出到指定方位

    核心是一次核算，不适合迭代核算

大数据开发学习2.0-Spark入门

  • Spark 结构

    支撑迭代式核算，图形核算

    Spark结构比MR快的原因：中心成果不落盘

    Spark的Shuffle也是落盘的

大数据开发学习2.0-Spark入门

Spark内置模块

大数据开发学习2.0-Spark入门

  • Spark Core：完结了Spark的基本功用，包括使命调度、内存办理、错误恢复、与存储体系交互等模块。Spark Core中还包括了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。
  • Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们能够运用 SQL或者Apache Hive版本的HQL来查询数据。Spark SQL支撑多种数据源，比方Hive表、Parquet以及JSON等。
  • Spark Streaming：是Spark供给的对实时数据进行流式核算的组件。供给了用来操作数据流的API，而且与Spark Core中的 RDD API高度对应。
  • Spark MLlib：供给常见的机器学习功用的程序库。包括分类、回归、聚类、协同过滤等，还供给了模型评价、数据 导入等额外的支撑功用。
  • Spark GraphX：首要用于图形并行核算和图发掘体系的组件。
  • 集群办理器：Spark规划为能够高效地在一个核算节点到数千个核算节点之间伸缩核算。为了完结这样的要求，同时获得最大灵活性，Spark支撑在各种集群办理器（Cluster Manager）上运转，包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度器，叫作独立调度器。

Spark特色

  1. 快：相比于Hadoop的MR，Spark根据内存的核算要快100倍以上，根据硬盘的运算要快10倍。而且完结了高效的DAG履行引擎。核算的中心成果存在于内存中。

    DAG，有向无环图，在Hadoop中假如要完结DAG的核算需求在一个job完毕后，手动提交第二个job，来完结DAG

  2. 易用：Spark支撑Java、Python、和Scala的API，还支撑超越80种高档算法，运用户能够快速构建不同的运用

  3. 通用：Spark供给了统一的解决方案。Spark能够用于，交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图核算（GraphX）。这些不同类型的处理都能够在同一个运用中无缝运用。

  4. 兼容性：Spark能够十分方便地与其他的开源产品进行交融。比方，Spark能够运用Hadoop的YARN和Apache Mesos作为它的资源办理和调度器，而且能够处理所有Hadoop支撑的数据，包括HDFS、HBase等。

Spark运转形式

布置Spark集群大体上分为两种形式：单机形式与集群形式

下面具体列举了Spark目前支撑的布置形式：

  1. Local形式：在本地布置单个Spark服务
  2. Standalone形式：Spark自带的使命调度形式
  3. YARN形式：Spark运用Hadoop的YARN组件进行资源与使命调度（常用）
  4. Mesos形式：Spark运用Mesos平台进行资源与使命的调度。

Spark装置地址

  • 官网地址：spark.apache.org/
  • 文档检查地址：spark.apache.org/docs/3.3.0/
  • 下载地址：spark.apache.org/downloads.h…

Local形式

Local形式便是运转在一台核算机上的形式

装置运用

上传解压装置包，偏重命名为spark-local

 tar -zxvf spark-3.3.0-bin-hadoop3.2.tgz -C /opt/module/
 mv spark-3.3.0-bin-hadoop3.2 spark-local

在spark-local目录下，运用官方求PI事例

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

--class：表明要履行程序的主类； --master local[2]

​ local：没有指定线程数，则所有核算都运转在一个线程傍边，没有任何并行核算

​ local[K]：指定运用K个Core来运转核算，比方local[2]便是运转2个Core来履行

​ local[*]：默认形式。主动帮你按照CPU最多核来设置线程数

检查使命运转详情

再次运转求PI使命，增加使命次数

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.3.0.jar \
1000

在使命运转还没有完结时，可登录hadoop102:4040检查程序运转成果

Standalone形式

Standalone形式是Spark自带的资源调度引擎，构建一个由Master + Worker构成的Spark集群，Spark运转在集群中

这儿的Standalone是指只用Spark来建立一个集群，不需求凭借Hadoop的Yarn和Mesos等其他结构

集群人物

Master和Worker集群资源办理

Master：Spark特有资源调度体系的Leader。掌管着整个集群的资源信息

类似于Yarn结构中的ResourceManager

Worker：Spark特有资源调度体系的Slave，有多个。每个Slave掌管着所在节点的资源信息

类似于Yarn结构中的NodeManager

Master和Worker是Spark的守护进程、集群资源办理者，即Spark在特定形式(Standalone)下正常运转有必要要有的后台常驻进程

Driver和Executor使命的办理者

Driver：

  • Spark Shell中预加载的一个叫作sc的SparkContext对象
  • 把用户程序转为作业（Job）
  • 盯梢Executor的使命运转状况
  • 为履行器节点调度使命
  • UI展示运用运转状况

Executor：担任履行Spark的具体使命

Driver和Executor是暂时程序，当有具体使命提交到Spark集群才会敞开的程序

装置运用

再解压一份Spark装置包，并修正解压后的文件夹名称为spark-standalone

在spark-standalone目录下的conf目录中修正装备文件

重命名workers.template为workers，并修正，增加work节点

hadoop102
hadoop103
hadoop104

修正spark-env.sh文件，增加master节点

SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077

分发spark

发动spark集群

sbin/start-all.sh

运转官方求PI事例

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

–master spark://hadoop102:7077指定要连接的集群的master

页面检查http://hadoop102:8080/

参数说明

参数 解释
–class Spark程序中包括主函数的类
–master Spark程序运转的形式
–executor-memory 1G 指定每个executor可用内存为1G
–total-executor-cores 2 指定所有executor运用的cpu核数为2个
application-jar 打包好的运用jar，包括依赖。这个URL在集群中大局可见。 比方hdfs:// 同享存储体系，假如是file:// path，那么所有的节点的path都包括相同的jar
application-arguments 传给main()办法的参数

装备前史服务

重命名spark-default.conf.template为spark-default.conf，增加如下装备：

spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://hadoop102:8020/directory

留意：需求发动Hadoop集群，HDFS上的目录需求提前存在

修正spark-env.sh文件，增加如下装备：

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"

参数1含义：WEBUI访问的端口号为18080

参数2含义：指定前史服务器日志存储途径（读）

参数3含义：指定保存Application前史记录的个数，假如超越这个值，旧的运用程序信息将被删除，这个是内存中的运用数，而不是页面上显现的运用数

分发装备文件

发动前史服务

sbin/start-history-server.sh

检查Spark前史服务地址：hadoop102:18080

Yarn形式

装置运用

再解压一份Spark装置包，并修正解压后的文件夹名称为spark-yarn

修正conf目录下spark-env.sh，增加如下装备：

YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop/

发动HDFS和YARN集群

履行一个程序

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

–master yarn，表明Yarn方式运转

装备前史服务

与standalone形式下的办法相同

装备检查前史日志

为了能从Yarn上关联到Spark前史服务器，需求装备spark前史服务器关联途径。

意图：点击yarn（8088）上spark使命的history按钮，进入的是spark前史服务器（18080），而不再是yarn前史服务器（19888）

修正装备文件/opt/module/spark-yarn/conf/spark-defaults.conf，增加如下内容：

spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080

运转流程

Spark有yarn-client和yarn-cluster两种形式，首要区别在于：Driver程序的运转节点。

yarn-client：Driver程序运转在客户端，适用于交互、调试，期望立即看到app的输出。

yarn-cluster：Driver程序运转在由ResourceManager发动的APPMaster，适用于生产环境。