本书为“职业教育赛教一体化课程改革系列教材”之一，介绍了Spark应用程序体系架构的核心技术。全书共分8章：第1章介绍大数据与Spark以及其他数据处理框架；第2章主要讲解Spark集群的安装配置，包括Standalone、Spark on Yarn、Spark HA模式，另外介绍了Spark的运行架构与原理，以及Spark Shell的简单使用；第3章～第8章主要讲解Spark程序入门、弹性分布式数据集、Spark核心原理、Spark SQL处理结构化数据和多数据源操作、Spark Streaming实时计算框架，并包含实战案例。本书适合作为高等职业院校电子信息大类各专业学习Spark大数据技术的教材，也可作为全国大学生大数据竞赛的指导书，还可作为培训学校的培训教材，以及大数据爱好者的自学参考书。

第1章 大数据与Spark简介
1.1 大数据简介与相关技术
1.1.1 大数据简介
1.1.2 大数据相关技术
1.2 Spark简介
1.2.1 Spark特性
1.2.2 Spark的历史与发展
1.2.3 Spark组件
1.3 其他数据处理框架
1.3.1 Hadoop
1.3.2 Storm
1.3.3 Flink
1.3.4 Beam
小结
习题
第2章 Spark集群安装配置
2.1 集群环境准备
2.1.1 系统环境配置
2.1.2 JDK安装
2.1.3 Hadoop集群部署
2.1.4 ZooKeeper集群部署
2.1.5 Scala安装
2.2 Spark环境搭建
2.2.1 Standalone模式部署
2.2.2 Spark on Yarn模式部署
2.2.3 Spark HA集群部署
2.3 Spark运行架构与原理
2.3.1 基本概念
2.3.2 Spark集群运行架构
2.3.3 Spark运行基本流程
2.4 Spark-Shell
小结
习题
第3章 Spark程序入门
3.1 Scala简介
3.2 Scala环境准备
3.2.1 Windows下的Scala安装
3.2.2 IDEA安装Scala插件
3.2.3 输出HelloWorld
3.3 Scala基础语法
3.3.1 Scala数据类型
3.3.2 Scala变量
3.3.3 方法与函数
3.4 Scala面向对象
3.4.1 类和对象
3.4.2 继承
3.4.3 单例对象和伴生对象
3.5 Scala基本数据结构
3.5.1 数组
3.5.2 元组
3.5.3 集合
3.6 使用IDEA开发运行worldCount程序
3.6.1 项目运行
3.6.2 提交任务到集群
小结
习题
第4章 弹性分布式数据集
4.1 RDD概述
4.2 RDD创建方式
4.2.1 通过读取文件生成RDD
4.2.2 通过并行化方式创建RDD
4.3 RDD类型操作
4.3.1 转换算子
4.3.2 行动算子
4.4 RDD之间的依赖关系
4.5 RDD机制
4.5.1 持久化机制
4.5.2 容错机制
4.6 统计每日新增用户
4.6.1 需求分析
4.6.2 在Spark Shell中实现
4.6.3 在IDEA中实现
小结
习题
第5章 Spark核心原理
5.1 消息通信原理
5.1.1 整体框架
5.1.2 启动消息通信
5.1.3 运行时消息通信
5.2 Spark任务执行原理
5.2.1 划分调度
5.2.2 提交调度
5.2.3 提交任务
5.2.4 执行任务
5.2.5 获取执行结果
5.3 容错
5.3.1 Executor异常
5.3.2 Worker异常
5.3.3 Master异常
小结
习题
第6章 Spark存储原理
6.1 存储分析
6.1.1 体系架构
6.1.2 读数据过程
6.1.3 写数据过程
6.2 Shuffle
6.2.1 Shuffle Write
6.2.2 Shuffle Read
6.2.3 Hadoop Shufle与 Spark Shufle
6.3 共享变量
6.3.1 广播变量
6.3.2 累加器
小结
习题
第7章 Spark SQL
7.1 Spark SQL简介
7.1.1 Spark SQL的概念
7.1.2 Spark SQL架构
7.2 DataFrame
7.2.1 创建DataFrame
7.2.2 操作DataFrame
7.2.3 RDD转换为DataFrame
7.3 Spark SQL多数据源操作
7.3.1 MySQL数据源操作
7.3.2 Hive数据源操作
7.4 Spark SQL应用案例
7.4.1 用Spark SQL实现单词统计
7.4.2 电影数据分析
小结
习题
第8章 Spark Streaming
8.1 认识Spark Streaming
8.1.1 流式计算简介
8.1.2 Spark Streaming简介
8.1.3 Spark Streaming工作原理
8.2 DStream
8.2.1 DStream简介
8.2.2 DStream转换操作
8.2.3 DStream输出
8.2.4 Spark Streaming窗口操作
8.3 Spark Streaming应用案例
8.3.1 Spark Streaming实现单词统计
8.3.2 Spark Streaming热搜统计
8.3.3 自定义输出实训
8.3.4 Spark Streaming窗口计算实训
小结
习题