Spark技术内幕：深入解析Spark内核架构设计与实现原理是一本Spark解析实用教学书籍，由张安站编著，全书详细剖析了Spark内核各个模块，以源码为基础，全面分析了Spark内核的各个模块的设计思想和实现原理，深入理解其内部运作机制乃至实现细节，帮助Spark领域的从业人员全面掌握Spark核心技术，进而在应用开发中做到游刃有余和性能调优时做到有的放矢。

内容介绍

《Spark技术内幕：深入解析Spark内核架构设计与实现原理》以源码为基础，深入分析Spark内核的设计理念和架构实现，系统讲解各个核心模块的实现，为性能调优、二次开发和系统运维提供理论支持；本文最后以项目实战的方式，系统讲解生产环境下Spark应用的开发、部署和性能调优。

本书共分为9章：

第1章介绍了Spark的技术背景和特点，给出了架构的整体概述，并简单介绍了Spark的生态圈。

第2章介绍了Spark源码如何获取和学习环境如何搭建。

第3章是RDD的详细介绍，介绍了RDD的定义和Spark对于DAG的实现，最后通过RDD计算的详细介绍，讲解了Spark对于计算的实现原理。

第4章详细介绍任务调度的实现，包括如何通过DAG来生成计算任务，最后通过“Word Count”来加深对这个实现过程的理解。

第5章介绍了Spark的运行模式，尤其是Standalone模式。Standalone是Spark自身实现的资源管理和调度的模块，这里会详细介绍它的实现原理。

第6章是Executor模块的详细讲解。Executor是最终执行计算任务的单元，这章将详细介绍Executor的实现原理，包括Executor的分配、Task在Executor的详细执行过程。

第7章详细介绍了Spark对于Shuffle的实现原理，包括基于Hash和基于排序的实现。除了详细阐述基于Hash和排序的Shuffle写和Shuffle读之外，还介绍了Shuffle Pluggable框架，为需要实现特定Shuffle逻辑的读者介绍其实现原理。

第8章详细介绍了Spark的Storage模块，在详细介绍了模块的架构后详细解析了不同存储级别的实现细节。

第9章介绍了Spark在百度、腾讯和阿里等国内互联网领域的应用现状。

章节目录

序前言第1章 Spark简介11.1Spark的技术背景11.2Spark的优点21.3Spark架构综述41.4Spark核心组件概述51.4.1Spark Streaming51.4.2MLlib61.4.3Spark SQL71.4.4 GraphX81.5Spark的整体代码结构规模8第2章 Spark学习环境的搭建92.1源码的获取与编译92.1.1源码获取92.1.2源码编译102.2构建Spark的源码阅读环境112.3小结15第3章 RDD实现详解163.1概述163.2什么是RDD173.2.1RDD的创建193.2.2RDD的转换203.2.3 RDD的动作223.2.4RDD的缓存233.2.5RDD的检查点243.3RDD的转换和DAG的生成253.3.1RDD的依赖关系263.3.2DAG的生成303.3.3Word Count的RDD转换和DAG划分的逻辑视图303.4RDD的计算333.4.1Task简介333.4.2Task的执行起点333.4.3缓存的处理353.4.4checkpoint的处理373.4.5RDD的计算逻辑393.5RDD的容错机制393.6小结40第4章 Scheduler 模块详解414.1模块概述414.1.1整体架构414.1.2Scheduler的实现概述434.2DAGScheduler实现详解454.2.1DAGScheduler的创建464.2.2Job的提交484.2.3Stage的划分494.2.4任务的生成544.3任务调度实现详解574.3.1TaskScheduler的创建574.3.2Task的提交概述584.3.3任务调度具体实现614.3.4Task运算结果的处理654.4Word Count调度计算过程详解724.5小结74第5章 Deploy模块详解765.1 Spark运行模式概述765.1.1 local775.1.2Mesos785.1.3YARN825.2模块整体架构865.3消息传递机制详解875.3.1Master和Worker875.3.2Master和Client895.3.3Client和Executor915.4集群的启动925.4.1Master的启动925.4.2Worker的启动965.5集群容错处理985.5.1Master 异常退出985.5.2Worker异常退出995.5.3Executor异常退出1015.6Master HA实现详解1025.6.1Master启动的选举和数据恢复策略1035.6.2集群启动参数的配置1055.6.3Curator Framework简介 1065.6.4ZooKeeperLeaderElectionAgent的实现1095.7小结110第6章 Executor模块详解1126.1Standalone模式的Executor分配详解1136.1.1SchedulerBackend创建AppClient1146.1.2AppClient向Master注册Application1166.1.3Master根据AppClient的提交选择Worker1196.1.4Worker根据Master的资源分配结果创建Executor1216.2Task的执行1226.2.1依赖环境的创建和分发1236.2.2任务执行1256.2.3任务结果的处理1286.2.4Driver端的处理1306.3 参数设置1316.3.1 spark.executor.memory1316.3.2日志相关1326.3.3spark.executor.heartbeatInterval1326.4小结133第7章 Shuffle模块详解1347.1Hash Based Shuffle Write1357.1.1Basic Shuffle Writer实现解析1367.1.2存在的问题1387.1.3Shuffle Consolidate Writer1397.1.4小结1407.2Shuffle Pluggable 框架1417.2.1org.apache.spark.shuffle.ShuffleManager1417.2.2org.apache.spark.shuffle.ShuffleWriter1437.2.3org.apache.spark.shuffle.ShuffleBlockManager1437.2.4org.apache.spark.shuffle.ShuffleReader1447.2.5如何开发自己的Shuffle机制1447.3Sort Based Write1447.4Shuffle Map Task运算结果的处理1487.4.1Executor端的处理1487.4.2Driver端的处理1507.5Shuffle Read1527.5.1整体流程1527.5.2数据读取策略的划分1557.5.3本地读取1567.5.4远程读取1587.6性能调优1607.6.1spark.shuffle.manager1607.6.2spark.shuffle.spill1627.6.3spark.shuffle.memoryFraction和spark.shuffle.safetyFraction1627.6.4spark.shuffle.sort.bypassMergeThreshold 1637.6.5spark.shuffle.blockTransferService 1637.6.6spark.shuffle.consolidateFiles 1637.6.7spark.shuffle.compress和 spark.shuffle.spill.compress1647.6.8spark.reducer.maxMbInFlight1657.7小结165第8章 Storage模块详解1678.1模块整体架构1678.1.1整体架构1678.1.2源码组织结构1708.1.3Master 和Slave的消息传递详解1738.2存储实现详解1818.2.1存储级别1818.2.2模块类图1848.2.3org.apache.spark.storage.DiskStore实现详解1868.2.4org.apache.spark.storage.MemoryStore实现详解1888.2.5org.apache.spark.storage.TachyonStore实现详解1898.2.6Block存储的实现1908.3性能调优1948.3.1spark.local.dir1948.3.2spark.executor.memory1948.3.3spark.storage.memoryFraction1948.3.4spark.streaming.blockInterval1958.4小结195第9章 企业应用概述1979.1Spark在百度1979.1.1现状1979.1.2百度开放云BMR的Spark1989.1.3在Spark中使用Tachyon1999.2Spark在阿里2009.3Spark在腾讯2009.4小结201

使用说明

1、下载并解压，得出pdf文件

2、如果打不开本文件，请务必下载pdf阅读器

3、安装后，在打开解压得出的pdf文件

4、双击进行阅读