扫一扫
关注中图网
官方微博
本类五星书更多>
-
>
全国计算机等级考试最新真考题库模拟考场及详解·二级MSOffice高级应用
-
>
决战行测5000题(言语理解与表达)
-
>
软件性能测试.分析与调优实践之路
-
>
第一行代码Android
-
>
C Primer Plus 第6版 中文版
-
>
深度学习
-
>
MATLAB计算机视觉与深度学习实战-赠在线交流卡和本书源码
深入理解Spark核心思想与源码分析 版权信息
- ISBN：9787111522348
- 条形码：9787111522348 ; 978-7-111-52234-8
- 装帧：一般胶版纸
- 册数：暂无
- 重量：暂无
- 所属分类：>>
深入理解Spark核心思想与源码分析 本书特色
本书对spark源代码进行了全面而深入的分析，旨在为spark的优化、定制和扩展提供原理性的指导。阿里巴巴集团专家鼎力推荐，阿里巴巴资深java开发和大数据专家撰写。本书对spark的核心模块、部署和协作模块的实现原理与使用技巧进行了深入的剖析与解读。 本书分为三篇： 准备篇（第1～2章），介绍了spark的环境搭建、设计理念与基本架构，帮助读者了解一些背景知识。 核心设计篇（第3～7章），着重讲解sparkcontext的初始化、存储体系、任务提交与执行、计算引擎及部署模式的原理和源码分析。通过这部分的内容，读者可以通过源码剖析更加深入理解spark的核心设计与实现，以便在实际使用中能够快速解决线上问题并对性能进行调优。 扩展篇（第8～11章），主要讲解基于spark核心的各种扩展及应用，包括sql处理引擎、hive处理、流式计算框架spark streaming、图计算框架graphx、机器学习库mllib等内容。通过阅读这部分内容，读者可以扩展实际项目中对spark的应用场景，让spark焕发活力。
深入理解Spark核心思想与源码分析 内容简介
阿里集团专家鼎力推荐，阿里资深java开发和大数据专家撰写 结合大量图和示例，对spark的核心模块、部署和协作模块的实现原理与使用技巧进行了深入的剖析与解读 本书特色： 按照源码分析的习惯设计，条分缕析。 多图、多示例，帮读者快速在头脑中“建模”。 原理与实现剖析，帮助读者提升架构设计、程序设计等方面的能力。 尽可能保留较多的源码，方便离线和移动环境的阅读。
深入理解Spark核心思想与源码分析 目录
contents 目录前言准 备 篇第1章 环境准备21.1 运行环境准备21.1.1 安装jdk31.1.2 安装scala31.1.3 安装spark41.2 spark初体验41.2.1 运行spark-shell41.2.2 执行word count51.2.3 剖析spark-shell71.3 阅读环境准备111.4 spark源码编译与调试131.5 小结17第2章 spark设计理念与基本架构182.1 初识spark182.1.1 hadoop mrv1的局限182.1.2 spark使用场景202.1.3 spark的特点202.2 spark基础知识202.3 spark基本设计思想222.3.1 spark模块设计222.3.2 spark模型设计242.4 spark基本架构252.5 小结26核心设计篇第3章 sparkcontext的初始化283.1 sparkcontext概述283.2 创建执行环境sparkenv303.2.1 安全管理器securitymanager313.2.2 基于akka的分布式消息系统actorsystem313.2.3 map任务输出跟踪器mapoutputtracker323.2.4 实例化shufflemanager343.2.5 shuffle线程内存管理器shufflememorymanager343.2.6 块传输服务blocktransferservice353.2.7 blockmanagermaster介绍353.2.8 创建块管理器blockmanager363.2.9 创建广播管理器broadcast-manager363.2.10 创建缓存管理器cachemanager373.2.11 http文件服务器httpfile-server373.2.12 创建测量系统metricssystem393.2.13 创建sparkenv403.3 创建metadatacleaner413.4 sparkui详解423.4.1 listenerbus详解433.4.2 构造jobprogresslistener463.4.3 sparkui的创建与初始化473.4.4 spark ui的页面布局与展示493.4.5 sparkui的启动543.5 hadoop相关配置及executor环境变量543.5.1 hadoop相关配置信息543.5.2 executor环境变量543.6 创建任务调度器taskscheduler553.6.1 创建taskschedulerimpl553.6.2 taskschedulerimpl的初始化573.7 创建和启动dagscheduler573.8 taskscheduler的启动603.8.1 创建localactor603.8.2 executorsource的创建与注册623.8.3 executoractor的构建与注册643.8.4 spark自身classloader的创建643.8.5 启动executor的心跳线程663.9 启动测量系统metricssystem693.9.1 注册sources703.9.2 注册sinks703.9.3 给sinks增加jetty的servlet-contexthandler713.10 创建和启动executorallocation-manager723.11 contextcleaner的创建与启动733.12 spark环境更新743.13 创建dagschedulersource和blockmanagersource763.14 将sparkcontext标记为激活773.15 小结78第4章 存储体系794.1 存储体系概述794.1.1 块管理器blockmanager的实现794.1.2 spark存储体系架构814.2 shuffle服务与客户端834.2.1 block的rpc服务844.2.2 构造传输上下文transpor-tcontext854.2.3 rpc客户端工厂transport-clientfactory864.2.4 netty服务器transportserver874.2.5 获取远程shuffle文件884.2.6 上传shuffle文件894.3 blockmanagermaster对block-manager的管理904.3.1 blockmanagermasteractor904.3.2 询问driver并获取回复方法924.3.3 向blockmanagermaster注册blockmanagerid934.4 磁盘块管理器diskblockmanager944.4.1 diskblockmanager的构造过程944.4.2 获取磁盘文件方法getfile964.4.3 创建临时block方法create-tempshuffleblock964.5 磁盘存储diskstore974.5.1 nio读取方法getbytes974.5.2 nio写入方法putbytes984.5.3 数组写入方法putarray984.5.4 iterator写入方法putiterator984.6 内存存储memorystore994.6.1 数据存储方法putbytes1014.6.2 iterator写入方法putiterator详解1014.6.3 安全展开方法unrollsafely1024.6.4 确认空闲内存方法ensurefreespace1054.6.5 内存写入方法putarray1074.6.6 尝试写入内存方法trytoput1084.6.7 获取内存数据方法getbytes1094.6.8 获取数据方法getvalues1104.7 tachyon存储tachyonstore1104.7.1 tachyon简介1114.7.2 tachyonstore的使用1124.7.3 写入tachyon内存的方法putintotachyonstore1134.7.4 获取序列化数据方法getbytes1134.8 块管理器blockmanager1144.8.1 移出内存方法dropfrom-memory1144.8.2 状态报告方法reportblockstatus1164.8.3 单对象块写入方法putsingle1174.8.4 序列化字节块写入方法putbytes1184.8.5 数据写入方法doput1184.8.6 数据块备份方法replicate1214.8.7 创建diskblockobjectwriter的方法getdiskwriter1254.8.8 获取本地block数据方法getblockdata1254.8.9 获取本地shuffle数据方法dogetlocal1264.8.10 获取远程block数据方法dogetremote1274.8.11 获取block数据方法get1284.8.12 数据流序列化方法dataserializestream1294.9 metadatacleaner和broadcastcleaner1294.10 缓存管理器cachemanager1304.11 压缩算法1334.12 磁盘写入实现diskblockobjectwriter1334.13 块索引shuffle管理器indexshuffleblockmanager1354.14 shuffle内存管理器shufflememorymanager1374.15 小结138第5章 任务提交与执行1395.1 任务概述1395.2 广播hadoop的配置信息1425.3 rdd转换及dag构建1445.3.1 为什么需要rdd1445.3.2 rdd实现分析1465.4 任务提交1525.4.1 任务提交的准备1525.4.2 finalstage的创建与stage的划分1575.4.3 创建job1635.4.4 提交stage1645.4.5 提交task1655.5 执行任务1765.5.1 状态更新1765.5.2 任务还原1775.5.3 任务运行1785.6 任务执行后续处理1795.6.1 计量统计与执行结果序列化1795.6.2 内存回收1805.6.3 执行结果处理1815.7 小结187第6章 计算引擎1886.1 迭代计算1886.2 什么是shuffle1926.3 map端计算结果缓存处理1946.3.1 map端计算结果缓存聚合1956.3.2 map端计算结果简单缓存2006.3.3 容量限制2016.4 map端计算结果持久化2046.4.1 溢出分区文件2056.4.2排序与分区分组2076.4.3 分区索引文件2096.5 reduce端读取中间计算结果2106.5.1 获取map任务状态2136.5.2 划分本地与远程block2156.5.3 获取远程block2176.5.4 获取本地block2186.6 reduce端计算2196.6.1 如何同时处理多个map任务的中间结果2196.6.2 reduce端在缓存中对中间计算结果执行聚合和排序2206.7 map端与reduce端组合分析2216.7.1 在map端溢出分区文件，在reduce端合并组合2216.7.2 在map端简单缓存、排序分组，在reduce端合并组合2226.7.3 在map端缓存中聚合、排序分组，在reduce端组合2226.8 小结223第7章 部署模式2247.1 local部署模式2257.2 local-cluster部署模式2257.2.1 localsparkcluster的启动2267.2.2 coarsegrainedschedulerbackend的启动2367.2.3 启动appclient2377.2.4 资源调度2427.2.5 local-cluster模式的任务执行2537.3 standalone部署模式2557.3.1 启动standalone模式2557.3.2 启动master分析2577.3.3 启动worker分析2597.3.4 启动driver application分析2617.3.5 standalone模式的任务执行2637.3.6 资源回收2637.4 容错机制2667.4.1 executor异常退出2667.4.2 worker异常退出2687.4.3 master异常退出2697.5 其他部署方案2767.5.1 yarn2777.5.2 mesos2807.6 小结282扩 展 篇第8章 spark sql2848.1 spark sql总体设计2848.1.1 传统关系型数据库sql运行原理2858.1.2 spark sql运行架构2868.2 字典表catalog2888.3 tree和treenode2898.4 词法解析器parser的设计与实现2938.4.1 sql语句解析的入口2948.4.2 建表语句解析器ddlparser2958.4.3 sql语句解析器sqlparser2968.4.4 spark代理解析器sparksqlparser2998.5 rule和ruleexecutor3008.6 analyzer与optimizer的设计与实现3028.6.1 语法分析器analyzer3048.6.2 优化器optimizer3058.7 生成物理执行计划3068.8 执行物理执行计划3088.9 hive3118.9.1 hive sql语法解析器3118.9.2 hive sql元数据分析3138.9.3 hive sql物理执行计划3148.10 应用举例：javasparksql3148.11 小结320第9章 流式计算3219.1 spark streaming总体设计3219.2 streamingcontext初始化3239.3 输入流接收器规范receiver3249.4 数据流抽象dstream3259.4.1 dstream的离散化3269.4.2 数据源输入流inputdstream3279.4.3 dstream转换及构建dstream graph3299.5 流式计算执行过程分析3309.5.1 流式计算例子customreceiver3319.5.2 spark streaming执行环境构建3359.5.3 任务生成过程3479.6 窗口操作3559.7 应用举例3579.7.1 安装mosquitto3589.7.2 启动mosquitto3589.7.3 mqttwordcount3599.8 小结361第10章 图计算36210.1 spark graphx总体设计36210.1.1 图计算模型36310.1.2 属性图36510.1.3 graphx的类继承体系36710.2 图操作36810.2.1 属性操作36810.2.2 结构操作36810.2.3 连接操作36910.2.4 聚合操作37010.3 pregel api37110.3.1 dijkstra算法37310.3.2 dijkstra的实现37610.4 graph的构建37710.4.1 从边的列表加载graph37710.4.2 在graph中创建图的方法37710.5 顶点集合抽象vertexrdd37810.6 边集合抽象edgerdd37910.7 图分割38010.8 常用算法38210.8.1 网页排名38210.8.2 connected components的应用38610.8.3 三角关系统计38810.9 应用举例39010.10 小结391第11章 机器学习39211.1机器学习概论39211.2 spark mllib总体设计39411.3 数据类型39411.3.1 局部向量39411.3.2标记点39511.3.3局部矩阵39611.3.4分布式矩阵39611.4基础统计39811.4.1摘要统计39811.4.2相关统计39911.4.3分层抽样40111.4.4假设检验40111.4.5随机数生成40211.5分类和回归40511.5.1数学公式40511.5.2线性回归40711.5.3分类40711.5.4回归41011.6决策树41111.6.1基本算法41111.6.2使用例子41211.7随机森林41311.7.1基本算法41411.7.2使用例子41411.8梯度提升决策树41511.8.1基本算法41511.8.2使用例子41611.9朴素贝叶斯41611.9.1算法原理41611.9.2使用例子41811.10保序回归41811.10.1算法原理41811.10.2使用例子41911.11协同过滤41911.12聚类42011.12.1k-means42011.12.2高斯混合42211.12.3快速迭代聚类42211.12.4latent dirichlet allocation42211.12.5流式k-means42311.13维数减缩42411.13.1奇异值分解42411.13.2主成分分析42511.14特征提取与转型42511.14.1术语频率反转42511.14.2单词向量转换42611.14.3标准尺度42711.14.4正规化尺度42811.14.5卡方特征选择器42811.14.6hadamard积42911.15频繁模式挖掘42911.16预言模型标记语言43011.17管道43111.17.1管道工作原理43211.17.2管道api介绍43311.17.3交叉验证43511.18小结436附录a utils437附录b akka446附录c jetty450附录d metrics453附录e hadoop word count456附录f commandutils458附录g netty461附录h 源码编译错误465
展开全部
深入理解Spark核心思想与源码分析 相关资料
伴随着互联网的不断演进，人类所面临的数据在体量，产生速度和多样性方面阶跃性发展，随之而来的是数据计算和处理方式的多样化，目前越来越多的数据处理链路是通过多种计算组合而成，例如批量与流式计算，图计算，交互式查询等。而以往几个独立计算系统“物理”拼装组合成的复杂系统在处理这些问题时，往往在成本和效率上产生瓶颈。spark从迭代计算的数据复用切入，底层一个runtime来支撑多种计算模型，越来越受到业界的重视，社区发展非常迅速。而本书从源码分析角度深入剖析系统，希望读者不仅做到知其然，更要知其所以然，对spark有更加深入的研究。本书作者在相关领域有多年丰富的实践和应用经验，相信通过研读本书必定可以给读者带来事半功倍的效果。 ——强琦 阿里云计算平台资深技术专家 这是一本不错的spark的入门书籍，完全从工程师的视角出发，从安装到使用再到高阶应用。有些时候甚至有些啰嗦，但这不正是我们读者需要的么？作者用他专一的一线工程师视角与在阿里面临的场景结合，写作的落笔相当接地气。这是一本难得的工程师参考用书。 ——张茂森 阿里巴巴商家业务事业部资深数据挖掘专家
深入理解Spark核心思想与源码分析 作者简介
耿嘉安，10年IT行业相关经验。就职于阿里巴巴商家业务事业部，任资深Java工程师，专注于开源和大数据领域，目前与小伙伴们基于ODPS构建阿里的大数据商业解决方案——御膳房。在大量的工作实践中，对J2EE、JVM、Tomcat、Spring、Hadoop、Spark、MySQL、Redis都有深入研究，尤其喜欢剖析开源项目的源码实现。早期从事J2EE企业级应用开发，对Java相关技术有独到见解。业余时间喜欢研究中国古代历史，古诗词，旅游，足球等。
书友推荐
- >
罗庸西南联大授课录
罗庸西南联大授课录
¥13.8¥32.0 - >
经典常谈
经典常谈
¥17.1¥39.8 - >
回忆爱玛侬
回忆爱玛侬
¥10.5¥32.8 - >
有舍有得是人生
有舍有得是人生
¥19.4¥45.0 - >
二体千字文
二体千字文
¥16.0¥40.0 - >
上帝之肋:男人的真实旅程
上帝之肋:男人的真实旅程
¥19.3¥35.0 - >
【精装绘本】画给孩子的中国神话
【精装绘本】画给孩子的中国神话
¥17.6¥55.0 - >
中国历史的瞬间
中国历史的瞬间
¥19.0¥38.0
本类畅销
-
参数化逻辑构建过程
¥34.2¥118 -
构建之法
¥48.3¥69 -
App Inventor趣味游戏编程
¥34.8¥43 -
区块链开发从入门到精通 以太坊+超级账本
¥55.9¥79.8 -
App Inventor创意趣味编程
¥27.3¥39 -
2022图书×抽奖盲袋
¥9.9¥25
