扫一扫
关注中图网
官方微博
本类五星书更多>
-
>
全国计算机等级考试最新真考题库模拟考场及详解·二级MSOffice高级应用
-
>
决战行测5000题(言语理解与表达)
-
>
软件性能测试.分析与调优实践之路
-
>
第一行代码Android
-
>
C Primer Plus 第6版 中文版
-
>
深度学习
-
>
MATLAB计算机视觉与深度学习实战-赠在线交流卡和本书源码
海量数据处理与大数据技术实战 版权信息
- ISBN：9787301313398
- 条形码：9787301313398 ; 978-7-301-31339-8
- 装帧：70g胶版纸
- 册数：暂无
- 重量：暂无
- 所属分类：>
海量数据处理与大数据技术实战 本书特色
1. 热门：涵盖大数据开发领域的常用热门技术和主流框架，包括Hadoop、Hive、Sqoop、Flume、Kafka、Storm、Zookeeper、MySQL、Redis、ActiveMQ等，详细讲解了其基础知识、发展现状和应用前景。 2. 详尽：从基本原理到环境搭建，再到编程案例，完整讲解了大数据离线批处理处理技术和大数据在线实时处理技术。 3. 图解：讲解每种技术框架时都配有大量的框架架构图和执行流程图，并为相关的技术框架配有详细的开发案例。 4. 实用：案例系统分别采用离线批处理计算技术和在线实时计算技术实现，几乎整合了本书中所涉及的所有大数据框架，对此系统案例稍加修改，便可用于实际的项目开发中。
海量数据处理与大数据技术实战 内容简介
《海量数据处理与大数据技术实战》是大数据开发领域中以实战案例为主旨的经典之作。本书全面阐述了大数据开发领域中常用的技术原理和框架，以及框架对应的实战案例。全书共分为四大篇章：大数据基础篇、大数据离线批处理技术篇、大数据在线实时处理技术篇、大数据处理实战案例篇。大数据基础篇主要介绍了大数据的基础知识、Hadoop和Storm的基础知识以及发展现状和应用前景；大数据离线批处理技术篇主要介绍了Hadoop、Hive和Sqoop的基本原理、环境搭建和项目案例；大数据在线实时处理技术篇主要介绍了Flume、Kafka、Storm的基本原理、环境搭建和项目案例；大数据处理实战案例篇详细介绍了基于海量日志数据的分析统计系统的实现过程，期间对各种大数据框架进行了整合，此案例项目稍加修改，便可应用于实际开发项目中。
海量数据处理与大数据技术实战 目录
第1篇 大数据基础篇
第1章 大数据处理概论 1
1.1 大数据的定义 2
1.2 大数据的结构类型 3
1.3 大数据处理平台的基础架构 4
1.4 大数据处理中的存储技术 6
1.4.1 提升大数据存储的容量 6
1.4.2 提升大数据存储的吞吐量 6
1.4.3 提升大数据存储的扩展 8
1.5 大数据处理中的计算技术 8
1.5.1 多处理技术 9
1.5.2 并行计算 9
1.5.3 高并发计算 9
1.5.4 离线批处理计算 9
1.5.5 在线实时计算 10
1.6 大数据处理中的容错性 10
1.6.1 数据存储的容错性 10
1.6.2 数据计算的容错性 12
1.7 大数据处理中的安全性 12
1.7.1 数据存储的安全性 13
1.7.2 数据计算的安全性 13
1.8 大数据行业应用案例 13
1.8.1 淘宝的千人千面系统 14
1.8.2 滴滴出行的车辆调度系统 14
1.9 本章总结 14
第2章 离线批处理技术——Hadoop 15
2.1 Google核心云计算技术 16
2.1.1 MapReduce编程模型 16
2.1.2 分布式文件系统 17
2.1.3 分布式结构化数据存储
BigTable 20
2.2 Hadoop云计算技术 21
2.2.1 Hadoop概述 22
2.2.2 Hadoop核心组件 22
2.2.3 Hadoop生态圈 24
2.2.4 Hadoop物理架构 26
2.2.5 Hadoop的原理和运行机制 27
2.2.6 Hadoop相关技术与概述 30
2.2.7 Hadoop的局限性 31
2.3 本章总结 32
第3章 在线实时处理技术——Storm 33
3.1 Storm的定义 34
3.2 Storm的诞生 34
3.2.1 诞生背景 34
3.2.2 Twitter使用Storm 34
3.3 Storm的发展 35
3.4 Storm的基本组件 35
3.4.1 Storm核心组件 35
3.4.2 Storm集群组成 36
3.4.3 Storm分组策略 37
3.5 Storm的可靠性 38
3.6 Storm的特性 40
3.7 其他流式处理框架 41
3.7.1 Apache S4 41
3.7.2 Spark Streaming 41
3.8 Storm的应用现状和发展趋势 42
3.8.1 Storm的应用现状 42
3.8.2 Storm的发展趋势 43
3.9 本章总结 43
第2篇 大数据离线批处理技术篇
第4章 Hadoop环境准备 44
4.1 Hadoop发行版本的选择 45
4.1.1 Apache Hadoop 45
4.1.2 CDH 45
4.1.3 Hadoop版本 45
4.1.4 如何选择Hadoop版本 47
4.2 Hadoop原理 47
4.2.1 HDFS原理 48
4.2.2 Hadoop MapReduce原理 51
4.2.3 Hadoop YARN原理 51
4.3 Hadoop架构 53
4.3.1 HDFS架构 53
4.3.2 Hadoop MapReduce架构 55
4.3.3 Hadoop YRAN架构 56
4.4 安装CentOS虚拟机 57
4.4.1 安装VMWare虚拟机 57
4.4.2 安装CentOS虚拟机 59
4.4.3 修改主机名 66
4.4.4 配置静态IP地址 67
4.4.5 配置主机名和IP地址的
映射关系 69
4.4.6 关闭防火墙 70
4.4.7 配置SSH免密码登录 70
4.5 本章总结 72
第5章 安装配置Hadoop 73
5.1 添加Hadoop用户身份 74
5.1.1 添加Hadoop用户组和用户 74
5.1.2 赋予Hadoop用户目录权限 74
5.1.3 赋予Hadoop用户sodu
权限 74
5.1.4 赋予Hadoop用户登录密码 75
5.1.5 配置Hadoop用户SSH
免密码登录 75
5.2 Hadoop的安装模式 75
5.2.1 本地模式 75
5.2.2 伪集群模式 76
5.2.3 集群模式 76
5.3 JDK的安装和配置 76
5.3.1 下载JDK 77
5.3.2 上传JDK到CentOS虚拟机 77
5.3.3 安装并配置JDK 78
5.4 Hadoop的本地模式安装和配置 80
5.4.1 下载Hadoop安装包 80
5.4.2 安装并配置Hadoop环境 81
5.4.3 以本地模式配置Hadoop 82
5.4.4 验证Hadoop本地模式是否
安装成功 82
5.5 Hadoop的伪集群模式安装和配置 84
5.5.1 以伪集群模式配置Hadoop 84
5.5.2 格式化NameNode 86
5.5.3 启动Hadoop 87
5.5.4 以浏览器方式验证环境搭建
是否成功 87
5.5.5 运行MapReduce程序验证
环境搭建是否成功 88
5.6 Hadoop集群模式的安装和配置
（完全生产环境） 90
5.6.1 服务器规划 90
5.6.2 Hadoop集群环境的准备 91
5.6.3 安装并配置集群环境下的
JDK 93
5.6.4 搭建并配置Zookeeper集群 94
5.6.5 搭建并配置Hadoop集群 96
5.6.6 启动Zookeeper集群 103
5.6.7 启动Hadoop集群（1） 104
5.6.8 启动Hadoop集群（2） 109
5.6.9 测试Hadoop HA的
高可用性 111
5.7 Hadoop集群模式的安装和配置
（精简版） 114
5.7.1 服务器规划 115
5.7.2 搭建并测试Hadoop
集群环境 115
5.8 搭建Hadoop环境遇到的问题及
解决方案 116
5.8.1 以root用户启动Hadoop
的问题 116
5.8.2 权限被拒绝 117
5.8.3 sudo命令异常 117
5.8.4 Hadoop 3.x端口变动 118
5.8.5 Hadoop 3.x未能找到或加载
MRAppMaster类 118
5.8.6 未能加载native-hadoop library
的警告 120
5.8.7 Hadoop 3.x运行自带的
wordcount报错 120
5.8.8 Hadoop命令变动 122
5.9 Hadoop集群动态增加和删除
节点 123
5.9.1 准备工作 123
5.9.2 动态添加DataNode和
NodeManager 124
5.9.3 动态删除DataNode与
NodeManager（1） 127
5.9.4 动态删除DataNode与
NodeManager（2） 129
5.10 Hadoop目录结构说明 130
5.11 本章总结 130
第1章 大数据处理概论 1
1.1 大数据的定义 2
1.2 大数据的结构类型 3
1.3 大数据处理平台的基础架构 4
1.4 大数据处理中的存储技术 6
1.4.1 提升大数据存储的容量 6
1.4.2 提升大数据存储的吞吐量 6
1.4.3 提升大数据存储的扩展 8
1.5 大数据处理中的计算技术 8
1.5.1 多处理技术 9
1.5.2 并行计算 9
1.5.3 高并发计算 9
1.5.4 离线批处理计算 9
1.5.5 在线实时计算 10
1.6 大数据处理中的容错性 10
1.6.1 数据存储的容错性 10
1.6.2 数据计算的容错性 12
1.7 大数据处理中的安全性 12
1.7.1 数据存储的安全性 13
1.7.2 数据计算的安全性 13
1.8 大数据行业应用案例 13
1.8.1 淘宝的千人千面系统 14
1.8.2 滴滴出行的车辆调度系统 14
1.9 本章总结 14
第2章 离线批处理技术——Hadoop 15
2.1 Google核心云计算技术 16
2.1.1 MapReduce编程模型 16
2.1.2 分布式文件系统 17
2.1.3 分布式结构化数据存储
BigTable 20
2.2 Hadoop云计算技术 21
2.2.1 Hadoop概述 22
2.2.2 Hadoop核心组件 22
2.2.3 Hadoop生态圈 24
2.2.4 Hadoop物理架构 26
2.2.5 Hadoop的原理和运行机制 27
2.2.6 Hadoop相关技术与概述 30
2.2.7 Hadoop的局限性 31
2.3 本章总结 32
第3章 在线实时处理技术——Storm 33
3.1 Storm的定义 34
3.2 Storm的诞生 34
3.2.1 诞生背景 34
3.2.2 Twitter使用Storm 34
3.3 Storm的发展 35
3.4 Storm的基本组件 35
3.4.1 Storm核心组件 35
3.4.2 Storm集群组成 36
3.4.3 Storm分组策略 37
3.5 Storm的可靠性 38
3.6 Storm的特性 40
3.7 其他流式处理框架 41
3.7.1 Apache S4 41
3.7.2 Spark Streaming 41
3.8 Storm的应用现状和发展趋势 42
3.8.1 Storm的应用现状 42
3.8.2 Storm的发展趋势 43
3.9 本章总结 43
第2篇 大数据离线批处理技术篇
第4章 Hadoop环境准备 44
4.1 Hadoop发行版本的选择 45
4.1.1 Apache Hadoop 45
4.1.2 CDH 45
4.1.3 Hadoop版本 45
4.1.4 如何选择Hadoop版本 47
4.2 Hadoop原理 47
4.2.1 HDFS原理 48
4.2.2 Hadoop MapReduce原理 51
4.2.3 Hadoop YARN原理 51
4.3 Hadoop架构 53
4.3.1 HDFS架构 53
4.3.2 Hadoop MapReduce架构 55
4.3.3 Hadoop YRAN架构 56
4.4 安装CentOS虚拟机 57
4.4.1 安装VMWare虚拟机 57
4.4.2 安装CentOS虚拟机 59
4.4.3 修改主机名 66
4.4.4 配置静态IP地址 67
4.4.5 配置主机名和IP地址的
映射关系 69
4.4.6 关闭防火墙 70
4.4.7 配置SSH免密码登录 70
4.5 本章总结 72
第5章 安装配置Hadoop 73
5.1 添加Hadoop用户身份 74
5.1.1 添加Hadoop用户组和用户 74
5.1.2 赋予Hadoop用户目录权限 74
5.1.3 赋予Hadoop用户sodu
权限 74
5.1.4 赋予Hadoop用户登录密码 75
5.1.5 配置Hadoop用户SSH
免密码登录 75
5.2 Hadoop的安装模式 75
5.2.1 本地模式 75
5.2.2 伪集群模式 76
5.2.3 集群模式 76
5.3 JDK的安装和配置 76
5.3.1 下载JDK 77
5.3.2 上传JDK到CentOS虚拟机 77
5.3.3 安装并配置JDK 78
5.4 Hadoop的本地模式安装和配置 80
5.4.1 下载Hadoop安装包 80
5.4.2 安装并配置Hadoop环境 81
5.4.3 以本地模式配置Hadoop 82
5.4.4 验证Hadoop本地模式是否
安装成功 82
5.5 Hadoop的伪集群模式安装和配置 84
5.5.1 以伪集群模式配置Hadoop 84
5.5.2 格式化NameNode 86
5.5.3 启动Hadoop 87
5.5.4 以浏览器方式验证环境搭建
是否成功 87
5.5.5 运行MapReduce程序验证
环境搭建是否成功 88
5.6 Hadoop集群模式的安装和配置
（完全生产环境） 90
5.6.1 服务器规划 90
5.6.2 Hadoop集群环境的准备 91
5.6.3 安装并配置集群环境下的
JDK 93
5.6.4 搭建并配置Zookeeper集群 94
5.6.5 搭建并配置Hadoop集群 96
5.6.6 启动Zookeeper集群 103
5.6.7 启动Hadoop集群（1） 104
5.6.8 启动Hadoop集群（2） 109
5.6.9 测试Hadoop HA的
高可用性 111
5.7 Hadoop集群模式的安装和配置
（精简版） 114
5.7.1 服务器规划 115
5.7.2 搭建并测试Hadoop
集群环境 115
5.8 搭建Hadoop环境遇到的问题及
解决方案 116
5.8.1 以root用户启动Hadoop
的问题 116
5.8.2 权限被拒绝 117
5.8.3 sudo命令异常 117
5.8.4 Hadoop 3.x端口变动 118
5.8.5 Hadoop 3.x未能找到或加载
MRAppMaster类 118
5.8.6 未能加载native-hadoop library
的警告 120
5.8.7 Hadoop 3.x运行自带的
wordcount报错 120
5.8.8 Hadoop命令变动 122
5.9 Hadoop集群动态增加和删除
节点 123
5.9.1 准备工作 123
5.9.2 动态添加DataNode和
NodeManager 124
5.9.3 动态删除DataNode与
NodeManager（1） 127
5.9.4 动态删除DataNode与
NodeManager（2） 129
5.10 Hadoop目录结构说明 130
5.11 本章总结 130
展开全部
海量数据处理与大数据技术实战 节选
Google 存储的海量数据中，既有小到几KB 的小文件，也有大到GB 级别的大文件，这就要求GFS 能够同时存储这些小文件和大文件，并能够使这些小文件和大文件在同一个GFS 中共存。 GFS 存储一个大文件时，会将这个大文件切分成一个个小的Chunk 块，保存到不同的Chunk 服务器上。当客户端读取数据时，首先向Master 服务器询问它应该联系的Chunk服务器，Master 服务器会将其应该联系的Chunk 服务器的一些元数据信息（命名空间、Chunk 与文件名的映射表、Chunk 副本的位置信息）返回给客户端，客户端获取到这些元数据信息后会将其缓存一段时间，后续将直接和Chunk 服务器进行数据读/ 写操作，如图2-4 所示。
海量数据处理与大数据技术实战 作者简介
冰河（本名刘亚壮），大数据架构师，编程专家，拥有多年的项目架构和实战经验，多年来致力于分布式系统、微服务、分布式数据库、大数据技术的研究，在高并发、高可用、高可扩展性、高可维护性和大数据等领域拥有丰富的实战经验，对Hadoop、Spark、Storm等大数据框架源码进行过深度分析并具有丰富的实战经验。
书友推荐
- >
巴金－再思录
巴金－再思录
¥33.1¥46.0 - >
姑妈的宝刀
姑妈的宝刀
¥11.4¥30.0 - >
山海经
山海经
¥22.6¥68.0 - >
推拿
推拿
¥12.2¥32.0 - >
企鹅口袋书系列·伟大的思想20:论自然选择(英汉双语)
企鹅口袋书系列·伟大的思想20:论自然选择(英汉双语)
¥8.4¥14.0 - >
朝闻道
朝闻道
¥20.2¥23.8 - >
诗经-先民的歌唱
诗经-先民的歌唱
¥20.7¥39.8 - >
新文学天穹两巨星--鲁迅与胡适/红烛学术丛书(红烛学术丛书)
新文学天穹两巨星--鲁迅与胡适/红烛学术丛书(红烛学术丛书)
¥9.9¥23.0
本类畅销
-
深度学习自然语言处理实战
¥25.8¥59.9 -
过程控制
¥11.9¥35 -
2022图书×抽奖盲袋
¥9.9¥25 -
2023读书月阅读盲盒——天黑，闭眼，刀谁？
¥42.3¥158 -
-
2022读者节纪念徽章-三星会员专属
¥45¥45.6
