扫一扫
关注中图网
官方微博
本类五星书更多>
-
>
中医基础理论
-
>
高校军事课教程
-
>
毛泽东思想和中国特色社会主义理论体系概论(2021年版)
-
>
中医内科学·全国中医药行业高等教育“十四五”规划教材
-
>
中医诊断学--新世纪第五版
-
>
中药学·全国中医药行业高等教育“十四五”规划教材
-
>
中医外科学——全国中医药行业高等教育“十四五”规划教材
Hadoop技术与应用 版权信息
- ISBN：9787560659831
- 条形码：9787560659831 ; 978-7-5606-5983-1
- 装帧：一般胶版纸
- 册数：暂无
- 重量：暂无
- 所属分类：>
Hadoop技术与应用 本书特色
本书以新冠疫情数据采集、分析为载体，通过项目实战完成Hadoop集群的部署，将基层疫情数据上传至HDFS平台，为保证数据的高可用，部署了HDFS的HA集群；通过Hadoop生态圈中的常用组件对数据进行分析，*后，借助Ambari实现Hadoop集群的自动化部署。书中的内容中除了对接“1+X” 职业技能标准，岗位实际，在学习过程中还融入思政元素，激发读者的民族自豪感，树立鸿鹄之志，并为之而奋斗。
Hadoop技术与应用 内容简介
本书采用“理论+实战”的形式编写，将企业需求分解为单独的项目，全面系统地讲解了Hadoop大数据的相关知识及应用。全书共12个项目，首先介绍了大数据技术的发展、Hadoop生态圈的组成、Hadoop集群部署、采集数据上传到HDFS；接着具体介绍了为提高集群的可持续服务，在分布式协调组件ZooKeeper的协助下，部署HDFS的HA集群和YARN的HA集群的方法；然后讲解了MapReduce、HBase和Hive的实际应用，并具体讲解了通过Flume监听Hadoop集群日志，以及使用Sqoop实现数据在MySQL和HDFS之间的相互传输；*后介绍如何借助Ambari工具一站式部署、管理Hadoop集群，并展望了大数据未来的发展方向。 本书适合作为高职高专院校大数据技术课程的教学用书，也适合作为培训机构和大数据技术爱好者的参考用书。
Hadoop技术与应用 目录
项目1 大数据平台部署前的环境准备 1
任务1 大数据技术及应用 3
任务描述 3
知识准备 3
一、大数据简介 3
二、大数据的特征 3
三、大数据相关概念 5
四、大数据的典型应用 5
任务实施 通过思维导图展示大数据
技术的应用 6
任务2 获取Hadoop资源 7
任务描述 7
知识准备 7
一、Hadoop的起源 7
二、Hadoop的特点 8
三、Hadoop生态圈 8
四、Hadoop版本演变 9
五、常见Hadoop的发行版本 11
任务实施 通过Hadoop官网下载Hadoop
软件 11
能力拓展 Hadoop部署前的环境配置 12
项目小结 24
课后习题 24
项目2 部署Hadoop集群 26
任务1 部署单机模式Hadoop 28
任务描述 28
知识准备 28
一、Hadoop的安装方式 28
二、安装JDK 28
任务实施 安装单机模式Hadoop 30
任务2 部署伪分布模式Hadoop 33
任务描述 33
知识准备 33
一、Hadoop集群 33
二、Hadoop目录介绍 33
任务实施 部署伪分布模式Hadoop 34
能力拓展 部署Hadoop集群 40
项目小结 49
课后习题 49
项目3 采集数据到HDFS 51
任务1 通过Shell采集数据到HDFS 52
任务描述 52
知识准备 53
一、HDFS简介 53
二、HDFS的优势 53
三、HDFS的局限性 53
四、HDFS的架构 54
五、HDFS的工作机制 57
六、HDFS的容错 59
七、访问HDFS 60
任务实施 通过Shell命令采集数据到
HDFS 62
任务2 通过Java API采集数据到HDFS 68
任务描述 68
知识准备 69
一、文件读取 69
二、文件写入 69
三、安装Java开发环境 70
任务实施 通过Java API 采集数据到
HDFS 75
能力拓展 通过数据流采集数据到HDFS 80
项目小结 82
课后习题 82
项目4 部署HDFS的HA集群 85
任务1 安装ZooKeeper服务 87
任务描述 87
知识准备 87
一、ZooKeeper简介 87
二、ZooKeeper的特性 88
三、ZooKeeper的工作原理 88
四、ZooKeeper的工作模式 89
五、ZooKeeper的角色 89
任务实施 安装ZooKeeper服务 90
任务2 访问ZooKeeper服务 94
任务描述 94
知识准备 94
一、读写机制 94
二、数据模型 94
三、监听通知机制 95
四、典型应用场景 95
任务实施 访问ZooKeeper服务 96
任务3 部署HDFS的高可用集群 99
任务描述 99
知识准备 100
一、HDFS HA机制 100
二、HDFS Federation机制 102
任务实施 部署HDFS的HA集群 103
项目小结 114
课后习题 114
项目5 部署YARN的HA集群 116
任务1 部署YARN集群 118
任务描述 118
知识准备 118
一、YARN产生背景 118
二、YARN的优点 120
三、YARN的组成及架构 120
四、YARN工作流程 122
五、YARN容错性 123
任务实施 部署YARN集群 123
任务2 部署YARN的高可用集群 125
任务描述 125
知识准备 125
一、YARN HA机制 125
二、RM的状态存储 126
任务实施 部署YARN的HA集群 127
项目小结 133
课后习题 133
项目6 MapReduce应用 135
任务 MapReduce Java API编程 136
任务描述 136
知识准备 137
一、MapReduce核心思想 137
二、MapReduce工作流程 138
三、MapReduce API编程 142
任务实施 利用WordCount统计单词数 147
能力拓展 用MapReduce实现平均成绩的
计算 151
项目小结 156
课后习题 157
项目7 部署开源数据库HBase 162
任务1 部署HBase服务 164
任务描述 164
知识准备 164
一、HBase概述 164
二、HBase数据模型 165
三、HBase功能组件 167
四、HBase运行机制 170
任务实施 安装部署HBase 172
任务2 访问HBase服务 175
任务描述 175
知识准备 175
一、HBase常用Shell命令 175
二、HBase Java API的应用 177
三、HBase过滤器 178
任务实施 HBase Java API编程实践 180
能力拓展 创建自定义过滤器 186
项目小结 189
课后习题 190
项目8 部署数据仓库Hive 192
任务1 部署Hive服务 194
任务描述 194
知识准备 194
一、Hive概述 194
二、Hive的系统架构 195
三、Hive HA的基本原理 197
四、Hive的工作原理 197
五、Hive的安装模式 199
任务实施 部署Hive的相关工具 200
任务2 访问Hive服务 203
任务描述 203
知识准备 203
一、Hive的管理 203
二、Hive的数据模型 204
三、Hive的数据类型 205
四、Hive的基本操作 206
任务实施 通过Hive实现WordCount 211
能力拓展 Hive实现分组排序 211
项目小结 216
课后习题 217
项目9 利用Flume监听数据 219
任务1 监听端口数据并输出到Flume
控制台 221
任务描述 221
知识准备 221
一、Flume简介 221
二、Flume Event的概念 221
三、Flume的优势和特征 222
四、Flume的环境搭建 223
五、Flume三大组件 223
任务实施 监听端口数据并输出到
Flume控制台 227
任务2 监听Hive日志文件并输出到Flume
控制台 230
任务描述 230
知识准备 230
一、Exec Source 230
二、HDFS Sink 231
三、Hive Sink 232
任务实施 监听Hive日志文件并输出到
Flume控制台 233
能力拓展 Flume监听Hive日志文件并
输出到HDFS 237
项目小结 242
课后习题 242
项目10 Sqoop实现数据传输 244
任务1 数据从MySQL导入HDFS 246
任务描述 246
知识准备 246
一、Sqoop简介 246
二、Sqoop的环境搭建 247
三、Sqoop的常用命令 249
四、Sqoop import命令的常用参数 249
任务实施 数据从MySQL导入HDFS 250
任务2 数据从HDFS导出到MySQL 257
?任务描述 257
知识准备 257
Sqoop export命令的常用参数 258
任务实施 数据从HDFS导出到MySQL 258
能力拓展 用Sqoop将HDFS数据导出到
MySQL数据表指定的列 264
项目小结 268
课后习题 268
项目11 Ambari部署Hadoop集群 270
任务 Ambari的安装 271
任务描述 271
知识准备 272
一、Ambari简介 272
二、Ambari的作用 272
三、Ambari的架构及工作流程 272
四、软件下载 275
任务实施 利用Ambari部署、管理Hadoop
集群 277
能力拓展 在Ambari中启用HDFS的HA 293
项目小结 297
课后习题 298
项目12 大数据的未来 299
任务 大数据的未来 300
任务描述 300
知识准备 301
一、医疗领域 301
二、智慧城市领域 302
三、教育领域 303
四、人工智能领域 304
五、大数据与5G通信 305
项目小结 306
课后习题 306
参考文献 308
展开全部
书友推荐
- >
莉莉和章鱼
莉莉和章鱼
¥16.0¥42.0 - >
唐代进士录
唐代进士录
¥17.1¥39.8 - >
罗曼·罗兰读书随笔-精装
罗曼·罗兰读书随笔-精装
¥40.6¥58.0 - >
小考拉的故事-套装共3册
小考拉的故事-套装共3册
¥36.7¥68.0 - >
人文阅读与收藏·良友文学丛书:一天的工作
人文阅读与收藏·良友文学丛书:一天的工作
¥16.0¥45.8 - >
姑妈的宝刀
姑妈的宝刀
¥11.4¥30.0 - >
二体千字文
二体千字文
¥16.0¥40.0 - >
李白与唐代文化
李白与唐代文化
¥9.9¥29.8
本类畅销
-
形势与政策:国家开放大学版(2023年春季版)
¥9.5¥22 -
新世纪高等学校教材 心理学基础课系列教材普通心理学(第5版)/彭聃龄
¥42.9¥78 -
气象信息员培训教材丛书气象信息员知识读本
¥14.4¥19 -
近世代数基础(修订版)同步辅导及习题全解
¥9.4¥17 -
(本科教材)西方哲学简史
¥40.6¥58 -
社会心理学(第四版)
¥48.3¥69
