以下为《Hadoop平台搭建与应用教案》的无排版文字预览，完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。

Hadoop平台搭建与应用

教 案

NO.2

教 师 姓 名



授课班级



授课形式

理实一体化



授 课 时 间

 年 月 日 第 周

授课时数

4



授课章节名称

任务1.2 Hadoop环境搭建



教学目的

（1）学会Hadoop单机模式的安装与配置。

（2）学会Hadoop伪分布式模式的安装与配置。

（3）学会Hadoop集群模式的安装与配置。



教

材

分

析

教学重点

Hadoop集群模式的安装与配置





教学难点

Hadoop集群模式的安装与配置





更新、

补充、

删节内容





课外作业

熟练Hadoop集群模式的安装与配置



教 学 过 程

教 学 提 示



一．知识准备

Hadoop搭建分为3种运行模式，分别为单机模式搭建、伪分布式模式搭建和集群搭建。单机模式即Hadoop运行在一台单某某，没有分布式文件系统，而是直接读写本地操作系统的文件系统。

伪分布式模式是在单某某模拟Hadoop分布式，单某某的分布式并不是真正的分布式，而是使用Java进程模拟分布式运行中的各类节点，包括NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker。

集群模式即Hadoop守护进程运行在一个集群上，即使用分布式Hadoop时，要先启动一些准备程序进程，才能使用start-dfs.sh、start-yarn.sh。而本地模式不需要启动这些守护进程。

3种模式下组件配置的区别如表1-1所示。

表1-1 3种模式下组件配置的区别

组件名称

属性名称

单机模式

伪分布式模式

集群模式



Common

fs.defaultFS

file:///（默认）

Localhost:9000

Master:9000



HDFS

dfs.replication

N/A

1

3（默认）



MapReduce

mapreduce.framework.name

Local（默认）

YARN

YARN



YARN

yarn.resourcemanager.hostname

yarn.nodemanager.aux_service

N/A

N/A

Localhost

mapreduce_shuffle

Localhost

mapreduce_shuffle



二.任务实施

1．单机模式的安装与配置

（1）安装JDK

右键单击Ubuntu桌面，在弹出的快捷菜单中选择“open in Terminal”命令，打开终端，切换路径到安装包所在路径，本书中安装包在~/Downloads中，进入软件包所在文件夹，并通过“ls”命令查看文件夹中的所有软件，如图1-26所示。

图1-26 查看文件夹中的所有软件

Hadoop是使用Java编写的，所以需要安装Java环境。在Downloads目录中执行命令“sudo tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local”，解压Java的TAR包，如图1-27所示。

内容过长，仅展示头部和尾部部分文字预览，全文请查看图片预览。

图1-78 查看slave1节点的进程 ?图1-79 查看slave2节点的进程

测试HDFS和YARN，在浏览器地址中输入“http://master:50070”，进入HDFS信息界面，表明HDFS配置准确

在浏览器地址栏中输入“http://master:8088”，打开Web控制台，可以查看集群状态，如果DataNode中没有配置yarn-site.xml，则在网页中无法看到节点信息；如果配置了yarn-site.xml，则在网页中将会看到节点配置信息，如图1-81所示。

图1-81 节点配置信息







[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]

以上为《Hadoop平台搭建与应用教案》的无排版文字预览，完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。