Hadoop安装实验报告

本文由用户“shengyi0000”分享发布 更新时间:2021-11-14 08:29:23 举报文档

以下为《Hadoop安装实验报告》的无排版文字预览,完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

一、Hadoop安装

1、Linux平台

/

2、Hadoop的下载 http://apache.dataguru.cn/hadoop/common/

选择最新的稳定版本进行下载

/

3、Hadoop的安装 http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html#Prepare_to_Start_the_Hadoop_Cluster

按照官方文档进行Hadoop的安装和配置,其实整个过程包括了在java jdk和jre的安装、SSH服务的开启以及hadoop配置文件的设置。

3.1、对于jdk的安装,这里可以遵照 http://doc.001pp.com/topic/664394,这个是手动安装过程,也可以采用自动安装的方式来完成。

Jdk下载地址http://doc.001pp.com/technetwork/java/javase/documentation/java-se-7-doc-download-435117.html

实验中安装的是下载hadoop版本对应的java jd 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 /

三、测试

按照官方的指导文档进行测试 http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

在eclipse中创建项目,并将指导文档中的代码粘贴进入并运行,运行结果。

/

/

/虽然运行成功,但是在控制台并没有像命令模式下输出任务的过程信息,而是给出了几个警告信息,这是由于项目没有对log4j进行配置的原因,有两种方式来解决这个问题,一个是采用配置文件的方式,也就是通过配置文件来对log4j来进行配置,还有一个就是通过代码的方式来完成,后者相对简单而且可控,可以减少不必要信息的输出,便于调试。而采用代码的方式只需要在main函数首行添加如下代码:

BasicConfigurator.configure();

添加后运行效果如下:

/

这样就可以进行日志的输出,用来观察任务的执行情况。

四、实验体会

通过官方文档进行环境的搭建可以提高自身解决问题和发现问题以及应对问题的能力,官方的资料才是第一手资料,遇到问题再针对性搜索可以提升学习效果。

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]

以上为《Hadoop安装实验报告》的无排版文字预览,完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

图片预览