以下为《Hadoop安装配置说明》的无排版文字预览，完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。

Hadoop安装

1.1 单机模式

1.1.1 安装前准备

安装Linux

下载Ubuntu 16.04，下载地址：http://ftp.sjtu.edu.cn/ubuntu-cd/16.04.6/

（a）Desktop --> 桌面版，默认带了界面

ubuntu-16.04.6-desktop-amd64.iso

（b）Server --> 服务器版，默认没有带界面

ubuntu-16.04.6-server-amd64.iso

关闭防火墙

查看防火墙状态

$ sudo ufw status

Status: inactive

关闭防火墙

$ sudo ufw disable

防火墙在系统启动时自动禁用

查看防火墙状态：

$ sudo ufw status

Status: inactive

安装JDK

解某某到根目录：

tar zxvf jdk-8u144-linux-x64.tar.gz -C ~

建一个软链接（方便使用）

ln -s jdk-8u144-linux-x64 jdk

配置环境变量：

vi ~/.bashrc

（等号两侧不要加入空格）

export JAVA_HOME=/home/hadoop/jdk

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.





使得变量生效：

source ~/.bashrc

确认openssh-client、openssh-server是否安装

dpkg -l | grep openssh

如果没有安装，则安装：

sudo apt-get install openssh-client

sudo apt-get install openssh-server

安装包解某某

tar -zxvf hadoop-2.7.3.tar.gz -C ~

创建超链接：(便于使用)

ln -s hadoop-2.7.3 hadoop

配置环境变量：

vi ~/.bashrc

export HADOOP_HOME=/home/hadoop/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH



source ~/.bashrc

1.1.2安装

（1）修改配置

vi hadoop-env.sh

export JAVA_HOME=/home/hadoop/jdk



测试MapReduce程序

mkdir ~/input，增加测试数据：data.txt

运行：

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount ~/input/data.txt ~/output

1.2 伪分布模式

1.2.1安装前准备

（1）参考上面1.1.1

同1.1.1

（2）配置主机名

sudo vi /etc/hosts （前面加sudo，需要root权限）

191.168.1.51 node1.hadoop node1





（3）免密码登录

通过ssh-keyen生成一个RSA的密钥对

ssh-keygen -t rsa -P ''

公钥追加到~/.ssh/authorized_keys文件中

ssh-copy-id -i ~/.ssh/id_rsa.pub 主机名(如上面都nod1)

测试免密码登录：

ssh node1

1.2.2安装

（1）修改配置文件

hadoop-env.sh

export JAVA_HOME=/home/hadoop/jdk





hdfs 内容过长，仅展示头部和尾部部分文字预览，全文请查看图片预览。

$ sudo dpkg -l |grep ntp

若NTP尚未安装就运行安装命令：

$ sudo apt-get install ntp

ntp服务需要注意能连接网络，

有什么用？

如果时间不一样，执行MapReduce程序的时候可能存在问题

（4）配置免密码登录：两两之间的免密码登录

每台机器上运行：

ssh-keygen -t rsa -P ''

ssh-copy-id -i ~/.ssh/id_rsa.pub node1

ssh-copy-id -i ~/.ssh/id_rsa.pub node2

ssh-copy-id -i ~/.ssh/id_rsa.pub node3

1.2.2安装

修改配置文件

hadoop-env.sh

export JAVA_HOME=/home/hadoop/jdk





hdfs-site.xml

dfs.replication

2





core-site.xml

fs.defaultFS

hdfs://node1:9000

hadoop.tmp.dir

/home/hadoop/hadoop/tmp





mapred-site.xml (默认没有 cp mapred-site.xml.template mapred-site.xml)

mapreduce.framework.name

yarn





yarn-site.xml

yarn.resourcemanager.hostname

node1

yarn.nodemanager.aux-services

mapreduce_shuffle





slaves

node2

node3





格式化NameNode

hdfs namenode -format

把主节点上配置好的hadoop复制到从节点上

scp -r hadoop-2.7.3/ hadoop@node2:/home/hadoop

scp -r hadoop-2.7.3/ hadoop@node3:/home/hadoop

启动

start-all.sh

测试

查看进程：

jps

通过Web界面：

HDFS: http://191.168.1.51:50070 http://191.168.1.51:50090

Yarn: http://191.168.1.51:8088

通过MapReduce:

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。

1. 1.Proportional Fai_省略_ Statistical CSI_Yonghai Lin
2. lesson03-01 Java类基础知识--Java类结构
3. 英语试题填空
4. 第7章量子化学计算方法与程序
5. Unit 1 Reading1[课件]
6. 第二周第一次直播课教案讲稿
7. 课件Making the news
8. 全新版大学英语(第二版)综合教程1课后习题答案
9. 第三单元阅读作业
10. Learningaims
11. Unit6I’mgoingtostudy
12. Livingwell课件
13. java100个经典例子
14. 2012B MCM Problems
15. The clinicopathological signifcance
16. 2020_ICM_Problem_E
17. Full_Paper_Template
18. ann
19. 阿甘正传(中英文台词对照)

以上为《Hadoop安装配置说明》的无排版文字预览，完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。