以下为《Hadoop安装配置说明》的无排版文字预览,完整格式请下载
下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。
Hadoop安装
1.1 单机模式
1.1.1 安装前准备
安装Linux
下载Ubuntu 16.04,下载地址:http://ftp.sjtu.edu.cn/ubuntu-cd/16.04.6/
(a)Desktop --> 桌面版,默认带了界面
ubuntu-16.04.6-desktop-amd64.iso
(b)Server --> 服务器版,默认没有带界面
ubuntu-16.04.6-server-amd64.iso
关闭防火墙
查看防火墙状态
$ sudo ufw status
Status: inactive
关闭防火墙
$ sudo ufw disable
防火墙在系统启动时自动禁用
查看防火墙状态:
$ sudo ufw status
Status: inactive
安装JDK
解某某到根目录:
tar zxvf jdk-8u144-linux-x64.tar.gz -C ~
建一个软链接(方便使用)
ln -s jdk-8u144-linux-x64 jdk
配置环境变量:
vi ~/.bashrc
(等号两侧不要加入空格)
export JAVA_HOME=/home/hadoop/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
使得变量生效:
source ~/.bashrc
确认openssh-client、openssh-server是否安装
dpkg -l | grep openssh
如果没有安装,则安装:
sudo apt-get install openssh-client
sudo apt-get install openssh-server
安装包解某某
tar -zxvf hadoop-2.7.3.tar.gz -C ~
创建超链接:(便于使用)
ln -s hadoop-2.7.3 hadoop
配置环境变量:
vi ~/.bashrc
export HADOOP_HOME=/home/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
source ~/.bashrc
1.1.2安装
(1)修改配置
vi hadoop-env.sh
export JAVA_HOME=/home/hadoop/jdk
测试MapReduce程序
mkdir ~/input,增加测试数据:data.txt
运行:
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount ~/input/data.txt ~/output
1.2 伪分布模式
1.2.1安装前准备
(1)参考上面1.1.1
同1.1.1
(2)配置主机名
sudo vi /etc/hosts (前面加sudo,需要root权限)
191.168.1.51 node1.hadoop node1
(3)免密码登录
通过ssh-keyen生成一个RSA的密钥对
ssh-keygen -t rsa -P ''
公钥追加到~/.ssh/authorized_keys文件中
ssh-copy-id -i ~/.ssh/id 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 adoop@node2:/home/hadoop
scp -r hadoop-2.7.3/ hadoop@node3:/home/hadoop
启动
start-all.sh
测试
查看进程:
jps
通过Web界面:
HDFS: http://191.168.1.51:50070 http://191.168.1.51:50090
Yarn: http://191.168.1.51:8088
通过MapReduce:
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/
[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。
以上为《Hadoop安装配置说明》的无排版文字预览,完整格式请下载
下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。