hadoop-3.1.1分布式搭建与常用命令

一、准备工作

1.首先需要三台虚拟机： master 、 node1 、 node2

2.时间同步

ntpdate ntp.aliyun.com

3.调整时区

cp /usr/share/zoneinfo/Asia/Shanghai

/etc/localtime

4.jdk1.8

java -version

5.修改主机名

三台分别执行 vim /etc/hostname 并将内容指定为对应的主机名

6.关闭防火墙： systemctl stop firewalld

名查看防火墙状态： systemctl status firewalld

取消防火墙自启： systemctl disable firewalld

7.静态IP 配置

直接使用图形化界面配置（不推荐）

手动编辑配置文件进行配置

(1)编辑网络配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet

BOOTPROTO=static

HWADDR=00:0C:29:E2:B8:F2

NAME=ens33

DEVICE=ens33

ONBOOT=yes

IPADDR=192.168.190.100

GATEWAY=192.168.190.2

NETMASK=255.255.255.0

DNS1=192.168.190.2

DNS2=223.6.6.6

需要修改： HWADDR （ mac 地址 ,centos7 不需要手动指定 mac 地

址）

IPADDR （根据自己的网段，自定义 IP 地址）

GATEWAY （根据自己的网段填写对应的网关地址）

(2)关闭 NetworkManager ，并取消开机自启

systemctl stop NetworkManager

systemctl disable NetworkManager

systemctl status NetworkManager

(3)重启网络服务

systemctl restart network

8.免密登录

(1)生成密钥

ssh-keygen -t rsa

(2)配置免密登录

ssh-copy-id master

ssh-copy-id node1

ssh-copy-id node2

(3)测试免密登录

ssh node1

9.配置好映射文件： /etc/hosts

192.168.19.100 master

192.168.19.110 node1

192.168.19.120 node2

二、搭建Hadoop集群

在搭建之前，我们需要了解非高可用集群的分布情况：

去官网或者华为云镜像下载解压包

华为云镜像：https://mirrors.huaweicloud.com/apache/hadoop/common/hadoop-3.1.1/

(一)上传解压配置环境变量

1、解压

tar -xvf hadoop-3.1.1.tar.gz.gz

include文件夹存放一些第三方的东西，lib存放jar包

2、配置环境变量

vim /etc/profile

#增加配置

export HADOOP_HOME=/usr/local/soft/hadoop-3.1.1
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

4.使环境变量生效

source /etc/profile

(二)修改配置文件

1、进入hadoop配置文件所在位置，修改hadoop配置文件
cd /usr/local/soft/hadoop-3.1.1/etc/hadoop

5.vim mapred-site.xml

   <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>

<property>
   <name>mapreduce.jobhistory.webapp.address</name>
   <value>master:19888</value>
   </property>

6.修改hadoop-env.sh配置文件

vim hadoop-env.sh
# 增加配置
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_202.jdk/Contents/Home

7.修改hadoop-env.sh配置文件

vim workers

# 增加配置
node1
node2

8.修改hadoop-env.sh的文件

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root