敞开成长之旅！这是我参加「日新方案 2 月更文应战」的第 21 天，点击检查活动详情

Hadoop完全分布式运行环境的建立

  • 0. 写在前面

  • 1. 模板虚拟机环境准备

    • 装置模板虚拟机
    • hadoop01虚拟机装备要求如下
    • 封闭防火墙，封闭防火墙开机自启
    • 创立普通用户
    • 装备新用户权限
    • 修正所属主和所属组
    • 卸载虚拟机自带的JDK
    • 重启虚拟机

  • 2. 克隆虚拟机

    • 克隆三台虚拟机
    • 修正克隆机IP
    • 修正主机名
    • 重启克隆机
    • 修正映射文件

0. 写在前面

  • Linux版本：CentOS-7.5-x86-1804
  • Hadoop版本：Hadoop-3.1.3
  • 虚拟机软件：VMware WorkStation Pro15

1. 模板虚拟机环境准备

装置模板虚拟机

IP地址192.168.10.131、主机称号hadoop01、内存4G、硬盘50G

hadoop01虚拟机装备要求如下

（1）使用yum装置需求虚拟机能够正常上网，yum装置前能够先测验下虚拟机联网情况

[root@hadoop01~]#pingwww.baidu.com
PINGwww.baidu.com(14.215.177.39)56(84)bytesofdata.
64bytesfrom14.215.177.39(14.215.177.39):icmp_seq=1ttl=128time=8.60ms
64bytesfrom14.215.177.39(14.215.177.39):icmp_seq=2ttl=128time=7.72ms

（2）装置epel-release

注：Extra Packages for Enterprise Linux是为“红帽系”的操作体系供给额外的软件包，适用于RHEL、CentOS和Scientific Linux。适当于是一个软件库房，大多数rpm包在官方 repository 中是找不到的）

[root@hadoop01~]#yuminstall-yepel-release

（3）留意：假如Linux装置的是最小体系版，还需求装置如下东西；假如装置的是Linux桌面标准版，不需求履行如下操作

  • net-tool：东西包调集，包括ifconfig等指令
[root@hadoop01~]#yuminstall-ynet-tools
  • vim：编辑器
[root@hadoop01~]#yuminstall-yvim

封闭防火墙，封闭防火墙开机自启

[root@hadoop01~]#systemctlstopfirewalld
[root@hadoop01~]#systemctldisablefirewalld.service

留意：在企业开发时，通常单个服务器的防火墙时封闭的。公司整体对外会设置非常安全的防火墙

创立普通用户

创立whybigdata用户，并修正whybigdata用户的暗码

[root@hadoop01~]#useraddwhybigdata
[root@hadoop01~]#passwdwhybigdata

装备新用户权限

装备whybigdata用户具有root权限，方便后期加 sudo 履行 root 权限的指令

[root@hadoop01~]#vim/etc/sudoers

修正 /etc/sudoers 文件，在 %wheel 这行下面增加一行，如下所示：

## Allow root to run any commands anywhere
root  ALL=(ALL)   ALL
## Allows people in group wheel to run all commands
%wheel ALL=(ALL)    ALL
whybigdata  ALL=(ALL)   NOPASSWD:ALL

留意：whybigdata这一行不要直接放到root行下面，因为一切用户都归于wheel组，你先装备了whybigdata具有免密功用，但是程序履行到%wheel行时，该功用又被掩盖回需求暗码。所以whybigdata要放到%wheel这行下面。

修正所属主和所属组

在/opt目录下创立文件夹，并修正所属主和所属组

  • 在/opt目录下创立module、software文件夹
[root@hadoop01~]#mkdir/opt/module
[root@hadoop01~]#mkdir/opt/software
  • 修正module、software文件夹的一切者和所属组均为whybigdata用户
[root@hadoop01~]#chownwhybigdata:whybigdata/opt/module
[root@hadoop01~]#chownwhybigdata:whybigdata/opt/software
  • 检查module、software文件夹的一切者和所属组
[root@hadoop01~]#cd/opt/
[root@hadoop01opt]#ll
总用量12
drwxr-xr-x.2whybigdatawhybigdata40965月2817:18module
drwxr-xr-x.2rootroot40969月72017rh
drwxr-xr-x.2whybigdatawhybigdata40965月2817:18software

卸载虚拟机自带的JDK

留意：假如你的虚拟机是最小化装置不需求履行这一步。

[root@hadoop01~]#rpm-qa|grep-ijava|xargs-n1rpm-e--nodeps

shell指令解析如下：

  • rpm -qa：查询所装置的一切rpm软件包
  • grep -i：疏忽大小写
  • xargs -n1：表示每次只传递一个参数
  • rpm -e –nodeps：强制卸载软件

重启虚拟机

重启虚拟机以使得装备生效

[root@hadoop01~]#reboot

2. 克隆虚拟机

克隆三台虚拟机

  • 使用模板机hadoop01，克隆三台虚拟机：hadoop02、hadoop03、hadoop04

留意：克隆时，要先封闭hadoop01

修正克隆机IP

修正克隆机IP，以下以hadoop02举例说明

  • 修正克隆虚拟机的静态IP
[root@hadoop01~]#vim/etc/sysconfig/network-scripts/ifcfg-ens33

修正成

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.132
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2
  • 检查Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8

Hadoop完全分布式运行环境的搭建

Hadoop完全分布式运行环境的搭建

  • 检查Windows体系适配器VMware Network Adapter VMnet8的IP地址

Hadoop完全分布式运行环境的搭建

  • 确保Linux体系ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows体系VM8网络IP地址相同。

修正主机名

修正克隆机主机名，以下以hadoop02举例说明

  • 修正主机称号
[root@hadoop01~]#vim/etc/hostname
hadoop02
  • 装备Linux克隆机主机称号映射hosts文件，翻开 /etc/hosts 
[root@hadoop01~]#vim/etc/hosts

增加如下内容

192.168.10.131 hadoop01
192.168.10.132 hadoop02
192.168.10.133 hadoop03
192.168.10.134 hadoop04

重启克隆机

重启克隆机hadoop02

[root@hadoop01~]#reboot

修正映射文件

修正windows的主机映射文件（hosts文件）

  • 假如操作体系是window7，能够直接修正

    • 进入C:\Windows\System32\drivers\etc途径
    • 翻开hosts文件并增加如下内容，然后保存
192.168.10.131 hadoop01
192.168.10.132 hadoop02
192.168.10.133 hadoop03
192.168.10.134 hadoop04

  • 假如操作体系是Window10，先复制出来，修正保存以后，再掩盖即可

    • 进入C:\Windows\System32\drivers\etc途径

    • 复制hosts文件到桌面

    • 翻开桌面hosts文件并增加如下内容

    192.168.10.131 hadoop01 192.168.10.132 hadoop02 192.168.10.133 hadoop03 192.168.10.134 hadoop04

    • 将桌面hosts文件掩盖C:\Windows\System32\drivers\etc途径hosts文件

全文结束！