环境搭建-CentOS集群搭建

2022-12-25,,,

环境搭建-CentOS集群搭建

写在前面

最近有许多小伙伴问我,大数据的hadoop分布式集群该如何去搭建。所以,想着,就写一篇博客,帮助到更多刚入门大数据的人。本博客会一步一步带你实现一个Hadoop的搭建。跟着博客上面的步骤,很详细的。你很快就会有一个自己的hadoop集群啦。

我是在自己的windows机器上使用virtualBox来虚拟三台机器,作为实验的环境。

实验环境

Windows 宿主机:Windows 10 (其余也是可以的)

VirtualBox 版本:VirtualBox 5.1.22

CentOS 版本:CentOS 6.9

Xshell 版本:Xshell 5

可能许多的小伙伴,会因为找软件比较麻烦。我这里直接分享在了我的百度云的链接,方便大家下载:

链接:http://pan.baidu.com/s/1c24gbUK 密码:8h1r

接下来,我们就开始创建虚拟机

使用VirtualBox创建虚拟机

使用VirtualBox创建三台CentOS作为项目实验集群。

跟着下面的步骤就好:

打开virtualBox软件,我们new一个:

接下来,我们点击设置按钮

设置我们的存储,把我们的镜像添加进去

设置我们的网络连接(很重要)

上面的设置完成之后,我们就可以开启,开始安装centos

接下来的两项默认就好,这里需要注意一下

设置时区为亚洲,上海

设置密码,我这里为了方便,直接设置为123456

由于密码安全太低,这里选择不管如何都使用就好

磁盘分区,默认就好

等待它自己安装,这个时候,你也可以按照这个步骤再去新建两台机器

会出现reboot的按钮,重启就好

重启之后,我们输入账号密码,进入:

一开始是没有ip的,是需要我们设置的,

设置IP

设置 网卡onboot=yes即可,自动获取

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]#
[root@localhost network-scripts]# vi ifcfg-eth0
DEVICE=eth0
HWADDR=08:00:27:72:EC:EE
TYPE=Ethernet
UUID=6b262313-ddd5-4a97-bb75-771ea5621f91
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=dhcp
#:wq 保存退出

重新启动网络

[root@localhost network-scripts]# service network restart

测试,去ping百度:

到这里我们的centos就安装好了,说明一下,网络一定要连通,不然,后面,会比较麻烦。

依据,这个操作,我们再重新新建两台机器。

使用Xshell连接我们的服务器

xshell这个软件还是很好用得,

新建连接

接下来,就是输入用户和密码,输入就好。

这里把下面的框选上,这样以后就不用输账号密码了

上面就表示登录成功了

安装常用软件

下面安装lrzsz这个软件,是用来传输文件的,比较实用的一个软件,当然,你也可以选择自己的方式

[root@localhost ~]# yum -y install lrzsz
.... Installed:
lrzsz.x86_64 0:0.12.20-27.1.el6 Complete!

好啦,到这里我们就安装好了

安装JDK环境

在开始安装之前,

我们先新建一个目录,这样比较规范,这个看个人习惯就好

[root@localhost ~]#
[root@localhost ~]# mkdir app
[root@localhost ~]# mkdir softwares
[root@localhost ~]#
[root@localhost ~]# mkdir lib
[root@localhost ~]#
[root@localhost ~]# mkdir data
[root@localhost ~]#
#app软件安装的目录
#softwares软件的存放目录
#lib架包的存放目录
#data测试的数据存放目录

接下来,我们把jdk文件上传到我们的服务器,

使用rz命令

上传完毕之后,就开始解压到app目录下

[root@localhost softwares]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C ../app/

解压完毕之后,就可以配置环境变量

[root@localhost ~]# vim ~/.bash_profile
# .bash_profile # Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi export JAVA_HOME=/root/app/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH

再source一下,使得我我们的环境变量生效,

[root@localhost ~]# source ~/.bash_profile
[root@localhost ~]#
[root@localhost ~]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
[root@localhost ~]#

到这里,我们就安装好了我们的JDK环境

至于,另外的两台,我们可以先不用配置,后面,我们可以直接scp过去。

补充说明一下,有的小伙伴可能会发现,我创建过程中的名称为hadoop004,这是因为,我之前做hadoop000的时候,做好了,忘记保存了,就丢失了,这是我补充的。码字不易,不洗勿喷。

到这里,我最终配置好的centos集群是:

hadoop000 192.168.1.61

hadoop001 192.168.1.62

hadoop002 192.168.1.63

,接下来,就可以开始Hadoop集群的搭建了,后面的地址是:

http://blog.csdn.net/liuge36/article/details/78613910

环境搭建-CentOS集群搭建的相关教程结束。

《环境搭建-CentOS集群搭建.doc》

下载本文的Word格式文档,以方便收藏与打印。