文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

怎么在vmware中搭建一个Hadoop集群环境

2023-06-14 10:56

关注

怎么在vmware中搭建一个Hadoop集群环境?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

  1. 先在虚拟机中关闭系统

  2. 右键虚拟机,点击管理,选择克隆

怎么在vmware中搭建一个Hadoop集群环境

点击下一步,选择完整克隆,选择路径即可

怎么在vmware中搭建一个Hadoop集群环境
怎么在vmware中搭建一个Hadoop集群环境

怎么在vmware中搭建一个Hadoop集群环境


1.创建Hadoop用户(在master,node1,node2执行)

顺序执行以下命令即可

创建hadoop用户

sudo useradd -m hadoop -s /bin/bash

设置用户密码(输入两次)

sudo passwd hadoop

添加权限

sudo adduser hadoop sudo

切换到hadoop用户(这里要输入刚刚设置的hadoop密码)

su hadoop

运行截图展示(以master虚拟机为例)

怎么在vmware中搭建一个Hadoop集群环境


2.更新apt下载源(在master,node1,node2执行)

sudo apt-get update

截图展示(以master为例)

怎么在vmware中搭建一个Hadoop集群环境

3. 安装SSH、配置SSH免密登录 (在master,node1,node2执行)

安装SSH

sudo apt-get install openssh-server

配置SSH免密登录

ssh localhostexit cd ~/.ssh/ ssh-keygen -t rsa #一直按回车cat ./id_rsa.pub >> ./authorized_keys

验证免密

ssh localhostexit cd ~/.ssh/ ssh-keygen -t rsa #一直按回车cat ./id_rsa.pub >> ./authorized_keys

截图展示(以master为例)

怎么在vmware中搭建一个Hadoop集群环境


4.安装Java环境 (在master,node1,node2执行)

下载 JDK 环境包

sudo apt-get install default-jre default-jdk

配置环境变量文件

vim ~/.bashrc

在文件首行加入

export JAVA_HOME=/usr/lib/jvm/default-java

4,。让环境变量生效

source ~/.bashrc

验证

java -version

截图展示(以master为例)

怎么在vmware中搭建一个Hadoop集群环境

修改主机名(在master,node1,node2执行)

将文件中原有的主机名删除,master中写入master,node1中写入node1,node2…(同理)

sudo vim /etc/hostname

重启三个服务器

reboot

重启成功后,再次连接会话,发现主机名改变了

截图展示(以node1为例)

怎么在vmware中搭建一个Hadoop集群环境


修改IP映射(在master,node1,node2执行)

查看各个虚拟机的ip地址

ifconfig -a

如果有报错,则下载 net-tools ,然后再运行即可看到

sudo apt install net-tools

如下图,红色方框内的就是 本台虚拟机的 ip 地址
怎么在vmware中搭建一个Hadoop集群环境

3台虚拟机中都需要在 hosts 文件中加入对方的ip地址

sudo vim /etc/hosts

以master为例截图展示
怎么在vmware中搭建一个Hadoop集群环境


SSH免密登录其他节点(在master上执行)

在Master上执行

cd ~/.ssh rm ./id_rsa*  # 删除之前生成的公匙(如果有)ssh-keygen -t rsa # 一直按回车就可以cat ./id_rsa.pub >> ./authorized_keysscp ~/.ssh/id_rsa.pub hadoop@node1:/home/hadoop/scp ~/.ssh/id_rsa.pub hadoop@node2:/home/hadoop/

怎么在vmware中搭建一个Hadoop集群环境

在node1,node2都执行

cat ~/id_rsa.pub >> ~/.ssh/authorized_keysrm ~/id_rsa.pub # 用完就删掉

怎么在vmware中搭建一个Hadoop集群环境

验证免密登录

ssh node1exitssh node2exit

以master为例截图展示

怎么在vmware中搭建一个Hadoop集群环境


安装hadoop3.2.1(在master中执行)

有些镜像的下载网址失效了,这里贴出官网的下载地址。

下载网址:hadoop3.2.1下载网址

下载好,之后通过VMware-Tools上传到master的/home/hadoop中

怎么在vmware中搭建一个Hadoop集群环境
解压

cd /home/hadoopsudo tar -zxf hadoop-3.2.1.tar.gz -C /usr/local #解压cd /usr/local/sudo mv ./hadoop-3.2.1/ ./hadoop  # 将文件夹名改为hadoopsudo chown -R hadoop ./hadoop # 修改文件权限

验证

cd /usr/local/hadoop./bin/hadoop version

怎么在vmware中搭建一个Hadoop集群环境


配置hadoop环境(这一步需要很仔细)

配置环境变量

vim ~/.bashrc

在首行中写入

export HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

使得配置生效

source ~/.bashrc

创建文件目录(为后面的xml做准备)

cd /usr/local/hadoopmkdir dfscd dfsmkdir name data tmpcd /usr/local/hadoopmkdir tmp

配置hadoop的java环境变量

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
vim $HADOOP_HOME/etc/hadoop/yarn-env.sh

两个的首行都写入

export JAVA_HOME=/usr/lib/jvm/default-java

(master中)配置nodes

cd /usr/local/hadoop/etc/hadoop

删除掉原有的localhost,因为我们有2个node,就把这2个的名字写入

vim workers
node1node2

配置 core-site.xml

vim core-site.xml

因为我们只有一个namenode,所以用fs.default.name,不采用fs.defalutFs

其次确保/usr/local/hadoop/tmp这个目录存在

<configuration> <property> <name>fs.default.name</name> <value>hdfs://Master:9000</value> </property>  <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property></configuration>

配置 hdfs-site.xml

vim hdfs-site.xml

dfs.namenode.secondary.http-address确保端口不要和core-site.xml中端口一致导致占用

确保/usr/local/hadoop/dfs/name :/usr/local/hadoop/dfs/data 存在

因为我们只有2个node,所以dfs.replication设置为2

<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>Master:9001</value> </property>  <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/dfs/name</value> </property>  <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/dfs/data</value> </property>  <property> <name>dfs.replication</name> <value>2</value> </property></configuration>

配置mapred-site.xml

vim mapred-site.xml
<configuration> <property>  <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>

配置 yarn-site.xml

vim yarn-site.xml
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>Master</value> </property>  <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>  </property>  <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property></configuration>

将hadoop压缩

cd /usr/localtar -zcf ~/hadoop.master.tar.gz ./hadoop #压缩cd ~

复制到node1中

scp ./hadoop.master.tar.gz node1:/home/hadoop

复制到node2中

scp ./hadoop.master.tar.gz node2:/home/hadoop

在node1、node2上执行
解压

sudo rm -r /usr/local/hadoop # 删掉旧的(如果存在)sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local #解压sudo chown -R hadoop /usr/local/hadoop #修改权限

首次启动需要先在 Master 节点执行 NameNode 的格式化,之后不需要

hdfs namenode -format

(注意:如果需要重新格式化 NameNode ,才需要先将原来 NameNode 和 DataNode 下的文件全部删除!!!!!!!!!)

#看上面的文字,不要直接复制了rm -rf $HADOOP_HOME/dfs/data/*rm -rf $HADOOP_HOME/dfs/name/*

启动 (在master上执行)

start-all.shmr-jobhistory-daemon.sh start historyserver

master中,出现Warning不影响

jps

运行截图展示

怎么在vmware中搭建一个Hadoop集群环境


关闭hadoop集群(在master上执行)

stop-all.shmr-jobhistory-daemon.sh stop historyserver

运行截图展示

怎么在vmware中搭建一个Hadoop集群环境


看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注编程网行业资讯频道,感谢您对编程网的支持。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯