文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

hadoop基于Linux7的安装配置图文详解

2022-06-04 23:18

关注

在这里插入图片描述在这里插入图片描述 

如上图 准备好该准备的食材(ps:其中的hadoop-3.1.2-src更改为hadoop-3.1.2

src为源文件的意思? 反正就是换了 大家注意一下 后面截图有错的地方有空我再改吧 肝疼)

安装好centos7

在这里插入图片描述

桌面右键打开terminal——输入ifconfig——查看ens33的ip——记住然后打开xftp6

在这里插入图片描述

点击新建

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

把食材多选,右键传输即可,内网传输速度不快不慢 

所示很完美了

在这里插入图片描述 在这里插入图片描述 在这里插入图片描述

解压hadoop安装包 tar -zxvf hadoop-3.1.2-src.tar.gz

在这里插入图片描述

重新装了centos7 解压的时候分文件夹了

在这里插入图片描述 在这里插入图片描述

如上图编写

在这里插入图片描述 在这里插入图片描述 在这里插入图片描述 在这里插入图片描述

打开xshell 新建

在这里插入图片描述 

输入你的主机ip 在用户身份验证上写上用户名和密码

在这里插入图片描述

在这里插入图片描述 在这里插入图片描述

yes就完事了——然后三台机器都需要改了名字

在这里插入图片描述

时间同步 时区一致。要保证设置主机时间准确,每台机器时区必须一致。实验中我们需要同步网络时间,因此要首先选择一样的时区。先确保时区一样,否则同步以后时间也是有时区差。可以使用 date 命令查看自己的机器时间. 选择时区:tzselect

在这里插入图片描述

1.关闭防火墙

当其状态是 dead 时,即防火墙关闭。 关闭防火墙:systemctl stop firewalld 查看状态:systemctl status firewalld

2. hosts文件配置 (三台机器) 如下图输入各节点的ip

在这里插入图片描述 

3. master 作为 ntp 服务器,修改 ntp 配置文件。(master 上执行)


vi /etc/ntp.conf
	server 127.127.1.0 # local clock
	fudge 127.127.1.0 stratum 10 #stratum 设置为其它值也是可以的,其范围为 0~15

在这里插入图片描述


	重启 ntp 服务。
	/bin/systemctl restart ntpd.service

	其他机器同步(slave1,slave2)
	等待大概五分钟,再到其他机上同步该 master 服务器时间。
	ntpdate master

	如果配置平台式没有外网连接可以将三台机器设为统一时间,输入命令:
	date -s 10:00(时间)

在这里插入图片描述

终于走到正题??? 别慌快了

1. SSH免密

(1)每个结点分别产生公私密钥:

ssh-keygen -t dsa -P ‘' -f ~/.ssh/id_dsa(三台机器)
秘钥产生目录在用户主目录下的.ssh 目录中,进入相应目录查看:
cd .ssh/

在这里插入图片描述

(2)Id_dsa.pub 为公钥,id_dsa 为私钥,紧接着将公钥文件复制成 authorized_keys 文 件:(仅 master)

cat id_dsa.pub >> authorized_keys(注意在.ssh/路径下操作)

在这里插入图片描述

在主机上连接自己,也叫做 ssh 内回环。
ssh master

在这里插入图片描述

(3)让主结点 master 能通过 SSH 免密码登录两个子结点 slave。(slave 中操作)

为了实现这个功能,两个 slave 结点的公钥文件中必须要包含主结点的公钥信息,这样
当 master 就可以顺利安全地访问这两个 slave 结点了。
slave1 结点通过 scp 命令远程登录 master 结点,并复制 master 的公钥文件到当前的目录
下,且重命名为 master_das.pub,这一过程需要密码验证。

scp master:~/.ssh/id_dsa.pub ./master_das.pub

在这里插入图片描述

将 master 结点的公钥文件追加至 authorized_keys 文件:

cat master_das.pub >> authorized_keys

(1)每个结点分别产生公私密钥: ssh-keygen -t dsa -P ‘' -f ~/.ssh/id_dsa(三台机器)秘钥产生目录在用户主目录下的.ssh 目录中,进入相应目录查看: cd .ssh/  (2)Id_dsa.pub 为公钥,id_dsa 为私钥,紧接着将公钥文件复制成 authorized_keys 文 件:(仅 master) cat id_dsa.pub >> authorized_keys(注意在.ssh/路径下操作)  在主机上连接自己,也叫做 ssh 内回环。 ssh master

在这里插入图片描述 这时,

master 就可以连接 slave1 了。

在这里插入图片描述

slave1 结点首次连接时需要,“yes”确认连接,这意味着 master 结点连接 slave1 结点时需要人工询问,无法自动连接,输入 yes 后成功接入,紧接着注销退出至 master 结点。

   同理 slave2 中也是这么操作

jdk之前已经安装好了,所以我们直接来配环境,就和windows的时候配环境变量一个道理(三台)


修改环境变量:vi /etc/profile
> 添加内容如下:
> export java_HOME=/usr/java/jdk1.8.0_241
> export CLASSPATH=$JAVA_HOME/lib/export
> PATH=$PATH:$JAVA_HOME/bin
> export PATH JAVA_HOME CLASSPATH

生效环境变量:source /etc/profile

插播一个小技巧scp

在这里插入图片描述


scp /etc/profile slave1:/etc/profile ##这样就可以传给slave1 和slave2了

终于到hadoop了??? 恭喜宁!


配置环境变量:
vi/etc/profile
export HADOOP_HOME=/usr/hadoop/hadoop-3.1.2
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

我经常忘的一步大声告诉我是什么!

使用以下命令使profile生效: source /etc/profile

温馨提示 下面就是配置文件的内容了 本文暂时不做讲解内容但是我已经给大家准备好标准的配置文件了

在这里插入图片描述

编辑hadoop环境配置文件hadoop-env.sh


export JAVA_HOME=/usr/java/jdk1.8.0_241
在这个文件里面会有好多注释的语句,找到你要配置的模板把井号删除完善即可 耐心找一下

然后我偷懒的地方就要到了!!!!!我上传了几个配置文件 我们复制到这个文件夹中即可 系统提示是否覆盖时候就输入y即可


core-site.xml yarn-site.xml hdfs-site.xml mapred-site.xml

在这里插入图片描述

还需要写一下slave文件 加上slave1 slave2如下图

在这里插入图片描述

还有master文件

在这里插入图片描述


BMKkW(9)分发hadoop:
scp -r /usr/hadoop root@slave1:/usr/
scp -r /usr/hadoop root@slave2:/usr/

master中格式化hadoop hadoop namenode -format 如果报错的话 看看是不是如下链接的错误 里面有解决办法

总结

以上所述是小编给大家介绍的hadoop基于linux7的安装配置图文详解,希望对大家有所帮助!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-人工智能
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯