文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

HADOOP/HBase动态新增节点

2024-04-02 19:55

关注

1. 检查JDK版本是否相同并拷贝JDK,并配置/etc/profile文件的JAVA_HOME和CLASSPATH属性

2. 配置/etc/hosts文件,新增新加机器的计算机名,包括原有机器和新增机器都要修改该文件

3. 拷贝hadoop-2.6.0和hbase-1.0.1.1,并把hadoop-2.6.0和hbase-1.0.1.1文件夹的文件所有者和文件所属组改成hadoop

4. 配置Master到Slave的无密码登录

5. 设置机器句柄数,修改/etc/security/limits.conf,详见http://beyond3518.blog.51cto.com/1360525/1764190

6. 安装snappy

    6.1 安装软件: Gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3, glibc

           安装方法 : yum install xxx

    6.2 安装glibc方法 : 

            6.2.1 到192.168.9.110的/data/server/glibc-2.14.tar.gz拷贝文件,把该文件拷贝到/usr/local目录下

            6.2.2 进入/usr/local目录下, cd /usr/local

            6.2.3 解压glibc-2.14.tar.gz,  tar -zxvf glibc-2.14.tar.gz

            6.2.4 新建目录/usr/local/glibc, mkdir /usr/local/glibc

            6.2.5 进入/usr/local/glibc目录, cd /usr/local/glibc

            6.2.6 运行命令 export CFLAGS="-g -O2"

            6.2.7 运行命令 /usr/local/glibc-2.14/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

            6.2.8 运行命令 make

            6.2.9 运行命令 make install

            6.2.10 验证是否安装成功 : 

                        运行命令 : ll /lib64/libc.so.6 , 如果显示结果 /lib64/libc.so.6 -> libc-2.14.so , 则安装成功


7. 修改hadoop的slaves配置文件,添加新增节点,并把该配置文件发送到所有其他节点上去

8. 添加Datanode

对于新添加的Datanode节点,需要启动datanode进程,从而将其添加到集群

    8.1 在新增的节点上,运行sbin/hadoop-daemon.sh start datanode 启动datanode进程

    8.2 在新增的节点上, 运行sbin/yarn-daemon.sh start nodemanager 启动nodemanager进程

    8.3 然后在namenode通过hdfs dfsadmin -report查看集群情况

    8.4 最后还需要对hdfs负载设置均衡,因为默认的数据传输带宽比较低,可以设置为64M,即hdfs dfsadmin -setBalancerBandwidth 67108864即可

    8.5 默认balancer的threshold为10%,即各个节点与集群总的存储使用率相差不超过10%,我们可将其设置为5%

    8.6 然后启动Balancer,sbin/start-balancer.sh -threshold 5,等待集群自均衡完成即可

9. 添加Nodemanager

由于Hadoop 2.X引入了YARN框架,所以对于每个计算节点都可以通过NodeManager进行管理,同理启动NodeManager进程后,即可将其加入集群

    9.1 在新增节点,运行sbin/yarn-daemon.sh start nodemanager即可

    9.2 在ResourceManager,通过yarn node -list查看集群情况

10. 修改hbase的regionservers配置文件,添加新增节点.并把该配置文件发送到所有其他节点

11. 在新增的节点上,启动regionserver. 运行hbase-daemon.sh start regionserver即可


12. 修改InputService/StoreService服务器的/etc/hosts文件,添加新节点的域名

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯