文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

hadoop安装(3)

2023-01-31 05:24

关注
zookeeper和hbase安装
#--hbase是Hadoop的数据库,依赖于zookeeper,默认的hbase自带zookeeper
#不是很好用,这里我们自己安装zookeeper
1.下载软件 & 解压软件
    zookeeper.apache.org
    hbase.apache.org
    $ tar -zxvf zookeeper-3.4.11.tar.gz -C /usr/local
    $ tar -zxvf hbase-1.3.1.tar.gz -C /usr/local
2.配置用户环境变量
    export ZK_HOME=/usr/local/zookeeper-3.4.11
    export PATH=$PATH:$ZK_HOME/bin
    export HBASE_HOME=/usr/local/hbase-1.3.1
    export PATH=$PATH:$HBASE_HOME/bin
    $ source ~/.bashrc
3.配置zookeeper(这里是三个节点的zookeeper)
    3.1在master节点配置
    $ cp zoo_sample.cfg zoo.cfg
    #修改以下几个地方
    dataDir=/usr/local/zookeeper/data
    server.1=bigdata1:2888:3888
    server.2=bigdata2:2888:3888
    server.3=bigdata3:2888:3888
    #修改日志的目录,日志类型
    $ vim log4j.properties
    zookeeper.root.logger=INFO, ROLLINGFILE
    log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender
    $ vim zkEnv.sh
    ZOO_LOG_DIR="/usr/local/zookeeper-3.4.11/logs"
    ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
    #创建所需的目录,三个节点都需要这么创建
    $ sudo mkdir /usr/local/zookeeper-3.4.11/logs/
    $ sudo chown -R hadoop.hadoop /usr/local/zookeeper-3.4.11/logs
    $ sudo mkdir -p /usr/local/zookeeper/data
    $ sudo chown -R hadoop.hadoop /usr/local/zookeeper/
    #创建节点myid文件,其它的节点需要改变,这里的id对应着zoo.cfg里的id
    $ sudo echo "1" >/usr/local/zookeeper/data/myid
    #拷贝文件到另外的节点
    $ sudo scp -r zookeeper-3.4.11/ bigdata2:/usr/local/
    $ sudo scp -r zookeeper-3.4.11/ bigdata3:/usr/local/
    $ sudo scp -r zookeeper bigdata2:/usr/local/
    $ sudo scp -r zookeeper bigdata3:/usr/local/
    #启动
    $ zkServer.sh
    #检查 
    $ ps -ef|grep zoo
4.配置hbase
    $ vim hbase-site.xml 
    <configuration>
    <property>
        <name>hbase.tmp.dir</name>
        <value>/usr/local/hbase/tmp</value>
    </property>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://bigdata1:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookper.quorum</name>
        <value>bigdata1,bigdata2,bigdata3</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/zookeeper/</value>
    </property>
    </configuration>
    #配置slave节点
    $ vim regionservers
    bigdata2
    bigdata3
    #配置java和zookeeper,false是不使用hbase自带的zookeeper
    $ vim hbase-env.sh 
    export JAVA_HOME=/usr/local/jdk1.8.0_144/
    export HBASE_MANAGES_ZK=false
    #默认的日志位置就在logs下,但安装包没有创建,这里我们手动创建下,每个节点都要创建
    $ sudo mkdir /usr/local/hbase-1.3.1/logs
    $ sudo chown -R hadoop.hadoop /usr/local/hbase-1.3.1/logs/
5.拷贝hbase文件到其它节点上
    $ sudo scp -r hbase-1.3.1/ bigdata2:/usr/local/
    $ sudo scp -r hbase-1.3.1/ bigdata3:/usr/local/
6.启动hbase
    $ start-hbase.sh
7.查看日志输出,一次情况根据日志处理
8.默认web地址
 http://master-ip:16010
阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯