文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Hadoop中怎么配置HBase单机环境

2024-04-02 19:55

关注

Hadoop中怎么配置HBase单机环境,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

  Hadoop HBase 单机环境怎么配置

  在初接触Hadoop和Hbase的时候,大多数技术人员只希望通过简单的方法初步搭起框架环境,但我找了好多安装手册都是上来就部署集群分布环境(尽管做Hadoop就是为了这个目的),搭建集群环境的时候要设置ssh协议访问权限,要生成访问公钥,并且slaves配置上的小错误也会导致整个部署问题重重,所以我在部署成功后记录下最简单运行的standalone模式的安装配置过程,希望初学者在需要的时候能找到这个小小的guide,以后有时间我会再把集群配置的方法写出来.

  开始:

  1.在Apache/Hadoop项目的网站(hadoop.apache.org)下载hadoop以及hbase的发行包,此处两个发行包的大版本号一定要一致,譬如都是0.18版本:

  hadoop-0.18.2.tar.gz

  hbase-0.18.1.tar.gz

  2.使用root身份登录目标服务器系统(Suse10 Linux),首先安装java虚拟机,这个比较简单,随便找个绿色的解压就可以了,在这个例子里面我使用IBM WAS6.1附带的jdk,它的home目录是/opt/IBM/WebSphere/AppServer/java,我们只需要配置系统的环境变量就可以了.

  编辑全局环境变量文件/etc/profile,在文件后面添加

  export JAVA_HOME=/opt/IBM/WebSphere/AppServer/java

  export PATH=$JAVA_HOME:$PATH

  保存profile文件后使用

  source /etc/profile

  命令重新加载profile,然后随便在一个目录下面运行

  java -version

  查看javahome环境变量和path变量是否被正确加载.

  另外到 /etc/hosts 文件中查看主机映射是否存在,例如 127.0.0.1 localhost 或者什么其他的名字,在这里默认配置本机为localhost,如果需要做分布式的话,本机要做namenode,所以要把所有的datanode的host添加到这里面.

  3.创建hadoop用户,

  useradd hadoop

  可以用

  passwd hadoop

  修改hadoop用户的登录密码.

  4.创建hadoop用户的home目录,如果打算在别处安装hadoop/hbase的话可以不这样做,这里我们默认将hadoop/hbase安装在/home/${username}目录下.

  cd /home

  mkdir hadoop

  将目录用户指派给hadoop

  chown hadoop hadoop

  改变目录权限,这里我们配大一些,其实只要644就足够了:

  chmod 755 hadoop

  5.使用hadoop用户登录系统,将下载的两个发行包文件传到/home/hadoop目录下面,然后给它们加上执行权限:

  chmod a+x hadoop-0.18.2.tar.gz

  chmod a+x hbase-0.18.1.tar.gz

  Hadoop HBase 单机环境怎么配置

  6.解压hadoop:

  tar zxvf hadoop-0.18.2.tar.gz

  这样做会在/home/hadoop目录下解压hadoop发行包并创建到/home/hadoop/hadoop-0.18.2目录中,这里可以详细设计目录结构并创建link文件来方便日后升级等工作,这里我们先简单放在这里.

  7.修改hadoop环境脚本:

  修改文件/home/hadoop/hadoop-0.18.2/conf/hadoop-env.sh,在其中加入JAVA_HOME变量:

  export JAVA_HOME=/opt/IBM/WebSphere/AppServer/java

  HADOOP_HOME变量我们可以不设置,默认的情况是指定HADOOP_HOME为运行启动脚本当前目录的父目录.

  8.修改hadoop启动配置:

  参照默认配置文件/home/hadoop/hadoop-0.18.2/conf/hadoop-default.xml 修改用户配置文件/home/hadoop/hadoop-0.18.2/conf/hadoop-site.xml,hadoop启动的时候会加载默认配置文件,然后读取用户配置文件并使用用户配置文件中的属性替换默认配置文件中的值,这里最简单的情况我们只需要修改如下几项即可,如果需要做分布的话也是要在这个文件里面进行配置.将要修改的配置项简单的放到hadoop-site.xml文件的中去:

  fs.default.name

  hdfs://localhost:9000/

  mapred.job.tracker

  localhost:9001

  9.格式化nodename及启动hdfs守护进程:

  /home/hadoop/hadoop-0.18.2/bin/hadoop namenode -format

  /home/hadoop/hadoop-0.18.2/bin/start-all.sh

  使用shart-all.sh可以方便的启动所有的hdfs守护进程,如果想关闭这些守护进程可以使用stop-all.sh脚本.

  启动过程中需要输入登录密码.

  启动成功后可以用以下简单方法测试hdfs:

  /home/hadoop/hadoop-0.18.2/bin/hadoop dfs -mkdir dir4test

  /home/hadoop/hadoop-0.18.2/bin/hadoop dfs -ls

  /home/hadoop/hadoop-0.18.2/bin/hadoop dfs -put /home/hadoop/file4test.zip file4test_temp.zip

  相当于linux系统下的mkdir ls cp命令.

  用浏览器访问 http://localhost:50030/ 和 http://localhost:50070/ 可以查看hdfs拓扑结构和job进程还有hdfs文件系统结构.

  10.解压hbase发行包:

  tar zxvf hbase-0.18.1.tar.gz

  11.修改hbase环境脚本:

  修改文件/home/hadoop/hbase-0.18.1/conf/hbase-env.sh,在其中加入JAVA_HOME变量:

  export JAVA_HOME=/opt/IBM/WebSphere/AppServer/java

  简单启动暂时不需要在用户配置文件/home/hadoop/hbase-0.18.1/conf/hbase-site.xml添加任何替代属性.

  12.启动hbase:

  /home/hadoop/hbase-0.18.1/bin/start-hbase.sh

  成功启动hbase的守护进程.

  启动hbase hql shell:

  /home/hadoop/hbase-0.18.1/bin/hbase shell

  在hql shell中可以进行hbase数据操作,如果需要帮助信息可以键入:

  hbase>help

  简单测试hbase:

  在hbase shell下:

  hbase>create 't1','f1','f3'

  hbase>list

  使用浏览器访问 http://localhost:60010/ 可以查看当前hbase信息.

  启动hbase REST服务:

  /home/hadoop/hbase-0.18.1/bin/hbase rest start

  成功启动hbase REST服务后就可以通过对uri: http://localhost:60050/api/ 的通用REST操作(GET/POST/PUT/DELETE)实现对hbase的REST形式数据操作。

关于Hadoop中怎么配置HBase单机环境问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注亿速云行业资讯频道了解更多相关知识。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     807人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     351人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     314人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     433人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     221人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯