基于idea如何操作hbase数据库并映射到hive表

这篇文章主要介绍了基于idea如何操作hbase数据库并映射到hive表的相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇基于idea如何操作hbase数据库并映射到hive表文章都会有所收获，下面我们一起来看看吧。

依赖条件：需要有Hadoop，hive，zookeeper，hbase环境

映射：每一个在 Hive 表中的域都存在于 HBase 中，而在 Hive 表中不需要包含所有HBase 中的列。HBase 中的 RowKey 对应到 Hive 中为选择一个域使用 :key 来对应，列族(cf:)映射到 Hive 中的其它所有域，列为(cf:cq)

配置映射环境

一：先关闭所有服务

[root@siwen ~]# stop-hbase.sh -----关闭hbase

[root@siwen ~]# zkServer.sh stop -----关闭zookeeper

[root@siwen ~]# stop-alll.sh -----关闭hadoop

二：配置文件

1，修改host文件：

C:\Windows\System32\drivers\etc在此目录下的hosts文件把此机器的ip和hostname加入进去

2，修改hive-site.xml

[root@siwen ~]# cd /opt/soft/hive312/conf/

[root@siwen conf]# vim ./hive-site.xml

加入下面几行

  <property>    <name>hive.zookeeper.quorum</name>    <value>192.168.255.159</value>  </property>  <property>    <name>hbase.zookeeper.quorum</name>    <value>192.168.255.159</value>  </property>  <property>    <name>hive.aux.jars.path</name>    <value>file:///opt/soft/hive312/lib/hive-hbase-handler-3.1.2.jar,file:///opt/soft/hive312/lib/zookeeper-3.4.6.jar,file:///opt/soft/hive312/lib/hbase-client-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5-tests.jar,file:///opt/soft/hive312/lib/hbase-server-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-protocol-2.3.5.jar,file:///opt/soft/hive312/lib/htrace-core-3.2.0-incubating.jar</value>  </property>

3，拷贝jar包

①将hbase235/lib目录下所有的jar包都拷贝到hive下面

[root@siwen conf]# cp /opt/soft/hbase235/lib

5，编写查看表结构的方法

    @Test    public void getAllNamespace() throws IOException {        List<TableDescriptor> tableDesc = admin.listTableDescriptorsByNamespace("bigdata".getBytes());        System.out.println(tableDesc.toString());    }

6，编写插入数据方法

   @Test   public void insertData() throws IOException {        //获取表的信息        Table table = conn.getTable(TableName.valueOf("bigdata:student"));        //设置行键        Put put = new Put(Bytes.toBytes("student1"));        //设置列的标识以及列值        put.addColumn("info1".getBytes(), "name".getBytes(), "zs".getBytes());        put.addColumn("info2".getBytes(), "school".getBytes(), "xwxx".getBytes());        //执行添加        table.put(put);         //使用集合添加数据        Put put2 = new Put(Bytes.toBytes("student2"));        put2.addColumn("info1".getBytes(), "name".getBytes(), "zss".getBytes());        put2.addColumn("info2".getBytes(), "school".getBytes(), "xwxx".getBytes());        Put put3 = new Put(Bytes.toBytes("student3"));        put3.addColumn("info1".getBytes(), "name".getBytes(), "zsr".getBytes());        put3.addColumn("info2".getBytes(), "school".getBytes(), "xwxx".getBytes());        List<Put> list = new ArrayList<>();        list.add(put2);        list.add(put3);        table.put(list);    }

7，编写查询指定数据的方法

    #查询student1的信息    @Test    public void queryData() throws IOException {        Table table = conn.getTable(TableName.valueOf("bigdata:student"));        Get get = new Get(Bytes.toBytes("student1"));        Result result = table.get(get);        byte[] value = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name"));        System.out.println("姓名："+Bytes.toString(value));        value = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("school"));        System.out.println("学校："+Bytes.toString(value));    }

8，编写扫描数据的方法（所有数据）

    @Test    public void scanData() throws IOException {        Table table = conn.getTable(TableName.valueOf("kb21:student"));        Scan scan = new Scan();        ResultScanner scanner = table.getScanner(scan);        for (Result result : scanner) {            byte[] value = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name"));            System.out.println("姓名："+Bytes.toString(value));            value = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("school"));            System.out.println("学校："+Bytes.toString(value));            System.out.println(Bytes.toString(result.getRow()));        }    }

9，编写删除表的方法

     @Test    public void deleteTable() throws IOException {        //先禁用        admin.disableTable(TableName.valueOf("bigdata:student"));        //再删除        admin.deleteTable(TableName.valueOf("bigdata:student"));    }

创建外部表

---------主要外部表的字段需要和Hbase中的列形成映射

create external table student(    id string,    name string,    school string)stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' withserdeproperties ("hbase.columns.mapping"=":key,info1:name,info2:school")tblproperties ("hbase.table.name"="bigdata:student");

select * from student

关于“基于idea如何操作hbase数据库并映射到hive表”这篇文章的内容就介绍到这里，感谢各位的阅读！相信大家对“基于idea如何操作hbase数据库并映射到hive表”知识都有一定的了解，大家如果还想学习更多知识，欢迎关注编程网行业资讯频道。