HBase集成Hive

Hive提供了与HBase的集成，使得能够在HBase表上使用hive sql 语句进行查询、插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到Hbase中

1 HBase与Hive的对比

1.1 Hive

• 数据仓库管理系统
  Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。
• 用于数据分析、清洗
  Hive适用于离线的数据分析和清洗，延迟较高
• 基于HDFS、MapReduce(或者其他计算引擎如：Tez、Spark)
  Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。（不要钻不需要执行MapReduce代码的情况的牛角尖）

1.2 HBase

• 数据库管理系统
  是一种面向列存储的非关系型数据库。
• 用于存储结构化和非结构话的数据
  适用于单表非关系型数据的存储，不适合做关联查询，类似JOIN等操作。
• 基于HDFS
  数据持久化存储的体现形式是Hfile，存放于DataNode中，被ResionServer以region的形式进行管理。
• 延迟较低，接入在线业务使用
  面对大量的企业数据，HBase可以直线单表大量数据的存储，同时提供了高效的数据访问速度。

1.3 总结：Hive与HBase

• Hive和Hbase是两种基于Hadoop的不同技术，Hive是一种类SQL的引擎，并且运行MapReduce任务，Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。
  这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，
  数据也可以从Hive写到HBase，或者从HBase写回Hive。

我们来做2个小案例，Hive中表数据导入到Hbase中，Hbase中的表数据导入到Hive
注意：请确保安装Hadoop、zookeeper、hive、hbase、mysql，具体安装过程请查看其他博客文章

Hive整合Hbase

1 拷贝jar包

• 将我们HBase的五个jar包拷贝到Hive的lib目录下
• Hbase的jar包都在/bigdata/install/hbase-2.2.6/lib
• 我们需要拷贝五个jar包名字如下

hbase-client-2.2.6.jar
hbase-hadoop2-compat-2.2.6.jar
hbase-hadoop-compat-2.2.6.jar
hbase-it-2.2.6.jar
hbase-server-2.2.6.jar

• 在hadoop02执行以下命令

cd  /bigdata/install/hbase-2.2.6/lib
cp hbase-protocol-2.2.6.jar   /bigdata/install/hive-3.1.2/lib/
cp hbase-server-2.2.6.jar  /bigdata/install/hive-3.1.2/lib/
cp hbase-client-2.2.6.jar  /bigdata/install/hive-3.1.2/lib/                 
cp hbase-common-2.2.6.jar   /bigdata/install/hive-3.1.2/lib/                      
cp hbase-common-2.2.6-tests.jar   /bigdata/install/hive-3.1.2/lib/  

2 修改hive的配置文件

• 编辑hadoop02服务器上面的Hive的配置文件hive-site.xml

cd /bigdata/install/hive-3.1.2/conf
vim hive-site.xml

• 添加以下两个属性的配置

<property>
	<name>hive.zookeeper.quorum</name>
	<value>hadoop01,hadoop02,hadoop03</value>
</property>	
<property>
	<name>hbase.zookeeper.quorum</name>
	<value>hadoop01,hadoop02,hadoop03</value>
</property>

3 修改hive-env.sh配置文件

cd /bigdata/install/hive-3.1.2/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

• 添加以下配置

export HADOOP_HOME=/bigdata/install/hadoop-3.1.4
export HBASE_HOME=/bigdata/install/hbase-2.2.2
export HIVE_CONF_DIR=/bigdata/install/hive-3.1.2/conf

Hive中表数据导入到Hbase

1 Hive当中建表

• hadoop02执行以下命令，进入Hive客户端，并创建Hive表

cd /bigdata/install/hive-3.1.2/
bin/hive

• 创建Hive数据库与Hive对应的数据库表

create database course;
use course;

create external table if not exists course.score(id int, cname string, score int) 
row format delimited fields terminated by ‘\t‘ stored as textfile ;

2 准备数据内容如下并加载到Hive表

• hadoop02执行以下命令，创建数据文件

cd /bigdata/install/
mkdir docouments

cd /bigdata/install/docouments
vim hive-hbase.txt

• 文件内容如下

1	zhangsan	80
2	lisi	60
3	wangwu	30
4	zhaoliu	70

• 进入Hive客户端进行加载数据

hive (course)> load data local inpath ‘/bigdata/install/docouments/hive-hbase.txt‘ into table score;
hive (course)> select * from score;

3 创建Hive管理表与HBase进行映射

• 我们可以创建一个Hive的管理表与Hbase当中的表进行映射，Hive管理表当中的数据，都会存储到Hbase上面去
• Hive当中创建内部表

create table course.hbase_score(id int,cname string,score int) 
stored by ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler‘  
with serdeproperties("hbase.columns.mapping" = "cf:name,cf:score") tblproperties("hbase.table.name" = "hbase_score");

• 通过insert overwrite select 插入数据

insert overwrite table course.hbase_score select id,cname,score from course.score;

4 Hbase当中查看表hbase_score

• 进入Hbase的客户端查看表hbase_score，并查看当中的数据
  

创建Hive外部表，映射HBase当中已有的表模型

1 HBase当中创建表并手动插入加载一些数据

• 进入HBase的shell客户端，

bin/hbase shell

• 手动创建一张表，并插入加载一些数据进去

# 创建一张表
# 通过put插入数据到hbase表
create ‘hbase_hive_score‘,{ NAME =>‘cf‘}
put ‘hbase_hive_score‘,‘1‘,‘cf:name‘,‘zhangsan‘
put ‘hbase_hive_score‘,‘1‘,‘cf:score‘, ‘95‘
put ‘hbase_hive_score‘,‘2‘,‘cf:name‘,‘lisi‘
put ‘hbase_hive_score‘,‘2‘,‘cf:score‘, ‘96‘
put ‘hbase_hive_score‘,‘3‘,‘cf:name‘,‘wangwu‘
put ‘hbase_hive_score‘,‘3‘,‘cf:score‘, ‘97‘

• 查看以下HBase当中hbase_hive_score表的数据
  

2 建立hive的外部表，映射HBase当中的表以及字段

• 进入Hive客户端，然后执行以下命令进行创建Hive外部表，就可以实现映射HBase当中的表数据

CREATE external TABLE course.hbase2hive(id int, name string, score int) 
STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler‘ 
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf:name,cf:score") TBLPROPERTIES("hbase.table.name" ="hbase_hive_score");

• 查看Hive表course.hbase2hive

select * from course.hbase2hive;

HBase集成Hive

原文：https://www.cnblogs.com/tenic/p/14881560.html