首页 > 其他 > 详细

六.hive安装,配置

时间:2020-01-22 00:57:07      阅读:126      评论:0      收藏:0      [点我收藏+]

目录:

目录见文章1

类似Hadoop,Hive也有三种也不同的部署模式(本文采用第二种):

内嵌模式:将元数据保存在Hive内嵌的Derby数据库中,只允许一个会话连接
本地模式:(以MySQL为例)在本地安装MySQL,将元数据保存在MySQL中,支持多个会话、多用户连接
远程模式:将元数据保存在远端数据库中

1.下载安装hive

我用的是hive3.1.2,地址如下:

https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

解压并重命名文件夹为hive

cd /usr/software
//解压
tar -zxvf apache-hive-3.1.2-bin.tar.gz
//重命名 mv apache
-hive-3.1.2-bin hive

2.配置Hive

2.1 配置环境变量

vi /etc/profile,将 HIVE_HOME加上
HADOOP_HOME=/usr/software/hadoop
HIVE_HOME=/usr/software/hive
JAVA_HOME=/usr/software/java/jdk1.8
JAVA_BIN=/usr/software/java/jdk1.8/bin
PATH=$PATH:$JAVA_HOME/bin:$HIVE_HOME/bin:$HADOOP_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH HIVE_HOME

执行 > . /etc/profile   使得环境变量生效

2.2 修改配置文件 hive-site.xml

进入hive配置目录:

cd /usr/software/hive/conf

将hive-default.xml.template重命名为hive-site.xml

sudo mv hive-default.xml.template hive-site.xml

新建一个配置文件hive-site.xml并编辑

vi hive-site.xml

在hive-site.xml中写入MySQL配置信息(虽然我们还没有安装MySQL):

注意,第三部分<value>hadoop</value>处hadoop为MySQL用户名

同样,第四部分<value>123456</value>处123456为MySQL密码

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>username to use against metastore database</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>admin</value>
    <description>password to use against metastore database</description>
  </property>
</configuration>

 再来一个配置,为了方便看,跟上面区分开

vi hive-site.xml

1.查看hive-site.xml配置,会看到配置值含有"system:java.io.tmpdir"的配置项
2.将含有"system:java.io.tmpdir"的配置项的值修改为如下地址,不然hive要报错

<property>
    <name>hive.exec.scratchdir</name>
    <value>/tmp/hive</value>
    <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.</description>
  </property>

  <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/tmp/hive/local</value>
    <description>Local scratch space for Hive jobs</description>
  </property>

  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/tmp/hive/resources</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>

 

2.3修改配置文件 hive-env.sh

在hive-env.sh中增加:

# Hadoop的位置:
export HADOOP_HOME=/usr/software/hadoop

# hive的conf目录位置:
export HIVE_CONF_DIR=/usr/software/hive/conf

# hive的lib目录位置:
export HIVE_AUX_JARS_PATH=/usr/software/hive/lib

 

3. 下载安装MySQL

mysql的安装可以参看这一文:linux下jdk,tomcat,mysql安装

在此简单提及

apt-get install mysql-server

安装完毕后,给账号赋个权限,以便允许外连

mysql> grant all privileges on *.* to root@% identified by root with grant option 
mysql> flush privileges;

再将mysql驱动jar包丢到hive/lib目录下

sudo cp -rf /home/mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /usr/software/hive/lib

4.配置权限

在hdfs上创建相关仓库,并配置权限:

若未启动hadoop,请先启动hadoop

4.1 创建仓库并配置权限

hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -mkdir -p /user/hive/tmp
hadoop fs -mkdir -p /user/hive/log
hadoop fs -chmod -R 777 /user/hive/warehouse
hadoop fs -chmod -R 777 /user/hive/tmp
hadoop fs -chmod -R 777 /user/hive/log

注意,直接调用hadoop fs命令需要已配置相关环境变量

4.2 初始化

cd /usr/local/hive/bin
schematool -initSchema -dbType mysql

看到 schemaTool completed ,即初始化成功!

5.启动hive及测试

请先确保 hadoop 已正常启动!
# 启动hive(由于已配置相关环境变量,直接使用):
hive
# 启动成功,启动过程提示信息结束后,回显:
hive>
# 说明已成功启动。同样,注意 ";" 标识一条命令结束!

5.1 测试 hive

# 显示数据库:
hive> show databases;
OK
default
Time taken: 14.107 seconds, Fetched: 1 row(s)

# 创建一个表:
hive> create table test1(tid int, tname string);
OK
Time taken: 5.021 seconds

# 显示tables:
hive> show tables;
OK
test1
Time taken: 5.077 seconds, Fetched: 1 row(s)

# 删除刚刚创建的表test1:
hive> drop table test1;
OK
Time taken: 5.223 seconds


# 重新创建表 test1(用于mysql测试): hive> create table test1(tid int, tname string); OK Time taken: 1.322 seconds # 退出 hive shell hive> exit;

 

 

 

 

六.hive安装,配置

原文:https://www.cnblogs.com/xiaoliu66007/p/12227459.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!