首页 > 其他 > 详细

将hive搭建到spark上

时间:2017-04-13 10:07:25      阅读:143      评论:0      收藏:0      [点我收藏+]

1. 首先搭建好spark和hive,参见相关文档

2. 在spark/conf下创建hive-site.xml

<configuration>
<property>  
  <name>hive.metastore.uris</name>  
  <value>thrift://master:9083</value>  
  <description>connection romate metastores</description>  
</property>
</configuration>

 表示链接master上的远程数据库

3. 在spark/jars 下放mysql链接包

mysql-connector-java-5.1.41-bin.jar

4. 启动

hive --service metastore  >metastore.log

5. 运行一个小例子

启动spark

编写.sh文件,提交程序

/usr/local/spark/spark-2.1.0-bin-hadoop2.6/bin/spark-submit  --class com.zcb.spark.LabWork.chooseData  --master spark://Master:7077  /usr/local/test_commit/SqlSpark4.jar

 

将hive搭建到spark上

原文:http://www.cnblogs.com/LazyJoJo/p/6702550.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!