首页 > 其他 > 详细

Spark On Hive 配置

时间:2020-05-14 19:47:14      阅读:227      评论:0      收藏:0      [点我收藏+]

 

1、将Hive-site.xml复制到Spark/conf目录下

如果hive-site中配置了查询引擎,需要将其注掉

 <!-- <property>
    <name>hive.execution.engine</name>
    <value>tez</value>
</property>
-->

2、将把 Mysql 的驱动  mysql-connector-java-5.1.27-bin.jar copy 到 Spark/jars/目录下

3、保险起见,可将core-site.xml和hdfs-site.xml 拷贝到Spark/conf/目录下

4、如果hive中表是采用Lzo或snappy等压缩格式,需要配置spark-defaults.conf,详情参考https://www.cnblogs.com/yangxusun9/p/12827957.html#fneQWfJQ

Spark On Hive 配置

原文:https://www.cnblogs.com/yangxusun9/p/12890770.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!