首页 > 其他 > 详细

spark 1.5的hivecontext的问题

时间:2015-09-24 12:27:31      阅读:327      评论:0      收藏:0      [点我收藏+]

spark升级到1.5,里面的hive版本升级到1.2.1版本,我写了如下的代码

object SQLApp  extends App{
        val sparkconf = new SparkConf().setAppName("sql").setMaster("local")
        val sc = new SparkContext(sparkconf)
        val sqlContext = new HiveContext(sc)
        sqlContext.sql("show tables").show()
        sc.stop()

}

当依赖的版本是1.5时候,hivecontext不会加载resources里面的hive-site.xml ,我试验了下实例化hiveconf 可以加载。

当依赖的版本是1.4.1的时候,这个时候hivecontext会访问hive-site.xml里面配置的mysql 数据库。

 

大致看了下代码,1.5的hivecontext没有读取hite-site.xml。 这个可能是1.5的bug. 但是我现在对spark的代码质量很担心

 

spark 1.5的hivecontext的问题

原文:http://www.cnblogs.com/gaoxing/p/4834862.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!