首页 > 数据库技术 > 详细

Spark SQL on HIVE

时间:2016-06-05 13:53:50      阅读:199      评论:0      收藏:0      [点我收藏+]
1. SPARK CONF中添加hive-site.xml hive.metastore.uris thrift://master:9083 2. 启动hive元数据 hive --metastore >meta.log 2>&1 & 3. scala>val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc) //hiveContext scala>hiveContext.sql("use hive") datasource(hive) scala>hiveContext.sql("show tables").collect.foreach(println) scala>hiveContext.sql(select count(*) from aaa) scala>sqlContext.read.json(/aaa/bbb/ccc/ddd.json) scala>sqlContext.show()// //create dataframe from dataSource scala>sqlContext.printScheme()

Spark SQL on HIVE

原文:http://www.cnblogs.com/wjsshide/p/5560538.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!