首页 > 其他 > 详细

【互动问答分享】第5期决胜云计算大数据时代Spark亚太研究院公益大讲堂

时间:2014-07-28 23:35:14      阅读:472      评论:0      收藏:0      [点我收藏+]

Spark亚太研究院100期公益大讲堂 【第5期互动问答分享】

 Q1:spark怎样支持即席,应该不是spark sql吧,是hive on spark么?

         Spark1.0 以前支持即席查询的技术是Shark;

         Spark 1.0和 Spark 1.0.1支持的即席查询技术是Spark SQL;

         尚未发布的Spark 1.1开始 Spark SQL是即席查询的核心,我们期待Hive on Spark也能够支持即席查询;

 Q2:现在spark 1.0.0版本是支持hive on spark么,它支持cli交互式访问么?

         Spark1.0.0不支持hive on spark;

         hive on spark这个项目正在开发中,预计在 Spark 1.1版本的时候发布;

         Spark 1.0.0现在还不直接支持cli访问;

 Q3:spark sql和hbase怎么结合呢?

         Spark sql和hbase即可要借助于Spark core的RDD功能;

         使用hbase的时候需要导入hbase在Spark上的包

         Spark 1.0.0现在还不直接支持cli访问;

 Q4:sparkSql支持sql全吗?老师 可以把现在的PLSQL 直接转换为 SPARKSQL么? 

         Spark sql现在支持SQL-92的基本功能,后续版本不会不断增强;

         PLSQL 现在还不能够直接转为Spark SQL;

         想要更强的SQL支持,在Spark1.0.0和Spark1.0.1版本可以考虑Hive in Spark SQL的功能;

 Q5:如果支持hive on spark,那么什么时候用spark sql,什么时候用hive on spark?

         Hive on spark预计在Spark 1.1这个版本发布,核心功能是要在Spark上使用已有的Hive的一切数据和功能;

         和hive不相关都可以使用Spark SQL;

         从理论上讲随着Spark SQL在未来版本的不断增强,可以做hive的一切事情;

 Q6:Spark SQL可以使用group by 吗?

         Spark SQL可以使用group by的功能;

         在SchemaRDD中有group by的支持;

         groupBy(groupingExprs: Expression*)(aggregateExprs: Expression*): SchemaRDD

l   Performs a grouping followed by an aggregation.

 

Q7:spark sql 现在支持sql的那些操作  一直在官网上没能找到相应的document?

         Spark SQL API的官方Document网址

l   http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.SchemaRDD

         Spark SQL使用的官方网址

http://spark.apache.org/docs/latest/sql-programming-guide.html

【互动问答分享】第5期决胜云计算大数据时代Spark亚太研究院公益大讲堂,布布扣,bubuko.com

【互动问答分享】第5期决胜云计算大数据时代Spark亚太研究院公益大讲堂

原文:http://www.cnblogs.com/spark-china/p/3873283.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!