首页 > 数据库技术 > 详细

spark SQL编程动手实战-01

时间:2015-03-03 02:09:11      阅读:368      评论:0      收藏:0      [点我收藏+]

首先创建SparkContext上下文:

bubuko.com,布布扣

接着引入隐身转换,用于把RDD转成SchemaRDD:

bubuko.com,布布扣

接下来定义一个case class 来用于描述和存储SQL表中的每一行数据:

bubuko.com,布布扣

接下来要加载数据,这里的测试数据是user.txt文件:

我们创建好use.txt增加内容并上传到hdfs中:

bubuko.com,布布扣

web控制台查询:

bubuko.com,布布扣

hdfs命令查询:

bubuko.com,布布扣

?

加载数据:

bubuko.com,布布扣

验证数据是否加载成功:

bubuko.com,布布扣

?

注册成为user的table:

bubuko.com,布布扣

?

此刻user还是一个MappedRDD:

bubuko.com,布布扣

执行age 大于13 小于19的SQL查询:

bubuko.com,布布扣

此刻的teenagers已经隐身转换成SchemaRDD

bubuko.com,布布扣

通过collect操作触发job的提交和执行:

bubuko.com,布布扣

结果:

bubuko.com,布布扣

?

DSL是Domain Specific Language的缩写,使用DSL我们可以直接基于读取的RDD数据进行SQL操作,无需注册成Table。

我们重新启动下spark-shell:

bubuko.com,布布扣

?

同样使用"user.txt"的数据:

bubuko.com,布布扣

验证user:

bubuko.com,布布扣

?

我们这次直接使用SQL查询操作:

bubuko.com,布布扣

?

使用toDebugString查看下结果:

bubuko.com,布布扣

可以发现使用DSL的使用teenagers在内部已经被隐身转换了SchemaRDD的实例

bubuko.com,布布扣

?

可以发现与前面那张注册Table方式的结果是一样的

spark SQL编程动手实战-01

原文:http://stark-summer.iteye.com/blog/2188080

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!