首页 > 其他 > 详细

(2)pyspark建立RDD以及读取文件成dataframe

时间:2018-10-09 13:11:28      阅读:720      评论:0      收藏:0      [点我收藏+]

1、启动spark

技术分享图片

2、建立RDD:

技术分享图片


3、从text中读取,read.text

技术分享图片

技术分享图片

技术分享图片

4、从csv中读取:read.csv

技术分享图片

5、从json中读取:read.json

技术分享图片


7、RDD与Dataframe的转换 

(1)dataframe转换成rdd:

法一:datardd = dataDataframe.rdd

法二:datardd = sc.parallelize(_)

(2)rdd转换成dataframe:

dataDataFrame = spark.createDataFrame(datardd)

技术分享图片

技术分享图片

技术分享图片

 

(2)pyspark建立RDD以及读取文件成dataframe

原文:https://www.cnblogs.com/Lee-yl/p/9759657.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!