首页 > 其他 > 详细

(3)pyspark中的dataframe的观察操作

时间:2018-10-11 13:34:22      阅读:499      评论:0      收藏:0      [点我收藏+]

1、读取:

  • sparkDF = spark.read.csv(path)
  • sparkDF = spark.read.text(path)

2、打印:

sparkDF.show()【这是pandas中没有的】:打印内容

sparkDF.head():打印前面的内容

sparkDF.describe():统计信息

sparkDF.printSchema():打印schema,列的属性信息打印出来【这是pandas中没有的】

sparkDF.columns:将列名打印出来

3、选择列

【select函数,原pandas中没有】

sparkDF.select(‘列名1‘,‘列名2‘).show():选择dataframe的两列数据显示出来

sparkDF.select ( sparkDF[‘列名1‘]+1 , ‘列名2‘ ).show():直接对列1进行操作(值+1)打印出来

技术分享图片

 

4、筛选列:

filter【类似pandas中dataframe的采用列名来筛选功能】

sparkDF.filter ( sparkDF[‘value‘] == 100 ).show():将value这一列值为100的行筛选出来

技术分享图片

 

 5、计算不重复值以及统计dataframe的行数

 distinct()函数:将重复值去除

sparkDF.count():统计dataframe中有多少行

技术分享图片

将评分为100的电影数量统计出来:

技术分享图片

 

(3)pyspark中的dataframe的观察操作

原文:https://www.cnblogs.com/Lee-yl/p/9771794.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!