pySpark加载数据

时间：2018-06-30 19:28:05 阅读：269 评论：0 收藏：0 [点我收藏+]

1、加载本地文件

lines=sc.textFile(‘file:/home/pxy/data/GoodBooks.csv‘)
for line in lines.take(5):
    print line.encode(‘utf-8‘)

效果：

技术分享图片

2、从HDFS加载数据

lines=sc.textFile(‘hdfs://localhost:9000/pxy/film/GoodBooks.csv‘)
TopFive=lines.take(5)
for line in TopFive[1:]:
    print line.encode(‘utf-8‘)

效果：

技术分享图片

原文：https://www.cnblogs.com/giserpan/p/9248399.html

踩

(0)

评论一句话评论（0）

分享档案

更多>