首页 > 其他 > 详细

Spark惰性机制引起的:Input path does not exist

时间:2020-02-11 09:53:45      阅读:112      评论:0      收藏:0      [点我收藏+]

 

 技术分享图片

 

 

分析:

val textFile = Sc.textFile(“file///usr/local/spark/...”)加载本地文件,必须以“file///”开头

Spark的惰性机制:执行上面的命令不会马上显示结果

只有遇到行动类型的操作,才会从头到尾执行所有操作,如:textFile.first()//

从文件中加载数据到变量textFile中,并取出第一行文本。

结论:该目录的文件不存在。

避免此类问题:及时使用textFile.first()检验

Spark惰性机制引起的:Input path does not exist

原文:https://www.cnblogs.com/daisy99lijing/p/12293777.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!