首页 > 其他 > 详细

spark中saveAsTextFile的错误

时间:2015-07-27 16:14:56      阅读:363      评论:0      收藏:0      [点我收藏+]

写了很简单的一段spark代码,将结果保存为windows本地文件,执行之后总是报错NullPointerException

查询之后 发现是本地缺少hadoop需要的一个文件所致

如果本地已经安装了hadoop 一般不会有此问题 如果不愿安装 可按照下述方法解决

1)下载需要的文件 winutils.exe

http://social.msdn.microsoft.com/Forums/windowsazure/en-US/28a57efb-082b-424b-8d9e-731b1fe135de/please-read-if-experiencing-job-failures?forum=hdinsight

2) 将此文件放置在某个目录下,比如C:\winutils\bin\中。

3)在程序的一开始声明:System.setProperty("hadoop.home.dir", "c:\\winutil\\")

spark中saveAsTextFile的错误

原文:http://www.cnblogs.com/029zz010buct/p/4680403.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!