首页 > 数据库技术 > 详细

if (assertnotnull(input[0, org.apache.spark.sql.Row, true]).isNullAt) null else staticinvoke(class o...

时间:2018-09-04 14:35:45      阅读:1106      评论:0      收藏:0      [点我收藏+]

运行spark程序一直报错:

1 if (assertnotnull(input[0, org.apache.spark.sql.Row, true]).isNullAt) null else staticinvoke(class o

原因: 文件里有一行数据为垃圾数据, 这行数据的列数和列名的个数不一致.

解决办法: 过滤掉这样的数据

1 .filter(_.length == infoSchema.fieldNames.length)

 

if (assertnotnull(input[0, org.apache.spark.sql.Row, true]).isNullAt) null else staticinvoke(class o...

原文:https://www.cnblogs.com/water-green/p/9584135.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!