首页 > 其他 > 详细

Spark中将将数据Array或者list转为dataFrame编造数据

时间:2021-05-10 19:58:10      阅读:16      评论:0      收藏:0      [点我收藏+]

其实只是为了编造数据,找了几篇都不满意。项目中使用的是schema创建,下面将简单的创建写一下。

val schema=types.StructType(

Array(

  StructField("TMNL_iD",StringType,false)     ,                                                   //想建立几列写一个StructField

  StructField("DALI_NAME",StringType,false)     

)

)

//创建一个schema

val list:java.util.List[Row]=new java.util.ArrayList[Row]() //建立一个集合

假设一个集合records 遍历

val key=records.key()

//遍历结果加入集合

list.add(Row.fromSeq(tmnl_id))

val frame=sparkSession,createDataFrame(list,schema);

frame.show(100)

----------------------------------------------

 

Spark中将将数据Array或者list转为dataFrame编造数据

原文:https://www.cnblogs.com/dali1314/p/14752450.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!