首页 > 其他 > 详细

flink DataStream wc

时间:2020-06-22 09:14:30      阅读:72      评论:0      收藏:0      [点我收藏+]
技术分享图片
 1 import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}
 2 
 3 object FlinkDemo02_Stream_wc {
 4     def main(args: Array[String]): Unit = {
 5         //1 获取执行环境
 6         val env = StreamExecutionEnvironment.getExecutionEnvironment
 7         //2 获取数据集
 8         val ds: DataStream[String] = env.socketTextStream("linux01", 9999)
 9         //3 执行
10         import org.apache.flink.api.scala._
11         val result: DataStream[(String, Int)] = ds.flatMap(_.split("\\s"))
12           .filter(_.nonEmpty)
13               .map((_, 1))
14                   .keyBy(0)
15                       .sum(1)
16         result.print().setParallelism(1)
17         
18         //4 启动executor, 执行任务
19         env.execute("socket_stream_wc")
20     }
21 }
View Code

 

flink DataStream wc

原文:https://www.cnblogs.com/xiefeichn/p/13174971.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!