首页 > 其他 > 详细

SparkStreaming 结合Kafka 时丢数据

时间:2020-08-17 22:23:05      阅读:108      评论:0      收藏:0      [点我收藏+]

问题:

  从同一个Kafka里消费数据做一个WordCount,flink,Kafkaconsumer 得到的结果都是正常的,而我自己写的sparkstreaming  确跟正常数据量差了10倍左右

解决:

  总结一句话:一定要听官网的话!!!

技术分享图片

 

 

 http://spark.apache.org/docs/2.4.6/streaming-kafka-0-10-integration.html

技术分享图片

 

 复盘一下当时的操作:我把jar包放到集群上去跑时,报了个java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka010/KafkaUtils$

当时一想,这不差个Kafka client 吗,就自己加了个依赖,就掉坑里了,其实spark-streaming-Kafka 里面已经集成了,所需要做的就是打包时,将它打到jar包里,再运行

其实把这个依赖包传到SPARK_HOME下应该也可以,但是我没有成功。。。

SparkStreaming 结合Kafka 时丢数据

原文:https://www.cnblogs.com/yangxusun9/p/13519376.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!