首页 > 其他 > 详细

Storm calculate pv

时间:2015-02-07 14:23:11      阅读:247      评论:0      收藏:0      [点我收藏+]

本题其实就是stormwordcout,需要把一个gz压缩的文件读取,并使用storm计算其pv.

样本 数据:

技术分享

存储为accesslog.gz

我把它加载到我的虚拟机中/mnt/下。

没有使用trident,刚学习最基本的。

所以把spout的数目设定为1.

把文件路径存储在config map中了,其实是想使用参数进行传递,这样更友好。

读取完之后把它存储到一个文件当中。

在这里使用的是调试的模式,如果需要运行在集群中的话,还是需要调整的。

再做一个bolt,专门用来写文件。

? ?

技术分享

? ?

Spout used to read logs:

技术分享

Bolt used to split sentense:

技术分享

Bolt used to count pv:

技术分享

? ?

Storm calculate pv

原文:http://www.cnblogs.com/huaxiaoyao/p/4278710.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!