首页 > Web开发 > 详细

Scala实现网站流量实时分析

时间:2019-12-28 14:29:24      阅读:102      评论:0      收藏:0      [点我收藏+]

  之前已经完成zookeeper集群、Hadoop集群、HBase集群、Flume、Kafka集群、Spark集群的搭建:使用Docker搭建Spark集群(用于实现网站流量实时分析模块),且离线分析模块已经在之前的模块中实现(网站日志流量分析系统之数据清洗处理(离线分析)),这次基于Docker搭建的spark集群,本地编写Scala代码实现网站日志流量实时分析模块,最终提交于spark集群。

一、本机环境

  系统:win10 64位

  Scala版本:2.13

  JDK版本:1.8

  IDE工具:IDEA2018

  Maven版本:3.6.1

二、实时分析模块实现

Scala实现网站流量实时分析

原文:https://www.cnblogs.com/rmxd/p/12111495.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!