首页 > 其他 > 详细

Spark典型案例

时间:2015-05-05 10:44:31      阅读:259      评论:0      收藏:0      [点我收藏+]

本文以AIX系统中的nmon文件为例,说明spark针对数据分析的典型用法。希望能帮助大家用spark的方式来思考问题。

任务1:从aix数据文件中获取数据的起始时间

技术分享

实现代码片段:

技术分享


任务2:从aix数据文件中取出所有CPU行

技术分享

实现代码片段:

技术分享


任务3:从CPU行中取出首行(变量定义)

 技术分享

实现代码片段:

技术分享


任务4:从CPU行中取出所有数据行

技术分享

实现代码片段:

技术分享


任务5:转换一行CPU数据为多条KPI记录

技术分享

实现代码片段:

技术分享


任务6:分钟级数据聚合为小时级数据

技术分享

实现代码片段:

技术分享

技术分享


Spark典型案例

原文:http://blog.csdn.net/yery/article/details/45488611

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!