Pig sample用法举例

时间：2015-06-07 23:07:08 阅读：269 评论：0 收藏：0 [点我收藏+]

some = sample data 0.1

遍历整个数据集，获取指定比例的行数的数据，获取的数据不确定，条数也不准确。

内部重写为filter data by random() <= 0.1

抽取100行数据

data = load ‘data‘;
grpd = group data all;
sums = foreach grpd generate COUNT(data) as c;
some = sample data 100/(double)sums.c;

原文：http://www.cnblogs.com/lishouguang/p/4559607.html

踩

(0)

评论一句话评论（0）

分享档案

更多>