首页 > Web开发 > 详细

Apache Pig字符串截取实战小例子

时间:2015-03-13 19:10:20      阅读:266      评论:0      收藏:0      [点我收藏+]

记录一个Pig字符串截取的实战小例子:

需求如下,从下面的字符串里提取出第2列(冒号后面)的值:

Java代码 技术分享 技术分享技术分享

1 2  3 4
a:ab#c#d
a:c#c#d
a:dd#c#d
a:zz#c#d



如果是在java里,方法可能有很多种,比如substring,或者split多次等,在pig也大致如此,可以使用SUBSTRING内置函数来完成,但散仙推荐使用下面的方式,这种方式比较灵活,适合大部分场景的数据提取,需要用到的2个函数如下:

(1)REGEX_EXTRACT(‘原始字符串‘,‘正则式‘,int类型的返回索引)

(2)STRSPLIT(‘原始字符串‘, ‘正则式‘, 限制返回的个数)


pig脚本写法:

Java代码 技术分享 技术分享技术分享

a = laod ‘/tmp/data‘ as (data:chararray)
//注意逻辑是,先获取冒号后面的数据,然后split成tuple,再通过$1(下标访问元素)获取我们需要的数据即可。
b = foreach a generate STRSPLIT (REGEX_EXTRACT (data, ‘(.*):(.*)‘, 2) ,‘#‘,5).$0;

dump b;


Apache Pig字符串截取实战小例子

原文:http://my.oschina.net/u/1027043/blog/386782

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!