首页 > 其他 > 详细

可爱的猪——Pig

时间:2014-12-13 17:56:00      阅读:277      评论:0      收藏:0      [点我收藏+]


pig 提供了一个基于hadoop并行执行数据流处理的引擎,以Pig Latin来描述数据流,相当于一个有向无环图(DAG),节点代表处理数据的操作符,节点间的向量代表数据流。

pig 提供了类SQL的标准操作,比直接写mapreduce代码更容易维护,主要用于ETL,原生数据研究和迭代处理。

pig 什么数据都吃,也能在非hadoop上并行运算,容易控制和修改,性能较快。

用户提交hadoop任务的那台机器,可以提取出来作为网关机。

Pig核心是Java写的,所以要注意JAVA_HOME环境变量的设置,启动pig的脚本是bash,既可以运行在本地,也可以运行在hadoop集群上,这时需要知道集群的NameNode和JobTracker所在的位置,还可以运行在云服务上(例如AWS的EMR)。

Grunt是Pig的命令行交互工具,注意PIG_CLASSPATH的设定,除了Pig Latin的交互输入,还可以作为访问HDFS的shell,同时提供了控制pig和mapreduce的命令 kill, exec和run。

可爱的猪——Pig

原文:http://blog.csdn.net/wireless_com/article/details/41911435

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!