首页 > 其他 > 详细

HIVE 的MAP/REDUCE

时间:2014-01-24 01:11:41      阅读:496      评论:0      收藏:0      [点我收藏+]

对于 JOIN 操作:

  • Map:
    • 以 JOIN ON 条件中的列作为 Key,如果有多个列,则 Key 是这些列的组合
    • 以 JOIN 之后所关心的列作为 Value,当有多个列时,Value 是这些列的组合。在 Value 中还会包含表的 Tag 信息,用于标明此 Value 对应于哪个表。
    • 按照 Key 进行排序。
  • Shuffle:
    • 根据 Key 的值进行 Hash,并将 Key/Value 对按照 Hash 值推至不同对 Reduce 中。
  • Reduce:
    • Reducer 根据 Key 值进行 Join 操作,并且通过 Tag 来识别不同的表中的数据。

 

  对于Group by操作:

  • Map:
    • 以 Group by条件中的列作为 Key,如果有多个列,则 Key 是这些列的组合
    • 根据key值聚合
    • 按照 Key 进行排序。
  • Shuffle:
    • 根据 Key 的值进行 Hash,并将 Key/Value 对按照 Hash 值推至不同对 Reduce 中。
  • Reduce:
    • Reducer 根据 Key 值进行 聚合 操作。

HIVE 的MAP/REDUCE

原文:http://www.cnblogs.com/liutoutou/p/3531458.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!