首页 > 其他 > 详细

mapreduce中reduce中的迭代器只能调用一次!

时间:2017-05-27 00:13:38      阅读:857      评论:0      收藏:0      [点我收藏+]

亲测,只能调用一次,如果想想在一次reduce重复使用迭代器中的数据,得先取出来放在list中然后在从list中取出来!!多次读取reduce函数中迭代器的数据

 

  public static class FindFriendReducer extends Reducer<Text, AllInfoBean, AllInfoBean, NullWritable>
  {
    protected void reduce(Text Keyin, Iterable<AllInfoBean> values, Reducer<Text, AllInfoBean, AllInfoBean, NullWritable>.Context context)
      throws IOException, InterruptedException
    {
      AllInfoBean allInfoBean = new AllInfoBean();
      allInfoBean.setPid(Keyin.toString());
      for (AllInfoBean bean : values) {
        if (bean.getOderid() != 0)
          continue;
        allInfoBean.setPname(bean.getPname());
        allInfoBean.setCategory_id(bean.getCategory_id());
        allInfoBean.setPrice(bean.getPrice());
      }

      for (AllInfoBean bean : values)
      {
        context.write(bean, NullWritable.get());
      }
    }
  }

这样是取不出来数据的!!

就 象jdbc 的resultset一样只能取一次

mapreduce中reduce中的迭代器只能调用一次!

原文:http://www.cnblogs.com/rocky-AGE-24/p/6910797.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!