MapReduce 作业调试

1. 最经典的方法通过打印语句来调试程序

    System.err.println("Bad Data"+value.toString());

    这些输出错误都会记录到一个标准错误中，可以通过WebUI进行查看

2.可以创建一个自定义计数器来统计整个数据集中不合理的数据的数量。

  首先创建一个enum 

  enum BAD_DATA{

      BAD_DATA_1,

      BAD_DATA_2

  }

if(strs[1].split(",")!=null&&strs[1].split(",").length>11){
     frontValues.add(strs[1].split(",")[10]);
     afterValues.add(strs[1].split(",")[11]);
}else{
　　System.err.println("Bad Data:"+value.toString());
      context.getCounter(BAD_DATA.BAD_DATA_1).increment(1);
      context.setStatus("Error Data");
}

也可以通过WEB UI 查看计数器的个数

MapReduce 作业调试,布布扣,bubuko.com

MapReduce 作业调试

原文：http://www.cnblogs.com/oftenlin/p/3592120.html