类似词频统计,80%的单词相同,导致由一个reducer来处理。通过调大了reducerNum数量来解决。
2、记录第二个遇到的数据倾斜情况
当map中的key为IntWritable时比其为Text形式更易发生数据倾斜情况。
Mapreduce(8)---数据倾斜原因与解决方案(转)
原文:https://www.cnblogs.com/Lee-yl/p/13346267.html