1. 自定义inputFormat
1.1.需求:
无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件，此时就需要有相应解决方案;
1.2.分析:
小文件的优化无非以下几种方式：
1、在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS；
2、在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并；
3、在mapreduce处理时，可采用combineInputFormat提高效率；
1.3.实现:
本节实现的是上述第二种方式，程序的核心机制：
自定义一个InputFormat，改写RecordReader，实现一次读取一个完整文件封装为KV，在输出时使用SequenceFileOutPutFormat
输出合并文件
Hadoop_28_MapReduce_自定义 inputFormat
原文：https://www.cnblogs.com/yaboya/p/9259671.html