无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案
小文件的优化无非以下几种方式：
1、 在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS；
2、 在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并。
自定义inputformat，将hdfs上面已经存在的多个小文件合并成一个sequenceFile， sequenceFile也是一种文件格式：里面装的内容就是一个个的小文件的内容的字节数组；
3、 在mapreduce处理时，可采用combineInputFormat提高效率。
本节实现的是上述第二种方式
程序的核心机制：
自定义一个InputFormat
改写RecordReader，实现一次读取一个完整文件封装为KV
在输出时使用SequenceFileOutPutFormat输出合并文件
自定义inputformat实现文件一次性全部读取到BytesWritable里面去
第一步：获取到文件的切片第二步：通过fileSystem，打开文件的输入流第三步：通过工具类将我们的输入流拷贝到字节数组当中去第四步：将我们字节数组的内容全部封装到BytesWritable里面去
详见代码
转载于:https://www.cnblogs.com/mediocreWorld/p/11031189.html
相关资源：小文件合并Sequencefile