Hadoop序列化与压缩

传统的的计算机系统通过I/O操作与外界交流，，Hadoop的I/O由传统的I/O系统发展而来，但是又有些不同，Hadoop需要处理P、T级别的数据，所以在org.apache.hadoop.io包中包含了一些面向海量数据处理的基本输入输出工具，本文会对其中的序列化和压缩进行研究。

1 序列化

对象的序列化用于将对象编码成一个字节流，以及从字节流中重新构建对象。将一个对象编码成一个字节流称为序列化对象（Serializing），相反的处理过程称为反序列化。

序列化有三种主要的用途：

A、作为一种持久化格式化：一个对象被序列化以后，它的编码可以被储存到磁盘上，供以后反序列化使用。

B、作为一种通信数据格式：序列化结果可以从一个正在运行的虚拟机，通过网络被传递到另外一个虚拟机上。

C、作为一种拷贝、克隆机制：将对象序列化到内存的缓存区中，然后通过反序列化，可以得到一个已存对象进行深拷贝的新对象。

在分布式数据处理中，主要使用上面提到的前两种功能：数据持久化和通信数据化格式。在分析Hadoop的序列化机制前，先介绍一下Java內建的序列化机制。

1.1 Java內建序列化机制

Java序列化机制将对象转换为连续的byte数据，这些数据可以在日后还原为原先的对象状态，该机制还能自动处理不同操作系统的差异，在windows上序列化的Java对象，可以在Unix系统上被重建出来，不需要担心不同机器上的数据表示方法，也不需要担心字节排列次序，如大端、小端或者其他细节。

在Java中，让一个类的实例可被序列化非常简单，只需在类声明中加入implements序列化即可。Serializable接口是一个标志，不具备任何成员函数，其定义如下：

public interface Serializable{}

1.2 Hadoop序列化机制

与Java序列化机制不同，Hadoop的序列化机制通过调用对象的write()方法，将对象序列化到流中，反序列化的过程也类似，通过对象的readFields()方法，从流中读取数据。值得一提的是，Java序列化机制中，反序列化过程中会不断地创建新的对象，但在Hadoop的序列化机制的反序列化机制中，用户可以复用对象。

1.3 Hadoop序列化机制的特征

对于处理大数据的Hadoop平台，其序列化机制需要具有如下特征：

A、紧凑：由于带宽是Hadoop集群中最稀缺的资源，一个紧凑的序列化机制可以充分利用数据中心的带宽。

B、快速：在进程间通信（包括MapReduce过程涉及的数据交互）时会大量使用序列化机制，因此，必须尽量减少序列化和反序列化的开销。

C、可扩展：随着系统的发展，系统间通信的协议会升级。类的定义会发生变化，序列化机制需要支持这些升级和变化。

D、互操作：可以支持不同开发语言的通信，如C++和Java间的通信。这样的通信可以通过文件（需要精心设计文件的格式）或者后面介绍的IPC机制实现。

1.4 Hadoop Writable机制

为了支持1.3描述的特性，Hadoop引入了org.apache.hadoop.io.Writable接口，作为所有可序列化对象必须支持的接口。Writable机制紧凑、快速，该接口不是标志性接口，它包含了两个方法：

ublic interface Writable {

  /**

   * 输出（序列化）对象到流中

   *

   * @param out 序列化的结果保存到流中

   * @throws IOException

   */

  void write(DataOutput out) throws IOException;

  /**

   * 从流中读取（反序列化）对象

   *

   *

   * 为了效率，请尽可能复用现有的对象

   *

   * @param in 从该流中读取数据

   * @throws IOException

   */

  void readFields(DataInput in) throws IOException;

}

Hadoop序列化机制中还包括几个重要接口：WritableComparable、RawComparator、和WritableComparator。

WritableComparable，顾名思义，它提供类型比较的能力，这对MapReduce至关重要。该接口继承自Writable接口和Comparable接口。其中Comparable接口用于类型进行比较。

RawComparator接口具有高效比较能力。该接口允许执行者比较流中读取未被反序列化为对象的记录，从而省去了创建对象的所有开销。

WritableComparator是WritableComparable和RawComparator的一个通用实现，先调用RawComparator的compare()方法。然后调用对象的compare（）方法。

1.5 典型的Writable类详解

Hadoop将很多Writable类归入了org.apache.hadoop.io包。本节主要讲解Java基本类和ObjectWritable的实现。

1.5.1  Java基本类型的Writable封装

目前Java基本类型对应的Writable封装见下表，所有这些Writable类都继承自WritableComparable，也就是说他们是可以比较的，同时，它们都有get与set方法，用于获得和设置封装的值。

1.5.2  ObjectWritable类封装

针对Java基本类型、字符串、枚举、Writable、空值、Writable的其他子类，ObjectWritable提供了一个封装，适用于字段需要使用多种类型。

该类有三个成员变量，包括被封装的对象实例instance、该对象运行时类的Class对象和Configuration对象。

1.6 Hadoop序列化框架

大部分的Mapreduce程序都是用Writable键-值作为输入输出，但这并不是HadoopAPI指定的，其他序列化机制也能和Hadoop配合，并应用于MapReduce中。

目前除了前面介绍的Java序列化机制和Hadoop的Writable机制，还流行其他序列化框架。列表如下：

A、Avro：是一个数据序列化系统，用于支持大批量数据交换的应用。它的主要特点有：支持二进制序列化方式，可以便捷、快速地处理大量数据，动态语言友好，AVRO提供的机制使动态语言可以方便处理avro数据。

B、Thrift：是一个可伸缩、跨语言的服务开发框架，由FaceBook贡献给开源社区，是Facebook的核心框架之一。

C、Google Protocol Buffer是Google内部的混合语言数据标准，提供了一种轻便高效的结构化数据存储格式。

2 压缩

一般说来，计算机处理的数据都存在一些冗余度，同时数据中间，尤其是相邻数据间存在着相关性，所以可以通过一些有别于原始编码的特殊编码方式来保存数据，使数据占用的存储空间比较小，这个过程一般叫压缩。和压缩对应的概念是解压缩，就是将被压缩的数据从特殊编码方式还原为原始数据的过程。

压缩广泛应用于海量数据处理中，对数据文件进行压缩，可以有效减少存储文件所需的空间，并加快数据在网络上或者磁盘上的传输速度。在Hadoop中，压缩应用于文件存储，Map阶段和Reduce阶段的数据交换等情景。

2.1 Hadoop压缩简介

Hadoop作为一个较通用的海量数据处理平台，在使用压缩方式方面，主要考虑压缩速度和压缩文件的可分割性。

所有的压缩算法都会考虑时间和空间的权衡，更快的压缩和解压缩速度通常会耗费更多的空间。

当使用MapReduce处理压缩文件时，需要考虑压缩文件的可分割性。考虑我们需要对保持在HDFS上的一个大小为1GB的文本文件进行处理，当前HDFS的数据块大小为64MB的情况下，该文件被存储为16块，对应的MapReduce作业将会将该文件分为16个输入分片，提供给16个独立的Map任务进行处理。

但如果该文件是一个gzip格式的压缩文件，这时，MapReduce作业不能够将该文件分为16个分片，因为不可能从gzip数据流中的某个点开始，进行数据解压。

但如果该文件是一个bzip2格式的压缩文件，那么，MapReduce作业可以通过bzip2格式压缩文件中的块，将输入划分为若干输入分片，并从块开始处于开始解压缩数据。bzip2格式压缩文件中，块与块之间提供了一个48位的同步标记，因此bzip2支持数据分割。

为了支持多种压缩解压缩算法，Hadoop引入了编码/解码器。与Hadoop序列化框架类似，编码/解码器也是使用抽象工厂的设计模式。目前，Hadoop支持的编码/解码器如下表所示：

同一个压缩方法对应的压缩、解压缩相关工具，都可以通过相应的编码解码器获得。

2.2 Hadoop压缩框架

   2.2.1  编码/解码器

CompressionCodec接口实现了编码/解码器，使用的是抽象工厂的设计模式，该接口提供了一系列方法，用于创建特定压缩算法的相关设施。

该接口中的方法很对称，一个压缩功能总对应着一个解压缩功能，其中与压缩有关的方法包括：

A、createOutputStream()用于通过底层输出流创建对应压缩算法的压缩流，重载的createOutputStream()方法可使用压缩器创建压缩流。

B、createCompressor()用于创建压缩算法对应的压缩器。

该接口中还提供了获取对应文件扩展名的方法getDafaultExtension()，该方法返回扩展名的字符串。

CompressionCodecFactory是Hadoop压缩框架的另一个类，它应用了工厂方法，使用者可以通过它提供的方法获得CompressionCodec。

2.2.2  压缩器/解压器

Compressor可以插入压缩输出流的实现中，提供具体的压缩功能。该类通过setInput()方法接收数据到内部缓冲区，自然可以多次调用setInput()方法，但是内部缓冲区总是会被写满。可以通过needInput()的返回值，如果是false，表明缓冲区已经满了，这时必须通过compress()方法获取压缩后的数据，释放缓冲区空间。

为了提高压缩效率，并不是每次用户调用setInout()方法，压缩器就会立即工作，所以为了通知压缩器所有数据已经写入，必须使用finish()方法。finish()调用结束后，压缩器缓冲区中保持的已经压缩的数据，可以继续通过compress()方法获得。至于要判断压缩器是否还有未读取的压缩数据，则需要利用finished()方法来判断。

将inbuf分成几部分，通过setInput()方法送入压缩器，而在finish()调用结束后，通过finished()循序怕段压缩器是否还有未读取得数据，并使用compress()方法获取数据。

end()方法用于关闭解压缩器并放弃所有未处理的输入；

reset()方法用于重置压缩器，以处理新的输入数据集合；

reinit()方法更进一步允许使用Hadoop的配置系统，重置并重新配置压缩器。

Decompressor提供具体的解压功能并插入CompressionInputStream中。

2.2.3  压缩流/解压缩流

CompressionOutputStream:该类继承OutputStream，也是个抽象类，该类实现了close()和flush()方法，但用于输出数据的write()方法、用于结束压缩过程并输入写到底层流的finish()方法和重置压缩状态的resetState()方法还是抽象方法，需要该类的子类去实现。

本文出自 “王威” 博客，请务必保留此出处http://jaydenwang.blog.51cto.com/6033165/1839616

Hadoop序列化与压缩

原文：http://jaydenwang.blog.51cto.com/6033165/1839616