Hadoop-2.2.0中文文档—— Common - Native Libraries Guide

支持的平台

native hadoop 库仅在 *nix 平台上受支持。

这个库不能与 Cygwin或 Mac OS X 平台一同工作。

native hadoop 库主要用在 GNU/Linus 平台，已经在这些发行版上測试过：

• RHEL4/Fedora
• Ubuntu
• Gentoo

在全部上面的 32/64 位发行版上。 native hadoop 库会分别执行一个 32/64 位的 jvm.

下载

内置的 32-bit i386-Linux native hadoop 作为hadoop发行版的一部分，位置是 lib/native 文件夹。

你能够从 Hadoop Common Releases 下载hadoop发行版。

确保要安装 zlib和/或 gzip 开发包 - 不论你用哪一个压缩编码器来部署。

Build

native hadoop 库有用 ANSI C 写的，用 GNU autotools-chain (autoconf, autoheader, automake, autoscan, libtool)构建。这意味着它应该能够直接在不论什么有标准C编译器和GNU autotools-chain(见支持的平台)的平台上构建库。

你须要安装在目标平台上的包：

• C 编译器(比如， GNU C Compiler)
• GNU Autools Chain: autoconf, automake, libtool
• zlib-开发包 (稳定版本号 >= 1.2.0)

一旦你使用标准的hadoop build.xml file安装了先决的包。并传递compile.native 标志(设为true)去构建 native hadoop library:

   $ ant -Dcompile.native=true <target>

你应该能够看见新建的库：

   $ build/native/<platform>/lib

平台是系统属性的组合： $os.name-$os.arch-$sun.arch.data.model (如, Linux-i386-32).

请注意：

• 必须安装zlib 和 开发包到目标平台上，以便构建 native hadoop 库。然而。为了开发的话仅安装一个包就够了，假设你仅仅想用编码器的话。

• 必须有正确的 32/64库 适合zlib,取决于目标平台的 32/64 位 jvm ，为的是构建和部署 native hadoop library.

执行时

bin/hadoop 脚本确保 native hadoop library 通过系统属性在 library path 上：-Djava.library.path=<path>

在执行时，为你的 MapReduce 任务检查 hadoop 日志文件。

• 假设一切正常。那么: DEBUG util.NativeCodeLoader - 试着载入自构建的 native-hadoop library... INFO util.NativeCodeLoader - 加载了的 native-hadoop library
• 假设哪里出错了，那么: INFO util.NativeCodeLoader - 不能为你的平台加载 native-hadoop library ... 使用可用的java类

Native Shared Libraries

你能够用DistributedCache 为分布和对称链接库文件加载不论什么的 native shared library 。

这个样例展示了怎样散布一个 a shared library, mylib.so, 并将其从一个 MapReduce任务中加载。

1. 首先拷贝文件到 HDFS: bin/hadoop fs -copyFromLocal mylib.so.1 /libraries/mylib.so.1
2. job启动程序应该包括以下的: DistributedCache.createSymlink(conf); DistributedCache.addCacheFile("hdfs://host:port/libraries/mylib.so. 1#mylib.so", conf);
3. MapReduce 任务能够包括: System.loadLibrary("mylib.so");

注意: 假设你下载了或构建了 native hadoop library,你不须要使用 DistibutedCache 来使库对你的 MapReduce 任务可用。