程序员人生 网站导航

Hadoop 2.3.0-cdh5.1.0重编译

栏目:服务器时间:2015-08-07 07:54:48

Hadoop版本有很多,这里我选择的是cdh版本。cdh是Cloudera公司在Apache原版基础经过加工的东西。chd具体的下载地址为:

http://archive-primary.cloudera.com/cdh5/cdh/5/


版本信息以下:
Hadoop:Hadoop 2.3.0-cdh5.1.0
JDK:1.7.0_79
Maven:apache-maven⑶.2.5(3.3.1和更高版本必须在JDK1.7以上)
Protobuf:protobuf⑵.5.0
Ant:1.7.1

1.安装Maven
Maven可以自己到Maven官网上下载(http://maven.apache.org/download.cgi)。需要注意的是:如果JDK是1.6及其以下的,那Maven最多只能下载到3.2.5,如果下载3.3.1及其更高版本就必须要1.7的JDK。


2.安装Protobuf
Protobuf的安装参见:http://www.tuicool.com/articles/jM7Nn2,安装进程也很简单。


3.安装其他需要的组件
还需要安装ant、gcc等组件,运行以下命令,会根据需要自己到网上下载安装。

yum install autoconf automake libtool ant gcc gcc-c++ make cmake openssl-devel ncurses-devel
如果失败就多试几次。如果1直失败可斟酌自己上网下载然后手动安装。具体流程为:Windows上网下载ftp传给Linux在Linux上解压安装。
其中Ant的安装步骤可见:http://blog.csdn.net/zj7758/article/details/8437739


4.下载Hadoop源码并解压
源码下载地址为:http://archive-primary.cloudera.com/cdh5/cdh/5/


5.编译源码
运行:

mvn package -DskipTests -Pdist,native -Dtar

如果出现毛病可以加上-X显示毛病详细信息:

mvn -X package -DskipTests -Pdist,native
------分隔线----------------------------
------分隔线----------------------------

最新技术推荐