程序员人生 网站导航

CDH学习(一)CDH简单介绍

栏目:互联网时间:2014-11-21 08:39:48


Cloudera的CDH和Apache的Hadoop的区分  目前而言,不收费的Hadoop版本主要有3个(均是国外厂商),分别是:

Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution

Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data Platform,简称“HDP”),对国

内而言,绝大多数选择CDH版本,CDH和Apache版本主要区分以下:  

(1) CDH对Hadoop版本的划分非常清晰,只有两个系列的版本,分别是cdh3和cdh4,分别对应第1代Hadoop(Hadoop

 1.0)和第2代Hadoop(Hadoop 2.0),相比而言,Apache版本则混乱很多;比Apache hadoop在兼容性,安全性,

稳定性上有增强。 

(补充:当前已有CDH5,对应Hadoop2.2.0开始) 

(2)CDH3版本是基于Apache  hadoop  0.20.2改进的,并融入了最新的patch,CDH4版本是基于Apache hadoop 2.X改

进的,CDH总是并利用了最新Bug修复或Feature的Patch,并比Apache hadoop同功能版本提早发布,更新速度比

Apache官方快。


(3)安全 CDH支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证 

(4)CDH文档清晰,很多采取Apache版本的用户都会浏览CDH提供的文档,包括安装文档、升级文档等。 

(5)CDH支持Yum/Apt包,Tar包,RPM包,CM安装,Cloudera Manager3种方式安装,Apache hadoop只支持Tar包安装。


注:CDH使用推荐的Yum/Apt包安装时,有以下几个好处: 


1、联网安装、升级,非常方便 


2、自动下载依赖软件包 

3、Hadoop生态系统包自动匹配,不需要你寻觅与当前Hadoop匹配的Hbase,Flume,Hive等软件,Yum/Apt会根据当前

安装Hadoop版本自动寻觅匹配版本的软件包,并保证兼容性。

4、自动创建相干目录并软链到适合的地方(如conf和logs等目录);自动创建hdfs, mapred用户,hdfs用户是HDFS

的最高权限用户,mapred用户则负责mapreduce履行进程中相干目录的权限。


------分隔线----------------------------
------分隔线----------------------------

最新技术推荐