程序员人生 网站导航

杭州华三通信市场部总裁王巍:云计算打造新IT、新价值

栏目:互联网时间:2014-09-22 13:01:24

【CSDN现场报道】第六届中国云计算大会于2014年5月20-23日在北京国家会议中心拉开帷幕。本次大会立足实践,以国际化的视野,帮助与会者了解全球云计算技术的发展趋势;从应用出发,探讨交通、医疗、教育、金融、制造、数字娱乐等行业领域的实践经验;并通过技术专场、产品发布和培训课程等方式,深度剖析云计算大数据的核心技术。


杭州华三通信市场部总裁 王巍

在第六届中国云计算大会全体会议上,杭州华三通信副总裁、市场部总裁王巍发表了名为《云计算打造新IT、新价值》的主题演讲,从IT老的三样到八大件,他认为网络的虚拟化构成了云计算实现的基础。而网络虚拟化主要分为3个步骤:设备虚拟化、功能虚拟化和链路虚拟化。期间,王巍引用了IBM的四个字来描述云计算的灵魂――随需而变,虚拟化只有是实现这个目标的一个环而已,只有完成可定义和自适应才能做到这一点。

以下为现场实录:

大家好,我叫王巍,我要用半个小时跟大家呈现一下云计算的一些实践,因为我们是一个做产品解决方案和工程实践一个团队。

我今天聚焦的就是一个IaaS,在IaaS这个层面,我只讲两个问题。第一,我们把IaaS拆解开,它到底由哪些部分组成的,一共把它拆解成8个构件,下面有计算和计算的虚拟化、网络及网络的虚拟化,存储及存储的虚拟化。在它之上有计算的智能控制,有网络的智能控制,有存储的智能控制。其中网络智能控制他们比较熟悉,就是对应着SDN。但是计算、网络、存储分别做相应的控制,必须在它之上还要做一层融合控制,这个融合控制之上还得面向整个底层资源和上层应用有一个资源调度层,这是整个IaaS拆解之后,我们有一句话叫从IT的老三样到八大件,IT老三样就是计算设备、存储设备、网络设备。八大件是它全面虚拟化之后,再进行融合控制和资源化。

云计算在IaaS这一层的现实工程技术和实践到底到了哪个地步,最大的障碍和门槛在哪里?所有的云计算的基础架构跟云应用又是什么关系?我们所有做上层软件开发的人都知道,我基于传统IT架构是一种编程习惯,到一个云平台之后,我做应用是不是要用一种新的开发方法去对接底层的资源呢?下面,我就来跟大家汇报一下整个目前工程的进展和实践,到今天到底发展到哪里。

云时代的IT架构

来看这张图,云计算在最底层有计算和计算的虚拟化,它已经非常成熟了,物理机虚拟化是比较成熟的,云计算在存储这一侧,存储虚拟化相对成熟。最大的问题出在哪里呢?刚才周老师讲所有云计算的本质实际上是网络计算,最大的问题就出在网络这一侧了,为什么这样讲呢?网络以前我所连接的是物理设备,如果我对应的物理设备不是我的最终连接对象,我的最终连接对象变成了虚拟设备,无论是虚机还是集群,它都不是一个物理设备,而是一个逻辑设备。

第二,以前在数据中心所有设备网络连接基本上是偏静态的,左侧的计算是静态的,右侧的存储也是相对静态的。但是现在所有的计算和存储会动态的呈现出来,虚机是可以漂移的,漂移之后还要求必须在大二层,它的IP地址不能够发生变化。这个也给我带来一个极大的挑战,它变来变去,我怎么能够跟得上计算追得上,连接得好。

它还有安全的问题,一个静态的网络可以设置静态安全策略,但是动态的网络怎么设置动态安全策略呢?还有其他的很多问题,比如我整个局域网络是小规模去使用的,在一个教室里,大家几十个人互相找地方可以通过喊,用广播这样一个报文做ARP等等,我可以喊张三你在哪里,张三说我在这里,我们可以找到对方。如果在人民大会堂,一万个人在里面,大家互相找也这么喊可以吗?不行,大型数据中心,一个数据中心的物理机房里面超过一万台服务器,每年在中国都有接近10―20个左右规模的数据中心呈现,我们如果用传统的局域网技术连接这样的大二层是解决不了问题的。因此,现在云计算就是网络计算,网络计算的所有技术瓶颈和工程实践就卡在这一层了。

怎么才能实现网络这一侧的虚拟化能够讲清楚呢,这个问题如果不说清楚,整个大云最底层的基础就搭建不好。下面,我就直接面对一个主题,到底云计算里面网络的全面虚拟化是怎么回事,怎么去实现。

网络虚拟化全解析

它分三个层面要去实现全面虚拟化。第一个层面叫设备虚拟化,第二个层面叫功能虚拟化,第三个层面叫链路虚拟化,这三个层面如果全面都实现了不是概念上,而是实践上对应着成千上万台物理设备,我能搭建出数以十万计的逻辑设备,并有效连接起来,这才叫实现了网络虚拟化。

1. 设备虚拟化

我从07、08年首先实现的技术开始,是对应着设备虚拟化的横向虚拟化,这里我画了两个物理设备,一个可以想象成可以在百度、阿里、腾讯,一个设备要接入上万台服务器的这样一个网络核心交换机。这个设备里面分为接口、转发平面、控制平面,两台设备要连接起来,这两台设备要变成一台逻辑设备,为什么这样?数据中心,尤其大型数据中心最怕的是什么?是主网三角形,一个服务器出来,一般都是两个链路上去,双归属,跟上面的两台设备就会形成一个三角形。物理服务器成千上万,逻辑服务器就数以几十万计,他们形成几十万个三角形,这对任何一个数据中心都是灾难型的。因为每一个三角形为了避免这样一个广播风暴,为了提高它的可靠性,二层我们都要做MSTP,我们在三层都要做RPP这样的协议,所有的三角形就构成了数据中心所有不可靠的基点。但是如果我们能把这两个设备逻辑成一个设备,让它的转发平面变成一个转发平面,控制平面变成一个控制平面,所有双规数又变成了一个链路绑定,成千上万的三角形消失之后,整个数据中心的可靠性和高性能才能体现出来。如果一个平面出现问题,切换到另外一个平面,一定要小于30毫秒,这就是在2007年、2008年的时候,中国所有的大型数据中心包括美国欧洲所有的大型数据中心都要解决的一个问题。

我们那个时候其实服务于大的金融和互联网上层的数据中心,解决横向虚拟化,这是当年的第一步,它实现多个物理设备N比1的横向整合。

解决这个就OK了吗?不是,到2010年必须要解决纵向虚拟化。网络所有的复杂性和不可靠性都是由于它节点过多和拓扑导致的,理想状态叫做一网一设备,虚拟化就是把一个网虚拟化成一个设备,这个时候是网络在整个拓扑的这样一个简洁性上、易操作性上和整体可靠性上达到一个极点。这时候上面的设备和下面的设备把下面的控制平面和转发平面一样上收上去,一个核心交换机可以把底下汇聚交换机逻辑成一个板卡的时候,整个数据中心的网络就逻辑成了一台设备,这时候就变成最简洁的架构。

横向虚拟化和纵向虚拟化之后,我们可以实现多个设备逻辑成一个设备,但是这个时候我们又开始做下一步,要把一个设备再逻辑成多个虚拟设备,就是先做N比1的虚拟化,再做1比N的虚拟化。这时候无论是物理设备还是虚拟化设备,我们可以根据数据中心的分区需求,还可以把它逻辑成不同的虚拟化子设备。

我们的技术叫MDC,在很多地方都是从最高端的数据中心得到的实践,这个全部实现完以后,设备虚拟化这个基本动作才告一个段落。

2. 功能虚拟化

我们还要进行功能虚拟化。功能虚拟化是什么?网络是一个大概念,除了交换机还有路由器,还有防火墙,还有流量监控,还有防攻击等等功能。这些功能如果面向一个虚拟的计算环境和存储环境,所有的功能会像糖葫芦一样串起来,计算、存储在动的时候,我要随着它动,这一串东西都要动。因此,光设备的虚拟化是不够用的,必须把逻辑设备和物理设备上的所有网络功能拆解出来,逻辑的防火墙、逻辑的SR等等,拆解成这样一个功能。所以,以前的一个做法是什么?在专有硬件上,我能够定义各个功能组件,这是一个网络操作系统一定要做的事情,我们的操作系统叫Comware,很多人不理解这是什么意思?我说你理解VMware就理解了Comware,Comware也可以运行在X86的硬件上,也可以运行在专有硬件上,然后可以起不同的无线控制器等等,只有把它的功能虚拟化,我才能对这些虚拟化的功能带有一定性能的功能,才能对它进行面向应用的编排,这个是整个虚拟化技术在网络全面虚拟化当中的第二个步骤,就是实现功能虚拟化。现在有些人管这个技术叫NFV,但不管怎么样,它最终要实现的目的就是这个。

3. 链路虚拟化

最复杂的一个东西就是链路虚拟化,以前我们有物理链路,也有传统的VPN,但是它解决不了一个问题,它在整个连接虚拟的大型云计算中心里面,以前我的网络就是接一个X86,接一个网卡,比较固定。现在的网络接物理服务器,里面有4个或者8个甚至10个相应的虚机。这时候传统的计算提供厂商都是做一个VEB技术,一个数据中心可能有数以百计的设备,这里面如果有五千台服务器的话,还有五千个虚拟的交换机在这个里面,这个物理网络和虚拟网络属于两个管理平面,它们彼此之间只能感知这个虚拟交换机外面出去的接口参数,对于里面是什么样的一个安全设置和交换关系是不清楚的。那么数以千计的虚拟设备和数以百计的物理设备之间存在一层断裂,这层断裂就使得整个安全关系,使得整个调度实际上是非一体、非融合的。它的整个网管界面无法统一,另外,网络侧的大二层的能力并没有解决,我们多租户要形成大二层,以前是支持4096个,现实的环境如果超过这个大型数据中心,就没有办法了。所以,这个从2008年、2009年、2010年左右一直使用VEB技术。

去年有一个基本思路,我调不动你的物理网络,我们就这样,我们如果在人民大会堂一万多人要互相找人怎么办?靠喊肯定是找不到人的,这个时候又把二层网络改回成我们会打手机,相当于在AB之间建立通道,找他的位置。这个技术也是一样的,底层网络只是一个传统的通道,而这个网络通过动态VPN技术,实际上有两层IP地址借助UDB协议打标签,我可以在不同的虚机之间,当它发生动态漂移的时候,我也能找到对方的位置,是通过底层网络三层网络打动态隧道,再打出来一个二层网络。这个时候很多网络厂商的股价就下降了,一个时代就出现了,说我们用软的这样一个网络可以替代硬的网络,这样一个思想就出现了。

但这种技术在解决的时候,也存在很多问题,它能在逻辑上解决所有的虚机连接问题,但是给客户也带来了一些困扰,当出现问题时,到底是物理网络还是逻辑网络出了问题?另外,所有服务器的性能已经进化到4核、8核这种东西比较普及,这种情况下,vSW都是万兆的业务要求,它占有CPU很多资源,本身的性能和可靠性也是被质疑和挑战的。这个是到2013年的时候相应的一个技术。

再往前发展,就是到这个月,已经开始大规模实践的技术就是我右边所画的这个技术。在物理网络设置,这种就不是主机overlay,而是Hybrid overlay。到这个时间点,数据中心里围绕着大型的这样一种虚拟化集群计算和虚拟化集群的这样一种存储环境,网络的连接终于完成了设备虚拟化、功能虚拟化和链路虚拟化。这个时候,我有了一个基本的基础,当你计算和存储环境无论怎么变,我可以用一个可变的网络环境去对接你,这个就到了我们马上要介绍的第二个阶段。

所有的全面虚拟化实现之后,呈现的一张图是什么呢?传统设备通过横向纵向设备去简洁,它是一个传统网络和新的概念网络的混合组网,然后在逻辑网络,有主机overlay,也有硬件的overlay,在之上有一个控制平面,我们叫VCF,叫虚拟融合架构,这一侧形成全面网络虚拟化的技术。

网络虚拟化不是最终目的,我们的最终目的是什么?这里我画了一张图,有三个应用,绿色的应用可以理解为公务员报考、铁道部卖票,或者学校里选课,都有这样的特点。平时绿色的没有几个人访问,所以都是谷底,所有的资源利用率非常低。但是,一旦来了一个高峰,铁道部春运卖票了,学生到期末要选第二学期的课的,或者是公务员要报考、要查分了,这个时候,原有的基础设施根本就不够用。无论是公有云、私有云,你弄几个虚机是解决不了这个问题的,要解决这个问题的关键是什么?四个字,我借用IBM十几年前就在讲的四个字,随需而变。当压力大的时候,我底层的资源就跟着你一起把资源调大。当你压力变小的时候,我的资源就释放出去,这个才是云计算的灵魂,变―随需而变才是云计算的灵魂,而不是虚,虚是为了变,变是为了更好、更便宜、更快、更省力的完成我们的IT应用使命。

云计算的灵魂――随需而变

怎么做到这一条呢?以前我们做应用开发的人都要去猜,做部署的人要做,要做冗余资源的配置,无论是物理机还是虚机都要做,按照猜测的峰值再冗余20%、30%配置资源。在云计算是什么?它的核心如果云应用做到了我对底层架构资源不去猜,我根本不猜,我的整个部署可以部署在非常小的资源之上。怎么去实现呢?这里面的关键词就在这儿,它的目的是节省资源、抗风险和反应灵敏,但整个关键步骤在哪?翻译成中文是可定义、自适应、随需而变,可定义是面向应用可定义底层资源,自适应是底层资源根据应用压力自适应应用需求,最终是什么?随需而变。

但是我们做技术的都知道,我们要把它拆成几个可实现的功能模块,怎么拆呢?第一,我要定义规则,这个应用当发生什么变化时,我要做什么样的一个底层资源改变,这是规则定义。第二,我要有探针,整个IT系统不是计算,还有网络、存储、链路,我把它整体作为实现应用的底层资源,全方位监控,当底层资源出现紧张时,我要知道,要能够变更,这种变更不是人工变更,大型系统几个月都变更不过来,是要自动化变更,要瞬间完成变更。这三个工具和动作如果都能实现,我们就可以做到随需而变的系统。

怎么样才能随需而变呢?我们来讲此轮云计算整个革命是从互联网产生的,互联网跟传统的应用不一样的地方就是在于传统IT系统是应用决定架构。我要搞一个社保,我社保需要小机DB2,我需要什么样的BS、ES架构,我来决定底下是什么。互联网不是,是底层架构决定上层应用。

一种架构我可以承载所有的应用,这里面有三个工具构成了我前面所说的规则、部署和探针这三个功能,我分别来介绍一下是怎么实现的。

规则、部署和探针

首先介绍一下规则定义,这是我在我们的界面上直接截取下来的界面,一个应用对应的资源,如果CPU定律,超过80%我就认为它紧张了,它的连接超过1000个并发连接,我就认为紧张了。比如说学校选课系统,一两万个学生同时选课的时候,扩张策略可以定义成一次性定十台虚机,所有网络随动,只要压力超过10秒钟我就扩10个虚机。这种情况下,如果10个扩了不够,再扩10台,我们已经做的应用,12000个学生已经扩了19个虚机,现在是只要10秒钟有压力就扩展再扩展,很顺利的就把所有的应用都解决掉,在报税系统、在公园查分系统,在学校的图书馆点播系统都有。下面如果我压力没有那么大了,所有的利用率小于30%、20%,我就放弃一些资源给其他的应用去用,举一个很简单的例子,物理机的利用率33%,但并不意味着虚机的利用率很低。

第二,探针技术,这里有一个水球球,上面每个都有一个卡片,这张图是在宏观上给大家一个概念,但其实不是那么简单的,所有的应用里面每一个都有相应的参数,每个参数都可以设置相应的预值,我们看以这个应用为例,所有对应的资源都是被探针监控的,一旦发现有问题的话,就用规则要进行部署和变更。然后我们来看一下如何归属、如何变更,我们来进入一段视频。

网络的本质就是断口和链路,然后建立一个庞大的数据库,这是SDN控制的所有基础,这个池化功能,就像横向的设备虚拟化,包括功能虚拟化、链路虚拟化,池化之后我们要面向应用进行编排,不是对着物理资源,而是对着逻辑资源。我一拖就是一个交换机,还有虚拟路由器,我对它都可以进行参数配置,还可以对链路进行配置,对主机进行配置,然后建立相应的模板,这些模板里面把所有的参数配置好,这都是逻辑层面的,编排完了以后是一个link应用,围绕着微软的link应用都把它搞好之后,上面的逻辑跟底下做一次编译,匹配完之后分出来一部分这样的水平,我们把底下的资源池水平横切,之后我们就可以向下进行相应的部署,这时候在物理资源层还没有形成整个定义。

我们在形成部署的时候,如果有冲突我们可以把它手工排查掉,没冲突的情况下,我们选个时间就可以把所有的部署绑定下去,然后按一个键就部署下去。

我们在惠普数据中心做了一个实践,就是把它所有的邮件系统用这样一个办法去,是多长时间呢?以前三个半月做的大概几千万条命令,最后是5分钟全部实现。

所以华三是一个做互联网技术的公司,我们在IT领域全球企业网目前排名第二,我们的人均专利在国内排第一,平均每天有新专利出来,应该是华东地区江浙沪唯一一个进入到创新十强的企业,我们在专利总量第六,设备两千多万台在全球,目前中国份额第一,全球份额第二。我们的梦想是根植中国,服务全球,既然云计算是全球计算,那么我们就打通整个IT架构,实现云网融合的体系架构。6月份我们在北京会有全套的详细架构发布,这个架构能够在5000台服务器上实现,一个是省级政务云实现,一个是三大运营商上实现。敬请大家光临我们的发布会。谢谢!

更多精彩内容,敬请关注 第六届中国云计算大会专题报道,关注新浪微博直播  @CSDN云计算。

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐