程序员人生 网站导航

云计算核心技术架构论坛:技术描绘计算的创新和发展

栏目:互联网时间:2014-09-18 07:57:18

【CSDN现场报道】第六届中国云计算大会于2014年5月20-23日在北京国家会议中心拉开帷幕。本次会议以技术、应用、创新、标准、国际交流为方向,共设置了近20个分论坛,特邀了十大院士与百余位企业一线实践者,共同技术把脉云计算及大数据发展趋势,深入探讨云计算大数据在生产环境中的核心技术、实践经验、革新方向与国际标准等。

2014年5月23日,第六届中国云计算大会“云计算核心技术架构论坛”如期召开,杭州华三通信云计算业务部总监吴健,百度基础架构部高级总监刘炀,网宿云分发平台高级架构师刘瑜,微软亚太研发集团中国云计算创新中心资深总监王枫,北京航空航天大学计算机学院中德联合软件研究所副所长兼总工刘轶,中国移动研究院云计算系统部技术经理、高级工程师张志宏,华中科技大学计算机学院副院长、武汉光电国家实验室信息存储与光显示功能实验室主任冯丹,搜狐PaaS云平台架构师张宇欣,IBM大中华地区云计算架构师技术负责人王攀,亚马逊AWS首席云技术顾问方国伟,UnitedStack公司创始人&CEO程辉出席了本个分论坛并就云计算核心技术架构做了深度分享。

主持人:网易杭州研究院副院长汪源 & 人气爆棚的现场

云计算核心技术架构论坛在网易杭州研究院副院长汪源的主持下开启,汪源首先介绍了本论坛参与分享的嘉宾。

上午场:09:05-11:05

杭州华三通信云计算业务部总监 吴健

首先进行分享的是杭州华三通信云计算业务部总监吴健,他的演讲主题是“云网融合新架构”。他首先分享了从虚拟化到云架构的演变,分别实现了自动化流程、融合架构、自服务等功能。

吴健还表示,在使用了OpenStack的模块化架构后,整个云的扩展性得到了巨大的提升,其中VM规模>100万,Server>20000台,多租户虚拟网络>16M用户。随后他结合了H3C的实践经验,分享了全虚拟化、全融合后带来的优势:软件定义网络可面向应用进行网络访问策略的灵活控制;软件定义存储采用标准化硬件,通过分布式控制架构,极大提升存储的可靠性、扩展性、易用性;H3C全虚拟化、全融合架构,可实现存储与计算虚拟化融合,服务器即是计算,也是存储,按需扩展。


百度基础架构部高级总监 刘炀

百度基础架构部高级总监刘炀分享了名为“百度云计算架构”的主题。大数据时代,百度的基础架构需要应对过20亿用户带来的挑战。在容量上,总计近千PB,每日新增800TB,每日处理50PB;时效性上,峰值实时数据处理能力50GB/s,毫秒-秒级响应时间。多样性:内容上有网页、广告、日志、UGC;类型上有文本、图片、视频;形式上有结构化、半结构化、非结构化。

在基础设施建设&创新章节,刘炀提到,百度是国内首个整机柜部署的公司,高效部署,提升交付效率10倍;订制服务器,可以明显的降低TCO,异构服务器每瓦特的计算能力提升34倍;同时,百度还是业内最大的大规模部署自研万兆交换机,接入成本下降83%。在ARM应用上,百度是全球首个 ARM架构服务器端规模化应用,存储密度提升70%。在SSD使用上,百度还是全球首家客户自主研发及规模应用,相对传统PCIE Flash性能提升3倍,成本降低50%。期间,刘炀还分享了百度在能源节省上做的努力――年均PUE 1.32,最佳PUE 1.16。

宿云分发平台高级架构师 刘瑜

网宿云分发平台高级架构师刘瑜带来了名为“构建开放的智能云分发平台”的主题演讲,他首先分享了“标准通用、随处可用”就是云这个概念,随后他为我们详细的分享了网宿的CDN平台。

网宿CDN平台云化改造主要是包括两个部分――用云做分发和为云做分发。用云做分发包括基础架构的虚拟化、平台和功能的模块化、以及各模块之间接口的标准化等。其实网宿之前内部已经有很多标准化接口,内部的客服、运维管理人员也在使用这些标准化接口,并为这些接口提供了可视化的管理界面;而为云做分发的部分是指随着服务的云平台越来越多,发现一些内部的标准化接口和可视化管理界面也是云平台非常需要的,所以逐渐开放这些接口,去帮助客户提升配置、更改、维护的效率。

随后刘瑜更为我们分享了网宿CDN的DDoS防范,网宿云分发平台的安全防护体系相当于是在客户、源站、外围建立一道坚固的保护墙,有效隐藏了源站。攻击者只能访问到CDN边缘节点,无法对客户源站进行直接攻击。保护墙除了保护源站不受到DDos攻击外,还屏蔽了源站可能存在的其他安全漏洞,消除了被攻击者利用这些漏洞攻击的隐患。

微软亚太研发集团中国云计算创新中心资深总监 王枫

微软亚太研发集团中国云计算创新中心资深总监王枫的主题演讲为“微软Windows Azure公有云平台及最佳实践”,Azure是一个结合了IaaS、PaaS和SaaS的公用云平台,IaaS作为其他服务的基础,提供了高可用、高扩展的保障。在可靠性上,提供99.9%-99.95%的SLA保证、为数据存储提供本地3份拷贝和异地3份拷贝、为计算节点提供负载均衡和故障恢复、提供广域网负载均衡和故障恢复、为应用提供在线升级和版本切换。

北京航空航天大学计算机学院中德联合软件研究所副所长兼总工 刘轶

北京航空航天大学计算机学院中德联合软件研究所副所长兼总工刘轶带来的主题是“高性能计算与云计算――支撑与融合”,刘轶首先分享了高性能计算机的“十年千倍”速度增长这个态势――性能增长高于处理器性能增长速度,其中系统规模持续增大;体系结构的改进也并未停止,如近年来的异构/混合体系结构。随后刘铁还做了这样的预测:超级计算机正在向Exa-scale迈进,预计E级系统在5~8年内出现。

随后他围绕E级计算功耗、性能、可靠性、可编程性这4大挑战展开了讨论。在功耗上,目前最好:45GFlops/W,然而规模有限,TOP500第311位;目前TOP500排名前十机器<3.5GFlops/W,与目标相差1~2个数量级。性能,处理器向众核方向发展,异构/混合系统结构在过去几年中取得了较大成功,但是存在固有缺陷――可编程性较差。可靠性,预计E级系统规模节点个数会在1万到10万台服务器,10PF规模系统的MTBF平均无故障工作时间≈5小时,现有的Checkpoint软件故障恢复技术也面临挑战。可编程性:算法设计,能否达到如此高的并行度;并行编程:如何表示如此高的并行度?程序调试:出错场景如何重现、编程错误如何定位?其中,异构/混合体系结构将使编程问题更为复杂。

下午场:13:30-16:30

中国移动研究院云计算系统部技术经理、高级工程师 张志宏

中国移动研究院云计算系统部技术经理、高级工程师张志宏发表名为“电信运营商云计算技术用”的专题演讲,他认为全球云计算已进入成熟期。国外,AWS、RackSpace、GAE、Azure等竞争激烈。国内云计算商业部署全面启动,阿里云、青云、中国联通、中国电信、中国移动等百花齐放。随后,张志宏还介绍了中国移动的部署实践:

“云-管-端”模式下,中国移动构建私有云和公有云承载海量信息的存储和处理。其中,私有云实现业务系统、支撑系统和网元设备的云化,提升大数据处理能力,助力实现IT集中化管理;公众云服务构建云服务开放平台,服务行业云应用,打造云开放生态环境。

移动私有云。中国移动在天津和南方基地分别建设规模为2000台服务器和2100台服务器的资源池,构成企业一级私有云;安徽、福建、江西等省公司开展省级资源池和大数据平台的建设。

公众服务云。中国移动在南方基地建设规模为1000台服务器和3PB存储的公众服务云平台;中国移动推出个人云服务“飞信+”;在湖北公司上线国家教育云平台;支持福建、天津等政务云应用。

  华中科技大学计算机学院副院长、武汉光电国家实验室信息存储与光显示功能实验室主任     冯  丹

华中科技大学计算机学院副院长、武汉光电国家实验室信息存储与光显示功能实验室主任冯丹的专题演讲为“云存储平台软件及关键技术”,冯丹首先为我们分享了当下数据存储所面临的挑战:07年的EB,10年的ZB,每18个月翻一番,呈指数增长;数据到达率日益变高;数据的种类日益变多;数据的价值高;数据负载波动大。

随后,冯丹分享了当下Hadoop在大数据领域所遭受的挑战:Hadoop并不能完全保证数据的本地化。Hadoop对于IO膨胀性应用支持较差,对小文件支持较差。仅对MR类型的应用有较好的支持,MR不能适用所有类型大数据应用。HDFS不适合低延迟数据访问、不支持多用户写入及任意修改文件。

最后,她还就云存储之分布式文件系统相关研究、分布式对象存储系统CapFS两个方面进行了详细分享。其中,CapFS的几个指标为:可扩展至10PB、支持62.5GB/s聚合带宽,支持5250个并发访问、文件总数达到十亿量级(109)、支持单个目录下文件数量达到百万(106)以上、支持每秒105个元 数据处理操作。

搜狐PaaS云平台架构师 张宇欣

搜狐PaaS云平台架构师张宇欣的专题演讲为“搜狐云计算PaaS平台核心架构设计的迭代”,其中第一版和第二版之间的变化无疑是最大的,弃用进程级PaaS,跳出沙箱+jdk这个坑,转而使用Container,并直接运行在物理服务器上,跳出虚拟化30%损失这个坑,支持脚本集成。

在第三版中,更多的需求被提了出来――越来越多的系统集成需求,越来越复杂的流程变化的需求,越来越特别的调度需求,替代现有组件的需求、大量扩展开发需求,网络的安全性。为此搜狐团队使用消息中间件代替REST,shell和cli的基础上添加了API等。

最后,张宇欣引用了Adam Smith的观点“分工可以极大提高劳动生产率,每个人都专门从事他最有优势的产品的生产,然后彼此进行交换,则对每个人都有益”,他强调,对于用户来说,我们一直在保证用户的资料安全,而对于我们来说迭代更是通过自动化解放生产力的一个过程。

IBM大中华地区云计算架构师技术负责人 王攀

IBM大中华地区云计算架构师技术负责人王攀带了名为“IBM如何构建动态混合云”的专题演讲。王攀首先分享了公有云、私有云和动态混合云的好处:公有云,低成本门槛、按使用收费、高弹性;私有云,全部客户化、健壮的管理、安全性设计;动态混合云,最大化现有IT的投资回报、让业务负载有最适合的基础架构进行支撑、在速度与风险间完美平衡、在不增加资产投资的情况下满足周期性容量需求及快速扩展计算能力。他表示应用核心部分的担心和负载的突发性增长,决定了混合云才是发展的趋势。

当然,还可能存在这样的情况,云平台全部自建,部分平台或闲置资源可租给外部用户使。王攀表示,全球前10万企业使用最多的云就是Softlayer。当下,Softlayer全球已经有13+1个数据中心,将近20万服务器,遍布在美国欧洲亚洲19网络节点。同时,他还表示,区别于其他供应商,Softlayer存储API的Get和Put请求是不收费的。

亚马逊AWS首席云技术顾问 方国伟

亚马逊AWS首席云技术顾问方国伟的演讲专题为“如何在AWS云平台上构建千万级用户应用”,他表示弹性的确是云计算的一个重要特性,AWS云平台也提供Auto Scaling功能来帮助用户实现弹性伸缩;但是,应用服务的弹性伸缩需要良好的设计,包括应用的架构、使用的服务类型。

随后,方国伟以典型的Web应用为例,分享了基于云的应用架构经验。期间方国伟分享了多个基于云的应用扩展性设计经验,比如采用多种不同的缓存技术和服务、综合使用SQL和NoSQL数据库、尽量自动化管理你的基础设施等。

在综合使用SQL和NoSQL数据库章节,他建议大部分应用从SQL开始,因为SQL相对成熟,优缺点都比较明确;现存大量工具、已有代码,图书资料,技能等;一开始SQL能够满足需求,尤其是百万级用户量内的;有一些常用的扩展SQL的方法。而在什么时候要考虑使用NoSQL,他分享了下列场景:短期内增长大量数据,比如一年5TB以上;应用要求非常低的延时;非关系型数据,非结构化数据和半结构化数据;快速的数据写入,比如每秒几千个记录。

UnitedStack公司创始人&CEO 程辉

UnitedStack公司创始人&CEO程辉的专题为“如何用OpenStack构建云计算数据中心”,他首先对比了OpenStack与AWS的区别,他认为,OpenStack就是未来的云计算领域的Linux。

OpenStack vs. AWS (点击查看大图)

IaaS网络搭建(点击查看大图)

随后,他从网络、存储和计算三个方面着手,以OpenStack为角度,带我们领略了数据中心的核心技术。

更多精彩内容,敬请关注 第六届中国云计算大会专题报道,关注新浪微博直播  @CSDN云计算。

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐