程序员人生 网站导航

PMC廖恒:用短平快的突击队模式,去探索未知的空间和未来的方向

栏目:互联网时间:2014-10-16 09:44:27

随着近年来云计算以及大数据技术如火如荼的发展,企业对于存储在容量、性能、成本、可伸缩性等方面的需求也在逐年上升。为此,存储厂商PMC对于存储技术提出了各种创新与改进,并针对客户的实际需求,设计了系统化的解决方案,从整体上提高了客户实施的存储系统的技术水平和业务满意度。在第六届中国云计算大会上,CSDN采访了PMC公司研发副总裁兼首席科学家廖恒,他将让我们了解到,PMC是怎样实现这些关键目标的。


PMC公司研发副总裁兼首席科学家廖恒

CSDN:在去年的中国云计算大会上,您提出了一个观点,即大型数据中心面临两个复杂问题的挑战,一是热度的数据,二是资源的池化。应对这两个挑战的大致思路是怎样的?PMC在这些方面目前有哪些实践或产品?

廖恒:去年我们提出了基于交换矩阵的硬件体系结构。它的大背景是,数据有着不同的热度。从容量和性能这两个角度来考察,不同热度数据的比例随着应用的不同需要而发生变化,因此要考虑CPU和I/O子系统的配比。第二个问题是资源的池化,它本质上是一种虚拟化技术。过去,虚拟机通常是指在单个节点内把一个大的CPU节点切成更小,对节点内部的资源进行调度和匹配。如今,在云计算、大数据的环境下,因为计算都运行在一个大规模的、网络连接的集群上面,所以需要把这种资源的池化、动态匹配的能力扩展到集群这一级,而不是在节点内部。

一旦把池化扩展到集群一级,势必就会有互联的问题。我们需要考虑这些设备该怎么连接,怎样把这些在物理上分离的资源共享为一个全局的资源。另外,还需要和云的资源调配平台进行整合,只有这样,硬件的能力才能得到充分的应用。近期在产品上,我们还是以较为传统的方法,在器件级或系统级提供很多模块化的解决方案,比如,我们覆盖了SAS的各种协议,不管是I/O控制器还是交换器,不管是芯片级、板卡级,还是子系统级,我们都要覆盖,这样能为我们的客户提供各种灵活和完善的模块。客户想怎么搭,就能怎么搭,从而找到一种合适的方法来搭建一个系统。从长远来看,PMC的解决方案将继续沿袭去年提出的FDIO架构。我们最近在博客上发表了一系列文章,展开了这个问题的远景思路,包括为什么要做FDIO,怎么做,每一种技术的走向会带来什么问题等等。有一些产品还没有正式发布,但是从研发的角度来看,我们在基于SAS的结构和基于PCIe的结构等方面都做了很多研发和部署工作。从实施的角度来说,我们继续和国内外的大型数据中心保持紧密的合作关系。在去年,解耦合技术还是纸面和概念上的交流,而今年已经进入具体的实施阶段。我们很快就会看到,数据中心的服务器将不再直接挂载固态硬盘,而是以某种方式,通过交换和互联后,把固态硬盘从服务器内部剥离出来在外部连接,而且可以实现共享。

CSDN:在去年的云计算大会上,您还有另外一个说法,芯片开发从概念,到量产,到部署需要2到3年的时间,PMC在硬件的创新领域必须领先业界2到3年。这样的领先,PMC是如何做到的?

廖恒:我们不敢宣称永远都能做到,只是朝着这个方向去努力,这实际上是一种孜孜不倦的长期的追求。我们的技术产品也好,技术方向也好,必须得到系统厂商甚至最终用户的接受和认可。硬件的技术需要和软件的生态体系相配合。这是一种追求和被追求的关系。为了把握正确的方向,我们必须下足工夫,这主要在于几个方面:

第一,作为一个全球领先的存储芯片和解决方案厂商,我们目前服务了能够看到的三大市场:企业级存储、工业标准的服务器以及数据中心的IT。在这三个市场中,我们和全球几乎所有领先的厂商或客户都有供货的关系,这种充分的可见度带来的好处就是我们对这三个行业的方向有一定程度的把握。

第二,数据中心作为一个快速发展的领域,对应用技术的话语权和掌控权已经转移到最终用户手里。这对我们来说是一个挑战。我们也下了非常大的工夫,和全球前十大互联网公司长期保持十分紧密的交流、合作、测试、指导、被指导的关系。这种不断适配的过程是孜孜不倦追求的过程。这就使得我们在互联网IT基础设施的方向上有一定影响力。这种影响不光是单向的,不只是我们吸收他们的需求,很大程度上我们也可以对他们做的事情,如硬件架构的选择,或软件的发展,产生一定的引导作用。

第三,刚才提到,体系结构的演进必须软硬件跨界配合。我们过去几年一直做一种努力,就是必须搞明白应用层在做什么,操作系统在做什么,相当于从软件的角度入手去定义硬件,而不是像过去说的那样,从“门”去定义硬件。这种转变是非常深刻的,对我们研发的引导作用是很大的。

过去提到芯片开发,从概念到量产有3到4年之长的周期,而且投入是非常巨大的。为了正确地把握方向,我们采用了一种突击队模式――我们并不一下子就把赌注下在一个非常复杂的芯片上,而是不断地用小分队去做短平快的概念原型开发,以便从概念上验证一个体系结构带来的好处,以及它会面临的软件生态上的挑战。另外,也可以用原型做一个评估的平台,交给用户或构架师们去评估,再给我们反馈。这种短平快的突击队模式通过一种孜孜不倦的原型验证,去探索未知的空间和未来的方向。这种方式目前取得的效果是非常好的。

当然,最基础的还是要把做芯片的内功练好,比如芯片质量和功耗,我们一定要做好,这是一切实施的基础。我们不只在单方面努力,而是在综合、系统地前进。

CSDN:刚才您提到了PMC是知名的存储芯片厂商,PMC的产品和解决方案对业内有一定的影响力。现在有一种说法,在云计算时代,存储的位置一落千丈,完全被资源化,您对此有什么看法?PMC在这种背景下是怎样定位自己的?

廖恒:的确,我们做的东西是最基础的资源。不过,我相信卖石油的人并不会觉得石油成为资源是一件坏事,反而说明需求在那儿。但是,不可否认的是,在数据中心由软件来定义的时代,硬件厂商要提取附加值变得越来越困难,因为话语权以及很多复杂功能的实现已经从硬件厂商的手里落到了最终用户的手里。数据中心、大型互联网公司自己都有很强的软件开发能力。因此,这个价值的下降是不可否认的,面临的竞争也越来越激烈。不过,以阿拉伯一千零一夜的故事作比喻:过去有一个非常凶残的国王,每天晚上要娶一个新娘,第二天就把她吃掉或者杀死。我们看到的互联网在很大程度上的确有吞噬硬件厂商的能力,因为他的购买力非常强,能把你的硬件价格越来越往下压。一个结果就是,很多著名的厂商退出了服务器市场。但是,一千零一夜的故事也提供了解决方案。有一个很聪明的新娘,每天晚上讲一个非常引人入胜的故事,国王听着故事就睡着了,忘记把她吃掉了,慢慢的,国王也变得不再那么残暴了。类似的,我们的生存的秘诀就在于创新,这就像新娘不断地讲新的故事一样。为了创新,我们首先需要充分了解软件对于硬件的需求,以便把握未来的方向。作为硬件,只有软件做不到或者做起来效率非常低的时候,它才有生存空间。这一个关键点我们会牢牢把握,不断地去发现,在现有系统中TCO为什么这么高,怎样去改进。怎样让软硬件这两个生态体系互相配合,去找到看似非常细微的创新,来不断创造硬件的价值。

CSDN:时下有一个非常流行的概念,即SDN(软件定义网络),也有很多厂商会在他们的产品和技术中融入SDN。PMC在SDN方面有哪些考虑和实践?

廖恒:SDN,包括SDS(软件定义存储),是刚才提到的软件定义数据中心的不同组成部分,有的侧重于存储,有的侧重于网络交换,也有互相结合的。SDN不仅仅局限在数据中心里,运营商的网络也正在进入SDN NFV类似概念的演进当中。所以,从传输的角度来说,我们也做了不少对SDN的支持。在为大型互联网公司建立私有网络方面,比如对于Google的SDN数据中心之间的高速互联,我们的OTN产品已经得到了很好的应用,而且有非常明显的投资回报。我们也看到,这种概念从Google的应用开始,将来也许会拓展到其他国家的数据中心,甚至拓展到运营商主导的数据中心以及运营商的核心网络。另一方面,在小的集群范围内,则是FDIO这种SDN技术作为核心组成部分,这种情况下,必须在整机架的解耦合方案上考虑这个问题以及相应的部署。

CSDN:PMC有哪些与SDN相匹配的解决方案或产品?

廖恒:只能说有一些构筑模块。在大型的SDN里,这些模块能得到相应的部署。之所以是以构筑模块的形式出现,是因为SDN技术本身是相当复杂的,而且被掌控在很多环节里。比如openflow是一个组织,他为运营商的网络做进一步的完善,我们每一个环节都在参与,跟踪其进度以及相应的开发和配置。

CSDN:您已经多次参加过云计算大会。从今年的参会感受来讲,您觉得今年云计算的大体形势是什么样的?您认为当下实现云计算的难点是什么?

廖恒:我想提几个热点。一是大数据分析,二是SSD的广泛部署,三是软件定义数据中心以及整机架的解耦合。大数据分析有一个实践难点,就是大家其实是在跟一个潮流。比如说Hadoop,5年前知道的人很少,现在一做数据分析就盲目地认为是Hadoop。而实际上,我们需要认识到,大数据分析有各种不同形态,数据也有不同大小。有统计表明,90%的大数据的原始数据在100GB以下。100GB是什么概念呢?小到单机的内存都放得下。但是Hadoop是大集群面向文件的批处理方式,所以它不见得就是最合适的方式。比如说,有面向内存的数据分析技术,如果内存里放得下,性能可能会有几百、上千倍的提高。所以,做数据分析要找到合适的CPU和存储的配比,不同的应用有不同的最佳配比,导致资源需要池化,需要FDIO,需要解耦合,才能动态地找到最合适的配比,否则就会造成资源的浪费。

SSD可以被快速部署,同时它又面临成本的压力。尽管如此,大家都看到了SSD带来的性能提升,所以在实际应用中,SSD部署的势头还是非常明显的。但目前的部署模式基本上还是单机本地部署。当你一旦进入一个优化的阶段,也会面临与传统存储同样的问题,比如,会不会共享存储?如果共享,会不会有数据保护、闪存阵列等相应的问题?这些挑战从纯技术的角度来说都是可以解决的,但是从商业的角度来说,怎样才能找到一个平衡点――既要提供这些能力,又要让它的成本与附加值是数据中心的用户所能接受的程度,这是一个难点。比如说,现在的闪存阵列厂商多数都还主要关注企业市场,企业市场追求高性能和高附加值,这和数据中心的宗旨是不太匹配的。可以预期,在这方面我们自己也会做很多的研发,将来会有适合数据中心的闪存阵列技术。我们还要研究怎么做资源的软件定义,怎么做动态调配、整机架解耦等。这些技术今年已经开始进入实施阶段。这种实施对整个硬件供应链的影响是相当深刻的,也会带来很多非常好的机会。

CSDN:我们也很期待PMC新的产品和新的解决方案。谢谢廖总接受我们的访谈。

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐