程序员人生 网站导航

一周热点:5美分/GB的开源存储系统,及硬盘质量“最差”的希捷

栏目:互联网时间:2014-10-14 15:23:50

3月25日,微软“中国云 中国梦 华彩第一章”的发布会上,宣布Windows Azure正式商用;H?lzle极度自信,习惯留着胡须戴着耳环,看上去像个录音师,他在今年给公司上下的一份备忘录中提到誓要击败AWS,抢占公有云市场;Backblaze的开源存储架构已经迭代到180TB成本9305美元,每GB存储成本创下0.0517的新纪录;还有Hortonworks、Hortonworks、MapR融资情况对比,Hadoop领域三足鼎立之势确立……

1. Windows Azure正式商用,2000个免费账号被“秒杀”

3月25日,微软举办的题为“中国云 中国梦 华彩第一章”的发布会上,宣布Windows Azure正式商用。此时,微软已经拥有3000多客户,其中160家企业客户已经或即将进入生产阶段。

包括微软全球资深总裁、微软大中华区总裁贺乐赋,微软全球资深副总裁、微软亚太研发集团主席的张亚勤,微软大中华区副总裁兼市场战略部总经理、微软大中国区首席云计算战略官谢恩伟,微软全球中国云业务总经理Doug Hauger;微软中国Windows Azure事业部总经理严治庆在内的微软高管都悉数亮相上海世博中心。另外,Windows Azure更名为Microsoft Azure,显然地位上升。 


微软全球Windows Azure总经理Doug Hauger:目前微软在全球运行着超过200项云服务,拥有10亿多客户,并且有两千万的企业用户。预计,中国今年云市场的增长率为50%,云计算相关产业将创造400万的就业机会。分析师预测2014年有将近90%的IT支出的增长会与云计算相关,而今年中国的IT支出增长在金额上将会与美国持平。毫无疑问,中国是微软最重要的市场。

微软全球资深副总裁、微软亚太研发集团主席张亚勤博士:创新是的必不可少的,而微软在这个方面的愿景就是大小企业一起创新。“微软创投加速器”项目已经孵化了66个公司,有各种不同的应用。而在开源方面,张亚勤更强调微软是真正的重视开源――在上海成立开放技术公司,并宣布把700多个开源的虚拟镜像放到世纪互联运营的Microsoft  Azure,其中包括了十几个中国开源开发的应用。

2. 5美分/GB的开源存储系统,及硬盘质量“最差”的希捷

Backblaze确实在为一个非常有意义的目标奋斗着――以尽可能低的开销为客户交付卓越的价值。因此,除了在硬盘上控制成本之外,他们更设计出了一套大规模存储系统,也就是上文提到的Storage Pod 。目前Backblaze的开源存储架构已经迭代到180TB成本9305美元,每GB存储成本创下0.0517的新纪录。

Storage Pod 4.0使用了2个HighPoint Rocket 750替换了之前3张SATA Card结构,每个Rocket 750都通过6 Gbps Mini-SAS接口支持40个直连SATA设备通道,Rocket 750则通过8x PCIe 2.0卡槽连接主板。对比3.0版本,当下的吞吐量提升大约4到5倍。虽然Backblaze从未遭遇吞吐量瓶颈,但4.0版本却可以提升RAID阵列与系统的同步速度。



之前版本的Storage Pod 拥有2个电源,花费约占整个机架的25%(不包括磁盘)。两个电源并不是用于容灾,机架确实就需要如此多的功率,它需要为45块磁盘、主板以及为其他组件供电。单电源模式有效的减少了开销和复杂性,在减少重量的同时还增加了系统的稳定性。



2013年,Backblaze测试评估了来自5家公司15种型号的27134块硬盘,结果显示日立(已被西数收购)故障率最低,存活率最高,在36个月后硬盘可正常工作概率仍达96.9%;西数排第二,虽然有一批产品在3个月内出问题,但最后存活率仍达94.8%;希捷三大品牌排名最末,3年后存活率仅有73.5%。Backblaze并没有掩饰其购买的是“价格比较好”的磁盘,同时它也公布,在生产环境中,希捷的故障率仍然最高。

3. 不甘称臣,Google誓要击败Amazon

H?lzle极度自信,习惯留着胡须戴着耳环;他习惯将其他谷歌团队称为“客户”;他能力不容置疑,他和他的团队设计出的数据中心软硬件能够支撑谷歌庞大的全球网络;他目标明确,在今年给公司上下的一份备忘录中,他誓要击败AWS,抢占公有云市场。他认为云计算的市场潜力要远远高于广告业务,这正是他这么做的原因。



在线广告使得谷歌成为地球上最富有的公司之一。但他的观点是,云计算市场潜力远远大于广告,即使在快速增长的智能手机和平板电脑的广告领域。显然公有云代表着未来,H?lzle在谷歌总部的一次采访中说,他看起来更像一个录音师而不是一个计算机科学家,耳环、胡子,以及满头花白的头发,“总有一天,他的市场将超过广告,”他说。
目前,亚马逊仍然主导着云计算世界,他以EC2、S3等创造性的产品打开了这个巨大的市场,而谷歌在这个领域的竞争对手比比皆是,包括微软的Windows Azure service以及Rackspace的Rackspace Cloud,但H?lzle相信谷歌庞大的基础设施在速度、效率、价格等等方面有着巨大的优势。

4. ID爆发的物联网时代,我们该如何管理手中的数百个账户

在未来,一切物体都将有一个ID。看似普通的设备,它会告诉我们它现在的状态,比如干燥、潮湿、闷热、或者损坏,然后我们将对它们进行设置、打开和关闭它们,人类甚至可以与它们对话,而且它们也将代表我们人类和其它物体对话。

网络将变得越来越复杂,我们对它们的安全、控制和所有权的关注将持续增加,尤其是ID问题。事实上,我们已经有很多的ID。在网上,我们可以识别路由器、电脑、手机、平板电脑、打印机,当然还有你自己,但是我们不能以同样方式做这些事情。在某些情况下,不是缺少ID的问题,而是ID过多的问题。

ID验证技术将是强大和灵活的:ID验证技术用来确认用户或设备的ID。多种ID验证技术联合使用,比如发送代码到你的手机上,再结合指纹扫描,将提供更高的安全性(如果我们用这些方法淘汰密码,我们将减少漏洞和ID被盗)。访问将联合的:联合ID就是允许用户使用一个在别的域内验证过的ID来访问本地应用程序。扩展这种访问到所有与你有关的设备上,让你轻松、无缝、安全的访问。

5. 不看不知道:六个超大规模Hadoop部署案例

eBay的Hadoop环境:eBay分析平台开发小组的Anil Madan讨论了这家拍卖行业的巨擘在如何充分发挥Hadoop平台的强大功能,充分利用每天潮水般涌入的8TB至10TB数据。


虽然eBay只是几年前才开始向生产型Hadoop环境转移,但它却是早在2007年就率先开始试用Hadoop的大规模互联网公司之一,eBay的第一个大型Hadoop集群是500个节点组成的Athena,这个专门建造的生产型平台可以满足eBay内部几个部门的要求。该集群只用了不到三个月就建成了,开始高速处理预测模型、解决实时问题;后来不断扩大规模,以满足其他要求。

Facebook更新Hadoop的状态:虽然一些公司和机构对其庞大的Hadoop系统秘而不宣,但是就已知存在的系统而言,Facebook的数据仓库Hadoop集群已成为世界上已知规模最大的Hadoop存储集群。


下面是关于这个单一HDFS集群的一些详细信息:

单一HDFS集群中存储容量达21PB
2000个机器
每个机器12TB(有几个机器是每个24TB)
1200个机器每个有8个处理器核心,800个机器每个有16个核心
每个机器有32GB内存
每个机器有15个映射/化简(map-reduce)任务
已配置存储容量总共超过21PB,大于之前大名鼎鼎的雅虎集群(14PB)。在Hadoop的早期,Facebook就与另外几个互联网巨擘,充分利用这种框架来管理其不断发展的业务。

6. Hortonworks再获1亿美元融资,Hadoop领域三足鼎立

Cloudera:5轮融资高达3亿美元。经过数年的发展,Cloudera已成为Hadoop企业级服务的一面锦旗,而在这个月19日收获了一轮1.6亿美元的融资后,这个Hadoop企业级服务提供商更计划在2014年实现IPO,此次融资由T. Powe Price 领投,Google Ventures 等跟投。

Hortonworks:3年1.98亿美元。Hortonworks是个“低调”的公司,很少出现在一些媒体上。然而它的融资金额却高达了1.98亿美元:创立之始(2011年6月)筹集了2300万美元,这笔资金来自Benchmark和雅虎;同年11月,又获得了由Index Ventures领投的2500万美元的投资;2013年6月,Dragoneer Investment Group和Tenaya Capital 为该公司投资了5000万美元;当然,还有这次该公司CEO Rob Bearden在3月19日  接受Gigaom记者采访时公布的一笔1亿美元融资。 

MapR:3年5900万美元MapR。最早创立同样该归属到2008年,不过第一次  走进人们视线却是在2011年:“构建一个HDFS私有替代品,这个替代品比当前的开源版本快三倍,自带快照功能,而且支持无Namenode单点故障(SPOF),并且在API上和兼容,所以可以考虑将其作为替代方案。”而在之后与EMC的合作公开后,该公司更是暴光在全球的媒体之下。MapR最近一轮的融资需要追溯到2013年初,由Mayfield Fund领投的3000万美元,之前曾获得2000万美元及900万美元的B轮和A轮投资。 

7. 看看全球十大电信巨头的大数据玩法

目前,全球120家电信运营商中,已经有48%的企业正在实施大数据战略。通过提高数据分析能力,他们正试图打造着全新的商业生态圈,实现从电信网络运营商(Telecom)到信息运营商(Infocom)的华丽转身。从曾经的“管道”到大数据战略融合,电信运营商到底该如何善用大数据?全球10强电信“大佬们”的大数据应用之道及其培育的新经济增长点启示颇多,下面节选自原文,详细内容请见 原文。

AT&T将位置数据货币化:2009年,AT&T利用全球领先的数据分析平台、应用和服务供应商Teradata天睿公司的大数据解决方案,开始了向信息运营商的转变。在培育新型业绩增长点的过程中,AT&T决定和星巴克开展合作,利用大数据技术收集、分析用户的位置信息,通过客户在星巴克门店附近通话或者其他通信行为,预判消费者的购物行为。为此,AT&T挑选高忠诚度客户,让其了解AT&T与星巴克之间的这项业务,并签署协议,将客户隐私的管理权交给客户自己。在获得允许情况下,AT&T将这些信息服务以一定金额交付给星巴克。星巴克通过对这些数据的挖掘,可以预估消费者登门消费的大概时间段,并且预测个人用户行为,并做出个性化的推荐。

德国电信利用智能网络培育新增长点:德国电信是欧洲最大的电信运营商,全球第五大电信运营商。旗下T-Systems是全球领先的ICT解决方案和服务供应商。正是T-Systems将德国电信带上了大数据的发展快车道。基于拥有全球12万平方米数据中心的优势,T-Systems提出了“智能网络”的概念。通过实时获得汽车、医疗以及能源企业的数据,T-Systems先后开发了车载互联网导航系统、交通意外自动呼叫系统以及声控电邮系统,以及能源网开发解决方案,实现电量的供需平衡。此外,它还通过设计安全的传输方式和便捷的解决方案,将医生和患者对接,提供整合的医疗解决方案。


以“  云计算大数据 推动智慧中国 ”为主题的  第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。每一届都有微软的身影。更多产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上  报名 ! 

更多云计算热点新闻:把黑匣子送上“云” 失联困境能否不再、尹绪森:打开圈子拥抱变化,谈Spark玩家的自我修养、切勿妄谈Hadoop,以及4个数据管道打造实践、把黑匣子送上“云” 失联困境能否不再、Facebook开源MySQL分支、基于Graphx的图计算实践分享、大数据环境下的关联规则挖掘,更多云热点请继续关注CSDN云计算频道。(文/魏伟)

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐