程序员人生 网站导航

一周热点:如何使用15美元每月的机器实现百万文档检索

栏目:互联网时间:2014-10-19 08:00:01

第六届云计算大会将于5月20-23日在北京召开,随着会议日期的日益临近,关于大会议题的披露也越来越多,我们将挖掘到的优质信息分享给大家;国内的云计算大会在紧张的准备过程中,国外的OpenStack Atlanta峰会在超过90家赞助厂商和4500名参会者的陪伴下拉开了序幕,我们也会及时的将本届OpenStack峰会的精彩及时传递给大家;另外在云计算领域,关于互联网、IT阵营、电信运营商等三大阵营的竞争与合作的解读都值得一看。

1. 如何使用15美元每月的机器实现百万文档检索

Gwittr以twitter搜索为人所知,同时它还是一个统计信息的网站,除了提供有关推文及链接网页的扩展搜索,也进行数据的统计分析。这篇文章重点介绍如何在廉价(< $15/月)机器上运行一个中型、大型搜索(超过300万份文档)?

在这个云计算和EaaS(Everything as a Service,一切皆服务)时代,对于那些产品需要搜索功能的公司,托管搜索服务很有吸引力。虽然一秒钟只收几美分的云服务听起来很划算,但是到实际应用中,每个月很容易就会产生数百甚至数千美元的费用。

避免这些费用的方法就是在vanilla硬件或者虚拟机上运行自己的Solr,这不仅可以帮助你节省大量的费用,而且还会帮助你获得有关搜索引擎的技能和知识,利用这些技能和知识,可以帮助你进一步节省大量的开支,即使在你要转用其他搜索平台的时候,这些知识和技能也是必不可少的。

2. 金融、医疗、交通、教育、制造、游戏,第六届中国云计算大会第三批议题揭露

国内顶级云计算盛宴“第六届中国云计算大会”将于5月20-23日在北京召开。本次,笔者将带大家领略“第六届中国云计算大会” 云计算大数据智能交通行业应用论坛 、云计算大数据智能制造论坛 、 云计算大数据医疗行业应用论坛、云计算大数据教育行业应用论坛、云计算大数据互联网金融论坛和云计算大数据数字娱乐行业应用论坛六大行业应用论坛, 看看来自北京市交通运行监测调控中心、高德、信息司、航天科技集团、中集青岛冷藏产业链基地、中航信研发中心、美国哈佛大学医学院、国家数字化教育工程研究中、天弘基金、宏源证券、 91金融有限公司、易宝支付、今日头条、腾讯游戏等机构将会分享什么样的议题。 

讲师阵容(部分,排名不分先后, 官网持续更新中,请关注)

  • 中国电子学会云计算专委会名誉主任委员、中国工程院院士李德毅――待拟
  • 北京市交通运行监测调控中心张可――北京市综合交通运行监测服务体系建设与应用实践
  • 高德LBS开放平台与大数据融合部总经理田密――LBS云:大数据智能存储与检索
  • 中航信研发中心新一代系统规划部李洋――待拟
  • 中国工程院院士、中国电子学会云计算专家委员会副主任委员、航天科工集团二院科技委员会常务副主任李伯虎―― 智慧云制造的初步研究与实践
以上为节选,更多内容点击 这里。

3. 亚特兰大峰会精彩看点:软件吞噬世界,OpenStack是变革核心

5月12日早9点,OpenStack Atlanta峰会在超过90家赞助厂商和4500名参会者的陪伴下拉开了序幕。Jonathan Bryce特别提出了Superuser和Marketplace两个新概念,软件正在吞噬整个世界,OpenStack是这场变革的核心。

2014年5月12日早9点(北京时间5月12日晚9点),OpenStack Atlanta 峰会在超过90家赞助厂商和超过4500名参会者的陪伴下拉开序幕(在18个月之前的San Diego,那时参会者只有1200名左右)。OpenStack基金会执行董事, Rackspace 云计算创始人之一,Jonathan Bryce宣布峰会开幕。

首先,Jonathan Bryce 欢迎大家的到来,之后,他向台下的观众们问道:“我们中有多少人是在Icehouse版本中第一次在社区提交代码?” 伴随着掌声,不少人起立。不得不承认,这届峰会当中,我们有很多新面孔,新想法,这些新的观点和潜力也在如何将OpenStack变得更加灵活、独特、强大的过程中起着至关重要作用。我想这也是OpenStack为何如此成功的原因吧。


之后,Jonathan Bryce告诉台下观众,“现在每一家公司都在与初创公司竞争,越来越多的公司应用OpenStack来削减成本,促进创新,更重要的是,OpenStack正在改变他们的业务模式。”这里,Jonathan Bryce向观众提出超级用户(superuser)的概念,并且宣布OpenStack基金会将推出在线出版物“Superuser”。

4. OpenFlow多级流表在云计算网络中的应用

我们都知道现在最主流的IaaS云计算网络的解决方案就是纯软件的Tunnel Overlay,为什么最主流?因为灵活嘛,而且能解决问题。包括现在最火的OpenStack,使用Tunnel Overlay方式来组网的也很多,它在转发面的大概工作流程就是一个VM发送报文到vSwitch,vSwitch加上Tunnel Header(VxLAN或者NvGRE)后,从服务器网卡发出去,通过中间的物理网络,送到目的服务器上的vSwitch, vSwitch将Tunnel解封装后,原始报文转发到目的VM。如下图所示。



纯软件Tunnel Overlay方案虽然灵活,但是有不同程度的性能问题(程度取决于每个云平台研发团队对它的优化力度),而且云计算网络中通常都会因为各种各样的原因,有非虚拟化的设备,这些设备如果要接入到tunnel overlay的网络中去,必须借助于硬件TOR交换机作为tunnel gateway。

盛科网络一直都在为各种应用场景进行SDN定制,云计算网络作为SDN的目前最重要的应用领域,自然也不例外。现在盛科基于SDN提出一种性能优化方案,将影响网络性能的一些工作从服务器Offload到TOR交换机上去做,从理念上讲并不是把TOR交换机作为物理网络的一部分,而是作为服务器网卡的一部分。该方案已经在部分客户网络中部署。现在我们来分享一下OpenFlow多级流表在这个方案中的运用。

5. 云计算三大主流阵营的竞争与合作

目前,云计算产业初步形成了三大主流竞争阵营,即互联网阵营、IT阵营和电信运营商阵营。 在这三大阵营中,互联网阵营主要面向公有云市场,为中小企业和独立开发者提供公有云服务。IT阵营主要面向大客户提供私有云产品和方案。电信运营商则同时进入公有云和私有云市场,提供IaaS公有云服务、政府和行业云托管及定制服务。 

在IaaS领域,互联网企业采取与软件厂商合作,提供软件开发的基础性服务;在PaaS领域,主要提供服务于第三方开发的平台服务,为开发者提供应用中间接口;在SaaS领域,则通过与终端客户和渠道商联合,以良好的用户体验提供系统集成服务。 

从全球云产业来看,亚马逊可谓独占鳌头的大佬级企业。IDC预计,到2014年,亚马逊所有云计算服务的营收将为560亿美元。尽管如此,在亚马逊大力拓展云计算业务的同时,也不得不面临着后来者的竞争,如IBM、微软等都试图分食亚马逊占据的市场份额。

IT阵营中较大的云计算企业,主要以主流的IT、软件、网络设备和系统服务商为主,包括微软、IBM、HP、Oracle、思科、华为等。 在云产业的IT阵营中,主要面向的是企业级客户,企业客户既是服务的提供者,也是服务的使用者(最终使用者是企业内部用户)。仅有部分IT厂商,转型为公有云服务提供商,与互联网云计算企业展开竞合。 

在云计算服务中,运营商的优势主要在网络、数据中心、大规模可靠性、运营能力、企业信誉、企业客户资源与关系等方面,同时通过对原有业务架构进行优化和云化改造,为中小企业、政府及行业客户提供公有云和私有云托管及定制服务。 

6. 实时大数据分析:网络分析的一种新方法

大数据分析能够解决处理大量无关且不能存放在一个单一的服务器或数据库的数据集所带来的普遍的挑战问题。而这个问题可以通过使用分布式并行处理分布在多个服务器的大型数据集得以解决,每台服务器处理并行数据的一部分。大数据分析可以与结构化和非结构化数据工作,因为它并不需要一个特定的结构。这种做法的一个例子将使用Hadoop的MapReduce,其也可以看作是大数据对今天的深远影响。

尽管目前有方法来处理大量的数据,大数据处理缩小以便能够在指定的时间内完成。现在,时限这一概念比以往任何时候都越来越都多的与“实时”相关。

尽管RTBDA仍然是一个相对较新的概念,但其解决了实时主动或被动的采取措施的需求。而这是基于互联网内容和服务提供商们了解到了正在发生的事情,检查情况并实时采取行动。

7. 移动互联网初创型团队需要什么样的云计算服务?

时至今日,借助云服务以小规模团队获得巨额回报的移动应用已比比皆是,比如:13人的Instagram团队借助AWS创造10亿美元的价值;14个人的Mailbox使用AWS发布3周后就卖了1亿美元;基于SoftLayer仅50名员工的WhatsApp被Facebook以190亿美元收购。相比国内,国外有着太多成熟的公有云可供选择,比如AWS、GCE、Windows Azure等,国内移动创业团队又该如何选择自己赖以生存的合作伙伴。

对于创业型团队来说,服务器托管费用+带宽成费用+运维成本,是压在头上的三座大山。满足业务性能需要,又要降低成本,尽快实现收支平衡,是当务之急。

Google App Engine 云服务在国外的成功,不代表国内巨头们各种 *AE 仿造品的成功。在微博上搜搜就可以看到小伙伴们吐槽的各种不稳定,另外,*AE们对资源使用最大数各种规定限制,加上为了计费、阉割功能的各种限制,使它的价格优势成为鸡肋。*AE们就好比100M共享带宽的小区宽带,以低价卖给每个上网用户5M的带宽,前几十个用户感觉这网速真不错,等他卖了100个以上用户5M带宽,而这部分用户白天上班去了,晚上下班回来都在上网,其中又有一部分看视频、BT下载,于是乎,白天网速快,晚上慢得要死,连200K带宽都达不到。要知道,不怕神一样的对手,就怕猪一样的队友,在国内的 App Engine 环境下,水平参差不齐的开发者的代码质量、习惯性的资源滥用、别人网站被攻击殃及池鱼对*AE性能的影响,导致*AE的稳定性非常差。(文/魏伟 审校/仲浩)

其他云计算热点资讯: 最快55秒,DigitalOcean Droplet虚拟服务器搭建 解析大数据时代的数据库集群技术 OpenStack是开源IaaS平台大势所趋的集大成者 数据中心基础设施是大数据战略成败的关键 Intel如何玩转OpenStack 【云先锋】ClouDil云方案:PB级大数据解决方案。更多云热点新闻请点击 CSDN云计算频道。

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐