程序员人生 网站导航

Teradata如何构建新一代大数据生态系统

栏目:互联网时间:2014-09-06 22:50:26

“2014Teradata大数据峰会”如期而至,今年大会共有超过10大行业的用户及国内外数据分析专家逾1千多人参加, ,大会开场展示了数据分析“领导驾驶舱”应用集中管理大会的进度和情况。从领导驾驶舱数据显示今年参会人员数量前4大行业分别是通信、金融、交通、和运输,这也贴合了今年大数据的重点发力行业。

峰会上,Teradata天睿公司大中华区首席执行官辛儿伦(Aaron Hsin)、Teradata天睿公司国际集团总裁Hermann Wimmer、Teradata天睿公司首席技术官宝立明(Stephen Brobst)以及Teradata天睿公司实验室软件部高级副总裁Oliver Ratzesberger等进行了主要讲演。同时,记者还对Teradata天睿公司实验室软件部高级副总裁进行了专访。

大数据已经变成整个生态系统的整合

Teradata天睿公司大中华区首席执行官辛儿伦提到大中华区业务在过去5年都保持了双位数的年增长率,并且已经拥有超过10个主要行业的客户。


Teradata天睿公司大中华区首席执行官辛儿伦

“企业在数据分析能力上的需求在不断增高,原有的IT不能有效满足更多的业务场景。像通信行业为了给客户提供更智慧的服务,就需要结合客户话音使用数据、网络数据、互联网流量数据等,并且需要跨业务部门的数据整合。”辛儿伦说道。Teradata所提供的能力能够有效带给他们整合和探索、精确分析和行动的能力。这也是为什么现在谈大数据不仅仅只是一个技术方案,而更多的是以业务驱动为主轴如何建立驾驭数据汲取有效信息情报的议题。

大数据已成“新型货币”

Teradata天睿公司国际集团总裁Hermann Wimmer特别强调,随着数字化浪潮的发展,利用数据的成本正快速降低,而数据资产将快速发展成为一种“新型货币(New Currency)”,成为企业致胜未来的通行证。

尤其是,随着物联网技术的快速发展,未来任何人和物、人与人、物与物将相互联通。这将成为下一个大数据的浪潮,导致出现更大量、不同的数据,并必须要求使用新的分析方法,获得新的洞察力。从分析平台看,就需要出现能够融合各种数据的分析架构,能够用于任何规模的数据、支持任意分析方法,并能够随时随地进行分析和信息探索。


Teradata天睿公司国际集团总裁Hermann Wimmer

Teradata天睿公司首席技术官宝立明在峰会上还指出,其实“所有的数据都是有结构的,但是并不是相关的结构,它不都是具有很清楚的格式。”大数据分析就是要提取海量数据中的价值,为了得到最大的价值,我们必须有合适的技术和分析架构。

大数据让意图经济崛起

此外,宝立明还在本届峰会上做出的大胆预测:大数据的快速发展将促使社会经济从“注意力经济”模式转变为“意图经济”模式,使得买方能够更好地辨识卖方。


Teradata天睿公司首席技术官宝立明

根据市场研究公司Forrest公司的预测,美国到2016年广告客户用于交互式广告的费用,占所有广告费用的26%,成为营销预算中第二高费用,达到1,150亿美元。但是,随着“意图经济”模式的崛起,消费者将有能力主动管理同卖方的关系。例如,当消费者准备租车时,他就可以在社交网站发布自己的需求,等待提供租车服务的公司或者个人“投标”,消费者就可以自己选择最终的服务提供商。当然,在消费者感觉到供应商服务质量下降时,还可以通过退出“关系”,对供应商进行“惩罚”,所以这也就要求卖家倾听消费者的呼声。比如,卖家可以分析社交媒体上消费者的情绪等,获得消费者心情的“晴雨表”,把通过文本数据分析获得的“呼声”转化为“可行动的洞察力”。

宝立明认为,最终“意向经济”将替代“注意力经济”,这就要求企业要依靠社交媒体分析能力,持续增加倾听新经济时代客户的声音。此外宝立明讲述了大数据开发的三个关键技术,即多重温度数据管理、多态文件系统、延迟绑定。这些技术不仅可以管理极大的数据量,并且还可以让一些没有技术背景的数据科学家使用。

新一代的数据仓库挖掘企业数据价值

最后,Teradata天睿公司实验室软件部高级副总裁Oliver Ratzesberger具体介绍并发布了最新的三个产品:Teradata QueryGrid、Teradata Database 15以及Teradata动态企业级数据仓库6750平台。其中,Teradata QueryGrid可以把不同的数据和分析进程集成在一起;Teradata Database 15提供对物联网更多的支持,例如可以集成传感器数据等;Teradata Active EDW 6750是新一代企业数据仓库平台,加速实时查询以及企业决策。


Teradata天睿公司实验室软件部高级副总裁Oliver Ratzesberger

记者表示TeradataQueryGrid这个产品跟过去做法有很大不同,体现了查询程序的做法,为什么Teradata选择要用这样的方法去做?跟其他的竞争对手的做法又有什么样的差异?

Oliver回答道,Teradata QueryGrid可以给你一种什么样的功能呢?就是能够更快速的提升流程、数据与节点之间互联的能力。QueryGrid技术是让使用者可以在Teradata数据仓库上执行SQL脚本,并且得到最终结果,不管所需要的数据是放在Teradata数据库内或其它数据平台内(如Hadoop);或者需要不同的数据处理方法,对使用者来说是完全透明的。QueryGrid是UDA一个非常重要的组件,主要关键是交换数据速度非常快,节省时间。

QueryGrid可以通过扩展SQL语言,对QueryGrid本身提供支持,这样方便系统管理员、控制员、任何人对QueryGrid进行定义,比如说对外部UDA进行定义,可以定义多个Hadoop的Class,也可以定义其它数据库Class,同时,对安全性也可以定义。

对于记者关心QueryGrid安全性问题时,Oliver说,Teradata几十年来一直对数据安全性给予了高度的重视,包括在敏感数据上如何通过防火墙的手段对数据隐私进行有效的保护。举例来说,像客户身份识别相关的隐私数据,在数据分析中是与其他类型的数据分开保存的。并且在数据管理当中,要求进行严格审计,通过防火墙进行隔离。这样可以确保在企业内部的工作流程中,如果需要调用客户隐私的数据,就必须遵循数据安全政策的要求才能调用。第二方面,Teradata除了产品技术的推广之外,也提供客户数据咨询服务,其中一个就是通过分层化的架构,帮助客户在理念上注重信息安全和隐私保护。

最后,记者问及Teradata针对开发者有没有相关的新措施?Oliver表示,目前Teradata公司正在建立一个统一数据架构(UDA)应用平台,实现具有最新技术、编程框架、数据结构、API的一个生态系统。当以后企业进一步扩展的话,从平台的数据中就可以获得很多见解和洞察的信息,以及需要采取相应的行动。

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐