程序员人生 网站导航

一周热点:高薪必备:Hadoop求职者的6大攻略

栏目:互联网时间:2014-10-18 08:00:00

大数据行业发展得越来越好,企业不惜重金聘请数据分析师,“学习Hadoop,找一份高薪工作成为很多年轻人的梦想,然而就业却并不那么简单,“工作经验”无疑给寻求高薪工作的同学破了盆冷水,怎样解决经验问题;Python是一种面向对象、直译式计算机程序设计语言。Python语法简捷而清晰,具有丰富和强大的类库,受到大量用户的欢迎;MySQL,关系型数据库,有数量庞大的支持者。NoSQL,非关系型数据库,被视为数据库革命者。两者似乎注定要有一场厮杀……

1. 高薪必备:Hadoop求职者的6大攻略

开源Apache Hadoop项目一直是个热门,这对于具备Hadoop及相关技能的IT求职者来说是个好消息。就业市场比较看好熟悉Hadoop这类大数据工具(如Cassandra、CouchDB、MongoDB、Riak等)的求职者。


当被问到公司招聘具备Hadoop技能的IT人员都有哪些要求时,Andrieux 回答,“经验是最重要的”。 对于年轻IT求职者或者经验丰富但想要学习新技能的IT人士,Andrieux推荐了两个方法:专业培训和认证、参加当地的行业聚会。

Andrieux建议:“如果有人想要进入大数据领域和学习Hadoop,我建议参加像Cloudera和Hortonworks这样大公司提供的Hadoop专业培训并通过相关认证。”这些培训给工程师们提供实践经验,而且通常可以得到该领域专家的指导。

2. 针对小白的Python入门教程――Python使用说明书

Python是一种面向对象、直译式计算机程序设计语言。Python语法简捷而清晰,具有丰富和强大的类库。Python在设计上坚持了清晰划一的风格,这使得Python成为一门易读、易维护,并且被大量用户所欢迎的、用途广泛的语言。

Python就为我们提供了非常完善的基础代码库,覆盖了网络、文件、GUI、数据库、文本等大量内容,被形象地称作“内置电池(batteries included)”。用Python开发,许多功能不必从零编写,直接使用现成的即可。

 

除了内置的库外,Python还有大量的第三方库,也就是别人开发的,供你直接使用的东西。当然,如果你开发的代码通过很好的封装,也可以作为第三方库给别人使用。

任何编程语言都有缺点,Python也不例外。第一个缺点就是运行速度慢,第二个缺点就是代码不能加密。 许多大型网站就是用Python开发的,例如YouTube、  Instagram,还有国内的  豆瓣。很多大公司,包括Google、Yahoo等,甚至  NASA(美国航空航天局)都大量地使用Python。

3. MySQL还是NoSQL:开源盛世下的数据库该如何选择

MySQL,关系型数据库,有数量庞大的支持者;NoSQL,非关系型数据库,被视为数据库革命者。两者似乎注定要有一场厮杀,可同属开源大家庭的它们却又能携手并进、和睦相处,齐心协力为开发者提供更好的服务。开源数据领域被分成了两派,NoSQL狂热支持者喜欢发表长篇大论批评关系型数据库的局限性,MySQL爱好者则固执地捍卫关系型数据库――坚持让数据整齐地存放在表中。

应用程序是否应该与关系型数据库或NoSQL(也许是两者)相一致,当然,这得基于被生成或被检索数据的性质。和大多数科技领域的事物一样,做决定时要折中考虑。


如果规模和性能比24小时的数据一致性更重要,那NoSQL是一个理想的选择 (NoSQL依赖于BASE模型――基本可用、软状态、最终一致性)。但如果要保证到“始终一致”,尤其是对于机密信息和财务信息,那么MySQL很可能是最优的选择(MySQL依赖于ACID模型――原子性、一致性、独立性和耐久性)。

4. 机器学习也感性:90后软妹纸的编程之路

有很多“程序媛”是真的热爱这项事业,喜欢算法,甚至喜欢机器的“思维方式”,比如小编在CSDN博客发现的  张睿卿同学。优秀、理性是张睿卿给笔者的第一印象,采访时听到张睿卿的声音,才体会到她感性的那一面――爽朗、直率、声音甜美。 

 

张睿卿大一时开始参加ACM,后来成为学校ACM集训队中硕果仅存的妹纸,大二时和学长合办了Can Studio工作室,领导5位骨干成员,完成校内各院系办学软件与管理网站开发,完成宁波市公安局外包任务等。目前在浙江大学读研,参与了机器学习、人脸识别等相关的各种高大上项目。她在CSDN的博客涉及ACM、机器学习、数据挖掘、编程语言等各个方面,被很多人转载,也帮助过很多同道中人解决问题。

我喜欢爬山,喜欢跑步。因为浙大后面就有座老和山,爬起来也很方便。以前跑过13km的短程杭州马拉松,是个很考验耐力的过程。和编程一样,当你觉得自己要完蛋的时候,和自己说我能行就可以坚持下来,详细的采访请点击原文。

5. 耗资460亿美元,天价Olympic上广受诟病的监控和4G

耗资460亿美元,俄罗斯在Sochi打造了一个天价的冬奥会。被誉为历史上技术最强的奥运会,其中不仅包括了大范围的4G网络覆盖,还包括了几乎无处不在的监控。

在Sochi,视频监控甚至安装到了私人场所,用华尔街日报引用俄罗斯副总理Dmitry Kozak的发言就是“在宾馆中我们安置了可以显示你是否打开淋浴的摄像头……”。而在后续的报道中,Kozak否认了Sochi宾馆房间内或浴室内存在摄像头的说法。


在这之前,FSB发言人Alexei Lavrishchev曾说,对比2012伦敦奥运会时的“遍地摄像头,甚至是卫生间”,Sochi的安全设备是无形的,然而这个无形却建立在数千个相关工作人员之下――大规模的无人飞机、高空热气球及太空卫星同时监视着Sochi发生的一切。

6. 程序员游戏Style:亚特兰大极客使用机器学习玩转Flappy Bird

这是流行游戏Flappy Bird上的一次极客运动,尽管这个游戏已经在App Store和Google Play下架,但是网络上还流行着许多山寨应用,比如Flappy Bird Typing Tutor和Flappy Math Saga。在玩了几分钟这个游戏后,我看到了一个检验自己机器学习技巧的实践机会――让小鸟学会如何自己来玩游戏,而上面这个视频也证明了经过良好训练的Flappy Bird基本上已经可以完全躲避障碍。


开始时我的选择是Android应用,计划使用Monekyrunner来获取画面和点击命令,然而Monekyrunner 1到2秒的画面捕捉时间完全满足不了我的最低需求。随后,我发现了@mrspeaker的游戏引擎、Omega500以及用于typing的Flappy Bird版本,这些都非常适合我们的用例,于是我就果断拆掉了它的typing组件并添加了一些Q Learning代码。

这里有一些基本规则:智能体,也就是这里的Flappy Bird,在某个状态下总会执行一个特定的动作,而在状态发生改变后会得到相应的奖励。基于情况的不同,有许多不同的变体会被使用,比如:Policy Iteration、Value Iteration、Q Learning。

7. Jamo创始人揭底AWS,棱镜阴影下的云行业态势

Liu,移动健康初创公司Jamo的联合创始人,两年前他利用空闲时间研究亚马逊云的规模,他说:“做这项研究只是出于乐趣,成为第一个发现者,感觉太棒了,”但他系统的调查方法给观察亚马逊帝国的规模和增长速度提供了一个难得的机会。

两年前,他估计亚马逊大约有45万台服务器,前提是假设一个架子上有64台服务器。但是即使我们不知道每个机架的服务器数量,知道机架的数量也可以帮助我们了解亚马逊云的规模及其增长速度。


西雅图AWS建筑外景

当然,企业有充分理由担心软件和数据等服务运行在这样的云上是否足够安全――不管是在美国还是在外国。将数据托管在巴西的亚马逊服务器上――也许可以帮助客户免遭美国政府的监视,但这并不能解决所有问题。美国公司操控国外的子公司――例如在巴西的亚马逊――仍受美国爱国者法案约束,如果美国政府要求交出数据,它也必须照办。人们多年来一直努力解决这个难题。不管你将软件托管在哪里,就算在自己的服务器上,这些问题都很难避免。我们能说的是云计算仍在增长,尽管国家安全局还在继续监控。

8. 美国国防部战略:大规模、分布式,构建数字化防御体系

Ely Kahn曾任职于NSA,在国家安全领域有十年以上的工作经历,后在Boston创立Sqrrl,提供基于Apache Accumulo的产品,2013年Sqrrl被CRN评为“年度最cool供应商”。Accumulo作为一种可靠、可伸缩、高性能排序分布式的键值存储解决方案,逐渐成为美国政府级应用。

Accumulo不仅应用于NSA,而且整个国防部都将使用它。NSA的使命是构建多用途云计算和数据基础设施以整合整个机构的资源,Accumulo是该使命的一部分。国防部想要将大量的数据资源整合到一个单独的数据分析系统,包括了从无人机视频到医疗信息各个方面的数据。


Sqrrl联合创始人兼业务发展副总裁Ely Kahn

Kahn解释:“国防部正投入大量精力建设联合信息环境(Joint Information Environment),在整个国防部为大量用例集发展多功能云和数据云基础设施,这些用例包括从网络安全到战场情报领域各个方面,甚至还包括医疗用例。”

其它云计算热点还有: 抛弃CloudStack,GoDaddy加入OpenStack、 PaaS平台之争:Cloud Foundry是赢家吗、 如果没有强大的API,那么还是与OpenStack兼容吧、 不以“大小”论英雄,对比IBM、AWS,谁才是Hadoop界的MVP? Facebook游戏开发亚洲第1,日活跃用户超600万:中国游戏公司FunPlus如何应对用户...,请继续关注CSDN云计算频道。(文/魏伟 审校/毛梦琪)

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐