CSDN在线培训――详解Hadoop作业平台宙斯Zeus QA回顾！

2014年7月1日星期二，CSDN在线培训“详解Hadoop作业平台宙斯Zeus”已经结束了，本次讲师杨飞给我们分享了很多Zeus系统相关的知识，今天给大家分享一下直播时的相关QA！

宙斯是一个完整的Hadoop的作业平台，从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期。从功能上来说，支持：

宙斯开源，不仅仅是开源技术，更是开源产品！

• Hadoop MapReduce任务的调试运行
• Hive任务的调试运行
• Shell任务的运行
• Hive元数据的可视化查询与数据预览
• Hadoop任务的自动调度
• 完整的文档管理

以下是QA原文：

这个跟TWS调度是不是有些像？
答：对<span style="font-size: 12px;">TWS</span>不是很了解，具体不太请求，跟oozie比较像<br>
Zeus也是Apache的开源组件吗?代码托管到哪了？
答：不是Apache的，是阿里的，Github地址为https://github.com/alibaba/zeus

Master挂掉之后worker还会继续执行作业吗?
答：Worker会杀死自身的任务，然后连接到新的Master

Zookeeper在里面起什么作用?
答：主要是做任务失败通知，不是必须的

taobao不用这个了吗？github上都一年没更新了?Zeus在阿里主要做那块任务?
答：淘宝据我了解一直在使用，代码现在确实没有更新，所有有新版zeus2:https://github.com/michael8335/zeus2

好像淘宝有个开源项目tbschedule任务调度系统，和这个有什么区别？
答：tbschedule也是一个批处理调度引擎，但zeus更专注与hadoop

Worker竞争分布式锁，会不会死锁呢？
答：不会，原子操作

可以举一个Zeus实际的应用实例吗？
答：很多公司都用来做Hadoop集群调度，最常用的就是MR和Hive

如果使用用Zeus还是Zues2好？
答：这个还是根据实际情况来，如果是Hadoop1，最好直接用Zeus，如果是Hadoop2，个人建议使用Zeus2

当前正在执行的所有worker的任务清单，存储在哪里？如果当前master宕机，新的master怎么能取到、并重新下发任务？
答：任务每个关键点都会记录在数据库中，新Master直接从数据库中就可以获得

新的Master怎么知道之前所有正在执行的任务，然后下发？
答：新Master可以从数据库的任务历史表中获取正在执行的任务

Zeus对算法的管理与调度，支持样本数据的模拟结果吗？因为算法场景和效率区别还是比较大得
答：Zeus只是一个工作流引擎，具体的算法是自己的job实现

Zeus在淘宝应用规模有多大？请老师再介绍一下宙斯诞生发展的背景过程.
答：这个应用规模不便说，背景主要是为了给hadoop集群提供友好的调度管理


Zeus和azkaban和oozie做一下比较?
答：都是Hadoop集群的工作流引擎

使用宙斯的任务调度跑HiveQL有时会遇到找不到Hive表或者找不到jar包的情况，但是手动执行重跑又可以执行了，请问这个是怎么回事？
答：这个是环境变量没有配置正确的原因

Zeus支持Yarn吗？想问一下宙斯1现在存在哪些bug？
答：Zeus1不支持，Zeus2支持，具体的BUG可以到https://github.com/michael8335/zeus2 wiki中查看

宙斯的Master和Yarn的Resource Manager有啥联系吗？
答：没有

公司在用宙斯任务调度时不时的有任务进入任务队列不执行的情况，然后就只能重启宙斯，这也是宙斯1的Bug吧？
答：这个得具体分析，可以私下联系我

请问现在可以对接到Hadoop2.4版本吗？什么时候支持Hive0.13
答：没有，暂时没有必要

本次讲师杨飞介绍：

Ptmind 资深Hadoop调度开发工程师杨飞。他作为Hadoop的早期研究者，曾就职于华为。对Hadoop的调度系统有深入研究。并在电信、移动互联网等多个领域提供过成功的Hadoop调度解决方案。

博客：http://blog.csdn.net/yangfei001 

微博：http://weibo.com/u/1664659850

PS1：更多的问题可以在社区进行提问，http://bbs.csdn.net/topics/390816666

PS2：如果对Hadoop、开源技术有兴趣的同学可以加入杨飞老师的团队哦！

免费订阅“CSDN云计算”微信公众号，实时掌握第一手云中消息！

CSDN作为国内最专业的云计算服务平台，提供云计算、大数据、虚拟化、数据中心、OpenStack、CloudStack、Hadoop、Spark、机器学习、智能算法等相关云计算观点，云计算技术，云计算平台，云计算实践，云计算产业资讯等服务。