热门搜索 :
考研考公
您的当前位置:首页正文

[调度]azkaban~hadoop工作流引擎

来源:东饰资讯网

基于 Linux 系统级别的 Crontab。
Java 应用级别的 Quartz。
第三方的调度系统。
自行开发 Hadoop 应用调度系统。
  对于前两种,使用 Crontab 和 Quartz 是基本可以满足业务需求,但有其弊端。在 Job 数量庞大的情况下,Crontab 脚本的编写,变得异常复杂。其调度的过程也不能透明化,让管理变得困难。Quartz 虽然不用编写脚本,实现对应的调度 API 即可,然其调度过程不透明,不涵盖 Job 运行详情。需自行开发其功能。

因而,第三方的调度系统便应运而生了。在《Hadoop - 任务调度系统比较》一文中,介绍第三方调度系统之间的差异。


2.1 Oozie
  Oozie目前是托管在Apache基金会的,开源。

2.2 Zeus
  它是一个Hadoop的作业平台,从Hadoop任务的调试运行到生产任务的周期调度,它支持任务的整个生命周期。

2.3 Azkaban
  这是由LinkedIn创建的一个批处理工作流,用于跑Hadoop的Jobs。Azkaban提供了一个易于使用的用户界面来维护和跟踪你的工作流程。




兼容所有Hadoop版本(1.x,2.x,CDH)
可以通过WebUI进行管理配置,操作方便
可以通过UI配置定时调度
扩展性好,可针对某一问题开发组件(目前有三个插件HDFSBrowser,JobtypePlugins和HadoopSecurityManager)
有权限管理模块
可以通过WebUI跟踪Flow或者Job的执行情况
可以设置邮件提醒
可以为定时Flow或者Flow中的某个Job配置执行时间长度的控制,如果执行时间超过了所设的时间,可以发送警告邮件给相关人员或者Kill掉相应设置的Flow或Job
可以重试失败Job



Top