为了保障大数据各个模块之间工作的联系，需要有一个调度的模块来进行调度，这个工具我们称之为工作流调度工具，目前已由的工作流调度器有好几种，今天我们选择一款常用的azkaban来进行详细的介绍。

一、为什么需要工作流调度器

1、一个完整的数据分析系统通常都是由大量任务单元组成：

shell脚本程序，java程序，mapreduce程序、hive脚本等

2、各任务单元之间存在时间先后及前后依赖关系

3、为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行

例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

1、通过Hadoop先将原始数据同步到HDFS上；

2、借助MapReduce计算框架对原始数据进行清洗转换，生成的数据以分区表的形式存储到多张Hive表中；

3、需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；

4、将明细数据进行各种统计分析，得到结果报表信息；

5、需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。二、工作流调度实现方式

简单的任务调度：直接使用linux的crontab来定义；

复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如oozie、azkaban等三、常见的工作流调度系统

市面上目前有许多工作流调度器

在hadoop领域，常见的工作流调度器有Oozie,Azkaban,Cascading,Hamake等

以上就是今天分享的内容，下一期我们将对工作流调度器进行详细的介绍。

想要学习更多大数据知识，欢迎关注我们。