Azkaban简介

阅读量：243 次

发布时间：2019-03-01

本文共 467 字，大约阅读时间需要 1 分钟。

Azkaban简介

一、Azkaban 介绍

1.1 背景

一个完整的大数据分析系统，必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题：

如何定时调度某个任务？

如何在某个任务执行完成后再去执行另一个任务？

如何在任务失败时候发出预警？

…

面对这些问题，工作流调度系统应运而生。Azkaban 就是其中之一。

1.2 功能

Azkaban 产生于 LinkedIn，并经过多年生产环境的检验，它具备以下功能：

兼容任何版本的 Hadoop

易于使用的 Web UI

可以使用简单的 Web 页面进行工作流上传

支持按项目进行独立管理

定时任务调度

模块化和可插入

身份验证和授权

跟踪用户操作

支持失败和成功的电子邮件提醒

SLA 警报和自动查杀失败任务

重试失败的任务

Azkaban 的设计理念是在保证功能实现的基础上兼顾易用性，其页面风格清晰明朗，下面是其 WEB UI 界面：

二、Azkaban 和 Oozie

<

转载地址：http://ikxv.baihongyu.com/

你可能感兴趣的文章

Mysql学习总结（51）——Linux主机Mysql数据库自动备份

Mysql学习总结（52）——最全面的MySQL 索引详解

Mysql学习总结（53）——使用MySql开发的Java开发者规范

Mysql学习总结（54）——MySQL 集群常用的几种高可用架构方案

Mysql学习总结（55）——MySQL 语句大全再温习

Mysql学习总结（56）——MySQL用户管理和权限设置

Mysql学习总结（57）——MySQL查询当天、本周、本月、上周、本周、上月、距离当前现在6个月数据

Mysql学习总结（58）——深入理解Mysql的四种隔离级别

Mysql学习总结（59）——数据库分库分表策略总结

Mysql学习总结（5）——MySql常用函数大全讲解

Mysql学习总结（60）——并发量大、数据量大的互联网业务数据库设计规范总结

Mysql学习总结（61）——MySQL优化之DBA级优化整理汇总

Mysql学习总结（62）——MySQL连接com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link问题

Mysql学习总结（63）——Mysql数据库架构方案选择与分析

Mysql学习总结（64）——Mysql配置文件my.cnf各项参数解读

Mysql学习总结（65）——项目实战中常用SQL实践总结

Mysql学习总结（66）——设置MYSQL数据库编码为UTF-8

Mysql学习总结（67）——MYSQL慢查询日志

Mysql学习总结（68）——MYSQL统计每天、每周、每月、每年数据 SQL 总结

Mysql学习总结（69）——Mysql EXPLAIN 命令使用总结