离线数仓复盘 | 四十五、流程调度之调度全流程
离线数仓复盘 | 四十五、流程调度之调度全流程
|
一、数据准备1. 用户行为数据准备1. 修改配置2. 生成数据3. 结果查看2. 业务数据准备1. 修改配置2. 生成数据3. 查看结果三、编写Azkaban工作流程配置文件1. 编写azkaban.project文件2. 编写gmall.flow文件3. 打包4. 创建流程公众号:雨中散步撒哈拉个
离线数仓复盘 | 四十四、流程调度之数据准备
离线数仓复盘 | 四十四、流程调度之数据准备
|
一、创建MySQL数据库和表1. 创建gmall_report数据库2. 创建表二、Sqoop导出脚本1. 编写Sqoop导出脚本2. 执行Sqoop导出脚本公众号:雨中散步撒哈拉个人博客网站:https://liudongdong.top个人导航网站:https://1024dh.top编辑者:雨
离线数仓复盘 | 四十三、流程调度之Azkabanan定时执行和报警提示
离线数仓复盘 | 四十三、流程调度之Azkabanan定时执行和报警提示
|
一、定时执行案例二、邮件报警案例1. 注册邮箱2. 默认邮件报警案例三、电话报警案例1. 第三方告警平台集成2. 测试五、Azkaban多Executor模式注意事项1. 方案一2. 方案二公众号:雨中散步撒哈拉个人博客网站:https://liudongdong.top个人导航网站:https:/
离线数仓复盘 | 四十二、流程调度之Azkabanan类型JavaProcess和条件工作流
离线数仓复盘 | 四十二、流程调度之Azkabanan类型JavaProcess和条件工作流
|
一、JavaProcess作业类型案例二、条件工作流案例1. 运行时参数案例1. 基本原理2. 支持的条件运算符:3. 案例:2. 预定义宏案例1. 案例公众号:雨中散步撒哈拉个人博客网站:https://liudongdong.top个人导航网站:https://1024dh.top编辑者:雨中散
离线数仓复盘 | 四十一、流程调度之Azkabanan使用案例
离线数仓复盘 | 四十一、流程调度之Azkabanan使用案例
|
一、HelloWorld案例1. 新建azkaban.project文件2. 新建basic.flow文件3. 打包4. 新建项目5. 上传zib包6. 执行任务流7. 查看结果二、作业依赖案例1. 修改basic.flow2. 打包3. 重复HelloWorld后续步骤三、自动失败重试案例1. 编
离线数仓复盘 | 四十、流程调度之Azkaban安装
离线数仓复盘 | 四十、流程调度之Azkaban安装
|
一、Azkaban概论1. 为什么需要工作流调度系统2. 常见工作流调度系统3. Azkaban与Oozie对比二、集群模式安装1. 上传tar包2. 配置MySQL3. 配置Executor Server4. 配置Web Server公众号:雨中散步撒哈拉个人博客网站:https://liudo