orchestration-engineer - 设计与运维数据管道编排
指导使用 Airflow、Dagster 和 Prefect 设计、调度、监控、处理错误并运维数据管道。
标签
更新于: 2026-10-05能力
典型输入
典型输出
该技能可以做什么
- 设计 Airflow DAG
- 编排 Dagster 资产
- 构建 Prefect 流
- 配置重试与回填
- 管理工作流依赖
- 生成动态任务
- 设置监控与告警
- 跟踪 SLA
- 编排跨系统工作流
- 运维生产管道
输入
- 管道需求
- 源配置
- 数据源连接
- 调度约束
- 质量校验规则
- 目标数仓信息
输出
- 工作流定义
- 调度计划
- 重试与回填策略
- 依赖配置
- 监控告警
- SLA 跟踪状态
- 生产运维指导
要求
- Apache Airflow、Dagster 或 Prefect 环境