data-engineering-data-pipeline-v2 - 设计可扩展的批处理与流式数据管道
提供设计可靠、可扩展且具成本效益的批处理与流式数据管道工作流。
标签
更新于: 2026-09-30能力
典型输入
典型输出
该技能可以做什么
- 评估管道需求
- 选择处理模式
- 设计管道流程
- 实施增量加载
- 配置重试处理
- 验证数据模式
- 设置死信队列
- 添加可观测性触点
- 设计 Kafka 消费者
- 配置工作流编排
- 构建 dbt 转换
- 定义数据质量测试
- 选择存储策略
- 监控管道性能
- 优化管道成本
输入
- 管道数据源
- 数据量要求
- 延迟要求
- 目标系统
- 工作流上下文
- 上游支持文件
- 仓库来源信息
- 任务参数
输出
- 管道架构建议
- 工作流设计指导
- 数据质量检查清单
- 监控建议
- 基于来源的审查摘要