data-engineer - 构建可扩展的数据管道与数据架构。
使用 Apache Spark、dbt、Airflow 及云数据平台构建可扩展的数据管道、现代数据仓库与流式处理架构。
标签
更新于: 2026-09-23能力
典型输入
典型输出
该技能可以做什么
- 设计批处理与流式数据管道
- 构建数据湖仓与数据仓库架构
- 使用 dbt 实现数据转换
- 使用 Apache Airflow 编排工作流
- 实施数据质量与数据治理
- 优化查询性能与云端成本
输入
- 数据源
- 存储系统
- 数据契约与 SLA
- 访问凭证
输出
- 数据管道
- 数据仓库与数据湖仓
- 数据质量报告
- 基础设施即代码模板
要求
- 数据源与存储系统的访问权限
- 云数据平台环境
