data-engineer - 构建可扩展的数据管道和现代数据平台。
使用 Apache Spark、dbt、Airflow 和云原生数据平台构建可扩展的数据管道、现代数据仓库和实时流处理架构。
标签
更新于: 2026-09-24能力
典型输入
典型输出
该技能可以做什么
- 设计批处理与实时流数据管道
- 构建数据仓库与湖仓架构
- 实现数据质量与数据治理
- 使用 Airflow 编排工作流
- 使用 dbt 进行数据转换
- 使用 Kafka 处理实时流数据
输入
- 数据源与存储系统
- 数据契约与服务等级协议
- 数据模式与管道配置
输出
- 数据管道与集成工作流
- 数据仓库与湖仓表结构
- 数据质量指标与告警
- 数据血缘与 Schema 文档
要求
- 数据源与存储系统的访问权限
- Python、Scala 或 SQL 的运行环境
