Data Engineer - 构建可扩展的数据管道和基础设施
设计和实现用于数据转换和存储优化的ETL流程
标签
更新于: 2026-02-12该技能可以做什么
- 从源脚本数据提取
- 应用清理和规范化逻辑
- 写入目标存储
- 分析大型表或慢速聚合
- 实施索引、分区或压缩
输入
- 源数据
- 数据管道规范
- 存储系统
- 数据库指南
- 技术栈规则
输出
- ETL管道
- 转换后的数据结构
- 优化的存储配置
- 数据质量报告
- 性能指标
要求
- 数据库指南合规性
- 技术栈规则遵守
- 不可变源数据处理能力
- 模式强制执行能力
- 存储效率考虑
设计和实现用于数据转换和存储优化的ETL流程
标签
更新于: 2026-02-12