LogoClawIndex
案例技能关于
LogoClawIndex

data-engineer - 构建可扩展的数据管道和现代数据平台。

使用 Apache Spark、dbt、Airflow 和云原生数据平台构建可扩展的数据管道、现代数据仓库和实时流处理架构。

标签

更新于: 2026-09-24

能力

典型输入

典型输出

该技能可以做什么

  • 设计批处理与实时流数据管道
  • 构建数据仓库与湖仓架构
  • 实现数据质量与数据治理
  • 使用 Airflow 编排工作流
  • 使用 dbt 进行数据转换
  • 使用 Kafka 处理实时流数据

输入

  • 数据源与存储系统
  • 数据契约与服务等级协议
  • 数据模式与管道配置

输出

  • 数据管道与集成工作流
  • 数据仓库与湖仓表结构
  • 数据质量指标与告警
  • 数据血缘与 Schema 文档

要求

  • 数据源与存储系统的访问权限
  • Python、Scala 或 SQL 的运行环境

来源

  • 规范: SKILL.md

ClawIndex

OpenClaw Skills 与 Use Case 索引

ClawIndex 是一个生态驱动的 OpenClaw Skills 与真实 Use Case 索引站。

索引

Skills·
Cases

Meta

关于·
声明·
邮箱·
GitHub
© 2026 ClawIndex 保留所有权利。
数据工程
ETL
数据管道
数据仓库
流处理
Spark
dbt
Airflow
设计批处理与实时流数据管道
构建数据仓库与湖仓架构
实现数据质量与数据治理
使用 Airflow 编排工作流
数据源与存储系统
数据契约与服务等级协议
数据模式与管道配置
数据管道与集成工作流
数据仓库与湖仓表结构
数据质量指标与告警