gcp-dataflow - 构建与排查 Apache Beam Dataflow 管道
指导在 Google Cloud Dataflow 上编写、打包、执行和排查 Apache Beam 管道。
标签
更新于: 2026-10-08能力
典型输入
典型输出
该技能可以做什么
- 创建 Beam 管道
- 配置 Flex 模板
- 使用 Google Dataflow 模板
- 设置 Java 项目
- 设置 Python 项目
- 设置 Go 项目
- 集成 Cloud Build
- 分析作业健康状况
- 诊断性能瓶颈
- 分析自动扩缩容
输入
- 管道源和目标
- 编程语言
- Apache Beam SDK 版本
- 模板参数
- 网络配置
- 架构文件或内容
- 目标数据接收端信息
- Secret Manager 资源
- SSL 证书资源
输出
- 管道源代码文件
- Flex 模板配置
- Cloud Build 配置
- 构建的容器镜像
- Dataflow 作业配置
- 模板参数摘要
- 诊断结果
- 监控链接
- 架构文件
要求
- Google Cloud 项目访问权限
- Dataflow 权限
- Cloud Storage 访问权限
- Cloud Build 访问权限
- 所需的 Secret Manager 权限
- Apache Beam SDK 支持
- gcloud CLI 访问权限
- 用于查询最新 SDK 版本的网络搜索能力