spark-engineer - Apache Spark 工程开发与性能优化
编写 Spark 作业、优化查询、配置集群设置并为大数据管道处理数据分区。
标签
更新于: 2026-09-16能力
典型输入
典型输出
该技能可以做什么
- 编写 DataFrame 转换
- 优化 Spark SQL 查询
- 实现 RDD 管道
- 调优 Shuffle 操作
- 配置 Executor 内存
- 处理数据分区
- 构建结构化流式分析
输入
- Spark 作业需求
- 数据 Schema 与文件
- 集群资源配置
输出
- Spark 应用程序代码
- 配置优化建议
- 分区策略说明
- 性能分析报告
要求
- Apache Spark 运行环境
- Spark UI 访问权限