spark-optimization - 优化 Apache Spark 作业性能
通过分区、缓存、Shuffle 优化、内存调优和性能调试来优化 Apache Spark 作业。
标签
更新于: 2026-09-28能力
典型输入
典型输出
该技能可以做什么
- 优化 Spark 作业性能
- 调优内存和执行器
- 实施分区策略
- 优化连接和 Shuffle
- 减少数据倾斜
- 验证优化结果
输入
- 优化目标和约束
- Spark 作业代码和配置
- 性能问题和指标
- 输入数据特征
输出
- 优化建议
- Spark 配置变更
- 代码实现示例
- 验证步骤和结果