dask - 使用 Dask 扩展 Python 工作流
使用 DataFrames、Arrays、Bags、Futures 和调度器，将 pandas、NumPy 及自定义 Python 工作流扩展到内存之外或集群中。
标签
更新于: 2026-10-02能力
典型输入
典型输出
该技能可以做什么
- 处理超内存数据集
- 并行执行 pandas 操作
- 并行处理 NumPy 数组
- 处理非结构化数据
- 提交依赖感知任务
- 配置执行调度器
- 跨集群扩展工作负载
- 查看分布式诊断信息
输入
- 数据集和文件路径
- 自定义 Python 函数
- 工作流任务定义
- 分块配置
- 集群配置
- 云服务提供商凭据
输出
- 计算数据结果
- 并行任务结果
- 分布式诊断信息
- 调度器仪表板
要求
- Python 3.10 或更高版本
- dask 2026.8.0
- 使用 DataFrame 需 pandas 2 或更高版本
- 使用 DataFrame 需 PyArrow 16 或更高版本
- 访问 s3:// 路径需 s3fs
- 访问 gs:// 路径需 gcsfs
- 部署集群需 dask.distributed
- 使用当前 Zarr 3.4 需 Python 3.12 或更高版本