dask - 使用 Dask 扩展 Python 数据与计算工作流
使用 Dask 集合与调度器，将 pandas、NumPy 和自定义 Python 工作流扩展到超出内存、跨核心或跨集群运行。
标签
更新于: 2026-10-03能力
典型输入
典型输出
该技能可以做什么
- 扩展表格数据处理
- 处理分块数组计算
- 处理非结构化记录
- 提交依赖任务
- 选择执行调度器
- 监控分布式执行
输入
- 表格数据文件
- 科学数组数据集
- 文本、JSON 或日志文件
- Python 任务函数
- 调度器配置
- 集群资源
- 云存储凭证
输出
- 计算得到的 DataFrame
- 计算得到的数组与值
- 分布式任务结果
- 执行仪表板与诊断信息
要求
- Python 3.10 或更高版本
- dask 2026.8.0
- 使用 DataFrame 时需要 pandas 2 或更高版本
- 使用 DataFrame 时需要 PyArrow 16 或更高版本
- 使用云路径时需要 s3fs 或 gcsfs
- 部署集群时需要 dask.distributed