备选方案

目前存在许多用于部署 Dask 集群的工具和服务,其中许多常用在云上。本项目旨在为 Dask 提供原生的云插件和工具,这些工具通常可以补充其他方法。

社区工具

Dask 拥有一个 充满活力的社区工具生态系统,用于在各种平台上部署 Dask。其中许多工具可以在公共云上使用。

Kubernetes

Kubernetes 是一个管理云工作负载的极受欢迎的项目,并且是更广泛的 云原生计算基金会 (CNCF) 生态系统的一部分。

Dask 有许多用于 在 Kubernetes 上部署集群 的选项。

云上 HPC

许多流行的 HPC 调度工具在云上使用,并支持弹性伸缩等功能。如果您已经在云上利用 SLURM 等 HPC 工具,那么 Dask 与 HPC 调度程序有很好的集成

Hadoop/Spark/Yarn

许多云平台提供流行的托管服务来运行 Apache Spark 工作负载。

如果您已经在使用像 Amazon EMR 这样的托管 MapReduce 服务,那么请查看 dask-yarn

Nebari

Nebari 是一个开源数据科学平台,可以在本地或您选择的云平台上运行。它包含一个基于 Dask Gateway 构建的托管 Dask 服务,用于管理 Dask 集群。

托管服务

云厂商和第三方公司也提供 Dask 托管服务

Coiled

Coiled 是一个成熟的 Dask 托管服务,它在您的云账户中生成集群,并允许您通过中央控制平面进行管理。

Saturn Cloud

Saturn Cloud 是一个托管数据科学平台,提供托管的 Dask 集群,或选择将其部署到您自己的 AWS 账户中。