备选方案
目录
备选方案¶
目前存在许多用于部署 Dask 集群的工具和服务,其中许多常用在云上。本项目旨在为 Dask 提供原生的云插件和工具,这些工具通常可以补充其他方法。
社区工具¶
Dask 拥有一个 充满活力的社区工具生态系统,用于在各种平台上部署 Dask。其中许多工具可以在公共云上使用。
Kubernetes¶
Kubernetes 是一个管理云工作负载的极受欢迎的项目,并且是更广泛的 云原生计算基金会 (CNCF) 生态系统的一部分。
Dask 有许多用于 在 Kubernetes 上部署集群 的选项。
云上 HPC¶
许多流行的 HPC 调度工具在云上使用,并支持弹性伸缩等功能。如果您已经在云上利用 SLURM 等 HPC 工具,那么 Dask 与 HPC 调度程序有很好的集成。
Hadoop/Spark/Yarn¶
许多云平台提供流行的托管服务来运行 Apache Spark 工作负载。
如果您已经在使用像 Amazon EMR 这样的托管 MapReduce 服务,那么请查看 dask-yarn。
Nebari¶
Nebari 是一个开源数据科学平台,可以在本地或您选择的云平台上运行。它包含一个基于 Dask Gateway 构建的托管 Dask 服务,用于管理 Dask 集群。
托管服务¶
云厂商和第三方公司也提供 Dask 托管服务
Saturn Cloud¶
Saturn Cloud 是一个托管数据科学平台,提供托管的 Dask 集群,或选择将其部署到您自己的 AWS 账户中。