GPU 集群
GPU 集群¶
许多云提供商都提供 GPU 服务,因此可以使用 Dask Cloudprovider 启动启用 GPU 的 Dask 集群。
每个集群管理器处理此问题的方式不同,但通常您需要配置以下设置
配置硬件以包含 GPU。这可以通过更改硬件类型或添加加速器来实现。
确保操作系统/Docker 镜像包含 NVIDIA 驱动程序。对于 Docker 镜像,建议使用 [RAPIDS 镜像]。
将
worker_module
配置选项设置为dask_cuda.cli.dask_cuda_worker
,或将worker_command
选项设置为dask-cuda-worker
。
在下面的 AWS dask_cloudprovider.aws.EC2Cluster
示例中,我们将 ami
设置为包含 NVIDIA 驱动程序的深度学习 AMI,将 docker_image
设置为 RAPIDS,将 instance_type
设置为具有一块 NVIDIA Tesla V100 的 p3.2xlarge
,并将 worker_module
设置为 dask_cuda.cli.dask_cuda_worker
。
>>> cluster = EC2Cluster(ami="ami-0c7c7d78f752f8f17", # Example Deep Learning AMI (Ubuntu 18.04)
docker_image="rapidsai/rapidsai:cuda10.1-runtime-ubuntu18.04",
instance_type="p3.2xlarge",
worker_module="dask_cuda.cli.dask_cuda_worker",
bootstrap=False,
filesystem_size=120)
有关如何启动 GPU 集群的信息,请参阅每个集群管理器的示例部分。