GPU 集群

GPU 集群

许多云提供商都提供 GPU 服务,因此可以使用 Dask Cloudprovider 启动启用 GPU 的 Dask 集群。

每个集群管理器处理此问题的方式不同,但通常您需要配置以下设置

  • 配置硬件以包含 GPU。这可以通过更改硬件类型或添加加速器来实现。

  • 确保操作系统/Docker 镜像包含 NVIDIA 驱动程序。对于 Docker 镜像,建议使用 [RAPIDS 镜像]

  • worker_module 配置选项设置为 dask_cuda.cli.dask_cuda_worker,或将 worker_command 选项设置为 dask-cuda-worker

在下面的 AWS dask_cloudprovider.aws.EC2Cluster 示例中,我们将 ami 设置为包含 NVIDIA 驱动程序的深度学习 AMI,将 docker_image 设置为 RAPIDS,将 instance_type 设置为具有一块 NVIDIA Tesla V100 的 p3.2xlarge,并将 worker_module 设置为 dask_cuda.cli.dask_cuda_worker

>>> cluster = EC2Cluster(ami="ami-0c7c7d78f752f8f17",  # Example Deep Learning AMI (Ubuntu 18.04)
                         docker_image="rapidsai/rapidsai:cuda10.1-runtime-ubuntu18.04",
                         instance_type="p3.2xlarge",
                         worker_module="dask_cuda.cli.dask_cuda_worker",
                         bootstrap=False,
                         filesystem_size=120)

有关如何启动 GPU 集群的信息,请参阅每个集群管理器的示例部分。