配置

配置¶

Dask Cloudprovider 中的每个集群管理器都需要针对您希望使用的云服务进行一些特定配置。许多配置选项都会有合理的默认值，您通常只需配置身份验证凭据即可创建集群。

所有集群管理器都假定您已经为您正在使用的云服务配置了凭据。

对于 AWS，这意味着将您的访问密钥和秘密密钥存储在 ~/.aws/credentials 中。您可以通过运行命令 aws configure 让 AWS CLI 为您创建此文件。

有关具体详情，请参阅每个集群管理器。

警告

大多数集群管理器也允许将凭据作为关键字参数传递，但这会导致凭据存储在代码中，因此不建议这样做。

配置可以通过关键字参数、YAML 配置或环境变量传递给集群管理器。

例如，用于 AWS ECS 的 FargateCluster 管理器接受 scheduler_mem 配置选项，用于设置分配给调度程序的内存大小（以兆字节为单位）。可以通过以下方式配置此选项。

from dask_cloudprovider.aws import FargateCluster

cluster = FargateCluster(
    scheduler_mem=8192
)

# ~/.config/dask/cloudprovider.yaml

cloudprovider:
  ecs:
    scheduler_mem: 8192

$ export DASK_CLOUDPROVIDER__ECS__SCHEDULER_MEM=8192

有关更多信息，请参阅每个集群管理器和Dask 配置文档。

安装

替代方案