本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。 # 執行 GPU 任務 GPU 任務可協助您執行使用執行個體 GPUs 的任務。 支援下列 Amazon EC2 GPU 型執行個體類型。如需詳細資訊，請參閱 [Amazon EC2 G3 執行個體](https://aws.amazon.com/ec2/instance-types/g3/)、[Amazon EC2 G4 執行個體](https://aws.amazon.com/ec2/instance-types/g4/)、[Amazon EC2 G5 執行個體](https://aws.amazon.com/ec2/instance-types/g5/)、[Amazon EC2 G6 執行個體](https://aws.amazon.com/ec2/instance-types/g6/)、[Amazon EC2 P2 執行個體](https://aws.amazon.com/ec2/instance-types/p2/)、[Amazon EC2 P3 執行個體](https://aws.amazon.com/ec2/instance-types/p3/)、[Amazon EC2 P4d 執行個體](https://aws.amazon.com/ec2/instance-types/p4/)、[Amazon EC2 P5 執行個體](https://aws.amazon.com/ec2/instance-types/p5/)、[Amazon EC2 P6 執行個體](https://aws.amazon.com/ec2/instance-types/p6/)、[Amazon EC2 Trn1 執行個體](https://aws.amazon.com/ec2/instance-types/trn1/)、[Amazon EC2 Trn2 執行個體](https://aws.amazon.com/ec2/instance-types/trn2/)、[Amazon EC2 Inf1 執行個體](https://aws.amazon.com/ec2/instance-types/inf1/)、[Amazon EC2 Inf2 執行個體](https://aws.amazon.com/ec2/instance-types/inf2/)、[Amazon EC2 Dl1 執行個體](https://aws.amazon.com/ec2/instance-types/dl1/)和 [Amazon EC2 Dl2 執行個體](https://aws.amazon.com/ec2/instance-types/dl2q/)。 | 執行個體類型 | GPU | 記憶體 | vCPUs | 記憶體 | 網路頻寬 | | --- | --- | --- | --- | --- | --- | | g3s.xlarge | 1 | 8 GiB | 4 | 30.5 GiB | 10 Gbps | | g3.4xlarge | 1 | 8 GiB | 16 | 122 GiB | 最高 10 Gbps | | g3.8xlarge | 2 | 16 GiB | 32 | 244 GiB | 10 Gbps | | g3.16xlarge | 4 | 32 GiB | 64 | 488 GiB | 25 Gbps | | g4dn.xlarge | 1 | 16 GiB | 4 | 16 GiB | 最高 25 Gbps | | g4dn.2xlarge | 1 | 16 GiB | 8 | 32 GiB | 最高 25 Gbps | | g4dn.4xlarge | 1 | 16 GiB | 16 | 64 GiB | 最高 25 Gbps | | g4dn.8xlarge | 1 | 16 GiB | 32 | 128 GiB | 50 Gbps | | g4dn.12xlarge | 4 | 64 GiB | 48 | 192 GiB | 50 Gbps | | g4dn.16xlarge | 1 | 16 GiB | 64 | 256 GiB | 50 Gbps | | g5.xlarge | 1 | 24 GiB | 4 | 16 GiB | 最高 10 Gbps | | g5.2xlarge | 1 | 24 GiB | 8 | 32 GiB | 最高 10 Gbps | | g5.4xlarge | 1 | 24 GiB | 16 | 64 GiB | 最高 25 Gbps | | g5.8xlarge | 1 | 24 GiB | 32 | 128 GiB | 25 Gbps | | g5.16xlarge | 1 | 24 GiB | 64 | 256 GiB | 25 Gbps | | g5.12xlarge | 4 | 96 GiB | 48 | 192 GiB | 40Gbps | | g5.24xlarge | 4 | 96 GiB | 96 | 384 GiB | 50 Gbps | | g5.48xlarge | 8 | 192 GiB | 192 | 768 GiB | 100 Gbps | | g5g.xlarge | 1 | 16 GiB | 4 | 8 GiB | 最高 10 Gbps | | g5g.2xlarge | 1 | 16 GiB | 8 | 16 GiB | 最高 10 Gbps | | g5g.4xlarge | 1 | 16 GiB | 16 | 32 GiB | 最高 10 Gbps | | g5g.8xlarge | 1 | 16 GiB | 32 | 64 GiB | 12 Gbps | | g5g.16xlarge | 2 | 32 GiB | 64 | 128 GiB | 25 Gbps | | g5g.metal | 2 | 32 GiB | 64 | 128 GiB | 25 Gbps | | g6.xlarge | 1 | 24 GiB | 4 | 16 GiB | 最高 10 Gbps | | g6.2xlarge | 1 | 24 GiB | 8 | 32 GiB | 最高 10 Gbps | | g6.4xlarge | 1 | 24 GiB | 16 | 64 GiB | 最高 25 Gbps | | g6.8xlarge | 1 | 24 GiB | 32 | 128 GiB | 25 Gbps | | g6.16xlarge | 1 | 24 GiB | 64 | 256 GiB | 25 Gbps | | g6.12xlarge | 4 | 96 GiB | 48 | 192 GiB | 40Gbps | | g6.24xlarge | 4 | 96 GiB | 96 | 384 GiB | 50 Gbps | | g6.48xlarge | 8 | 192 GiB | 192 | 768 GiB | 100 Gbps | | g6e.xlarge | 1 | 48 GiB | 4 | 32 GiB | 高達 20 Gbps | | g6e.2xlarge | 1 | 48 GiB | 8 | 64 GiB | 高達 20 Gbps | | g6e.4xlarge | 1 | 48 GiB | 16 | 128 GiB | 20 Gbps | | g6e.8xlarge | 1 | 48 GiB | 32 | 256 GiB | 25 Gbps | | g6e.16xlarge | 1 | 48 GiB | 64 | 512 GiB | 35 Gbps | | g6e.12xlarge | 4 | 192 GiB | 48 | 384 GiB | 100 Gbps | | g6e.24xlarge | 4 | 192 GiB | 96 | 768 GiB | 200 Gbps | | g6e.48xlarge | 8 | 384 GiB | 192 | 1536 GiB | 400 Gbps | | gr6.4xlarge | 1 | 24 GiB | 16 | 128 GiB | 最高 25 Gbps | | gr6.8xlarge | 1 | 24 GiB | 32 | 256 GiB | 25 Gbps | | p2.xlarge | 1 | 12 GiB | 4 | 61 GiB | 高 | | p2.8xlarge | 8 | 96 GiB | 32 | 488 GiB | 10 Gbps | | p2.16xlarge | 16 | 192 GiB | 64 | 732 GiB | 20 Gbps | | p3.2xlarge | 1 | 16 GiB | 8 | 61 GiB | 最高 10 Gbps | | p3.8xlarge | 4 | 64 GiB | 32 | 244 GiB | 10 Gbps | | p3.16xlarge | 8 | 128 GiB | 64 | 488 GiB | 25 Gbps | | p3dn.24xlarge | 8 | 256 GiB | 96 | 768 GiB | 100 Gbps | | p4d.24xlarge | 8 | 320 GiB | 96 | 1152 GiB | 400 Gbps | | p4de.24xlarge | 8 | 640 GiB | 96 | 1152 GiB | 400 Gbps | | p5.48xlarge | 8 | 640 GiB | 192 | 2 TiB | 3200 Gbps | | p5e.48xlarge | 8 | 1128 GiB | 192 | 2 TiB | 3200 Gbps | | p5en.48xlarge | 8 | 1128 GiB | 192 | 2 TiB | 3200 Gbps | | p6-b200.48xlarge | 8 | 1440 GiB | 192 | 2 TiB | 100 Gbps | | trn1.2xlarge | 1 | 32 GiB | 8 | 32 GiB | 最高 12.5 Gbps | | trn1.32xlarge | 16 | 512 GiB | 128 | 512 GiB | 800 Gbps | | trn1n.32xlarge | 16 | 512 GiB | 128 | 512 GiB | 1600 Gbps | | trn2.48xlarge | 16 | 1.5 TiB | 192 | 2 TiB | 3.2 Tbps | | inf1.xlarge | 1 | 8 GiB | 4 | 8 GiB | 最高 25 Gbps | | inf1.2xlarge | 1 | 8 GiB | 8 | 16 GiB | 最高 25 Gbps | | inf1.6xlarge | 4 | 32 GiB | 24 | 48 GiB | 25 Gbps | | inf1.24xlarge | 16 | 128 GiB | 96 | 192 GiB | 100 Gbps | | inf2.xlarge | 1 | 32 GiB | 4 | 16 GiB | 最高 15 Gbps | | inf2.8xlarge | 1 | 32 GiB | 32 | 128 GiB | 最高 25 Gbps | | inf2.24xlarge | 6 | 192 GiB | 96 | 384 GiB | 50 Gbps | | inf2.48xlarge | 12 | 384 GiB | 192 | 768 GiB | 100 Gbps | | dl1.24xlarge | 8 | 256 GiB | 96 | 768 GiB | 400 Gbps | | dl2q.24xlarge | 8 | 128 GiB | 96 | 768 GiB | 100 Gbps | **注意** 對於 GPU 任務， AWS Batch 僅支援具有 NVIDIA GPUs 的執行個體類型。例如， [https://aws.amazon.com/ec2/instance-types/g4/#Amazon_EC2_G4ad_instances](https://aws.amazon.com/ec2/instance-types/g4/#Amazon_EC2_G4ad_instances) 系列不支援 GPU 排程。您仍然可以在 [https://aws.amazon.com/ec2/instance-types/g4/#Amazon_EC2_G4ad_instances](https://aws.amazon.com/ec2/instance-types/g4/#Amazon_EC2_G4ad_instances) 上使用 ， AWS Batch 方法是只定義任務定義中的 vcpu 和記憶體需求，然後使用 Amazon ECS 或 Amazon EKS 運算最佳化 AMI 透過 Amazon EC2 [啟動範本使用者資料的](launch-templates.md#lt-user-data)自訂 GPUs 直接存取主機 GPUs，或使用 AMD GPU 的自訂 AMI。 提供給 AWS Batch 或 Amazon EC2 使用者資料的自訂 AMIs 上的 GPU 任務支援使用 ARM64 架構的執行個體類型，以透過自訂程式碼和組態存取 GPUs。例如，[https://aws.amazon.com/ec2/instance-types/g5g/](https://aws.amazon.com/ec2/instance-types/g5g/)執行個體系列。 任務定義的 [resourceRequirements](job_definition_parameters.md#ContainerProperties-resourceRequirements) 參數會指定要固定到容器的 GPUs 數量。此 GPUs 數量不適用於在該任務期間在該執行個體上執行的任何其他任務。運算環境中執行 GPU 任務的所有執行個體類型都必須來自 `p3`、`p4`、`p5`、`p6`、`g3`、`g5`、 `g3s` `g4`或 `g6`執行個體系列。如果未完成此操作，GPU 任務可能會卡在 `RUNNABLE` 狀態。 不使用 GPUs 的任務可以在 GPU 執行個體上執行。不過，在 GPU 執行個體上執行成本可能比在類似的非 GPU 執行個體上要高。根據所需的特定 vCPU、記憶體和時間，這些非 GPU 任務可能會阻止 GPU 任務執行。 **Topics** + [在 Amazon EKS 上建立 GPU 型Kubernetes叢集](create-gpu-cluster-eks.md) + [建立 Amazon EKS GPU 任務定義](create-eks-gpu-job-definition.md) + [在 Amazon EKS 叢集中執行 GPU 任務](run-gpu-job-eks-cluster.md)