View a markdown version of this page

Slurm stratégies d'allocation dynamique de nœuds dans la version 3.7.x - AWS ParallelCluster

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Slurm stratégies d'allocation dynamique de nœuds dans la version 3.7.x

ParallelCluster utilise deux types de stratégies d'allocation dynamique de nœuds pour dimensionner le cluster :

  • Allocation basée sur les informations de nœud demandées disponibles :

    • All-nodes mise à l'échelle du CV ou de la liste de nœuds :

      ParallelCluster augmente le cluster en fonction uniquement des noms Slurm de liste de nœuds demandés lors Slurm de son ResumeProgram exécution. Il alloue les ressources de calcul aux nœuds uniquement par nom de nœud. La liste des noms de nœuds peut couvrir plusieurs tâches.

    • Job-level mise à l'échelle du CV ou du poste :

      ParallelCluster fait évoluer le cluster en fonction des exigences de chaque tâche, du nombre actuel de nœuds alloués à la tâche et des nœuds devant être réactivés. ParallelCluster obtient ces informations à partir de la variable d'SLURM_RESUME_FILEenvironnement.

  • Allocation avec une stratégie de lancement d'Amazon EC2 :

    • Best-effortmise à l'échelle :

      ParallelCluster augmente le cluster en utilisant un appel d'API d'instance de lancement Amazon EC2 avec une capacité cible minimale égale à 1, pour lancer certaines instances, mais pas nécessairement toutes, nécessaires pour prendre en charge les nœuds demandés.

    • All-or-nothingmise à l'échelle :

      ParallelCluster augmente le cluster en utilisant un appel d'API d'instance de lancement Amazon EC2 qui ne réussit que si toutes les instances nécessaires pour prendre en charge les nœuds demandés sont lancées. Dans ce cas, il appelle l'API de l'instance de lancement Amazon EC2 avec une capacité cible minimale égale à la capacité totale demandée.

Par défaut, ParallelCluster utilise le dimensionnement des listes de nœuds avec une stratégie de lancement optimale d'Amazon EC2 pour lancer certaines instances, mais pas nécessairement toutes, nécessaires pour prendre en charge les nœuds demandés. Il essaie de fournir autant de capacité que possible pour répondre à la charge de travail soumise.

À partir de ParallelCluster la version 3.7.0, ParallelCluster utilise le dimensionnement au niveau des tâches avec une stratégie de lancement EC2 « tout ou rien » pour les tâches soumises en mode exclusif. Lorsque vous soumettez une tâche en mode exclusif, la tâche dispose d'un accès exclusif aux nœuds qui lui sont alloués. Pour plus d'informations, consultez EXCLUSIVE dans la Slurm documentation.

Pour soumettre une offre d'emploi en mode exclusif :

  • Passez le drapeau exclusif lorsque vous soumettez une Slurm tâche au cluster. Par exemple, sbatch ... --exclusive.

    OU

  • Soumettez une tâche à une file d'attente de cluster configurée avec la valeur JobExclusiveAllocationdéfinie surtrue.

Lorsque vous soumettez une offre d'emploi en mode exclusif :

  • ParallelCluster traite actuellement par lots les demandes de lancement pour inclure jusqu'à 500 nœuds. Si une tâche demande plus de 500 nœuds, envoie une ParallelCluster demande de lancement « tout ou rien » pour chaque ensemble de 500 nœuds et une demande de lancement supplémentaire pour le reste des nœuds.

  • Si l'allocation de nœuds se ParallelCluster fait dans une seule ressource de calcul, envoie une demande de lancement « tout ou rien » pour chaque ensemble de 500 nœuds et une demande de lancement supplémentaire pour le reste des nœuds. Si une demande de lancement échoue, ParallelCluster met fin à la capacité inutilisée créée par toutes les demandes de lancement.

  • Si l'allocation de nœuds couvre plusieurs ressources de calcul, il ParallelCluster doit effectuer une demande de lancement « tout ou rien » pour chaque ressource de calcul. Ces demandes sont également groupées. Si une demande de lancement échoue pour l'une des ressources de calcul, ParallelCluster met fin à la capacité inutilisée créée par toutes les demandes de lancement de ressources de calcul.

mise à l'échelle au niveau des tâches avec limites connues de la stratégie de lancement du « tout ou rien » :

  • Lorsque vous soumettez une tâche dans une ressource de calcul avec un seul type d'instance, dans une file d'attente qui couvre plusieurs zones de disponibilité, l'appel d'API de lancement EC2 « tout ou rien » ne réussit que si toute la capacité peut être fournie dans une seule zone de disponibilité.

  • Lorsque vous soumettez une tâche dans une ressource de calcul comportant plusieurs types d'instances, dans une file d'attente avec une seule zone de disponibilité, l'appel d'API de lancement Amazon EC2 « tout ou rien » ne réussit que si toute la capacité peut être fournie par un seul type d'instance.

  • Lorsque vous soumettez une tâche dans une ressource de calcul comportant plusieurs types d'instances, dans une file d'attente couvrant plusieurs zones de disponibilité, l'appel d'API de lancement Amazon EC2, « tout ou rien », n'est pas pris en charge ParallelCluster et effectue plutôt une mise à l'échelle optimale.