View a markdown version of this page

Storage persistente per flotte gestite dai servizi - AWS Deadline Cloud
Come funziona lo storage persistenteVantaggi dello storage persistenteQuando utilizzare lo storage persistenteConfigurazione dello storage persistente per una flottaIntegrazione in runtimeGestione dei volumi persistentiAggiornamento della configurazione di archiviazione persistenteEncryption (Crittografia)Considerazioni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Storage persistente per flotte gestite dai servizi

AWS Lo storage persistente Deadline Cloud (Deadline Cloud) fornisce volumi Amazon Elastic Block Store (Amazon EBS) dedicati, separati dal volume di avvio principale, per i lavoratori della flotta gestita dai servizi (SMF). Questi volumi preservano i dati durante gli eventi del ciclo di vita dei lavoratori. Grazie allo storage persistente, le installazioni dei pacchetti conda, le cache delle applicazioni e i file degli asset rimangono disponibili quando i lavoratori vengono sostituiti durante le operazioni di manutenzione ordinaria o di scalabilità.

Come funziona lo storage persistente

Quando abiliti lo storage persistente su una flotta gestita dai servizi, Deadline Cloud gestisce automaticamente il ciclo di vita dei volumi Amazon EBS per i tuoi dipendenti:

  1. All'avvio di un lavoratore, Deadline Cloud crea o riutilizza un volume Amazon EBS disponibile nella stessa zona di disponibilità e collega il volume al lavoratore.

  2. Deadline Cloud formatta il volume (se nuovo) e lo monta nel percorso specificato nella configurazione della flotta.

  3. Quando il lavoratore termina o viene sostituito, Deadline Cloud rimuove il volume e lo rende disponibile per il riutilizzo da parte di un futuro lavoratore nella stessa flotta e nella stessa zona di disponibilità.

Poiché i volumi vengono riutilizzati all'interno dello stesso parco macchine e della stessa zona di disponibilità, i lavoratori successivi traggono vantaggio dai dati precedentemente scritti nel volume. Il volume offre larghezza di banda e IOPS dedicati senza contese tra i lavoratori.

Nota

Lo storage persistente è disponibile solo per le flotte gestite dai servizi. Per le flotte gestite dai clienti, è possibile gestire la propria infrastruttura di storage.

Vantaggi dello storage persistente

Lo storage persistente offre i seguenti vantaggi per i carichi di lavoro del parco veicoli gestiti dai servizi:

  • Avvio più rapido dei processi: le installazioni dei pacchetti Conda, gli shader compilati e gli asset elaborati persistono anche dopo la sostituzione del lavoratore, eliminando download e installazioni ripetuti.

  • Prestazioni dedicate: ogni lavoratore riceve il proprio volume Amazon EBS con IOPS e throughput dedicati, evitando le controversie che si verificano con lo storage di rete condiviso.

  • Gestione automatica: Deadline Cloud gestisce la creazione di volumi, l'allegato, la formattazione, il montaggio e la pulizia senza richiedere l'intervento manuale.

  • Integrazione in fase di esecuzione: gli utenti di runtime supportati, come gli ambienti di coda conda e la cache immutabile del file system virtuale (VFS), utilizzano automaticamente lo storage persistente quando disponibile, senza richiedere modifiche alla configurazione del lavoro.

  • Controllo dei costi: configura un time-to-live (TTL) per ripulire automaticamente i volumi inutilizzati e ridurre i costi di storage durante i periodi di inattività.

Quando utilizzare lo storage persistente

Valuta la possibilità di abilitare lo storage persistente per la tua flotta gestita dai servizi nei seguenti scenari:

  • I tuoi lavori utilizzano pacchetti conda che richiedono tempi di download e installazione significativi.

  • I tuoi carichi di lavoro di rendering compilano shader o elaborano risorse che possono essere riutilizzate nei rendering successivi.

  • Utilizzate Perforce o altri sistemi di controllo delle versioni in cui lo stato di sincronizzazione del workspace riduce il trasferimento dei dati negli aggiornamenti successivi.

  • I vostri lavori utilizzano il file system virtuale (VFS) e trarrebbero vantaggio da una cache di asset immutabile e persistente.

  • Desiderate prestazioni di storage dedicate senza il sovraccarico operativo legato alla gestione di file system di rete condivisi.

  • È necessario installare renderer personalizzati o altro software sui worker tramite script di configurazione dell'host e si desidera che tali installazioni vengano memorizzate nella cache del volume persistente.

Configurazione dello storage persistente per una flotta

È possibile configurare lo storage persistente quando si crea una nuova flotta gestita dai servizi o si aggiorna una flotta esistente.

Configurazione dello storage persistente (console)

Prima di iniziare, è necessario disporre di una farm esistente con almeno una flotta gestita dai servizi o essere pronti a creare una nuova flotta.

Per configurare lo storage persistente per una flotta

  1. Accedi alla console di AWS gestione e apri la console Deadline Cloud.

  2. Nel riquadro di navigazione, scegli Fattorie, quindi seleziona la tua fattoria.

  3. Scegli la scheda Flotte, quindi scegli Crea flotta oppure seleziona una flotta esistente gestita dal servizio e scegli Modifica.

  4. In Funzionalità di archiviazione, per la modalità di archiviazione, scegli Archiviazione persistente.

  5. Configura le impostazioni di archiviazione principale per il volume di avvio (dimensioni, IOPS e velocità effettiva).

  6. In Archiviazione persistente, configura le seguenti impostazioni:

    • Dimensione: la dimensione del volume persistente. L'intervallo valido è compreso tra 1 e 65.536 GiB. Verifica che la dimensione predefinita sia adatta ai tuoi carichi di lavoro di rendering e valuta la possibilità di aumentare la dimensione del volume per i flussi di lavoro che utilizzano risorse o cache più grandi.

    • Mount path: il percorso assoluto in cui il volume è montato sul worker (ad esempio, /mnt/persistent per). Linux Per Windows i lavoratori, specificare una lettera di unità, ad esempioD:.

    • Throughput: la velocità effettiva assegnata per il volume. L'intervallo valido è 125-2.000. MiB/s

    • Tempo massimo di inattività: per quanto tempo un volume disponibile può rimanere inattivo prima di essere eliminato. Seleziona un valore dal menu a discesa (ad esempio, 12 ore).

    • IOPS: gli IOPS assegnati per il volume. L'intervallo valido è compreso tra 3.000 e 80.000 IOPS. Il throughput di IOPS deve essere almeno 4 volte superiore.

  7. Completa i passaggi rimanenti della configurazione del parco veicoli e scegli Crea flotta o Salva modifiche.

Configurazione dell'archiviazione persistente (AWS CLI)

Per configurare lo storage persistente utilizzando AWS Command Line Interface (AWS CLI), includi il persistentVolumeConfiguration parametro nella configurazione del parco veicoli quando crei o aggiorni un parco veicoli.

L'esempio seguente crea una flotta con lo storage persistente abilitato:

{
  "configuration": {
    "serviceManagedEc2FleetConfiguration": {
      "instanceCapabilities": {
        "vCpuCount": {"min": 4, "max": 8},
        "memoryMiB": {"min": 16384, "max": 32768},
        "osFamily": "LINUX"
      },
      "instanceMarketOptions": {
        "type": "spot"
      },
      "persistentVolumeConfiguration": {
        "sizeGiB": 2048,
        "iops": 16000,
        "throughputMiB": 500,
        "mountPath": "/mnt/persistent",
        "lastUsedTtlHours": 168
      }
    }
  }
}

Integrazione in runtime

Quando lo storage persistente viene montato correttamente su un worker, Deadline Cloud imposta la variabile di DEADLINE_PERSISTENT_MOUNT ambiente sul percorso di montaggio configurato. I seguenti utenti di runtime utilizzano automaticamente lo storage persistente quando è presente la variabile di ambiente:

  • Ambienti di coda Conda: le installazioni dei pacchetti sono archiviate nel volume persistente, quindi i lavoratori successivi riutilizzano i pacchetti precedentemente installati invece di scaricarli e installarli nuovamente.

  • Cache immutabile del file system virtuale (VFS): il VFS archivia la cache degli asset immutabili sul volume persistente, in modo che le risorse scaricate in precedenza siano disponibili senza doverle scaricare nuovamente da Amazon Simple Storage Service (Amazon S3).

Puoi anche utilizzare la variabile di DEADLINE_PERSISTENT_MOUNT ambiente nei tuoi modelli di lavoro e script per archiviare dati che dovrebbero persistere durante gli eventi del ciclo di vita dei lavoratori.

Gestione dei volumi persistenti

Puoi visualizzare e gestire i volumi persistenti per la tua flotta utilizzando la console o l'API di Deadline Cloud. AWS CLI Sono disponibili le seguenti operazioni:

  • Elenca volumi: visualizza tutti i volumi persistenti associati a un parco veicoli, inclusi lo stato, le dimensioni e la zona di disponibilità.

  • Ottieni dettagli sul volume: recupera informazioni dettagliate su un volume specifico, tra cui lo stato corrente, lo stato degli allegati e la configurazione.

  • Eliminare un volume: elimina definitivamente un volume persistente non collegato che non è più necessario. Non è possibile eliminare un volume attualmente collegato a un lavoratore.

Aggiornamento della configurazione di archiviazione persistente

È possibile aggiornare la configurazione dello storage persistente su una flotta esistente. Sono supportate le seguenti modifiche:

  • IOPS e velocità effettiva: Deadline Cloud applica le modifiche la prossima volta che collega un volume a un lavoratore.

  • Dimensione del volume (solo aumento): Deadline Cloud ingrandisce i volumi prima dell'allegato successivo. Non è possibile ridurre la dimensione del volume.

  • Disattiva l'archiviazione persistente: Deadline Cloud pulisce automaticamente i volumi esistenti quando non sono più collegati a un lavoratore.

Importante

Le modifiche alla configurazione non influiscono sui lavoratori esistenti. Le modifiche si applicano solo ai nuovi worker che vengono avviati dopo l'aggiornamento.

Encryption (Crittografia)

I volumi persistenti utilizzano le impostazioni di crittografia configurate a livello di farm. Se è stata configurata una chiave gestita dal cliente AWS Key Management Service (AWS KMS) per la farm, i volumi persistenti vengono crittografati con tale chiave. In caso contrario, i volumi persistenti vengono crittografati con una chiave di proprietà del servizio.

Considerazioni

Tieni a mente le seguenti considerazioni quando utilizzi lo storage persistente:

  • I volumi persistenti sono un'ottimizzazione della memorizzazione nella cache, non uno storage primario durevole. Utilizzate i volumi persistenti solo per i dati che potete ricreare, come installazioni di pacchetti, shader compilati e cache degli asset. Deadline Cloud può sostituire un volume in qualsiasi momento e non puoi accedere direttamente ai volumi persistenti.

  • Deadline Cloud configura la home directory del lavoratore per utilizzare il volume persistente. Il software che archivia i dati nella home directory (come i pacchetti conda e le cache delle applicazioni) beneficia automaticamente della persistenza. Se il software scrive su percorsi esterni alla home directory, è necessario riconfigurarlo per utilizzare il percorso di montaggio persistente, altrimenti tali file non persistono durante gli eventi del ciclo di vita del lavoratore.

  • I volumi persistenti non sono collegati a più worker contemporaneamente. Ogni volume serve un lavoratore alla volta, ma viene riutilizzato da diversi lavoratori in tutti gli eventi del ciclo di vita.

  • I volumi sono limitati a una flotta e a una zona di disponibilità specifiche. Un volume creato in una zona di disponibilità non può essere riutilizzato da un lavoratore in una zona di disponibilità diversa.

  • Non è garantito che un lavoratore specifico riceva lo stesso volume utilizzato in precedenza. È possibile assegnare qualsiasi volume disponibile nella stessa flotta e nella stessa zona di disponibilità.

  • Se non è possibile effettuare il provisioning dello storage persistente (ad esempio, a causa dei limiti di quota), il processo fallisce. I lavoratori non tornano a lavorare senza uno storage persistente.

  • L'archiviazione persistente viene fatturata in base al numero di volumi attivi e alla loro configurazione. Per controllare i costi durante i periodi di inattività, configura un TTL o rimuovi la configurazione di storage persistente dalla tua flotta.