View a markdown version of this page

Implantar modelos de base e modelos personalizados e ajustados - SageMaker Inteligência Artificial da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Implantar modelos de base e modelos personalizados e ajustados

Se você está implantando modelos pré-treinados de pesos abertos ou modelos fechados da Amazon ou seus próprios modelos personalizados ou SageMaker JumpStart ajustados armazenados no Amazon S3 ou no Amazon SageMaker HyperPod FSx, fornece a infraestrutura flexível e escalável de que você precisa para cargas de trabalho de inferência de produção.

Implemente modelos de fundações abertas e bloqueadas a partir de JumpStart Implementar modelos personalizados e ajustados do Amazon S3 e do Amazon FSx Implemente modelos a partir do armazenamento NVMe local
Descrição

Implemente com base em um catálogo abrangente de modelos de base pré-treinados com políticas automáticas de otimização e escalabilidade personalizadas para cada família de modelos.

Traga seus próprios modelos personalizados e ajustados e use a infraestrutura corporativa SageMaker HyperPod da empresa para inferência em escala de produção. Escolha entre um armazenamento econômico com o Amazon S3 ou um sistema de arquivos de alto desempenho com o Amazon FSx. Carregue os pesos do modelo do armazenamento NVMe local de um nó para eliminar a latência da rede durante a inicialização do pod. Útil para eventos de escalonamento automático, escalabilidade de cargas de trabalho a partir de zero e failovers sensíveis à latência.
Benefícios principais
  • One-click implantação por meio da interface do usuário do Amazon SageMaker Studio

  • Auto-scaling com base nas solicitações recebidas ativadas automaticamente

  • Pre-optimized contêineres e configurações para cada família de modelos

  • Tratamento de EULA para modelos fechados

  • Suporte para vários backends de armazenamento: Amazon S3, Amazon FSx.

  • Suporte flexível a frameworks e contêineres.

  • Políticas de escalabilidade com base nas características do modelo.

  • Redução do tempo de partida a frio ao ler os pesos localmente

  • Sem dependência de rede para carregamento do modelo

  • Recuo opcional para o Amazon S3 quando o cache NVMe está ausente

  • Volumes Kubernetes e initContainers personalizados

Opções de implantação
  • Amazon SageMaker Studio para implantação visual

  • kubectl para operações Kubernetes-native

  • Python SDK para integração programática.

  • HyperPod CLI para automação de linha de comando

  • kubectl para operações Kubernetes-native

  • Python SDK para integração programática.

  • HyperPod CLI para automação de linha de comando

  • kubectl para operações Kubernetes-native

  • Python SDK para integração programática.

  • HyperPod CLI para automação de linha de comando

As seções a seguir orientam você na implantação de modelos da Amazon SageMaker JumpStart, do Amazon S3 e do Amazon FSx e do armazenamento NVMe local.