View a markdown version of this page

部署基礎模型和自訂微調模型 - Amazon SageMaker AI

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

部署基礎模型和自訂微調模型

無論您是從 Amazon SageMaker JumpStart 部署預先訓練的基礎開放權重或門控模型，還是部署 Amazon S3 或 Amazon FSx 中存放的自訂或微調模型，SageMaker HyperPod 都能提供生產推論工作負載所需的靈活、可擴展基礎設施。

從 JumpStart 部署開放權重和門控基礎模型 從 Amazon S3 和 Amazon FSx 部署自訂和微調模型 從本機 NVMe 儲存體部署模型
Description

使用針對每個模型系列量身打造的自動最佳化和擴展政策，從預先訓練基礎模型的綜合目錄進行部署。

 使用您自己的自訂和微調模型，並使用 SageMaker HyperPod 的企業基礎設施進行生產規模推論。選擇使用 Amazon S3 進行符合成本效益的儲存，還是使用一個具有 Amazon FSx 的高效能檔案系統。 從節點的本機 NVMe 儲存體載入模型權重，以消除 Pod 啟動期間的網路延遲。適用於自動擴展事件、scale-from-zero工作負載和延遲敏感型容錯移轉。
主要優點

  • 透過 Amazon SageMaker Studio UI 進行一鍵式部署

  • 根據自動啟用的傳入請求自動擴展

  • 每個模型系列的預先最佳化容器和組態

  • 門控模型的 EULA 處理

  • 支援多個儲存後端：Amazon S3、Amazon FSx

  • 靈活的容器和架構支援

  • 基於您模型特性的自訂擴展政策

  • 透過在本機讀取權重來縮短冷啟動時間

  • 沒有用於載入模型的網路相依性

  • 缺少 NVMe 快取時，Amazon S3 的選用備用

  • 自訂 Kubernetes 磁碟區和 initContainers
部署選項

  • 用於視覺化部署的 Amazon SageMaker Studio

  • 用於 Kubernetes 原生操作的 kubectl

  • 用於程式設計整合的 Python SDK

  • 用於命令列自動化的 HyperPod CLI

  • 用於 Kubernetes 原生操作的 kubectl

  • 用於程式設計整合的 Python SDK

  • 用於命令列自動化的 HyperPod CLI

  • 用於 Kubernetes 原生操作的 kubectl

  • 用於程式設計整合的 Python SDK

  • 用於命令列自動化的 HyperPod CLI

以下章節會逐步引導您從 Amazon SageMaker JumpStart、Amazon S3 和 Amazon FSx，以及從本機 NVMe 儲存體部署模型。

主題