View a markdown version of this page

基盤モデルとカスタムファインチューニングされたモデルをデプロイする - Amazon SageMaker AI

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

基盤モデルとカスタムファインチューニングされたモデルをデプロイする

Amazon SageMaker JumpStart から事前トレーニング済みの基盤のオープンウェイトモデルまたはゲートモデルをデプロイする場合でも、Amazon S3 または Amazon FSx に保存されている独自のカスタムモデルまたはファインチューニングされたモデルをデプロイする場合でも、SageMaker HyperPod は、本番稼働用推論ワークロードに必要な柔軟かつスケーラブルなインフラストラクチャを提供します。

JumpStart からオープン加重とゲート基盤モデルをデプロイする Amazon S3 と Amazon FSx からカスタムモデルとファインチューニングされたモデルをデプロイする ローカル NVMe ストレージからモデルをデプロイする
説明

各モデルファミリーに合わせた自動最適化ポリシーと自動スケーリングポリシーを使用して、事前トレーニング済みの基盤モデルの包括的なカタログからデプロイします。

 独自のカスタムモデルと微調整されたモデルを導入し、SageMaker HyperPod のエンタープライズインフラストラクチャを使用して本番スケールの推論を行います。Amazon S3 を使用した費用対効果の高いストレージか、Amazon FSx を使用した高パフォーマンスファイルシステムのいずれかを選択します。 ノードのローカル NVMe ストレージからモデルの重みをロードして、ポッドの起動中のネットワークレイテンシーを排除します。自動スケーリングイベント、scale-from-zeroするワークロード、レイテンシーの影響を受けやすいフェイルオーバーに役立ちます。
主な利点

  • Amazon SageMaker Studio UI を介したワンクリックデプロイ

  • 受信リクエストに基づくオートスケーリングが自動的に有効になります。

  • 各モデルファミリー用に事前に最適化されたコンテナと設定

  • ゲートモデルの EULA 処理

  • 複数のストレージバックエンドのサポート: Amazon S3、Amazon FSx

  • 柔軟なコンテナとフレームワークのサポート

  • モデルの特性に基づくカスタムスケーリングポリシー

  • ローカルで重みを読み取ることでコールドスタート時間を短縮

  • モデルのロードにネットワーク依存なし

  • NVMe キャッシュがない場合の Amazon S3 へのオプションのフォールバック

  • カスタム Kubernetes ボリュームと initContainers
デプロイオプション

  • ビジュアルデプロイ用の Amazon SageMaker Studio

  • Kubernetes ネイティブオペレーション用の kubectl

  • プログラムによる統合用の Python SDK

  • コマンドラインオートメーション用の HyperPod CLI

  • Kubernetes ネイティブオペレーション用の kubectl

  • プログラムによる統合用の Python SDK

  • コマンドラインオートメーション用の HyperPod CLI

  • Kubernetes ネイティブオペレーション用の kubectl

  • プログラムによる統合用の Python SDK

  • コマンドラインオートメーション用の HyperPod CLI

以下のセクションでは、Amazon SageMaker JumpStart、Amazon S3 および Amazon FSx、ローカル NVMe ストレージからモデルをデプロイする手順を示します。

トピック