View a markdown version of this page

Terapkan model pondasi dan model penyesuaian khusus - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terapkan model pondasi dan model penyesuaian khusus

Baik Anda menerapkan bobot terbuka atau model terjaga keamanannya yang telah dilatih sebelumnya dari Amazon atau model kustom SageMaker JumpStart atau penyesuaian Anda sendiri yang disimpan di Amazon S3 atau Amazon SageMaker HyperPod FSx, menyediakan infrastruktur fleksibel dan skalabel yang Anda perlukan untuk beban kerja inferensi produksi.

Menyebarkan model pondasi berbobot terbuka dan terjaga keamanannya dari JumpStart Terapkan model khusus dan disetel dengan baik dari Amazon S3 dan Amazon FSx Terapkan model dari penyimpanan NVMe lokal
Deskripsi

Terapkan dari katalog komprehensif model pondasi pra-terlatih dengan kebijakan pengoptimalan dan penskalaan otomatis yang disesuaikan dengan setiap keluarga model.

Bawa model Anda sendiri yang disesuaikan dan disesuaikan serta gunakan infrastruktur SageMaker HyperPod perusahaan untuk inferensi skala produksi. Pilih antara penyimpanan hemat biaya dengan Amazon S3 atau sistem file berkinerja tinggi dengan Amazon FSx. Muat bobot model dari penyimpanan NVMe lokal node untuk menghilangkan latensi jaringan selama startup pod. Berguna untuk peristiwa penskalaan otomatis, beban kerja skala-dari-nol, dan failover yang sensitif terhadap latensi.
Manfaat utama
  • One-click penyebaran melalui Amazon SageMaker Studio UI

  • Auto-scaling berdasarkan permintaan yang masuk secara otomatis diaktifkan

  • Pre-optimized kontainer dan konfigurasi untuk setiap keluarga model

  • Penanganan EULA untuk model terjaga keamanannya

  • Dukungan untuk beberapa backend penyimpanan: Amazon S3, Amazon FSx

  • Kontainer fleksibel dan dukungan kerangka kerja

  • Kebijakan penskalaan khusus berdasarkan karakteristik model Anda

  • Mengurangi waktu mulai dingin dengan membaca bobot secara lokal

  • Tidak ada ketergantungan jaringan untuk pemuatan model

  • Fallback opsional ke Amazon S3 saat cache NVMe hilang

  • Volume Kubernetes kustom dan InitContainers

Opsi penyebaran
  • Amazon SageMaker Studio untuk penyebaran visual

  • kubectl untuk operasi Kubernetes-native

  • Python SDK untuk integrasi terprogram

  • HyperPod CLI untuk otomatisasi baris perintah

  • kubectl untuk operasi Kubernetes-native

  • Python SDK untuk integrasi terprogram

  • HyperPod CLI untuk otomatisasi baris perintah

  • kubectl untuk operasi Kubernetes-native

  • Python SDK untuk integrasi terprogram

  • HyperPod CLI untuk otomatisasi baris perintah

Bagian berikut mengarahkan Anda melalui penerapan model dari Amazon SageMaker JumpStart, dari Amazon S3 dan Amazon FSx, dan dari penyimpanan NVMe lokal.