View a markdown version of this page

使用檢查 AI 進行評估 - Amazon Nova

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用檢查 AI 進行評估

您可以使用檢查 AI 來評估自訂的 Amazon Nova 模型,這是開放原始碼評估架構。檢查 AI 支援來自 AI 研究社群的標準化基準,讓您能夠測量跨知識、推理、編碼和安全任務的模型效能。

選擇最適合您工作流程的評估方法:

  • 檢查 AI SDK – 針對 SageMaker 推論端點,從筆記本或本機環境以互動方式執行評估。最適合用於開發、反覆運算和快速測試。

  • 檢查 AI 容器 – 以 SageMaker 訓練任務的形式大規模執行評估。最適合用於生產評估管道、鏈結多個基準和自動化工作流程。

建議的工作流程:從檢查 AI 開發套件開始,使用 AI 助理加入提示來建置和測試您的自訂評估基準,然後針對您偏好的推論解決方案執行評估。一旦基準經過完整驗證,您就可以使用檢查 AI 容器無縫切換到任務型評估,無需變更程式碼。只需將您的基準檔案和配方檔案移至 S3 並啟動任務。