# Inspect AI による評価
<a name="nova-eval-inspect-ai"></a>

オープンソースの評価フレームワークである [Inspect AI](https://github.com/UKGovernmentBEIS/inspect_ai) を使用して、カスタマイズされた Amazon Nova モデルを評価できます。Inspect AI は AI 研究コミュニティの標準化されたベンチマークをサポートしているため、知識、推論、コーディング、安全タスクにわたってモデルのパフォーマンスを測定できます。

ワークフローに最適な評価アプローチを選択します:
+ **Inspect AI SDK** – ノートブックまたはローカル環境から SageMaker 推論エンドポイントに対してインタラクティブに評価を実行します。開発、イテレーション、クイックテストに最適です。
+ **Inspect AI コンテナ** – SageMaker トレーニングジョブとして大規模に評価を実行します。本番稼働用評価パイプライン、複数のベンチマークの連鎖、自動化されたワークフローに最適です。

**推奨されるワークフロー:** Inspect AI SDK から始めて、[AI アシスタントのオンボーディングプロンプト](https://github.com/aws-samples/amazon-nova-samples/blob/main/customization/sagemaker-inspect-ai/ai_assisted_benchmark_creation.md)を使用してカスタム評価ベンチマークを構築およびテストし、希望する推論ソリューションに対して評価を実行します。ベンチマークが完全に検証されたら、Inspect AI コンテナを使用して、ジョブベースの評価にシームレスに切り替えることができます。コードの変更は必要ありません。ベンチマークファイルとレシピファイルを S3 に移動し、ジョブを起動するだけです。

**Topics**
+ [Inspect AI SDKて評価する](nova-eval-on-sagemaker-inference.md)
+ [Inspect AI コンテナで評価する](nova-eval-inspect-ai-container.md)