Inspect AI コンテナで評価する

SageMaker Inspect AI コンテナは、SageMaker トレーニングジョブで LLM モデル評価を実行します。コンテナは Inspect AI を使用して、Amazon Nova 1.0 (Micro、Lite、Pro) モデルや Amazon Nova 2.0 (Lite 2) モデルなど、SageMaker 推論エンドポイントまたは Amazon Bedrock にデプロイされたモデルの標準化された評価プロセスを提供します。

以前の評価アプローチ (lighteval に基づく) では、オフライン推論と評価ロジックが緊密に結合され、モデルの提供方法とテスト方法の柔軟性が制限されていました。Inspect AI コンテナは、評価ロジックを推論から完全に切り離します。

概要

その他の主な利点には以下が含まれます:

仕組み

コンテナには 2 つの入力を指定します。

コンテナは、エンドポイント管理、評価実行、結果収集を処理します。トレーニングジョブが完了すると、結果は指定された S3 出力場所に書き込まれます。

コンテナイメージ

次の表に、AWS リージョン別の Inspect AI コンテナイメージ URI を示します。

前提条件

開始する前に、次のリソースとアクセスが準備されていることを確認してください。

ステップ 1: IAM アクセス許可の設定

SageMaker トレーニングジョブは、指定した実行ロールで実行されます。このロールには、S3 からのベンチマークの読み取り、結果の書き込み、推論エンドポイントの呼び出し、CloudWatch ログの書き込みを行うためのアクセス許可が必要です。

1.1 信頼ポリシーを作成する

次を trust_policy.json として保存します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "sagemaker.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

1.2 ロールを作成する

aws iam create-role \
  --role-name InspectLensEvalRole \
  --assume-role-policy-document file://trust_policy.json

1.3 アクセス許可ポリシーをアタッチする

以下を eval_policy.json として保存し、すべてのプレースホルダー値 (REGION、ACCOUNT_ID、バケット名) を自分の値に置き換えます。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "S3ReadBenchmarkData",
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::YOUR_BENCHMARK_BUCKET",
        "arn:aws:s3:::YOUR_BENCHMARK_BUCKET/*"
      ]
    },
    {
      "Sid": "S3WriteResults",
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:PutObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::YOUR_RESULTS_BUCKET",
        "arn:aws:s3:::YOUR_RESULTS_BUCKET/*"
      ]
    },
    {
      "Sid": "SageMakerInvokeExistingEndpoint",
      "Effect": "Allow",
      "Action": [
        "sagemaker:InvokeEndpoint",
        "sagemaker:InvokeEndpointWithResponseStream",
        "sagemaker:DescribeEndpoint"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/*"
    },
    {
      "Sid": "BedrockInference",
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": [
        "arn:aws:bedrock:REGION::foundation-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:inference-profile/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:provisioned-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:imported-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model-deployment/*"
      ]
    },
    {
      "Sid": "BedrockCustomModelAccess",
      "Effect": "Allow",
      "Action": [
        "bedrock:GetCustomModel",
        "bedrock:GetImportedModel",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:GetCustomModelDeployment",
        "bedrock:GetInferenceProfile"
      ],
      "Resource": [
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:imported-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:provisioned-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model-deployment/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:inference-profile/*"
      ]
    },
    {
      "Sid": "SageMakerCreateEndpointLifecycle",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateModel",
        "sagemaker:DescribeModel",
        "sagemaker:DeleteModel",
        "sagemaker:CreateEndpointConfig",
        "sagemaker:DescribeEndpointConfig",
        "sagemaker:DeleteEndpointConfig",
        "sagemaker:CreateEndpoint",
        "sagemaker:DescribeEndpoint",
        "sagemaker:DeleteEndpoint",
        "sagemaker:InvokeEndpoint",
        "sagemaker:InvokeEndpointWithResponseStream"
      ],
      "Resource": [
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:model/inspectlens-*",
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/inspectlens-*",
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint-config/inspectlens-*"
      ]
    },
    {
      "Sid": "ECRAuth",
      "Effect": "Allow",
      "Action": "ecr:GetAuthorizationToken",
      "Resource": "*"
    },
    {
      "Sid": "PassRoleToSageMaker",
      "Effect": "Allow",
      "Action": "iam:PassRole",
      "Resource": "arn:aws:iam::ACCOUNT_ID:role/InspectLensEvalRole",
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "sagemaker.amazonaws.com"
        }
      }
    },
    {
      "Sid": "VPCNetworkingForEndpoint",
      "Effect": "Allow",
      "Action": [
        "ec2:CreateNetworkInterface",
        "ec2:CreateNetworkInterfacePermission",
        "ec2:DeleteNetworkInterface",
        "ec2:DeleteNetworkInterfacePermission",
        "ec2:DescribeNetworkInterfaces",
        "ec2:DescribeVpcs",
        "ec2:DescribeDhcpOptions",
        "ec2:DescribeSubnets",
        "ec2:DescribeSecurityGroups"
      ],
      "Resource": "*"
    },
    {
      "Sid": "CloudWatchLogs",
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents",
        "logs:DescribeLogStreams"
      ],
      "Resource": [
        "arn:aws:logs:REGION:ACCOUNT_ID:log-group:/aws/sagemaker/TrainingJobs:*",
        "arn:aws:logs:REGION:ACCOUNT_ID:log-group:/aws/sagemaker/Endpoints/*"
      ]
    },
    {
      "Sid": "MLflowTrackingServer",
      "Effect": "Allow",
      "Action": [
        "sagemaker:DescribeMlflowTrackingServer",
        "sagemaker:CreatePresignedMlflowTrackingServerUrl"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:mlflow-tracking-server/*"
    },
    {
      "Sid": "MLflowTrackingOperations",
      "Effect": "Allow",
      "Action": [
        "sagemaker-mlflow:AccessUI",
        "sagemaker-mlflow:CreateExperiment",
        "sagemaker-mlflow:GetExperiment",
        "sagemaker-mlflow:GetExperimentByName",
        "sagemaker-mlflow:SearchExperiments",
        "sagemaker-mlflow:CreateRun",
        "sagemaker-mlflow:GetRun",
        "sagemaker-mlflow:UpdateRun",
        "sagemaker-mlflow:SearchRuns",
        "sagemaker-mlflow:LogMetric",
        "sagemaker-mlflow:LogParam",
        "sagemaker-mlflow:LogBatch",
        "sagemaker-mlflow:SetTag",
        "sagemaker-mlflow:LogArtifact",
        "sagemaker-mlflow:ListArtifacts"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:mlflow-tracking-server/*"
    },
    {
      "Sid": "KMSForVolumeEncryption",
      "Effect": "Allow",
      "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:GenerateDataKey",
        "kms:CreateGrant",
        "kms:DescribeKey"
      ],
      "Resource": "arn:aws:kms:REGION:ACCOUNT_ID:key/*"
    }
  ]
}

ロールにポリシーをアタッチします。

aws iam put-role-policy \
  --role-name InspectLensEvalRole \
  --policy-name InspectLensEvalPolicy \
  --policy-document file://eval_policy.json

ステップ 2: 評価レシピを記述する

評価レシピは、コンテナが評価を実行する方法を定義する YAML 設定ファイルです。レシピは、推論プロバイダー、ベンチマーク、評価パラメータ、出力設定を指定します。

エンドツーエンドの例については、次のノートブックを参照してください。

オプション A: 既存の SageMaker エンドポイントを評価する

このオプションは、SageMaker 推論エンドポイントにモデルが既にデプロイされている場合に使用します。

inference_provider:
  sagemaker_endpoint:
    endpoint_name: "my-existing-endpoint"
    region: "us-east-1"

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu

eval:
  max_connections: 10
  max_retries: 100
  timeout: 600

output:
  s3_path: "s3://your-bucket/eval-results/"

オプション B: エンドポイントの作成、評価、クリーンアップ

このオプションを使用して、コンテナに Amazon Nova ベースモデルまたはファインチューニングされたモデルをデプロイさせ、評価を実行し、エンドポイントを自動的に削除します。これは、1 回限りの評価の実行に推奨されるアプローチです。Amazon Nova SageMaker 推論コンテナイメージのドキュメントから最新の SageMaker 推論コンテナを取得します。

inference_provider:
  sagemaker_endpoint:
    endpoint_name: null                 # null = create new endpoint
    model_s3_uri: "s3://your-bucket/models/nova-micro/"
    inference_image_uri: "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest"
    instance_type: "ml.p5.48xlarge"
    instance_count: 1
    execution_role_arn: "arn:aws:iam::ACCOUNT_ID:role/InspectLensEvalRole"
    region: "us-east-1"
    context_length: "16000"
    max_concurrency: "32"
    cleanup_endpoint: true              # Auto-delete after eval

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu_pro
    - name: arc_c
    - name: boolq

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 16000
    reasoning_effort: null
  max_connections: 16
  max_retries: 100
  timeout: 600
  extra_args:
    - "-M"
    - "completion_mode=True"
    - "--logprobs"
    - "--top-logprobs"
    - "5"

output:
  s3_path: "s3://your-bucket/eval-results/"

model_s3_uri に関する注意:

オプション C: Amazon Bedrock で評価する

このオプションを使用すると、エンドポイントを管理することなく Amazon Bedrock で利用可能なモデルを評価できます。

inference_provider:
  bedrock:
    model_id: amazon.nova-pro-v1:0
    region: us-east-1

benchmarks:
  - name: mmlu
    path: benchmarks/mmlu_pro.py
    limit: 100

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 8192
    reasoning_effort: null
  max_connections: 10
  max_retries: 50
  timeout: 600
  extra_args:
    - "--display"
    - "plain"

output:
  s3_path: s3://your-bucket/eval/output/

ベンチマーク設定

benchmarks セクションでは、実行する評価タスクを定義します。1 つのジョブで複数のベンチマークを連鎖できます。

評価設定

eval セクションでは、コンテナが評価を実行する方法を制御します。

デコードパラメータ

eval.decoding セクション内でモデルデコードパラメータを設定します。

出力設定

output セクションでは、評価結果の保存場所と保存方法を定義します。

以下の出力形式が利用可能です。

MLflow 設定

必要に応じて、MLflow 追跡サーバーに評価メトリクスを記録できます。レシピに tracking セクションを追加します:

tracking:
  mlflow_tracking_arn: null       # ARN of SageMaker MLflow tracking server
  mlflow_experiment_name: "inspectlens" # experiment name
  mlflow_tracing: true          # log full request/response traces
  mlflow_log_artifacts: true       # upload .eval files to MLflow

完全なレシピリファレンス

次の例は、使用可能なすべての設定オプションを含む完全なレシピを示しています。

inference_provider:
  sagemaker_endpoint:
    endpoint_name: my-nova-endpoint
    model_s3_uri: s3://your-bucket/models/my-model/
    inference_image_uri: "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest"
    instance_type: ml.g5.12xlarge
    cleanup_endpoint: true
    region: us-west-2

benchmarks:
  - name: mmlu
    path: benchmarks/mmlu_pro.py
    limit: 100
    epochs: 3
    task_args:
      subject: math
  - name: truthfulqa
    path: benchmarks/truthfulqa.py
    limit: 50

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 8192
    reasoning_effort: null
  max_connections: 256
  max_retries: 50
  timeout: 600
  extra_args:
    - "--display"
    - "plain"

output:
  s3_path: s3://your-bucket/eval/output/
  output_format: eval

tracking:
  mlflow_tracking_arn: "arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-server"
  mlflow_experiment_name: "inspectlens"
  mlflow_tracing: true
  mlflow_log_artifacts: true

ステップ 3: ベンチマークファイルを準備する

ベンチマークは、Inspect AI @task デコレータを使用して評価タスクを定義する Python ファイルです。inspect-evals リポジトリには、128 以上のすぐに使えるベンチマークが用意されています。または、独自のベンチマークを記述することもできます。

ベンチマークの例

次の例は、HuggingFace データセットの複数選択肢のパフォーマンスを評価する最小限のベンチマークを示しています。

from inspect_ai import task, Task
from inspect_ai.dataset import hf_dataset
from inspect_ai.scorer import choice
from inspect_ai.solver import multiple_choice


@task
def my_benchmark():
    return Task(
        dataset=hf_dataset(
            path="cais/mmlu",
            name="abstract_algebra",
            split="test",
        ),
        solver=multiple_choice(),
        scorer=choice(),
    )

依存関係

ベンチマークに追加の依存関係が必要な場合は、同じ S3 ディレクトリに pyproject.toml または requirements.txt を含めます。

[project]
name = "my-benchmark"
version = "0.1.0"
requires-python = ">=3.12"
dependencies = [
    "datasets>=2.14.0",
]

インストール済みのパッケージ

コンテナには、次のパッケージが含まれています。これらを pyproject.toml に一覧表示する必要はありません。

タスクの選択

レシピの tasks フィールドは、ベンチマークファイル内で実行するタスクを制御します。

ステップ 4: S3 構造を準備する

次の構造は、設定、ベンチマーク、結果を整理するための推奨事項です。コンテナを任意の S3 の場所に指定することができます。構造自体は必要ありません。

s3://your-bucket/
├── config/
│   └── inspect_config.yaml       # Your eval recipe
├── benchmarks/
│   └── my_benchmarks/            # Your benchmark Python files
│       ├── pyproject.toml        # Optional: benchmark dependencies
│       ├── my_task.py            # @task decorated functions
│       └── _helpers.py           # Shared utilities
└── output/                       # Results written here

ファイルを S3 にアップロードします。

# Upload benchmark files
aws s3 cp my_benchmarks/ s3://your-bucket/benchmarks/my_benchmarks/ --recursive

# Upload your eval recipe
aws s3 cp inspect_config.yaml s3://your-bucket/config/inspect_config.yaml

ステップ 5: トレーニングジョブを送信する

SageMaker トレーニングジョブを送信して評価を実行します。AWS CLI または SageMaker Python SDK を使用できます。

オプション A: AWS CLI

aws sagemaker create-training-job \
    --training-job-name inspect-eval-$(date +%Y%m%d-%H%M%S) \
    --algorithm-specification \
        TrainingImage=763104351884.dkr.ecr.us-east-1.amazonaws.com/sagemaker-inspect-ai:latest,TrainingInputMode=File \
    --role-arn arn:aws:iam::123456789012:role/SageMakerInspectAIRole \
    --resource-config \
        InstanceType=ml.m5.large,InstanceCount=1,VolumeSizeInGB=30 \
    --stopping-condition MaxRuntimeInSeconds=86400 \
    --input-data-config '[
        {
            "ChannelName": "config",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket/eval/config/",
                    "S3DataDistributionType": "FullyReplicated"
                }
            }
        }
    ]' \
    --output-data-config S3OutputPath=s3://your-bucket/eval/output/ \
    --region us-west-2

オプション B: SageMaker Python SDK V3

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import InputData, Compute
from sagemaker.core.shapes.shapes import StoppingCondition, OutputDataConfig

trainer = ModelTrainer(
    training_image="763104351884.dkr.ecr.us-east-1.amazonaws.com/sagemaker-inspect-ai:latest",
    compute=Compute(
        instance_type="ml.m5.large",
        instance_count=1,
        volume_size_in_gb=30,
    ),
    output_data_config=OutputDataConfig(
        s3_output_path="s3://your-bucket/eval/output/"
    ),
    role="arn:aws:iam::123456789012:role/SageMakerInspectAIRole",
    stopping_condition=StoppingCondition(max_runtime_in_seconds=86400),
)

trainer.train(
    input_data_config=[
        InputData(
            channel_name="config",
            data_source="s3://your-bucket/eval/config/",
        )
    ]
)

主要パラメータ

オーケストレーターインスタンスタイプのガイダンス

トレーニングジョブインスタンスは、モデル推論ではなく、評価オーケストレーションロジックを実行します。評価ワークロードに基づいてインスタンスタイプを選択します。

環境変数

認証または設定のために環境変数をコンテナに渡すことができます。--environment パラメータを AWS CLI コマンドに追加します:

aws sagemaker create-training-job \
    ...
    --environment '{
        "HF_TOKEN": "hf_your_token_here",
        "HF_HUB_DOWNLOAD_TIMEOUT": "300"
    }'

ステップ 6: ジョブをモニタリングする

トレーニングジョブを送信したら、AWS CLI または CloudWatch Logs を使用して進捗状況をモニタリングできます。

ジョブステータスの確認

aws sagemaker describe-training-job \
    --training-job-name your-job-name \
    --query "TrainingJobStatus" \
    --output text

ログのストリーミング

aws logs tail /aws/sagemaker/TrainingJobs \
    --log-stream-name-prefix your-job-name \
    --follow

ログで予想されること

コンテナログには、次のステージの進行状況が表示されます。

推定タイムライン

ステップ 7: 結果を表示および解釈する

ジョブが完了したら、評価結果を表示します。

Inspect AI で表示

Inspect AI ビューワーを使用して、S3 から直接結果をインタラクティブに探索します。

inspect view --log-dir s3://your-bucket/eval-results/

このコマンドは、スコアの参照、個々のサンプルの表示、実行の比較を行うローカルウェブインターフェイスを開きます。

ダウンロードして共有する

結果をローカルでダウンロードするには:

aws s3 cp s3://your-bucket/eval/output/ ./results/ --recursive

INSPECT_LOG_DIR=./results inspect view

VS Code 拡張機能

Inspect AI VS Code 拡張機能を使用すると、評価ログを最初にダウンロードすることなく S3 から直接参照できます。

出力構造

各評価では、以下のセクションを含む .eval ログファイルが生成されます。

MLflow で結果を表示する (オプション)

レシピで MLflow を設定した場合は、署名付き URL を生成して追跡サーバーにアクセスします。

aws sagemaker create-presigned-mlflow-tracking-server-url \
    --tracking-server-name my-server \
    --region us-west-2

ブラウザで返された URL を開き、メトリクスの表示、実行の比較、評価全体の傾向の分析を行います。

使用可能なベンチマーク

Inspect AI コンテナは、Inspect AI タスク形式で記述されたベンチマークで動作します。inspect-evals リポジトリには、推論、知識、コーディング、安全性などの分野をカバーする 128 以上のすぐに使えるベンチマークが用意されています。

独自のベンチマークを記述するには、「Inspect AI タスク作成ドキュメント」を参照してください。inspect-evals でまだ利用できないパブリックベンチマークが見つかった場合は、AI アシスタントのオンボーディングプロンプトを使用して、それを Inspect AI 形式に変換できます。

エージェント評価

エージェントベンチマークは、ツールの使用、計画、反復的な推論を必要とする複数ステップのタスクを完了するモデルの能力をテストします。これらの評価は、モデルがツールを呼び出し、結果を解釈し、次のアクションを決定する必要がある実際のシナリオをシミュレートします。

エンドポイントの要件

エージェント評価には、次の機能をサポートするエンドポイントが必要です:

SageMaker 推論のエンドポイント設定

エージェント評価に SageMaker 推論エンドポイントを使用する場合は、エンドポイントで次の環境変数を設定します。

SageMaker 推論で Amazon Nova エンドポイントを設定する方法については、「SageMaker で Amazon Nova モデルをデプロイする」を参照してください。コンテナの機能と設定の詳細については、「コンテナの機能」を参照してください。

Amazon Bedrock エンドポイント

Amazon Bedrock エンドポイントの場合、ツール呼び出しは互換性のあるモデルでネイティブにサポートされています。詳細については、「Amazon Bedrock でのツールの使用」を参照してください。

エージェント評価の開始方法

エージェント評価を実行するには、次の前提条件を満たしてください。

Amazon Bedrock エンドポイント

サンプルノートブック

次のノートブックは、Inspect AI コンテナを使用してツール呼び出しエージェントベンチマークを実行する方法を示しています。

Docker サンドボックスを必要とするエージェントベンチマークの場合は、Inspect AI SDK を使用します。

トラブルシューティング

このセクションでは、Inspect AI コンテナで評価を実行する際の一般的な問題の解決策を示します。

高速イテレーションのヒント

SageMaker トレーニングジョブを送信する前に、Inspect AI SDK を使用してベンチマークをローカルでテストします。ローカルマシンで inspect eval my_benchmark.py を実行して、大規模な実行前にタスク定義、依存関係、スコアリングロジックを検証します。

InsufficientInstanceCapacity エラー

このエラーは、AWS がリージョンでリクエストされたインスタンスタイプに十分な容量を持っていない場合に発生します。

AccessDenied エラー

トレーニングジョブがアクセス拒否エラーで失敗した場合、以下を確認します。

エンドポイントの作成失敗

エンドポイントの自動作成で cleanup_endpoint: true を使用する場合、次の問題が発生する可能性があります。

HuggingFace ダウンロードタイムアウト

HuggingFace Hub からデータセットをダウンロードするベンチマークがタイムアウトした場合、HF_HUB_DOWNLOAD_TIMEOUT 環境変数をより高い値 (秒単位) に設定します。

--environment '{"HF_HUB_DOWNLOAD_TIMEOUT": "600"}'

ジョブは強制終了されましたが、エンドポイントはまだ実行中です

クリーンアップが完了する前にトレーニングジョブが中断された場合、推論エンドポイントはアクティブのままになる可能性があります。継続的な料金が発生しないように、エンドポイントを手動で削除します。

# List endpoints to find the orphaned one
aws sagemaker list-endpoints \
    --name-contains inspect \
    --query "Endpoints[].EndpointName" \
    --output table

# Delete the endpoint
aws sagemaker delete-endpoint \
    --endpoint-name your-endpoint-name

# Delete the endpoint configuration
aws sagemaker delete-endpoint-config \
    --endpoint-config-name your-endpoint-name

# Delete the model
aws sagemaker delete-model \
    --model-name your-endpoint-name

ベンチマークの依存関係の競合

プリインストールされたパッケージとの依存関係の競合が原因でベンチマークが失敗した場合、明示的なバージョン制約を使用してベンチマークディレクトリに pyproject.toml を作成します。コンテナは、競合を最小限に抑えるためにベンチマークの依存関係を個別にインストールします。

評価スコアが間違っているようです

評価スコアが予期せず低い、または一貫性がない場合は、レシピで次の設定を確認してください。

データプライバシー

評価データは、使用する推論プロバイダーに応じて異なる方法で処理されます。

SageMaker エンドポイント

SageMaker 推論エンドポイントを使用する場合、すべてのデータは AWS アカウント 内に保持されます。評価プロンプトとモデルレスポンスはアカウント外に送信されず、AWS サービスの改善には使用されません。オプトアウトポリシーは必要ありません。

Amazon Bedrock

推論プロバイダーとして Amazon Bedrock を使用する場合、データは AWS AI サービスのオプトアウトポリシーの対象となります。AWS AI サービスの改善にデータが使用されないようにするには、AWS Organizations レベルでオプトアウトポリシーを有効にします。詳細については、「AI サービスのオプトアウトポリシー」を参照してください。