Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Mit Inspect AI Container auswerten

Der SageMaker Inspect AI-Container führt LLM-Modellevaluierungen für SageMaker Schulungsjobs durch. Der Container verwendet Inspect AI, um einen standardisierten Bewertungsprozess für Modelle bereitzustellen, die auf SageMaker Inferenzendpunkten oder Amazon Bedrock eingesetzt werden — einschließlich der Modelle Amazon Nova 1.0 (Micro, Lite, Pro) und 2.0 (Lite 2).

Frühere Bewertungsansätze (basierend auf Lighteval) verknüpften Offline-Inferenz- und Bewertungslogik eng miteinander, was die Flexibilität bei der Bereitstellung und Prüfung von Modellen einschränkte. Der Inspect AI-Container entkoppelt die Bewertungslogik vollständig von der Inferenz.

-Übersicht

Zu den wichtigsten Vorteilen gehören:

Funktionsweise

Sie geben zwei Eingaben in den Container ein:

Der Container kümmert sich um die Endpunktverwaltung, die Ausführung der Evaluierung und die Erfassung der Ergebnisse. Wenn der Trainingsjob abgeschlossen ist, werden die Ergebnisse an den angegebenen S3-Ausgabespeicherort geschrieben.

Container-Bild

In der folgenden Tabelle sind die Inspect AI-Container-Image-URIs nach AWS Regionen aufgeführt.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie über die folgenden Ressourcen und den folgenden Zugriff verfügen.

Schritt 1: Richten Sie IAM-Berechtigungen ein

Der SageMaker Trainingsjob wird unter einer Ausführungsrolle ausgeführt, die Sie angeben. Diese Rolle benötigt Berechtigungen zum Lesen von Benchmarks aus S3, zum Schreiben von Ergebnissen, zum Aufrufen des Inferenzendpunkts und zum Schreiben von Protokollen. CloudWatch

1.1 Erstellen Sie die Vertrauensrichtlinie

Speichern Sie Folgendes untertrust_policy.json:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "sagemaker.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

1.2 Erstellen Sie die Rolle

aws iam create-role \
  --role-name InspectLensEvalRole \
  --assume-role-policy-document file://trust_policy.json

1.3 Hängen Sie die Berechtigungsrichtlinie an

Speichern Sie Folgendes unter eval_policy.json und ersetzen Sie alle Platzhalterwerte (REGION,ACCOUNT_ID, Bucket-Namen) durch Ihre Werte:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "S3ReadBenchmarkData",
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::YOUR_BENCHMARK_BUCKET",
        "arn:aws:s3:::YOUR_BENCHMARK_BUCKET/*"
      ]
    },
    {
      "Sid": "S3WriteResults",
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:PutObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::YOUR_RESULTS_BUCKET",
        "arn:aws:s3:::YOUR_RESULTS_BUCKET/*"
      ]
    },
    {
      "Sid": "SageMakerInvokeExistingEndpoint",
      "Effect": "Allow",
      "Action": [
        "sagemaker:InvokeEndpoint",
        "sagemaker:InvokeEndpointWithResponseStream",
        "sagemaker:DescribeEndpoint"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/*"
    },
    {
      "Sid": "BedrockInference",
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": [
        "arn:aws:bedrock:REGION::foundation-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:inference-profile/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:provisioned-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:imported-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model-deployment/*"
      ]
    },
    {
      "Sid": "BedrockCustomModelAccess",
      "Effect": "Allow",
      "Action": [
        "bedrock:GetCustomModel",
        "bedrock:GetImportedModel",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:GetCustomModelDeployment",
        "bedrock:GetInferenceProfile"
      ],
      "Resource": [
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:imported-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:provisioned-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model-deployment/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:inference-profile/*"
      ]
    },
    {
      "Sid": "SageMakerCreateEndpointLifecycle",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateModel",
        "sagemaker:DescribeModel",
        "sagemaker:DeleteModel",
        "sagemaker:CreateEndpointConfig",
        "sagemaker:DescribeEndpointConfig",
        "sagemaker:DeleteEndpointConfig",
        "sagemaker:CreateEndpoint",
        "sagemaker:DescribeEndpoint",
        "sagemaker:DeleteEndpoint",
        "sagemaker:InvokeEndpoint",
        "sagemaker:InvokeEndpointWithResponseStream"
      ],
      "Resource": [
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:model/inspectlens-*",
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/inspectlens-*",
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint-config/inspectlens-*"
      ]
    },
    {
      "Sid": "ECRAuth",
      "Effect": "Allow",
      "Action": "ecr:GetAuthorizationToken",
      "Resource": "*"
    },
    {
      "Sid": "PassRoleToSageMaker",
      "Effect": "Allow",
      "Action": "iam:PassRole",
      "Resource": "arn:aws:iam::ACCOUNT_ID:role/InspectLensEvalRole",
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "sagemaker.amazonaws.com"
        }
      }
    },
    {
      "Sid": "VPCNetworkingForEndpoint",
      "Effect": "Allow",
      "Action": [
        "ec2:CreateNetworkInterface",
        "ec2:CreateNetworkInterfacePermission",
        "ec2:DeleteNetworkInterface",
        "ec2:DeleteNetworkInterfacePermission",
        "ec2:DescribeNetworkInterfaces",
        "ec2:DescribeVpcs",
        "ec2:DescribeDhcpOptions",
        "ec2:DescribeSubnets",
        "ec2:DescribeSecurityGroups"
      ],
      "Resource": "*"
    },
    {
      "Sid": "CloudWatchLogs",
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents",
        "logs:DescribeLogStreams"
      ],
      "Resource": [
        "arn:aws:logs:REGION:ACCOUNT_ID:log-group:/aws/sagemaker/TrainingJobs:*",
        "arn:aws:logs:REGION:ACCOUNT_ID:log-group:/aws/sagemaker/Endpoints/*"
      ]
    },
    {
      "Sid": "MLflowTrackingServer",
      "Effect": "Allow",
      "Action": [
        "sagemaker:DescribeMlflowTrackingServer",
        "sagemaker:CreatePresignedMlflowTrackingServerUrl"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:mlflow-tracking-server/*"
    },
    {
      "Sid": "MLflowTrackingOperations",
      "Effect": "Allow",
      "Action": [
        "sagemaker-mlflow:AccessUI",
        "sagemaker-mlflow:CreateExperiment",
        "sagemaker-mlflow:GetExperiment",
        "sagemaker-mlflow:GetExperimentByName",
        "sagemaker-mlflow:SearchExperiments",
        "sagemaker-mlflow:CreateRun",
        "sagemaker-mlflow:GetRun",
        "sagemaker-mlflow:UpdateRun",
        "sagemaker-mlflow:SearchRuns",
        "sagemaker-mlflow:LogMetric",
        "sagemaker-mlflow:LogParam",
        "sagemaker-mlflow:LogBatch",
        "sagemaker-mlflow:SetTag",
        "sagemaker-mlflow:LogArtifact",
        "sagemaker-mlflow:ListArtifacts"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:mlflow-tracking-server/*"
    },
    {
      "Sid": "KMSForVolumeEncryption",
      "Effect": "Allow",
      "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:GenerateDataKey",
        "kms:CreateGrant",
        "kms:DescribeKey"
      ],
      "Resource": "arn:aws:kms:REGION:ACCOUNT_ID:key/*"
    }
  ]
}

Fügen Sie die Richtlinie an die Rolle an:

aws iam put-role-policy \
  --role-name InspectLensEvalRole \
  --policy-name InspectLensEvalPolicy \
  --policy-document file://eval_policy.json

Schritt 2: Schreiben Sie Ihr Evaluationsrezept

Das Eval-Rezept ist eine YAML-Konfigurationsdatei, die definiert, wie der Container Ihre Evaluierungen ausführt. Das Rezept spezifiziert den Inferenzanbieter, die Benchmarks, die Evaluierungsparameter und die Ausgabeeinstellungen.

Ausführliche Beispiele finden Sie in den folgenden Notizbüchern:

Option A: Evaluieren Sie einen vorhandenen Endpunkt SageMaker

Verwenden Sie diese Option, wenn Sie bereits ein Modell auf einem SageMaker Inferenzendpunkt implementiert haben.

inference_provider:
  sagemaker_endpoint:
    endpoint_name: "my-existing-endpoint"
    region: "us-east-1"

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu

eval:
  max_connections: 10
  max_retries: 100
  timeout: 600

output:
  s3_path: "s3://your-bucket/eval-results/"

Option B: Endpunkt erstellen, auswerten und dann bereinigen

Verwenden Sie diese Option, damit der Container ein Amazon Nova-Basismodell oder ein fein abgestimmtes Modell bereitstellt, Evaluierungen durchführt und den Endpunkt automatisch herunterfährt. Dies ist der empfohlene Ansatz für einmalige Evaluierungsläufe. Rufen Sie den neuesten SageMaker Inferenzcontainer aus der Amazon Nova SageMaker Inference Container-Image-Dokumentation ab.

inference_provider:
  sagemaker_endpoint:
    endpoint_name: null                 # null = create new endpoint
    model_s3_uri: "s3://your-bucket/models/nova-micro/"
    inference_image_uri: "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest"
    instance_type: "ml.p5.48xlarge"
    instance_count: 1
    execution_role_arn: "arn:aws:iam::ACCOUNT_ID:role/InspectLensEvalRole"
    region: "us-east-1"
    context_length: "16000"
    max_concurrency: "32"
    cleanup_endpoint: true              # Auto-delete after eval

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu_pro
    - name: arc_c
    - name: boolq

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 16000
    reasoning_effort: null
  max_connections: 16
  max_retries: 100
  timeout: 600
  extra_args:
    - "-M"
    - "completion_mode=True"
    - "--logprobs"
    - "--top-logprobs"
    - "5"

output:
  s3_path: "s3://your-bucket/eval-results/"

Hinweis zu: model_s3_uri

Option C: Evaluieren über Amazon Bedrock

Verwenden Sie diese Option, um ein über Amazon Bedrock verfügbares Modell zu evaluieren, ohne einen Endpunkt verwalten zu müssen.

inference_provider:
  bedrock:
    model_id: amazon.nova-pro-v1:0
    region: us-east-1

benchmarks:
  - name: mmlu
    path: benchmarks/mmlu_pro.py
    limit: 100

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 8192
    reasoning_effort: null
  max_connections: 10
  max_retries: 50
  timeout: 600
  extra_args:
    - "--display"
    - "plain"

output:
  s3_path: s3://your-bucket/eval/output/

Benchmarks-Konfiguration

benchmarksIn diesem Abschnitt wird definiert, welche Bewertungsaufgaben ausgeführt werden sollen. Sie können mehrere Benchmarks in einem einzigen Job verketten.

Eval-Konfiguration

Der eval Abschnitt steuert, wie der Container Evaluierungen durchführt.

Parameter dekodieren

Konfigurieren Sie die Parameter für die Modelldekodierung im eval.decoding Abschnitt:

Konfiguration der Ausgabe

outputIn diesem Abschnitt wird definiert, wo und wie die Bewertungsergebnisse gespeichert werden.

Die folgenden Ausgabeformate sind verfügbar:

MLflow-Konfiguration

Optional können Sie Bewertungsmetriken auf einem MLFlow-Tracking-Server protokollieren. Fügen Sie den tracking Abschnitt zu Ihrem Rezept hinzu:

tracking:
  mlflow_tracking_arn: null       # ARN of SageMaker MLflow tracking server
  mlflow_experiment_name: "inspectlens" # experiment name
  mlflow_tracing: true          # log full request/response traces
  mlflow_log_artifacts: true       # upload .eval files to MLflow

Vollständige Rezeptreferenz

Das folgende Beispiel zeigt ein vollständiges Rezept mit allen verfügbaren Konfigurationsoptionen:

inference_provider:
  sagemaker_endpoint:
    endpoint_name: my-nova-endpoint
    model_s3_uri: s3://your-bucket/models/my-model/
    inference_image_uri: "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest"
    instance_type: ml.g5.12xlarge
    cleanup_endpoint: true
    region: us-west-2

benchmarks:
  - name: mmlu
    path: benchmarks/mmlu_pro.py
    limit: 100
    epochs: 3
    task_args:
      subject: math
  - name: truthfulqa
    path: benchmarks/truthfulqa.py
    limit: 50

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 8192
    reasoning_effort: null
  max_connections: 256
  max_retries: 50
  timeout: 600
  extra_args:
    - "--display"
    - "plain"

output:
  s3_path: s3://your-bucket/eval/output/
  output_format: eval

tracking:
  mlflow_tracking_arn: "arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-server"
  mlflow_experiment_name: "inspectlens"
  mlflow_tracing: true
  mlflow_log_artifacts: true

Schritt 3: Bereiten Sie die Benchmark-Dateien vor

Benchmarks sind Python-Dateien, die den Inspect @task AI-Decorator verwenden, um Bewertungsaufgaben zu definieren. Das inspect-evals Repository bietet mehr als 128 gebrauchsfertige Benchmarks, oder Sie können Ihre eigenen schreiben.

Beispiel-Benchmark

Das folgende Beispiel zeigt einen Minimal-Benchmark, der die Multiple-Choice-Leistung für einen Datensatz bewertet: HuggingFace

from inspect_ai import task, Task
from inspect_ai.dataset import hf_dataset
from inspect_ai.scorer import choice
from inspect_ai.solver import multiple_choice


@task
def my_benchmark():
    return Task(
        dataset=hf_dataset(
            path="cais/mmlu",
            name="abstract_algebra",
            split="test",
        ),
        solver=multiple_choice(),
        scorer=choice(),
    )

Abhängigkeiten

Wenn Ihr Benchmark zusätzliche Abhängigkeiten benötigt, fügen Sie ein pyproject.toml oder requirements.txt in dasselbe S3-Verzeichnis ein:

[project]
name = "my-benchmark"
version = "0.1.0"
requires-python = ">=3.12"
dependencies = [
    "datasets>=2.14.0",
]

Pre-installed Pakete

Der Container enthält die folgenden Pakete. Sie müssen diese nicht in Ihrem auflistenpyproject.toml.

Auswahl der Aufgabe

Das tasks Feld in Ihrem Rezept steuert, welche Aufgaben innerhalb einer Benchmark-Datei ausgeführt werden sollen.

Schritt 4: Bereiten Sie Ihre S3-Struktur vor

Die folgende Struktur ist eine Empfehlung für die Organisation von Konfigurationen, Benchmarks und Ergebnissen. Sie können den Container auf eine beliebige S3-Position richten — die Struktur selbst ist nicht erforderlich.

s3://your-bucket/
├── config/
│   └── inspect_config.yaml       # Your eval recipe
├── benchmarks/
│   └── my_benchmarks/            # Your benchmark Python files
│       ├── pyproject.toml        # Optional: benchmark dependencies
│       ├── my_task.py            # @task decorated functions
│       └── _helpers.py           # Shared utilities
└── output/                       # Results written here

Laden Sie Ihre Dateien auf S3 hoch:

# Upload benchmark files
aws s3 cp my_benchmarks/ s3://your-bucket/benchmarks/my_benchmarks/ --recursive

# Upload your eval recipe
aws s3 cp inspect_config.yaml s3://your-bucket/config/inspect_config.yaml

Schritt 5: Reichen Sie den Ausbildungsjob ein

Reichen Sie einen SageMaker Schulungsjob ein, um Ihre Bewertung durchzuführen. Sie können das AWS CLI oder das SageMaker Python-SDK verwenden.

Option A: AWS CLI

aws sagemaker create-training-job \
    --training-job-name inspect-eval-$(date +%Y%m%d-%H%M%S) \
    --algorithm-specification \
        TrainingImage=763104351884.dkr.ecr.us-east-1.amazonaws.com/sagemaker-inspect-ai:latest,TrainingInputMode=File \
    --role-arn arn:aws:iam::123456789012:role/SageMakerInspectAIRole \
    --resource-config \
        InstanceType=ml.m5.large,InstanceCount=1,VolumeSizeInGB=30 \
    --stopping-condition MaxRuntimeInSeconds=86400 \
    --input-data-config '[
        {
            "ChannelName": "config",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket/eval/config/",
                    "S3DataDistributionType": "FullyReplicated"
                }
            }
        }
    ]' \
    --output-data-config S3OutputPath=s3://your-bucket/eval/output/ \
    --region us-west-2

Option B: SageMaker Python-SDK V3

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import InputData, Compute
from sagemaker.core.shapes.shapes import StoppingCondition, OutputDataConfig

trainer = ModelTrainer(
    training_image="763104351884.dkr.ecr.us-east-1.amazonaws.com/sagemaker-inspect-ai:latest",
    compute=Compute(
        instance_type="ml.m5.large",
        instance_count=1,
        volume_size_in_gb=30,
    ),
    output_data_config=OutputDataConfig(
        s3_output_path="s3://your-bucket/eval/output/"
    ),
    role="arn:aws:iam::123456789012:role/SageMakerInspectAIRole",
    stopping_condition=StoppingCondition(max_runtime_in_seconds=86400),
)

trainer.train(
    input_data_config=[
        InputData(
            channel_name="config",
            data_source="s3://your-bucket/eval/config/",
        )
    ]
)

Die wichtigsten Parameter

Anleitung zum Orchestrator-Instanztyp

In der Trainingsjob-Instanz wird die Orchestrierungslogik für die Evaluierung ausgeführt, nicht die Modellinferenz. Wählen Sie einen Instanztyp, der auf Ihrem Evaluierungs-Workload basiert.

Umgebungsvariablen

Sie können Umgebungsvariablen zur Authentifizierung oder Konfiguration an den Container übergeben. Fügen Sie dem AWS CLI Befehl den --environment Parameter hinzu:

aws sagemaker create-training-job \
    ...
    --environment '{
        "HF_TOKEN": "hf_your_token_here",
        "HF_HUB_DOWNLOAD_TIMEOUT": "300"
    }'

Schritt 6: Überwachen Sie den Job

Nachdem Sie den Schulungsjob eingereicht haben, können Sie dessen Fortschritt anhand der CloudWatch Protokolle AWS CLI oder verfolgen.

Überprüfen Sie den Jobstatus

aws sagemaker describe-training-job \
    --training-job-name your-job-name \
    --query "TrainingJobStatus" \
    --output text

Streamen Sie Protokolle

aws logs tail /aws/sagemaker/TrainingJobs \
    --log-stream-name-prefix your-job-name \
    --follow

Was erwartet Sie in Logs

Die Container-Logs zeigen den Fortschritt in den folgenden Phasen:

Geschätzte Zeitpläne

Schritt 7: Ergebnisse anzeigen und interpretieren

Sehen Sie sich nach Abschluss des Jobs Ihre Bewertungsergebnisse an.

Mit Inspect AI anzeigen

Verwenden Sie den Inspect AI-Viewer, um interaktiv Ergebnisse direkt aus S3 heraus zu untersuchen:

inspect view --log-dir s3://your-bucket/eval-results/

Dieser Befehl öffnet eine lokale Weboberfläche, in der Sie Ergebnisse durchsuchen, einzelne Stichproben ansehen und Durchläufe vergleichen können.

Herunterladen und teilen

So laden Sie Ergebnisse lokal herunter:

aws s3 cp s3://your-bucket/eval/output/ ./results/ --recursive

INSPECT_LOG_DIR=./results inspect view

VS Code-Erweiterung

Mit der Inspect AI VS Code-Erweiterung können Sie Evaluationsprotokolle direkt von S3 aus durchsuchen, ohne sie zuerst herunterladen zu müssen.

Struktur der Ausgabe

Bei jeder Auswertung wird eine .eval Protokolldatei erstellt, die die folgenden Abschnitte enthält:

Ergebnisse in MLflow anzeigen (optional)

Wenn Sie MLflow in Ihrem Rezept konfiguriert haben, generieren Sie eine vorsignierte URL für den Zugriff auf den Tracking-Server:

aws sagemaker create-presigned-mlflow-tracking-server-url \
    --tracking-server-name my-server \
    --region us-west-2

Öffnen Sie die zurückgegebene URL in Ihrem Browser, um Messwerte anzusehen, Läufe zu vergleichen und Trends in allen Bewertungen zu analysieren.

Verfügbare Benchmarks

Der Inspect AI-Container funktioniert mit jedem Benchmark, der im Inspect AI-Aufgabenformat geschrieben wurde. Das Inspect-Evals-Repository bietet über 128 gebrauchsfertige Benchmarks aus Bereichen wie Argumentation, Wissen, Codierung und Sicherheit.

Informationen zum Schreiben eigener Benchmarks finden Sie in der Dokumentation zum Schreiben von Inspect AI-Aufgaben. Wenn Sie einen öffentlichen Benchmark finden, der noch nicht in inspect-evals verfügbar ist, können Sie die Onboarding-Aufforderung des KI-Assistenten verwenden, um ihn in das Inspect AI-Format zu konvertieren.

Bewertungen durch Agenturen

Mit behördlichen Benchmarks wird die Fähigkeit eines Modells getestet, mehrstufige Aufgaben zu erledigen, die den Einsatz von Tools, Planung und iteratives Denken erfordern. Diese Bewertungen simulieren reale Szenarien, in denen das Modell Tools aufrufen, Ergebnisse interpretieren und über die nächsten Maßnahmen entscheiden muss.

Anforderungen an Endgeräte

Für behördliche Evaluierungen sind Endgeräte erforderlich, die die folgenden Funktionen unterstützen:

SageMaker Konfiguration des Inferenzendpunkts

Wenn Sie einen SageMaker Inferenzendpunkt für Agentenauswertungen verwenden, konfigurieren Sie die folgenden Umgebungsvariablen auf Ihrem Endpunkt:

Informationen zur Einrichtung von Amazon Nova-Endpunkten auf SageMaker Inference finden Sie unter Bereitstellen von Amazon Nova-Modellen auf. SageMaker Informationen zu den Funktionen und der Konfiguration von Containern finden Sie unter Container-Funktionen.

Amazon Bedrock-Endpunkte

Für Amazon Bedrock-Endpunkte wird das Aufrufen von Tools für kompatible Modelle nativ unterstützt. Weitere Informationen finden Sie unter Verwendung von Tools mit Amazon Bedrock.

Erste Schritte mit behördlichen Bewertungen

Um behördliche Bewertungen durchzuführen, müssen Sie die folgenden Voraussetzungen erfüllen:

Amazon Bedrock-Endpunkt

Beispiel-Notizbücher

Das folgende Notizbuch zeigt, wie ein Agenten-Benchmark mit dem Inspect AI-Container ausgeführt wird, der Tools aufruft:

Verwenden Sie für behördliche Benchmarks, die eine Docker-Sandbox erfordern, das Inspect AI SDK:

Fehlerbehebung

Dieser Abschnitt bietet Lösungen für häufig auftretende Probleme bei der Durchführung von Evaluierungen mit dem Inspect AI-Container.

Tipp zur schnellen Iteration

Bevor Sie einen SageMaker Schulungsjob einreichen, testen Sie Ihre Benchmarks lokal mit dem Inspect AI SDK. Führen Sie es inspect eval my_benchmark.py auf Ihrem lokalen Computer aus, um Aufgabendefinitionen, Abhängigkeiten und Bewertungslogik zu validieren, bevor Sie es im großen Maßstab ausführen.

InsufficientInstanceCapacity error

Dieser Fehler tritt auf, wenn AWS die Kapazität für den angeforderten Instanztyp in Ihrer Region nicht ausreicht.

AccessDenied error

Wenn der Trainingsjob mit der Fehlermeldung „Zugriff verweigert“ fehlschlägt, überprüfen Sie Folgendes:

Die Endpunkterstellung schlägt feh

Bei der Verwendung cleanup_endpoint: true mit automatischer Endpunkterstellung können die folgenden Probleme auftreten:

HuggingFace Timeouts beim Herunterladen

Wenn bei Benchmarks, bei denen Datensätze vom HuggingFace Hub heruntergeladen werden, eine Zeitüberschreitung eintritt, setzen Sie die HF_HUB_DOWNLOAD_TIMEOUT Umgebungsvariable auf einen höheren Wert (in Sekunden):

--environment '{"HF_HUB_DOWNLOAD_TIMEOUT": "600"}'

Job wurde beendet, aber der Endpunkt läuft immer noch

Wenn der Trainingsjob unterbrochen wird, bevor die Bereinigung abgeschlossen ist, bleibt der Inferenzendpunkt möglicherweise aktiv. Löschen Sie den Endpunkt manuell, um laufende Gebühren zu vermeiden:

# List endpoints to find the orphaned one
aws sagemaker list-endpoints \
    --name-contains inspect \
    --query "Endpoints[].EndpointName" \
    --output table

# Delete the endpoint
aws sagemaker delete-endpoint \
    --endpoint-name your-endpoint-name

# Delete the endpoint configuration
aws sagemaker delete-endpoint-config \
    --endpoint-config-name your-endpoint-name

# Delete the model
aws sagemaker delete-model \
    --model-name your-endpoint-name

Konflikte zwischen Benchmark-Abhängigkeiten

Wenn ein Benchmark aufgrund von Abhängigkeitskonflikten mit vorinstallierten Paketen fehlschlägt, erstellen Sie pyproject.toml im Benchmark-Verzeichnis einen mit expliziten Versionseinschränkungen. Der Container installiert Benchmark-Abhängigkeiten isoliert, um Konflikte zu minimieren.

Die Evaluationsergebnisse sehen falsch aus

Wenn die Bewertungsergebnisse unerwartet niedrig oder inkonsistent sind, überprüfen Sie die folgenden Einstellungen in Ihrem Rezept:

Datenschutz

Ihre Bewertungsdaten werden je nach verwendetem Inferenzanbieter unterschiedlich behandelt.

SageMaker Endpunkt

Wenn Sie einen SageMaker Inferenzendpunkt verwenden, bleiben alle Daten innerhalb Ihres. AWS-Konto Bewertungsaufforderungen und Modellantworten werden nicht außerhalb Ihres Kontos gesendet und nicht zur Verbesserung AWS der Dienste verwendet. Es ist keine Opt-Out-Richtlinie erforderlich.

Amazon Bedrock

Wenn Sie Amazon Bedrock als Inferenzanbieter verwenden, unterliegen Ihre Daten der AWS Opt-Out AI-Services-Richtlinie. Um zu verhindern, dass Ihre Daten zur Verbesserung von AWS KI-Diensten verwendet werden, aktivieren Sie die Opt-Out-Richtlinie auf AWS Organisationsebene. Weitere Informationen finden Sie unter Richtlinien zur Deaktivierung von KI-Diensten.