Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Evaluasi dengan Inspect AI Container

Kontainer SageMaker Inspect AI menjalankan evaluasi model LLM pada SageMaker Pekerjaan Pelatihan. Wadah menggunakan Inspect AI untuk menyediakan proses evaluasi standar untuk model yang diterapkan ke titik akhir SageMaker inferensi atau Amazon Bedrock — termasuk model Amazon Nova 1.0 (Micro, Lite, Pro) dan 2.0 (Lite 2).

Pendekatan evaluasi sebelumnya (berdasarkan lighteval) menggabungkan inferensi offline dan logika evaluasi secara erat, yang membatasi fleksibilitas dalam bagaimana model dapat dilayani dan diuji. Wadah Inspect AI memisahkan logika evaluasi dari inferensi sepenuhnya.

Ikhtisar

Manfaat utama meliputi:

Cara kerjanya

Anda memberikan dua input ke wadah:

Container menangani manajemen endpoint, eksekusi evaluasi, dan pengumpulan hasil. Saat pekerjaan pelatihan selesai, hasilnya ditulis ke lokasi keluaran S3 yang Anda tentukan.

Gambar kontainer

Tabel berikut mencantumkan URI gambar kontainer Inspect AI menurut AWS Wilayah.

Prasyarat

Sebelum Anda mulai, pastikan Anda memiliki sumber daya dan akses berikut.

Langkah 1: Siapkan izin IAM

SageMaker Training Job berjalan di bawah peran eksekusi yang Anda berikan. Peran ini memerlukan izin untuk membaca tolok ukur dari S3, menulis hasil, memanggil titik akhir inferensi, dan menulis log. CloudWatch

1.1 Buat kebijakan kepercayaan

Simpan yang berikut ini sebagaitrust_policy.json:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "sagemaker.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

1.2 Buat peran

aws iam create-role \
  --role-name InspectLensEvalRole \
  --assume-role-policy-document file://trust_policy.json

1.3 Lampirkan kebijakan izin

Simpan yang berikut ini sebagaieval_policy.json, ganti semua nilai placeholder (REGION,ACCOUNT_ID, nama bucket) dengan nilai Anda:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "S3ReadBenchmarkData",
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::YOUR_BENCHMARK_BUCKET",
        "arn:aws:s3:::YOUR_BENCHMARK_BUCKET/*"
      ]
    },
    {
      "Sid": "S3WriteResults",
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:PutObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::YOUR_RESULTS_BUCKET",
        "arn:aws:s3:::YOUR_RESULTS_BUCKET/*"
      ]
    },
    {
      "Sid": "SageMakerInvokeExistingEndpoint",
      "Effect": "Allow",
      "Action": [
        "sagemaker:InvokeEndpoint",
        "sagemaker:InvokeEndpointWithResponseStream",
        "sagemaker:DescribeEndpoint"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/*"
    },
    {
      "Sid": "BedrockInference",
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": [
        "arn:aws:bedrock:REGION::foundation-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:inference-profile/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:provisioned-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:imported-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model-deployment/*"
      ]
    },
    {
      "Sid": "BedrockCustomModelAccess",
      "Effect": "Allow",
      "Action": [
        "bedrock:GetCustomModel",
        "bedrock:GetImportedModel",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:GetCustomModelDeployment",
        "bedrock:GetInferenceProfile"
      ],
      "Resource": [
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:imported-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:provisioned-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model-deployment/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:inference-profile/*"
      ]
    },
    {
      "Sid": "SageMakerCreateEndpointLifecycle",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateModel",
        "sagemaker:DescribeModel",
        "sagemaker:DeleteModel",
        "sagemaker:CreateEndpointConfig",
        "sagemaker:DescribeEndpointConfig",
        "sagemaker:DeleteEndpointConfig",
        "sagemaker:CreateEndpoint",
        "sagemaker:DescribeEndpoint",
        "sagemaker:DeleteEndpoint",
        "sagemaker:InvokeEndpoint",
        "sagemaker:InvokeEndpointWithResponseStream"
      ],
      "Resource": [
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:model/inspectlens-*",
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/inspectlens-*",
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint-config/inspectlens-*"
      ]
    },
    {
      "Sid": "ECRAuth",
      "Effect": "Allow",
      "Action": "ecr:GetAuthorizationToken",
      "Resource": "*"
    },
    {
      "Sid": "PassRoleToSageMaker",
      "Effect": "Allow",
      "Action": "iam:PassRole",
      "Resource": "arn:aws:iam::ACCOUNT_ID:role/InspectLensEvalRole",
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "sagemaker.amazonaws.com"
        }
      }
    },
    {
      "Sid": "VPCNetworkingForEndpoint",
      "Effect": "Allow",
      "Action": [
        "ec2:CreateNetworkInterface",
        "ec2:CreateNetworkInterfacePermission",
        "ec2:DeleteNetworkInterface",
        "ec2:DeleteNetworkInterfacePermission",
        "ec2:DescribeNetworkInterfaces",
        "ec2:DescribeVpcs",
        "ec2:DescribeDhcpOptions",
        "ec2:DescribeSubnets",
        "ec2:DescribeSecurityGroups"
      ],
      "Resource": "*"
    },
    {
      "Sid": "CloudWatchLogs",
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents",
        "logs:DescribeLogStreams"
      ],
      "Resource": [
        "arn:aws:logs:REGION:ACCOUNT_ID:log-group:/aws/sagemaker/TrainingJobs:*",
        "arn:aws:logs:REGION:ACCOUNT_ID:log-group:/aws/sagemaker/Endpoints/*"
      ]
    },
    {
      "Sid": "MLflowTrackingServer",
      "Effect": "Allow",
      "Action": [
        "sagemaker:DescribeMlflowTrackingServer",
        "sagemaker:CreatePresignedMlflowTrackingServerUrl"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:mlflow-tracking-server/*"
    },
    {
      "Sid": "MLflowTrackingOperations",
      "Effect": "Allow",
      "Action": [
        "sagemaker-mlflow:AccessUI",
        "sagemaker-mlflow:CreateExperiment",
        "sagemaker-mlflow:GetExperiment",
        "sagemaker-mlflow:GetExperimentByName",
        "sagemaker-mlflow:SearchExperiments",
        "sagemaker-mlflow:CreateRun",
        "sagemaker-mlflow:GetRun",
        "sagemaker-mlflow:UpdateRun",
        "sagemaker-mlflow:SearchRuns",
        "sagemaker-mlflow:LogMetric",
        "sagemaker-mlflow:LogParam",
        "sagemaker-mlflow:LogBatch",
        "sagemaker-mlflow:SetTag",
        "sagemaker-mlflow:LogArtifact",
        "sagemaker-mlflow:ListArtifacts"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:mlflow-tracking-server/*"
    },
    {
      "Sid": "KMSForVolumeEncryption",
      "Effect": "Allow",
      "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:GenerateDataKey",
        "kms:CreateGrant",
        "kms:DescribeKey"
      ],
      "Resource": "arn:aws:kms:REGION:ACCOUNT_ID:key/*"
    }
  ]
}

Lampirkan kebijakan ke peran:

aws iam put-role-policy \
  --role-name InspectLensEvalRole \
  --policy-name InspectLensEvalPolicy \
  --policy-document file://eval_policy.json

Langkah 2: Tulis resep eval Anda

Resep eval adalah file konfigurasi YAMB yang mendefinisikan bagaimana wadah menjalankan evaluasi Anda. Resep menentukan penyedia inferensi, tolok ukur, parameter evaluasi, dan pengaturan output.

Untuk contoh ujung ke ujung, lihat buku catatan berikut:

Opsi A: Evaluasi titik SageMaker akhir yang ada

Gunakan opsi ini ketika Anda memiliki model yang sudah diterapkan pada titik akhir SageMaker inferensi.

inference_provider:
  sagemaker_endpoint:
    endpoint_name: "my-existing-endpoint"
    region: "us-east-1"

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu

eval:
  max_connections: 10
  max_retries: 100
  timeout: 600

output:
  s3_path: "s3://your-bucket/eval-results/"

Opsi B: Buat titik akhir, evaluasi, lalu bersihkan

Gunakan opsi ini agar penampung menerapkan basis Amazon Nova atau model yang disetel dengan baik, menjalankan evaluasi, dan meruntuhkan titik akhir secara otomatis. Ini adalah pendekatan yang direkomendasikan untuk evaluasi satu kali. Ambil wadah SageMaker inferensi terbaru dari dokumentasi gambar wadah Amazon Nova SageMaker Inference.

inference_provider:
  sagemaker_endpoint:
    endpoint_name: null                 # null = create new endpoint
    model_s3_uri: "s3://your-bucket/models/nova-micro/"
    inference_image_uri: "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest"
    instance_type: "ml.p5.48xlarge"
    instance_count: 1
    execution_role_arn: "arn:aws:iam::ACCOUNT_ID:role/InspectLensEvalRole"
    region: "us-east-1"
    context_length: "16000"
    max_concurrency: "32"
    cleanup_endpoint: true              # Auto-delete after eval

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu_pro
    - name: arc_c
    - name: boolq

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 16000
    reasoning_effort: null
  max_connections: 16
  max_retries: 100
  timeout: 600
  extra_args:
    - "-M"
    - "completion_mode=True"
    - "--logprobs"
    - "--top-logprobs"
    - "5"

output:
  s3_path: "s3://your-bucket/eval-results/"

Catatan padamodel_s3_uri:

Opsi C: Evaluasi melalui Amazon Bedrock

Gunakan opsi ini untuk mengevaluasi model yang tersedia melalui Amazon Bedrock tanpa mengelola titik akhir.

inference_provider:
  bedrock:
    model_id: amazon.nova-pro-v1:0
    region: us-east-1

benchmarks:
  - name: mmlu
    path: benchmarks/mmlu_pro.py
    limit: 100

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 8192
    reasoning_effort: null
  max_connections: 10
  max_retries: 50
  timeout: 600
  extra_args:
    - "--display"
    - "plain"

output:
  s3_path: s3://your-bucket/eval/output/

Konfigurasi tolok ukur

benchmarksBagian ini mendefinisikan tugas evaluasi mana yang harus dijalankan. Anda dapat menghubungkan beberapa tolok ukur dalam satu pekerjaan.

Konfigurasi eval

evalBagian ini mengontrol bagaimana kontainer mengeksekusi evaluasi.

Parameter decoding

Konfigurasikan parameter decoding model dalam bagianeval.decoding:

Konfigurasi keluaran

outputBagian ini mendefinisikan di mana dan bagaimana hasil evaluasi disimpan.

Format output berikut tersedia:

Konfigurasi MLFlow

Secara opsional, Anda dapat mencatat metrik evaluasi ke server pelacakan MLFlow. Tambahkan tracking bagian ke resep Anda:

tracking:
  mlflow_tracking_arn: null       # ARN of SageMaker MLflow tracking server
  mlflow_experiment_name: "inspectlens" # experiment name
  mlflow_tracing: true          # log full request/response traces
  mlflow_log_artifacts: true       # upload .eval files to MLflow

Referensi resep lengkap

Contoh berikut menunjukkan resep lengkap dengan semua opsi konfigurasi yang tersedia:

inference_provider:
  sagemaker_endpoint:
    endpoint_name: my-nova-endpoint
    model_s3_uri: s3://your-bucket/models/my-model/
    inference_image_uri: "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest"
    instance_type: ml.g5.12xlarge
    cleanup_endpoint: true
    region: us-west-2

benchmarks:
  - name: mmlu
    path: benchmarks/mmlu_pro.py
    limit: 100
    epochs: 3
    task_args:
      subject: math
  - name: truthfulqa
    path: benchmarks/truthfulqa.py
    limit: 50

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 8192
    reasoning_effort: null
  max_connections: 256
  max_retries: 50
  timeout: 600
  extra_args:
    - "--display"
    - "plain"

output:
  s3_path: s3://your-bucket/eval/output/
  output_format: eval

tracking:
  mlflow_tracking_arn: "arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-server"
  mlflow_experiment_name: "inspectlens"
  mlflow_tracing: true
  mlflow_log_artifacts: true

Langkah 3: Siapkan file benchmark

Benchmark adalah file Python yang menggunakan dekorator Inspect @task AI untuk menentukan tugas evaluasi. Repositori inspect-evals menyediakan 128+ tolok ukur siap pakai, atau Anda dapat menulis sendiri.

Contoh benchmark

Contoh berikut menunjukkan tolok ukur minimal yang mengevaluasi kinerja pilihan ganda pada kumpulan data: HuggingFace

from inspect_ai import task, Task
from inspect_ai.dataset import hf_dataset
from inspect_ai.scorer import choice
from inspect_ai.solver import multiple_choice


@task
def my_benchmark():
    return Task(
        dataset=hf_dataset(
            path="cais/mmlu",
            name="abstract_algebra",
            split="test",
        ),
        solver=multiple_choice(),
        scorer=choice(),
    )

Dependensi

Jika benchmark Anda membutuhkan dependensi tambahan, sertakan pyproject.toml atau requirements.txt dalam direktori S3 yang sama:

[project]
name = "my-benchmark"
version = "0.1.0"
requires-python = ">=3.12"
dependencies = [
    "datasets>=2.14.0",
]

Pre-installed paket

Wadah termasuk paket-paket berikut. Anda tidak perlu mencantumkan ini di Andapyproject.toml.

Pemilihan tugas

tasksBidang dalam resep Anda mengontrol tugas mana dalam file benchmark yang akan dijalankan.

Langkah 4: Siapkan struktur S3 Anda

Struktur berikut adalah rekomendasi untuk menjaga konfigurasi, tolok ukur, dan hasil tetap terorganisir. Anda dapat mengarahkan wadah ke lokasi S3 mana pun - struktur itu sendiri tidak diperlukan.

s3://your-bucket/
├── config/
│   └── inspect_config.yaml       # Your eval recipe
├── benchmarks/
│   └── my_benchmarks/            # Your benchmark Python files
│       ├── pyproject.toml        # Optional: benchmark dependencies
│       ├── my_task.py            # @task decorated functions
│       └── _helpers.py           # Shared utilities
└── output/                       # Results written here

Unggah file Anda ke S3:

# Upload benchmark files
aws s3 cp my_benchmarks/ s3://your-bucket/benchmarks/my_benchmarks/ --recursive

# Upload your eval recipe
aws s3 cp inspect_config.yaml s3://your-bucket/config/inspect_config.yaml

Langkah 5: Kirimkan pekerjaan pelatihan

Kirimkan SageMaker Training Job untuk menjalankan evaluasi Anda. Anda dapat menggunakan AWS CLI atau SageMaker Python SDK.

Opsi A: AWS CLI

aws sagemaker create-training-job \
    --training-job-name inspect-eval-$(date +%Y%m%d-%H%M%S) \
    --algorithm-specification \
        TrainingImage=763104351884.dkr.ecr.us-east-1.amazonaws.com/sagemaker-inspect-ai:latest,TrainingInputMode=File \
    --role-arn arn:aws:iam::123456789012:role/SageMakerInspectAIRole \
    --resource-config \
        InstanceType=ml.m5.large,InstanceCount=1,VolumeSizeInGB=30 \
    --stopping-condition MaxRuntimeInSeconds=86400 \
    --input-data-config '[
        {
            "ChannelName": "config",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket/eval/config/",
                    "S3DataDistributionType": "FullyReplicated"
                }
            }
        }
    ]' \
    --output-data-config S3OutputPath=s3://your-bucket/eval/output/ \
    --region us-west-2

Opsi B: SageMaker Python SDK V3

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import InputData, Compute
from sagemaker.core.shapes.shapes import StoppingCondition, OutputDataConfig

trainer = ModelTrainer(
    training_image="763104351884.dkr.ecr.us-east-1.amazonaws.com/sagemaker-inspect-ai:latest",
    compute=Compute(
        instance_type="ml.m5.large",
        instance_count=1,
        volume_size_in_gb=30,
    ),
    output_data_config=OutputDataConfig(
        s3_output_path="s3://your-bucket/eval/output/"
    ),
    role="arn:aws:iam::123456789012:role/SageMakerInspectAIRole",
    stopping_condition=StoppingCondition(max_runtime_in_seconds=86400),
)

trainer.train(
    input_data_config=[
        InputData(
            channel_name="config",
            data_source="s3://your-bucket/eval/config/",
        )
    ]
)

Parameter kunci

Panduan jenis instans orkestrator

Contoh pekerjaan pelatihan menjalankan logika orkestrasi evaluasi, bukan inferensi model. Pilih jenis instans berdasarkan beban kerja evaluasi Anda.

Variabel lingkungan

Anda dapat meneruskan variabel lingkungan ke wadah untuk otentikasi atau konfigurasi. Tambahkan --environment parameter ke AWS CLI perintah:

aws sagemaker create-training-job \
    ...
    --environment '{
        "HF_TOKEN": "hf_your_token_here",
        "HF_HUB_DOWNLOAD_TIMEOUT": "300"
    }'

Langkah 6: Pantau pekerjaan

Setelah Anda mengirimkan pekerjaan pelatihan, Anda dapat memantau kemajuannya melalui AWS CLI atau CloudWatch Log.

Periksa status pekerjaan

aws sagemaker describe-training-job \
    --training-job-name your-job-name \
    --query "TrainingJobStatus" \
    --output text

Log aliran

aws logs tail /aws/sagemaker/TrainingJobs \
    --log-stream-name-prefix your-job-name \
    --follow

Apa yang diharapkan di log

Log kontainer menunjukkan kemajuan melalui tahapan berikut:

Perkiraan jadwal

Langkah 7: Melihat dan menafsirkan hasil

Setelah pekerjaan selesai, lihat hasil evaluasi Anda.

Lihat dengan Inspect AI

Gunakan penampil Inspect AI untuk mengeksplorasi hasil secara interaktif langsung dari S3:

inspect view --log-dir s3://your-bucket/eval-results/

Perintah ini membuka antarmuka web lokal tempat Anda dapat menelusuri skor, melihat sampel individual, dan membandingkan proses.

Unduh dan bagikan

Untuk mengunduh hasil secara lokal:

aws s3 cp s3://your-bucket/eval/output/ ./results/ --recursive

INSPECT_LOG_DIR=./results inspect view

Ekstensi Kode VS

Ekstensi Inspect AI VS Code memungkinkan Anda menelusuri log eval langsung dari S3 tanpa mengunduhnya terlebih dahulu.

Struktur keluaran

Setiap evaluasi menghasilkan file .eval log yang berisi bagian-bagian berikut:

Lihat hasil dalam MLFlow (opsional)

Jika Anda mengonfigurasi MLFlow dalam resep Anda, buat URL yang telah ditetapkan sebelumnya untuk mengakses server pelacakan:

aws sagemaker create-presigned-mlflow-tracking-server-url \
    --tracking-server-name my-server \
    --region us-west-2

Buka URL yang dikembalikan di browser Anda untuk melihat metrik, membandingkan proses, dan menganalisis tren di seluruh evaluasi.

Tolok ukur yang tersedia

Wadah Inspect AI berfungsi dengan tolok ukur apa pun yang ditulis dalam format tugas Inspect AI. Repositori inspect-evals menyediakan 128+ tolok ukur siap pakai yang mencakup bidang-bidang seperti penalaran, pengetahuan, pengkodean, dan keamanan.

Untuk menulis tolok ukur Anda sendiri, lihat dokumentasi penulisan tugas Inspect AI. Jika Anda menemukan tolok ukur publik yang belum tersedia di inspeksi-evals, Anda dapat menggunakan prompt orientasi asisten AI untuk membantu mengonversinya ke format Inspect AI.

Evaluasi agen

Tolok ukur agen menguji kemampuan model untuk menyelesaikan tugas multi-langkah yang memerlukan penggunaan alat, perencanaan, dan penalaran berulang. Evaluasi ini mensimulasikan skenario dunia nyata di mana model harus memanggil alat, menafsirkan hasil, dan memutuskan tindakan selanjutnya.

Persyaratan titik akhir

Evaluasi agen memerlukan titik akhir yang mendukung kemampuan berikut:

SageMaker Konfigurasi titik akhir inferensi

Saat menggunakan titik akhir SageMaker Inferensi untuk evaluasi agen, konfigurasikan variabel lingkungan berikut di titik akhir Anda:

Untuk informasi tentang menyiapkan titik akhir Amazon Nova di SageMaker Inferensi, lihat Menerapkan model Amazon Nova di. SageMaker Untuk informasi tentang fitur dan konfigurasi kontainer, lihat Fitur penampung.

Titik akhir Amazon Bedrock

Untuk titik akhir Amazon Bedrock, pemanggilan alat didukung secara native untuk model yang kompatibel. Untuk informasi selengkapnya, lihat Penggunaan alat dengan Amazon Bedrock.

Memulai dengan evaluasi agen

Untuk menjalankan evaluasi agen, lengkapi prasyarat berikut:

Titik akhir Amazon Bedrock

Contoh notebook

Notebook berikut menunjukkan menjalankan tolok ukur agen pemanggilan alat dengan container Inspect AI:

Untuk tolok ukur agen yang memerlukan kotak pasir Docker, gunakan Inspect AI SDK:

Pemecahan masalah

Bagian ini memberikan solusi untuk masalah umum saat menjalankan evaluasi dengan wadah Inspect AI.

Tip iterasi cepat

Sebelum mengirimkan Training SageMaker Job, uji tolok ukur Anda secara lokal dengan Inspect AI SDK. Jalankan inspect eval my_benchmark.py di mesin lokal Anda untuk memvalidasi definisi tugas, dependensi, dan logika penilaian sebelum berjalan dalam skala besar.

InsufficientInstanceCapacity kesalahan

Kesalahan ini terjadi ketika AWS tidak memiliki kapasitas yang cukup untuk jenis instans yang diminta di Wilayah Anda.

AccessDenied kesalahan

Jika pekerjaan pelatihan gagal dengan kesalahan akses ditolak, verifikasi hal berikut:

Pembuatan titik akhir gagal

Saat menggunakan cleanup_endpoint: true pembuatan titik akhir otomatis, masalah berikut mungkin terjadi:

HuggingFace batas waktu unduh

Jika tolok ukur yang mengunduh kumpulan data dari waktu HuggingFace Hub habis, setel variabel HF_HUB_DOWNLOAD_TIMEOUT lingkungan ke nilai yang lebih tinggi (dalam hitungan detik):

--environment '{"HF_HUB_DOWNLOAD_TIMEOUT": "600"}'

Job terbunuh tapi endpoint masih berjalan

Jika pekerjaan pelatihan terganggu sebelum pembersihan selesai, titik akhir inferensi mungkin tetap aktif. Hapus titik akhir secara manual untuk menghindari tagihan yang sedang berlangsung:

# List endpoints to find the orphaned one
aws sagemaker list-endpoints \
    --name-contains inspect \
    --query "Endpoints[].EndpointName" \
    --output table

# Delete the endpoint
aws sagemaker delete-endpoint \
    --endpoint-name your-endpoint-name

# Delete the endpoint configuration
aws sagemaker delete-endpoint-config \
    --endpoint-config-name your-endpoint-name

# Delete the model
aws sagemaker delete-model \
    --model-name your-endpoint-name

Konflik ketergantungan benchmark

Jika benchmark gagal karena konflik ketergantungan dengan paket pra-instal, buat pyproject.toml di direktori benchmark dengan batasan versi eksplisit. Container menginstal dependensi benchmark secara terpisah untuk meminimalkan konflik.

Skor Eval terlihat salah

Jika skor evaluasi tiba-tiba rendah atau tidak konsisten, periksa pengaturan berikut dalam resep Anda:

Privasi data

Data evaluasi Anda ditangani secara berbeda tergantung pada penyedia inferensi yang Anda gunakan.

SageMaker titik akhir

Saat Anda menggunakan titik akhir SageMaker Inferensi, semua data tetap berada di dalam Anda. Akun AWS Permintaan evaluasi dan respons model tidak dikirim ke luar akun Anda dan tidak digunakan untuk meningkatkan AWS layanan. Tidak diperlukan kebijakan opt-out.

Amazon Bedrock

Saat Anda menggunakan Amazon Bedrock sebagai penyedia inferensi, data Anda tunduk pada Kebijakan Layanan AWS Opt-Out AI. Untuk mencegah data Anda digunakan untuk meningkatkan layanan AWS AI, aktifkan kebijakan opt-out di tingkat AWS Organizations. Untuk informasi selengkapnya, lihat kebijakan opt-out layanan AI.