使用 Inspect AI 容器评测模型

SageMaker Inspect AI 容器依托 SageMaker 训练作业执行大语言模型评测。该容器借助 Inspect AI，为部署至 SageMaker 推理端点或 Amazon Bedrock 的模型提供标准化评测流程，支持 Amazon Nova 1.0（Micro、Lite、Pro）与 2.0（Lite 2）系列模型。

以往基于 lighteval 的评测方案将离线推理与评测逻辑深度耦合，限制了模型部署与测试方式的灵活度。Inspect AI 容器将评测逻辑与推理流程完全解耦。

概述

主要优势包括：

工作原理

向容器传入两类输入资源：

容器统一完成端点管理、评测执行与结果汇总。训练作业运行完毕后，评测结果将写入您指定的 S3 输出路径。

容器映像

下表按 AWS 区域列出了 Inspect AI 容器映像 URI。

先决条件

开始前，请确保已具备以下资源与权限。

步骤 1：设置 IAM 权限

SageMaker 训练作业将使用您指定的执行角色运行。该角色需具备以下权限：从 S3 读取基准文件、写入评测结果、调用推理端点，以及输出 CloudWatch 日志。

1.1 创建信任策略

将以下内容保存为 trust_policy.json：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "sagemaker.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

1.2 创建角色

aws iam create-role \
  --role-name InspectLensEvalRole \
  --assume-role-policy-document file://trust_policy.json

1.3 附加权限策略

将以下内容保存为 eval_policy.json，将所有占位符值（REGION、ACCOUNT_ID、存储桶名称）替换为实际值：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "S3ReadBenchmarkData",
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::YOUR_BENCHMARK_BUCKET",
        "arn:aws:s3:::YOUR_BENCHMARK_BUCKET/*"
      ]
    },
    {
      "Sid": "S3WriteResults",
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:PutObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::YOUR_RESULTS_BUCKET",
        "arn:aws:s3:::YOUR_RESULTS_BUCKET/*"
      ]
    },
    {
      "Sid": "SageMakerInvokeExistingEndpoint",
      "Effect": "Allow",
      "Action": [
        "sagemaker:InvokeEndpoint",
        "sagemaker:InvokeEndpointWithResponseStream",
        "sagemaker:DescribeEndpoint"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/*"
    },
    {
      "Sid": "BedrockInference",
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": [
        "arn:aws:bedrock:REGION::foundation-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:inference-profile/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:provisioned-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:imported-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model-deployment/*"
      ]
    },
    {
      "Sid": "BedrockCustomModelAccess",
      "Effect": "Allow",
      "Action": [
        "bedrock:GetCustomModel",
        "bedrock:GetImportedModel",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:GetCustomModelDeployment",
        "bedrock:GetInferenceProfile"
      ],
      "Resource": [
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:imported-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:provisioned-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model-deployment/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:inference-profile/*"
      ]
    },
    {
      "Sid": "SageMakerCreateEndpointLifecycle",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateModel",
        "sagemaker:DescribeModel",
        "sagemaker:DeleteModel",
        "sagemaker:CreateEndpointConfig",
        "sagemaker:DescribeEndpointConfig",
        "sagemaker:DeleteEndpointConfig",
        "sagemaker:CreateEndpoint",
        "sagemaker:DescribeEndpoint",
        "sagemaker:DeleteEndpoint",
        "sagemaker:InvokeEndpoint",
        "sagemaker:InvokeEndpointWithResponseStream"
      ],
      "Resource": [
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:model/inspectlens-*",
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/inspectlens-*",
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint-config/inspectlens-*"
      ]
    },
    {
      "Sid": "ECRAuth",
      "Effect": "Allow",
      "Action": "ecr:GetAuthorizationToken",
      "Resource": "*"
    },
    {
      "Sid": "PassRoleToSageMaker",
      "Effect": "Allow",
      "Action": "iam:PassRole",
      "Resource": "arn:aws:iam::ACCOUNT_ID:role/InspectLensEvalRole",
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "sagemaker.amazonaws.com"
        }
      }
    },
    {
      "Sid": "VPCNetworkingForEndpoint",
      "Effect": "Allow",
      "Action": [
        "ec2:CreateNetworkInterface",
        "ec2:CreateNetworkInterfacePermission",
        "ec2:DeleteNetworkInterface",
        "ec2:DeleteNetworkInterfacePermission",
        "ec2:DescribeNetworkInterfaces",
        "ec2:DescribeVpcs",
        "ec2:DescribeDhcpOptions",
        "ec2:DescribeSubnets",
        "ec2:DescribeSecurityGroups"
      ],
      "Resource": "*"
    },
    {
      "Sid": "CloudWatchLogs",
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents",
        "logs:DescribeLogStreams"
      ],
      "Resource": [
        "arn:aws:logs:REGION:ACCOUNT_ID:log-group:/aws/sagemaker/TrainingJobs:*",
        "arn:aws:logs:REGION:ACCOUNT_ID:log-group:/aws/sagemaker/Endpoints/*"
      ]
    },
    {
      "Sid": "MLflowTrackingServer",
      "Effect": "Allow",
      "Action": [
        "sagemaker:DescribeMlflowTrackingServer",
        "sagemaker:CreatePresignedMlflowTrackingServerUrl"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:mlflow-tracking-server/*"
    },
    {
      "Sid": "MLflowTrackingOperations",
      "Effect": "Allow",
      "Action": [
        "sagemaker-mlflow:AccessUI",
        "sagemaker-mlflow:CreateExperiment",
        "sagemaker-mlflow:GetExperiment",
        "sagemaker-mlflow:GetExperimentByName",
        "sagemaker-mlflow:SearchExperiments",
        "sagemaker-mlflow:CreateRun",
        "sagemaker-mlflow:GetRun",
        "sagemaker-mlflow:UpdateRun",
        "sagemaker-mlflow:SearchRuns",
        "sagemaker-mlflow:LogMetric",
        "sagemaker-mlflow:LogParam",
        "sagemaker-mlflow:LogBatch",
        "sagemaker-mlflow:SetTag",
        "sagemaker-mlflow:LogArtifact",
        "sagemaker-mlflow:ListArtifacts"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:mlflow-tracking-server/*"
    },
    {
      "Sid": "KMSForVolumeEncryption",
      "Effect": "Allow",
      "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:GenerateDataKey",
        "kms:CreateGrant",
        "kms:DescribeKey"
      ],
      "Resource": "arn:aws:kms:REGION:ACCOUNT_ID:key/*"
    }
  ]
}

将该策略附加到角色：

aws iam put-role-policy \
  --role-name InspectLensEvalRole \
  --policy-name InspectLensEvalPolicy \
  --policy-document file://eval_policy.json

步骤 2：编写评测配方

评测配方为 YAML 配置文件，用于定义容器执行评测任务的方式。此类配方可指定推理服务提供方、基准、评测参数及输出配置。

如需完整端到端示例，请参阅下述笔记本：

方案 A：评测现有 SageMaker 端点

若模型已部署至 SageMaker 推理端点，则选用此方案。

inference_provider:
  sagemaker_endpoint:
    endpoint_name: "my-existing-endpoint"
    region: "us-east-1"

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu

eval:
  max_connections: 10
  max_retries: 100
  timeout: 600

output:
  s3_path: "s3://your-bucket/eval-results/"

方案 B：创建端点、执行评测、清理资源

选择该方选择该方案时，容器会自动部署 Amazon Nova 基础模型或经过微调的模型、运行评测，并在评测完成后删除端点。该方式推荐用于单次临时评测任务。您可前往 Amazon Nova SageMaker 推理容器映像文档，获取最新版 SageMaker 推理容器。

inference_provider:
  sagemaker_endpoint:
    endpoint_name: null                 # null = create new endpoint
    model_s3_uri: "s3://your-bucket/models/nova-micro/"
    inference_image_uri: "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest"
    instance_type: "ml.p5.48xlarge"
    instance_count: 1
    execution_role_arn: "arn:aws:iam::ACCOUNT_ID:role/InspectLensEvalRole"
    region: "us-east-1"
    context_length: "16000"
    max_concurrency: "32"
    cleanup_endpoint: true              # Auto-delete after eval

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu_pro
    - name: arc_c
    - name: boolq

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 16000
    reasoning_effort: null
  max_connections: 16
  max_retries: 100
  timeout: 600
  extra_args:
    - "-M"
    - "completion_mode=True"
    - "--logprobs"
    - "--top-logprobs"
    - "5"

output:
  s3_path: "s3://your-bucket/eval-results/"

关于 model_s3_uri 的说明：

方案 C：通过 Amazon Bedrock 执行评测

若可通过 Amazon Bedrock 评测模型，则选用此方案，无需维护端点。

inference_provider:
  bedrock:
    model_id: amazon.nova-pro-v1:0
    region: us-east-1

benchmarks:
  - name: mmlu
    path: benchmarks/mmlu_pro.py
    limit: 100

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 8192
    reasoning_effort: null
  max_connections: 10
  max_retries: 50
  timeout: 600
  extra_args:
    - "--display"
    - "plain"

output:
  s3_path: s3://your-bucket/eval/output/

基准配置

benchmarks 段用于指定待执行的评测任务，支持在单个作业内串联多项基准。

评测配置

eval 段用于控制容器执行评测任务的方式。

解码参数

可在 eval.decoding 段中设置模型生成解码相关参数：

输出配置

output 段用于定义评测结果的存储路径与存储方式。

支持以下输出格式：

MLflow 配置

您可选择将评测指标记录至 MLflow 跟踪服务器。在配方中新增 tracking 段：

tracking:
  mlflow_tracking_arn: null       # ARN of SageMaker MLflow tracking server
  mlflow_experiment_name: "inspectlens" # experiment name
  mlflow_tracing: true          # log full request/response traces
  mlflow_log_artifacts: true       # upload .eval files to MLflow

完整配方参考

下方示例展示包含全部可用配置项的完整评测配方：

inference_provider:
  sagemaker_endpoint:
    endpoint_name: my-nova-endpoint
    model_s3_uri: s3://your-bucket/models/my-model/
    inference_image_uri: "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest"
    instance_type: ml.g5.12xlarge
    cleanup_endpoint: true
    region: us-west-2

benchmarks:
  - name: mmlu
    path: benchmarks/mmlu_pro.py
    limit: 100
    epochs: 3
    task_args:
      subject: math
  - name: truthfulqa
    path: benchmarks/truthfulqa.py
    limit: 50

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 8192
    reasoning_effort: null
  max_connections: 256
  max_retries: 50
  timeout: 600
  extra_args:
    - "--display"
    - "plain"

output:
  s3_path: s3://your-bucket/eval/output/
  output_format: eval

tracking:
  mlflow_tracking_arn: "arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-server"
  mlflow_experiment_name: "inspectlens"
  mlflow_tracing: true
  mlflow_log_artifacts: true

步骤 3：准备基准文件

基准为通过 Inspect AI @task 的装饰器定义评测任务的 Python 文件。inspect-evals 存储库提供 128 种以上开箱即用的基准，您也可自行开发自定义基准。

基准示例

下方为最简基准示例，用于评测 HuggingFace 数据集上的模型选择题作答效果：

from inspect_ai import task, Task
from inspect_ai.dataset import hf_dataset
from inspect_ai.scorer import choice
from inspect_ai.solver import multiple_choice


@task
def my_benchmark():
    return Task(
        dataset=hf_dataset(
            path="cais/mmlu",
            name="abstract_algebra",
            split="test",
        ),
        solver=multiple_choice(),
        scorer=choice(),
    )

依赖项

若您基准需要额外依赖项，请在同一 S3 目录中放置 pyproject.toml 或 requirements.txt：

[project]
name = "my-benchmark"
version = "0.1.0"
requires-python = ">=3.12"
dependencies = [
    "datasets>=2.14.0",
]

预装软件包

容器已内置下述软件包。无需在 pyproject.toml 中重复列出。

任务选择

配方中的 tasks 字段用于控制基准文件内需要执行的评测任务。

步骤 4：规划 S3 目录结构

以下目录结构为推荐规范，便于统一管理配置文件、基准与结果。您可将容器指向任意 S3 路径，该目录结构并非强制要求。

s3://your-bucket/
├── config/
│   └── inspect_config.yaml       # Your eval recipe
├── benchmarks/
│   └── my_benchmarks/            # Your benchmark Python files
│       ├── pyproject.toml        # Optional: benchmark dependencies
│       ├── my_task.py            # @task decorated functions
│       └── _helpers.py           # Shared utilities
└── output/                       # Results written here

将文件上传到 S3：

# Upload benchmark files
aws s3 cp my_benchmarks/ s3://your-bucket/benchmarks/my_benchmarks/ --recursive

# Upload your eval recipe
aws s3 cp inspect_config.yaml s3://your-bucket/config/inspect_config.yaml

步骤 5：提交训练作业

提交 SageMaker 训练作业执行评测任务。可通过 AWS CLI 或 SageMaker Python SDK 完成操作。

方案 A：AWS CLI

aws sagemaker create-training-job \
    --training-job-name inspect-eval-$(date +%Y%m%d-%H%M%S) \
    --algorithm-specification \
        TrainingImage=763104351884.dkr.ecr.us-east-1.amazonaws.com/sagemaker-inspect-ai:latest,TrainingInputMode=File \
    --role-arn arn:aws:iam::123456789012:role/SageMakerInspectAIRole \
    --resource-config \
        InstanceType=ml.m5.large,InstanceCount=1,VolumeSizeInGB=30 \
    --stopping-condition MaxRuntimeInSeconds=86400 \
    --input-data-config '[
        {
            "ChannelName": "config",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket/eval/config/",
                    "S3DataDistributionType": "FullyReplicated"
                }
            }
        }
    ]' \
    --output-data-config S3OutputPath=s3://your-bucket/eval/output/ \
    --region us-west-2

方案 B：SageMaker Python SDK V3

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import InputData, Compute
from sagemaker.core.shapes.shapes import StoppingCondition, OutputDataConfig

trainer = ModelTrainer(
    training_image="763104351884.dkr.ecr.us-east-1.amazonaws.com/sagemaker-inspect-ai:latest",
    compute=Compute(
        instance_type="ml.m5.large",
        instance_count=1,
        volume_size_in_gb=30,
    ),
    output_data_config=OutputDataConfig(
        s3_output_path="s3://your-bucket/eval/output/"
    ),
    role="arn:aws:iam::123456789012:role/SageMakerInspectAIRole",
    stopping_condition=StoppingCondition(max_runtime_in_seconds=86400),
)

trainer.train(
    input_data_config=[
        InputData(
            channel_name="config",
            data_source="s3://your-bucket/eval/config/",
        )
    ]
)

关键参数

编排工具实例类型选型说明

训练作业实例仅负责运行评测编排逻辑，不承载模型推理任务。请根据评测工作负载选择实例类型。

环境变量

可向容器传入环境变量，用于身份验证或参数配置。向 AWS CLI 命令添加 --environment 参数：

aws sagemaker create-training-job \
    ...
    --environment '{
        "HF_TOKEN": "hf_your_token_here",
        "HF_HUB_DOWNLOAD_TIMEOUT": "300"
    }'

步骤 6：监控作业

提交训练作业后，可通过 AWS CLI 或 CloudWatch Logs 查看作业运行进度。

查看作业状态

aws sagemaker describe-training-job \
    --training-job-name your-job-name \
    --query "TrainingJobStatus" \
    --output text

流式查看日志

aws logs tail /aws/sagemaker/TrainingJobs \
    --log-stream-name-prefix your-job-name \
    --follow

日志输出内容说明

容器日志会依次展示以下运行阶段的进度信息：

预计耗时

步骤 7：查看并解读结果

作业运行完成后，可查看评测结果。

通过 Inspect AI 查看结果

借助 Inspect AI 可视化工具，直接读取 S3 中的结果文件并交互式分析：

inspect view --log-dir s3://your-bucket/eval-results/

执行该命令后会打开本地 Web 界面，可查看各项得分、单条样本，以及多轮评测结果对比。

下载并分享

将结果下载至本地：

aws s3 cp s3://your-bucket/eval/output/ ./results/ --recursive

INSPECT_LOG_DIR=./results inspect view

VS Code 扩展

Inspect AI VS Code 扩展支持直接读取 S3 中的评测日志，无需预先下载文件。

输出结构

每次评测会生成一份 .eval 日志文件，内含以下模块：

通过 MLflow 查看结果（可选）

若已在配方中配置 MLflow，可执行以下命令生成预签名 URL 以访问跟踪服务器：

aws sagemaker create-presigned-mlflow-tracking-server-url \
    --tracking-server-name my-server \
    --region us-west-2

将命令返回的 URL 在浏览器打开，即可查看评测指标、对比多轮任务、分析多批次评测的数据趋势。

可用基准

Inspect AI 容器可兼容所有采用 Inspect AI 任务规范编写的基准。inspect-evals 存储库提供 128 种以上开箱即用的基准，覆盖推理能力、知识问答、代码生成、安全对齐等评测领域。

如需自定开发基准，请参阅 Inspect AI 任务开发文档。若有公开基准数据集尚未收录至 inspect-evals，您可借助人工智能助手引导提示，将其转换为 Inspect AI 标准格式。

代理式评测

代理式基准用于测试模型完成多步骤任务的能力，这类任务需要调用工具、制定规划并开展迭代式推理。此类评测会模拟真实业务场景，模型在场景中需调用工具、解析返回结果并规划后续操作。

端点要求

执行代理式评测时，推理端点必须具备以下能力：

SageMaker 推理端点配置

若使用 SageMaker 推理端点执行代理式评测，需在端点上配置以下环境变量：

如需了解如何在 SageMaker 推理部署 Amazon Nova 端点，请参阅在 SageMaker 上部署 Amazon Nova 模型。关于容器功能与相关配置说明，请参阅容器功能。

Amazon Bedrock 端点

兼容模型的 Amazon Bedrock 端点原生支持工具调用功能。有关更多信息，请参阅 Amazon Bedrock 工具调用。

代理式评测入门

执行代理式评测前，需完成以下前提条件：

Amazon Bedrock 端点

示例笔记本

以下笔记本演示如何通过 Inspect AI 容器运行具备工具调用能力的代理式基准：

若代理式基准需要 Docker 沙盒环境，请使用 Inspect AI SDK：

问题排查

此部分提供使用 Inspect AI 容器执行评测时常见问题的解决办法。

快速迭代技巧

在提交 SageMaker 训练作业前，可通过 Inspect AI SDK 在本地调试基准。在本地设备执行 inspect eval my_benchmark.py 命令，提前校验任务定义、依赖项及评分逻辑，再大规模运行任务。

InsufficientInstanceCapacity 错误

该错误表示 AWS 在当前区域无充足容量供应所请求的实例类型。

AccessDenied 错误

若训练作业因访问被拒而失败，请逐项核查以下内容：

端点创建失败

当配置 cleanup_endpoint: true 并开启自动创建推理端点时，可能出现以下问题：

HuggingFace 下载超时

若基准从 HuggingFace Hub 下载数据集时出现超时，调大环境变量 HF_HUB_DOWNLOAD_TIMEOUT 的数值（单位：秒）：

--environment '{"HF_HUB_DOWNLOAD_TIMEOUT": "600"}'

作业终止但端点仍在运行

若训练作业在资源清理流程完成前被中断，推理端点会持续占用资源。请手动删除端点，避免持续产生费用：

# List endpoints to find the orphaned one
aws sagemaker list-endpoints \
    --name-contains inspect \
    --query "Endpoints[].EndpointName" \
    --output table

# Delete the endpoint
aws sagemaker delete-endpoint \
    --endpoint-name your-endpoint-name

# Delete the endpoint configuration
aws sagemaker delete-endpoint-config \
    --endpoint-config-name your-endpoint-name

# Delete the model
aws sagemaker delete-model \
    --model-name your-endpoint-name

基准依赖冲突

若基准因与预装软件包存在依赖冲突而运行失败，可在基准目录新建 pyproject.toml 文件，明确限定各依赖项版本。容器会隔离安装基准所需依赖项，最大限度减少版本冲突。

评测得分异常

若评测得分偏低或结果波动不一致，请检查评测配方中的如下参数：

数据隐私

评测数据的处理方式取决于您选用的推理服务提供方。

SageMaker 端点

若使用 SageMaker 推理端点，所有数据均留存于您的 AWS 账户内。评测提示词与模型响应不会传输到您的账户外，也不会被用于优化 AWS 服务。无需开启退出政策。

Amazon Bedrock

若将 Amazon Bedrock 作为推理服务提供方，您的数据将受《AWS 人工智能服务退出政策》约束。如需阻止数据用于迭代优化 AWS 人工智能服务，请在 AWS Organizations 层级启用数据退出政策。有关更多信息，请参阅人工智能服务退出政策。