本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
# 使用另一个 LLM as a judge 来评测模型性能
在使用评判工具模型的模型评测作业中，Amazon Bedrock 将使用 LLM 对另一个模型的响应进行评分，并解释它如何对每个提示和响应对进行评分。分数和解释可在 Amazon Bedrock 控制台的[评测](https://console.aws.amazon.com/bedrock/home#/eval/evaluation)页面中查看。
这种模型评测需要两种不同的模型，即*生成器模型*和*评测器模型*。您需要在数据集中为生成器模型定义提示，评测器模型会根据您选择的指标对针对这些提示的响应进行评分。
控制台中的指标摘要卡展示了一个直方图，其中显示了响应获得特定分数的次数，以及数据集中前五个提示的分数说明。完整的评测作业报告可在您创建模型评测作业时指定的 Amazon S3 存储桶中获取。
创建模型评测作业时，您可以选择 Amazon Bedrock 模型作为生成器模型，也可以通过在提示数据集中提供自己的推理响应数据来评测非 Amazon Bedrock 模型。如果您提供了自己的响应数据，Amazon Bedrock 会跳过模型调用步骤，直接评测您提供的数据。
为了对生成器模型的响应进行评级，Amazon Bedrock 提供了一组内置指标供您选择。每个指标对评测器模型使用不同的提示。您还可以针对特定业务案例定义自己的自定义指标。请参阅 [通过指标了解模型性能](model-evaluation-metrics.md)，了解更多信息。
## 支持的模型
### 支持的评测器模型（内置指标）
要创建使用 LLM as a judge 并结合 Amazon Bedrock 内置指标的评测作业，您需要有权访问以下列表中的至少一个评判工具模型。要了解有关获取模型访问权限和区域可用性的更多信息，请参阅[请求访问模型](model-access.md)。
+ Amazon Nova Pro – `amazon.nova-pro-v1:0`
+ 亚马逊 Nova 2 Lite — `amazon.nova-2-lite-v1:0`
+ 亚马逊 Nova Micro — `amazon.nova-micro-v1:0`
+ 亚马逊 Nova Premier `amazon.nova-premier-v1:0`
+ Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0`
+ Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0`
+ Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0`
+ Anthropic Claude Sonnet 4 – `anthropic.claude-sonnet-4-20250514-v1:0`
+ Anthropic Claude 3 Haiku – `anthropic.claude-3-haiku-20240307-v1:0`
+ Anthropic Claude 3.5 Haiku – `anthropic.claude-3-5-haiku-20241022-v1:0`
+ 人类 Claude Haiku 4.5 — `anthropic.claude-haiku-4-5-20251001-v1:0`
+ 人类 Claude Opus 4.5 — `anthropic.claude-opus-4-5-20251101-v1:0`
+ 人类 Claude Sonnet 4.0 — `anthropic.claude-sonnet-4-20250514-v1:0`
+ 人类 Claude Sonnet 4.5 — `anthropic.claude-sonnet-4-5-20250929-v1:0`
+ Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0`
+ Mistral Large – `mistral.mistral-large-2402-v1:0`
列出的模型支持[跨区域推理](cross-region-inference.md)配置文件。要了解更多信息，请参阅[支持的跨区域推理配置文件](inference-profiles-support.md#inference-profiles-support-system)。
### 支持的评测器模型（自定义指标）
要创建使用 LLM as a judge 并结合自定义指标的评测作业，您需要有权访问以下列表中的至少一个评判工具模型。
+ Mistral Large 24.02 – `mistral.mistral-large-2402-v1:0`
+ Mistral Large 24.07 – `mistral.mistral-large-2407-v1:0`
+ Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0`
+ Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0`
+ Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0`
+ Anthropic Claude Sonnet 4 – `anthropic.claude-sonnet-4-20250514-v1:0`
+ Anthropic Claude 3 Haiku 3 – `anthropic.claude-3-haiku-20240307-v1:0`
+ Anthropic Claude 3 Haiku 3.5 – `anthropic.claude-3-5-haiku-20241022-v1:0`
+ Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0`
+ Meta Llama 3.3 70B Instruct – `meta.llama3-3-70b-instruct-v1:0`
+ Amazon Nova Pro – `amazon.nova-pro-v1:0`
+ 亚马逊 Nova 2 Lite — `amazon.nova-2-lite-v1:0`
+ 亚马逊 Nova Micro — `amazon.nova-micro-v1:0`
+ 亚马逊 Nova Premier `amazon.nova-premier-v1:0`
+ 人类 Claude Haiku 4.5 — `anthropic.claude-haiku-4-5-20251001-v1:0`
+ 人类 Claude Opus 4.5 — `anthropic.claude-opus-4-5-20251101-v1:0`
+ 人类 Claude Sonnet 4.0 — `anthropic.claude-sonnet-4-20250514-v1:0`
+ 人类 Claude Sonnet 4.5 — `anthropic.claude-sonnet-4-5-20250929-v1:0`
列出的模型支持[跨区域推理](cross-region-inference.md)配置文件。要了解更多信息，请参阅[支持的跨区域推理配置文件](inference-profiles-support.md#inference-profiles-support-system)。
### 支持的生成器模型
您可以在 Amazon Bedrock 中使用以下模型类型作为评测作业中的生成器模型。您还可以自带来自非 Amazon Bedrock 模型的推理响应数据。
+ 基础模型 – [使用带有 Bedrock 的模型](foundation-models-reference.md)
+ Amazon Bedrock Marketplace 模型 – [Amazon Bedrock Marketplace](amazon-bedrock-marketplace.md)
+ 自定义基础模型 – [针对使用案例自定义模型以提高其性能](custom-models.md)
+ 导入的基础模型 – [使用自定义模型导入功能将自定义的开源模型导入 Amazon Bedrock 中](model-customization-import-model.md)
+ 提示路由器 – [了解 Amazon Bedrock 中的智能提示路由](prompt-routing.md)
+ 您已为其购买预调配吞吐量的模型 – [利用 Amazon Bedrock 中的预调配吞吐量增加模型调用容量](prov-throughput.md)