本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# Amazon Bedrock 支持的终端节点
<a name="endpoints"></a>

Amazon Bedrock 支持用于执行[推理](inference.md)操作的各种终端节点。

**推理操作**

Amazon Bedrock 支持以下两个主要端点，用于以编程方式执行推理：


| **Endpoint** | **支持的 API** | **描述** | 
| --- | --- | --- | 
| bedrock-mantle.{region}.api.aws | [响应 API](bedrock-mantle.md)/[聊天完成 API/[消息](inference-messages-api.md) API](inference-chat-completions-mantle.md) | Region-specific 终端节点，用于使用终 OpenAI-compatible 端节点和 Anthropic Messages API 对托管在 Amazon Bedrock 中的模型发出推理请求。 | 
| bedrock-runtime.{region}.amazonaws.com | [InvokeModel](inference-invoke.md)[/[Converse](conversation-inference.md)/[聊天完成/消息 AP](inference-chat-completions.md) I](inference-messages-api.md) | Region-specific 用于使用 API 对托管在 Amazon Bedrock 中的模型发出推理请求的 InvokeModel/Converse/Chat Completions/Messages 终端节点。在此处阅读有关 Amazon Bedrock 运行时 API 的[更多信息](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_Operations_Amazon_Bedrock_Runtime.html)。 | 

对于新应用程序，我们建议使用`bedrock-mantle`终端节点。它支持 OpenAI-compatible API（回复和聊天完成）和 Anthropic Messages API，包括内置工具使用和状态对话管理，并且允许您仅通过更改基本 URL 和 API 密钥将现有的 OpenAI SDK 代码库引入 Amazon Bedrock。`bedrock-runtime`终端节点仍然完全受支持，当你使用 Bedrock-native InvokeModel 或 Converse API 或者你想要的模型尚不可用时，端点是正确的选择。`bedrock-mantle`要查看每个模型支持哪个端点，请参阅[各型号的端点可用性](models-endpoint-availability.md)。

下表比较了每个端点上的可用内容。


**API 支持**  

| API | `bedrock-runtime` | `bedrock-mantle` | 
| --- | --- | --- | 
| [InvokeModel](inference-api.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | 
| [匡威/ ConverseStream](conversation-inference.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | 
| [聊天完成次数 () OpenAI-compatible](inference-chat-completions-mantle.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [响应 API (OpenAI-compatible)](bedrock-mantle.md#bedrock-mantle-responses) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [消息 API (Anthropic-native)](inference-messages-api.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 

**注意**  
Messages API 在两个端点上都可用，但这两个界面没有相同的功能支持。特别是，不支持[结构化输出](structured-output.md)（`output_config.format`参数），包括的`bedrock-mantle`请求会`output_config.format`被拒绝，错误为 400。要在 Anthropic Claude 模型中使用结构化输出，请调用 Converse 或 API InvokeModel 。`bedrock-runtime`


**推理能力**  

| 能力 | `bedrock-runtime` | `bedrock-mantle` | 
| --- | --- | --- | 
| [Cross-region 推理（地理和全球概况）](cross-region-inference.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | 
| [有状态的对话管理](bedrock-mantle.md#bedrock-mantle-responses-state) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [异步（长时间运行）推理](bedrock-mantle.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [Client-side 工具使用](tool-use-client-side.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [Server-side 工具使用](tool-use-server-side.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [Pre-configured 即用型工具](tool-use.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [Projects](projects.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [工作空间](workspaces.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 


**正常运行**  

| Item | `bedrock-runtime` | `bedrock-mantle` | 
| --- | --- | --- | 
| AWS [Sigv4 身份验证](https://docs.aws.amazon.com/AmazonS3/latest/API/sig-v4-authenticating-requests.html) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [Bedrock API 密钥（也适用于 OpenAI SDK）](api-keys.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [使用归因](cost-management.md) | [IAM](cost-mgmt-iam-principal-tracking.md)，[按请求添加元数据标记](cost-mgmt-request-metadata.md) | [项目](projects.md)、[工作空间](workspaces.md) | 


**基岩功能可用性**  

| 功能 | `bedrock-runtime` | `bedrock-mantle` | 
| --- | --- | --- | 
| [护栏](guardrails.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | 
| [提示缓存](prompt-caching.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [智能提示路由](prompt-routing.md) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | 

**注意**  
是否支持提示缓存`bedrock-mantle`取决于特定的型号，有关详细信息，请参阅下面的每个型号卡片。[模型一览](model-cards.md)

**吞吐量和配额方法**

每个端点使用不同的方法来管理吞吐量。
+ **`bedrock-runtime`**— 在许多传统的多租户服务中，该架构是围绕每个账户的配额设计的，以管理对共享资源的公平共享访问权限。这是与使用的方法`bedrock-runtime`。每个型号都有固定的吞吐量配额（RPM 和 TPM），您可以请求提高这些配额。有关更多信息，请参阅 [基底运行时端点的配额](quotas-runtime.md)。
+ **`bedrock-mantle`**— 此端点采用高级调度和工作队列机制架构，可实现公平分配，同时支持更高的初始吞吐量限制。这种设计还`bedrock-mantle`允许托管各种模型，并提供模型目录中可用的全部功能。在大多数情况下，请求会立即得到满足。在某些情况下，当运行中的工作负载完成且吞吐量可用时，请求可能会短暂排队。有关详细信息，请参阅 [基岩地幔端点的配额](quotas-mantle.md) 和 [扩展和吞吐量最佳实践](scaling-throughput-best-practices.md)。

**定价**

Per-token 相同型号的定价与`bedrock-runtime`和相同`bedrock-mantle`。根据所需的 API 和功能选择终端节点，而不是成本。有关当前定价，请参阅 [Amazon Bedrock 定价](https://aws.amazon.com/bedrock/pricing/)。

**何时选择每个端点**

从你想做的事情开始吧：`bedrock-mantle`
+ 使用响应 API、聊天完成 API 或消息 API 进行有状态的多回合对话。
+ 只需更改基本 URL 和 API 密钥，即可将现有 OpenAI SDK 代码引入 Amazon Bedrock。
+ 运行异步或长时间运行的推理工作负载。
+ 使用服务器端工具或预先配置的工具来构建代理工作流程。
+ 使用[项目 (OpenAI-compatible)](projects.md)或[工作空间 () Anthropic-compatible](workspaces.md)隔离工作负载并在应用程序级别跟踪成本和使用情况。

`bedrock-runtime`在你想做以下事情时使用：
+ 继续使用 Bedrock-native [InvokeModel](inference-api.md)或[匡威](conversation-inference.md) API。
+ 使用尚未上线的模型`bedrock-mantle`。请参阅[各型号的端点可用性](models-endpoint-availability.md)。

两个端点可以在同一个应用程序中一起使用——根据用例进行选择。

**使用 VPC 接口终端节点降低数据流出成本**  
如果您在 VPC 内调用 Amazon Bedrock，请考虑使用 [VPC 接口终端节点 (AWS PrivateLink)](vpc-interface-endpoints.md) 将流量保持在 AWS 网络内，避免与 NAT 网关或互联网网关相关的数据出站费用。