View a markdown version of this page

Observabilidad para bases de conocimiento gestionadas - Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Observabilidad para bases de conocimiento gestionadas

En el caso de una base de conocimientos gestionada, Amazon Bedrock publica las métricas operativas y los registros de ingesta en su AWS cuenta para que pueda supervisar el estado y el uso de la base de conocimientos. Las métricas de tiempo de ejecución le permiten realizar un seguimiento del volumen de solicitudes, los errores y la limitación de las operaciones de la API de su base de conocimientos, y los registros de ingesta le permiten realizar un seguimiento del estado de los documentos individuales durante un trabajo de ingesta de datos. En las siguientes secciones se describen los datos de observabilidad disponibles y cómo acceder a ellos.

Métricas de tiempo de ejecución para bases de conocimiento gestionadas

Amazon Bedrock publica las métricas de tiempo de ejecución de las operaciones de la API de su base de conocimientos CloudWatch en Amazon en el AWS/Bedrock/KnowledgeBases espacio de nombres. Utilice estas métricas para monitorizar el volumen de invocación, las tasas de error y la limitación de operaciones como: Retrieve Las métricas se publican en tu cuenta sin coste adicional y aparecen en la consola. CloudWatch

En la siguiente tabla se describen las métricas de tiempo de ejecución que Amazon Bedrock publica para las bases de conocimiento gestionadas.

Nombre de métrica Unidad Description (Descripción)
Invocations Recuento

Número de solicitudes a la operación de la base de conocimientos. Esta métrica se publica para todas las solicitudes, incluidas las que generan un error.

ClientErrors Recuento

Número de solicitudes que provocaron un error del lado del cliente (una 4xx respuesta HTTP distinta de la limitación).

ServerErrors Recuento

Número de solicitudes que provocaron un error del servidor (una respuesta HTTP). 5xx

Limitaciones Recuento

Número de solicitudes que se limitaron (una respuesta HTTP). 429 Las solicitudes restringidas no se cuentan como o. ClientErrors ServerErrors

Las Throttles métricas ClientErrorsServerErrors, y se publican solo cuando se produce la condición correspondiente. La Invocations métrica se publica para cada solicitud.

Métrica adicional para la AgenticRetrieveStream operación

Además de las métricas de la tabla anterior, la AgenticRetrieveStream operación publica la siguiente métrica.

Nombre de métrica Unidad Description (Descripción)
TotalIterationCount Recuento

El número total de iteraciones de recuperación del agente realizadas durante la solicitud. Esta métrica se publica solo para la AgenticRetrieveStream operación, cuando la solicitud se completa correctamente.

Esta métrica usa la Operation dimensión con un valor deAgenticRetrieveStream.

Dimensiones de las métricas de la base de conocimiento gestionada

Amazon Bedrock utiliza las siguientes dimensiones para las métricas de tiempo de ejecución de la base de conocimiento gestionada.

Dimensión Description (Descripción)
Operación

La operación de la API de la base de conocimientos para la que se publica la métrica. Los posibles valores son Retrieve y AgenticRetrieveStream.

KnowledgeBaseId

La base de conocimientos a la que se dirige la solicitud, en el formatoknowledge-base/knowledge-base-id. Esta dimensión se incluye para la Retrieve operación, que se dirige a una única base de conocimientos. Las operaciones que no se dirigen a una única base de conocimientos se publican únicamente con la Operation dimensión.

Permisos para publicar métricas

Amazon Bedrock publica estas métricas en su cuenta con las credenciales asociadas a la solicitud:

  • Para la Retrieve operación, Amazon Bedrock utiliza la función de servicio de base de conocimientos.

  • Para otras operaciones, Amazon Bedrock utiliza las credenciales de la identidad que realiza la llamada (el usuario o el rol de IAM que llama a la operación) mediante una sesión de acceso directo.

Para que las métricas se publiquen, se debe permitir que esa identidad utilice el AWS/Bedrock/KnowledgeBases espacio de cloudwatch:PutMetricData nombres. Adjunte una política que conceda este permiso al rol de servicio de la base de conocimientos y a cualquier identidad que llame a las operaciones de la base de conocimientos. En el siguiente ejemplo, se concede el permiso necesario.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "cloudwatch:PutMetricData", "Resource": "*", "Condition": { "StringEquals": { "cloudwatch:namespace": "AWS/Bedrock/KnowledgeBases" } } } ] }

La publicación métrica es el mejor esfuerzo. Si la identidad no tiene el permiso necesario, las métricas correspondientes no se publican, pero la propia solicitud de la base de conocimientos no se ve afectada.

Vea las métricas de tiempo de ejecución

Puede obtener métricas para su base de conocimientos con la Consola de administración de AWS AWS CLI, la o la CloudWatch API. Puede utilizar la CloudWatch API a través de uno de los kits de desarrollo de AWS software (SDK) o las herramientas de la CloudWatch API.

Para ver las métricas de la base de conocimientos gestionada en la CloudWatch consola, vaya a la sección de métricas del panel de navegación, seleccione la opción todas las métricas y, a continuación, busque el AWS/Bedrock/KnowledgeBases espacio de nombres.

Debe tener los CloudWatch permisos adecuados para supervisar su base de conocimientos. CloudWatch Para obtener más información, consulta Autenticación y control de acceso para Amazon CloudWatch en la Guía del CloudWatch usuario de Amazon.

Métricas de almacenamiento para bases de conocimiento gestionadas

Para una base de conocimientos gestionada, Amazon Bedrock publica una métrica de almacenamiento en Amazon CloudWatch en el espacio de AWS/Bedrock/KnowledgeBases nombres. Esta métrica indica el tamaño bruto total de los datos de origen almacenados en la base de conocimientos y se publica en su cuenta una vez que se completa un trabajo de ingesta de datos, de modo que puede realizar un seguimiento de la cantidad de datos almacenados en la base de conocimientos a lo largo del tiempo.

En la siguiente tabla se describe la métrica de almacenamiento que Amazon Bedrock publica para las bases de conocimiento gestionadas.

Nombre de métrica Unidad Description (Descripción)
RawDataSize Gigabytes

El tamaño bruto total de los datos de origen almacenados en la base de conocimientos, en gigabytes. Esta métrica se publica una vez que se completa un trabajo de ingesta de datos.

La métrica de almacenamiento usa la KnowledgeBaseId dimensión, en el formatoknowledge-base/knowledge-base-id.

Observabilidad de la ingestión para bases de conocimiento gestionadas

Amazon Bedrock emite registros que rastrean el progreso de un trabajo de ingesta de datos para su base de conocimientos gestionada, incluido el estado general del trabajo y el estado de cada documento que se procesa. Puede usar estos registros para confirmar qué documentos se ingirieron, investigar por qué un documento no se devolvió en los resultados de recuperación y solucionar errores de ingestión.

Los registros se envían a un destino que usted configure (CloudWatch Logs, Amazon S3 o Amazon Data Firehose). En las siguientes secciones se describe cómo habilitar la entrega de registros, el ciclo de vida de un documento durante la ingestión, los tipos de registro que se emiten y ejemplos de consultas.

Habilitar la entrega del registro de ingestión

Para recibir los registros de ingestión, configure una entrega de registros para su base de conocimientos mediante la API Consola de administración de AWS o la CloudWatch API. Puede enviar CloudWatch registros a Logs, Amazon S3 o Amazon Data Firehose.

Habilite la entrega de registros mediante la consola

  1. Abra su base de conocimientos: en la consola de Amazon Bedrock, abra la base de conocimientos gestionada que desee supervisar.

  2. Añadir una entrega de registros: edite la base de conocimientos para añadir una entrega de registros y configure los siguientes detalles:

    • El destino del registro (CloudWatch Logs, Amazon S3 o Amazon Data Firehose).

    • (CloudWatch Registros) El nombre del grupo de registros.

    • (Amazon S3) El nombre del bucket.

    • (Amazon Data Firehose) La transmisión de Firehose.

  3. Confirme el estado de la entrega: compruebe que el estado de entrega del registro sea Entrega activa en la consola.

Habilite la entrega de registros mediante la CloudWatch API

  1. Obtenga el ARN de su base de conocimientos: llame a la GetKnowledgeBaseAPI para obtener el nombre de recurso de Amazon (ARN) de la base de conocimientos. El ARN de una base de conocimiento tiene el siguiente formato:. arn:aws:bedrock:your-region:your-account-id:knowledge-base/knowledge-base-id

  2. Llamada PutDeliverySource: utilice la PutDeliverySourceAPI para crear una fuente de entrega para la base de conocimientos. Pase el ARN de la base de conocimientos como resourceArn y especifique APPLICATION_LOGS como. logType

    { "logType": "APPLICATION_LOGS", "name": "my-knowledge-base-delivery-source", "resourceArn": "arn:aws:bedrock:your-region:your-account-id:knowledge-base/knowledge_base_id" }
  3. Llamada PutDeliveryDestination: utilice la PutDeliveryDestinationAPI para configurar dónde se almacenan los registros. Especifique el ARN de un destino de CloudWatch Logs, Amazon S3 o Amazon Data Firehose. Puede outputFormat configurarlo enjson,, plain w3craw, o. parquet

    { "deliveryDestinationConfiguration": { "destinationResourceArn": "arn:aws:s3:::bucket-name" }, "name": "my-knowledge-base-delivery-destination", "outputFormat": "json" }

    Si vas a entregar los registros a una cuenta diferente, usa la PutDeliveryDestinationPolicy API para adjuntar una política AWS Identity and Access Management (IAM) a la cuenta de destino.

  4. Llamada CreateDelivery: usa la CreateDeliveryAPI para vincular la fuente de entrega con el destino de entrega.

    { "deliveryDestinationArn": "string", "deliverySourceName": "my-knowledge-base-delivery-source" }

Tipos de registro y permisos compatibles

Las bases de conocimiento gestionadas admiten los siguientes tipos de registro:

  • APPLICATION_LOGS: registros que rastrean el estado del trabajo de ingestión y de cada documento que se procesa durante el trabajo.

  • TRACES: Rastros distribuidos (intervalos) para las operaciones en tiempo de ejecución. Las trazas se emiten solo para la Retrieve operación y se envían a AWS X-Ray. Para obtener más información, consulte Observabilidad de trazas para bases de conocimiento gestionadas.

Para habilitar la entrega de registros, el usuario o rol debe tener el bedrock:AllowVendedLogDeliveryForResource permiso para usar el recurso de la base de conocimientos, además de los permisos necesarios para escribir en el destino que elija. Para ver, por ejemplo, las políticas de IAM para cada destino, consulta los permisos de los registros vendidos para distintos destinos de entrega en la Guía del usuario de Amazon CloudWatch Logs.

Documente el ciclo de vida durante la ingestión

Durante un trabajo de ingesta de datos, cada documento pasa por tres etapas y el registro del documento registra el estado de cada etapa:

  • Crawl (crawl_status): Amazon Bedrock recupera el documento de la fuente de datos y determina si se debe añadir, actualizar o eliminar. El crawl_action campo está establecido enADD, DELETE o. UNMODIFIED Un documento que sí lo UNMODIFIED está se omite en las etapas restantes.

  • Sync (sync_status): el documento se envía para su procesamiento en la base de conocimientos.

  • Índice (index_status): el documento está fragmentado, incrustado y conservado en la base de conocimientos. El chunk_statistics campo resume los fragmentos que se crearon o eliminaron.

El estado de cada etapa es SUCCESS o. FAILED El connector_document_status campo indica el estado consolidado del documento y solo se rellena cuando no se puede procesar un documento. error_message

Tipos de registro y ejemplos

Amazon Bedrock emite dos tipos de entradas de registro para un trabajo de ingestión de bases de conocimiento gestionadas, que se distinguen por el campo: event_type

  • StartIngestionJob.StatusChanged— registros a nivel de trabajo que registran el progreso general del trabajo de ingestión, por ejemplo, cuándo comienza y termina el rastreo. El message campo contiene un estado legible para las personas, por ejemplo, o. Crawling started Crawling completed

  • StartIngestionJob.ResourceStatusChanged— registros a nivel de documento que registran el estado de procesamiento de un documento individual.

El siguiente es un ejemplo de un registro de estado a nivel de trabajo.

{ "event_timestamp": 1718677300000, "event": { "ingestion_job_id": "<IngestionJobId>", "data_source_id": "<DataSourceId>", "knowledge_base_arn": "arn:aws:bedrock:<region>:<accountId>:knowledge-base/<KnowledgeBaseId>", "message": "Crawling started" }, "event_version": "1.0", "event_type": "StartIngestionJob.StatusChanged", "level": "INFO" }

El siguiente es un ejemplo de un registro a nivel de documento que registra el estado de procesamiento de un único documento.

{ "event_timestamp": 1718677342332, "event": { "ingestion_job_id": "<IngestionJobId>", "data_source_id": "<DataSourceId>", "knowledge_base_arn": "arn:aws:bedrock:<region>:<accountId>:knowledge-base/<KnowledgeBaseId>", "document_id": "<DocumentId>", "source_uri": "<SourceUri>", "content_type": "<ContentType>", "crawl_action": "ADD" | "DELETE" | "UNMODIFIED", "index_status": { "Status": "SUCCESS" | "FAILED", "UpdatedTime": "<epochMillis>" }, "crawl_status": { "Status": "SUCCESS" | "FAILED", "UpdatedTime": "<epochMillis>" }, "sync_status": { "Status": "SUCCESS" | "FAILED", "UpdatedTime": "<epochMillis>" }, "chunk_statistics": { "created": int, "deleted": int, "failed_to_create": int, "failed_to_delete": int }, "error_message": "<ErrorMessage>" }, "event_version": "1.0", "event_type": "StartIngestionJob.ResourceStatusChanged", "level": "INFO" | "ERROR" }

El error_message campo solo está presente cuando no se puede procesar un documento. El chunk_statistics campo resume los fragmentos que se crearon o eliminaron del documento.

Algunos registros a nivel de documento muestran un mensaje de estado del conector en lugar de los campos de estado que se muestran arriba. Estos registros incluyen un message campo con una descripción legible para las personas (por ejemplo, un mensaje que indica que un documento no se ha podido recuperar ni eliminar) y un campo level deINFO, o. WARN ERROR

Consultas de ejemplo

Si envías los CloudWatch registros a Logs, puedes usar CloudWatch Logs Insights para consultar los registros de ingestión para tu base de conocimientos. A continuación, se muestran algunas consultas habituales.

  • Enumere todos los documentos que no se pudieron procesar durante la ingestión, con sus mensajes de error.

    filter event.connector_document_status.Status = "FAILED" | fields event.document_id, event.source_uri, event.error_message, @timestamp | sort @timestamp desc

  • Busque todas las entradas de registro de un documento específico por su ubicación de origen.

    filter event.source_uri = "s3://<bucketName>/<objectKey>" | fields event.document_id, event.connector_document_status.Status, @timestamp | sort @timestamp desc

  • Enumere todos los documentos procesados por un trabajo de ingestión específico.

    filter event.ingestion_job_id = "<IngestionJobId>" | fields event.document_id, event.connector_document_status.Status, @timestamp | sort @timestamp desc

  • Vea el progreso general de un trabajo de ingestión, incluido el momento en que se inició y completó el rastreo.

    filter event_type = "StartIngestionJob.StatusChanged" | fields event.message, @timestamp | sort @timestamp asc

Observabilidad de trazas para bases de conocimiento gestionadas

Amazon Bedrock puede emitir trazas distribuidas (intervalos) para las operaciones en tiempo de ejecución de la base de conocimientos, de modo que pueda analizar la latencia de las solicitudes y los pasos internos de una solicitud. Las trazas se emiten únicamente para la Retrieve operación y se envían a. AWS X-Ray La entrega de trazas utiliza la misma canalización de entrega de registros vendidos que los registros de ingestión, con el tipo de TRACES registro y un destino de X-Ray entrega.

Habilite la entrega de trazas mediante la API CloudWatch

Para enviar las trazas a AWS X-Ray, usa la CloudWatch API para crear una entrega siguiendo estos pasos.

  1. Llamada PutDeliverySource: utilice la PutDeliverySourceAPI para crear una fuente de entrega para la base de conocimientos. Pase el ARN de la base de conocimientos como resourceArn y especifique TRACES como. logType

  2. Llamada PutDeliveryDestination: utilice la PutDeliveryDestinationAPI con un deliveryDestinationType deXRAY. X-Ray es un destino gestionado, por lo que no debe especificar undestinationResourceArn. Anote el ARN que se devuelve en la respuesta.

  3. Llamada CreateDelivery: utilice la CreateDeliveryAPI para vincular el nombre de la fuente de entrega al ARN de destino de la X-Ray entrega.

nota

Estas llamadas a la API son idempotentes. Si ya existe un recurso, puedes ignorar de forma segura una ConflictException o. ResourceAlreadyExistsException

Permisos para la entrega de trazas

Para habilitar la entrega de trazas, el usuario o rol debe tener el bedrock:AllowVendedLogDeliveryForResource permiso para el recurso de la base de conocimientos, además de los permisos necesarios para realizar la entrega a AWS X-Ray.

Ver las trazas

Tras activar la entrega de trazas, llame a la Retrieve operación para generar las trazas y, a continuación, visualícelas en la AWS X-Ray consola.

AgentCore observabilidad para bases de conocimiento gestionadas

Amazon Bedrock integra los datos de observabilidad de la base de conocimiento gestionada con la experiencia de observabilidad de Amazon Bedrock AgentCore, lo que le proporciona una vista consolidada de las métricas y los rastreos de la base de conocimientos junto con el resto de la telemetría. AgentCore

No se requiere ninguna configuración adicional para esta integración. Tras activar las métricas de tiempo de ejecución y la entrega de trazas, tal y como se describe en las secciones anteriores, la página de AgentCore observabilidad se rellena automáticamente con los datos de la base de conocimientos correspondientes. No es necesario realizar ninguna acción adicional.

nota

AgentCore la integración de la observabilidad solo está disponible para las bases de conocimiento gestionadas.

Atención al cliente y solución de problemas

Las bases de conocimiento gestionadas por Amazon Bedrock almacenan temporalmente las consultas de los clientes y los datos de recuperación asociados únicamente para proporcionar soporte de depuración en respuesta a los problemas notificados por los clientes. AWS no accede a estos datos a menos que el cliente dé su consentimiento explícito durante una contratación de soporte. Amazon Bedrock no utiliza estos datos para entrenar o mejorar los modelos subyacentes.