기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

애플리케이션에 자동 추론 검사 통합

가드레일에 자동 추론 정책을 배포한 후( 참조애플리케이션에 자동 추론 정책 배포) 런타임에 이를 사용하여 LLM 응답을 검증하고 피드백에 따라 조치를 취할 수 있습니다. 이 페이지에서는 검증 API를 호출하고, 결과를 프로그래밍 방식으로 해석하고, 잘못된 응답을 다시 작성하고, 명확한 질문을 하는 등의 일반적인 통합 패턴을 구현하는 방법을 설명합니다.

자동 추론 검사는 감지 모드에서만 작동하며 콘텐츠를 차단하는 대신 조사 결과와 피드백을 반환합니다. 애플리케이션은 응답을 제공하거나, 다시 작성하거나, 설명을 요청하거나, 기본 동작으로 돌아가는 등 조사 결과를 사용하여 수행할 작업을 결정할 책임이 있습니다.

자동 추론 검사로 콘텐츠를 평가하는 방법

자동 추론 검사는 제출하는 콘텐츠를 "if/then" 관계인 논리적 암시로 변환한 다음 정책 규칙에 대한 영향을 확인합니다. 변환은 두 가지 종류의 논리적 문을 생성합니다.

자동 추론 검사는 어떤 문이 온프레미스이고 어떤 문이 콘텐츠를 번역할 때 어떤 클레임인지 결정합니다. 분할은 입력 필드에서 직접 가져오지 않습니다. API를 통해 제어하는 것은 각 콘텐츠가 사용자 측 입력(질문 또는 명시된 조건) 또는 에이전트 측 입력(검증할 응답)으로 입력되는지 여부입니다. query 한정자는 콘텐츠를 사용자 측으로 표시하고, guardContent (또는 태그가 지정되지 않은 텍스트)groundingSource는 콘텐츠를 에이전트 측으로 표시하며, 자동 추론 검사에서 무시됩니다. 그런 다음 변환은 결합된 입력에서 온프레미스 및 클레임을 도출합니다.

콘텐츠에 태그를 지정해야 하는지 여부와 그 방법은 사용하는 API에 따라 달라집니다.

APIs 간의 주요 차이점

통합 개요

런타임 시 통합은 다음 흐름을 따릅니다.

User question ──► LLM generates response ──► Validate response
                                                      │
                                            ┌─────────┴─────────┐
                                            │                   │
                                          VALID              Not VALID
                                            │                   │
                                            ▼                   ▼
                                      Serve response     Inspect findings
                                      to user                  │
                                                      ┌────────┴────────┐
                                                      │                 │
                                                 OTHER FINDING     TRANSLATION_
                                                    TYPES       AMBIGUOUS / SATISFIABLE
                                                      │                 │
                                                      ▼                 ▼
                                                 Rewrite using    Ask user for
                                                 AR feedback      clarification
                                                      │                 │
                                                      ▼                 ▼
                                                 Validate again   Validate with
                                                                  clarified input
    

자동 추론 조사 결과는 Amazon Bedrock Guardrails 구성을 지원하는 모든 API를 통해 반환됩니다.

자동 추론 검사를 사용하여 ApplyGuardrail 호출

ApplyGuardrail는 사용자가 전달하는 모든 콘텐츠를 평가합니다. 태그 지정은 선택 사항입니다. 기본적으로 각 콘텐츠 블록은 에이전트 측(클레임) 콘텐츠로 취급되고 가장 간단한 통합 경로인 정책 규칙에 대해 검증됩니다. 자동 추론 검사에 추가 컨텍스트를 제공하려면 콘텐츠 블록qualifiers에를 설정하여 사용자 측(query) 입력으로 표시할 수 있습니다. Converse 및와 달리 InvokeModelApplyGuardrail는 모델 응답을 추가하지 않으므로 제출하는 콘텐츠에는 하나 이상의 클레임 블록이 포함되어야 합니다. 그렇지 않으면 요청이를 반환합니다ValidationException.

요청 구조

예:를 사용하여 LLM 응답 검증 AWS CLI

aws bedrock-runtime apply-guardrail \
  --guardrail-identifier "your-guardrail-id" \
  --guardrail-version "1" \
  --source OUTPUT \
  --content '[
    {
      "text": {
        "text": "User: Am I eligible for parental leave if I have been working here for 2 years full-time?\nAssistant: Yes, you are eligible for parental leave."
      }
    }
  ]'

예: Python(boto3)을 사용하여 LLM 응답 검증

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime", region_name="us-east-1")

response = bedrock_runtime.apply_guardrail(
    guardrailIdentifier="your-guardrail-id",
    guardrailVersion="1",
    source="OUTPUT",
    content=[
        {
            "text": {
                "text": (
                    "User: Am I eligible for parental leave if I have been "
                    "working here for 2 years full-time?\n"
                    "Assistant: Yes, you are eligible for parental leave."
                )
            }
        }
    ],
)

# The AR findings are in the assessments
for assessment in response.get("assessments", []):
    ar_assessment = assessment.get("automatedReasoningPolicy", {})
    findings = ar_assessment.get("findings", [])
    for finding in findings:
        # Each finding is a union — exactly one key is present
        # Possible keys: valid, invalid, satisfiable, impossible,
        #                translationAmbiguous, tooComplex, noTranslations
        print(json.dumps(finding, indent=2, default=str))

응답 구조

ApplyGuardrail 응답에는 assessments 배열이 포함됩니다. 각 평가에는 findings 배열이 있는 automatedReasoningPolicy 객체가 포함됩니다. 각 결과는 조합 유형입니다. 다음 키 중 정확히 하나가 있습니다.

각 결과 유형 및 해당 필드에 대한 자세한 설명은 섹션을 참조하세요결과 및 검증 결과.

자동 추론 확인으로 Converse 호출

자동 추론 검사는 Converse 요청에 하나 이상의 guardContent 블록이 포함된 경우에만 요청에 대해 실행됩니다. 일반만 보내는 요청은 자동 추론 검사를 실행하지 text 않습니다.

일반 텍스트만 해당(자동 추론 확인 건너뛰기)

Converse 요청이 일반 text 블록(guardContent블록 없음)만 사용하는 경우 가드레일 평가를 위해 텍스트에 태그가 지정되지 않으므로 자동 추론 검사에는 평가할 항목이 없으며 건너뜁니다.

{
  "messages": [{"role": "user", "content": [{"text": "Apply a 20% discount to my order"}]}]
}

이 요청은를 반환합니다automatedReasoningPolicyUnits: 0. 다른 가드레일 정책(콘텐츠, 주제, 단어 및 민감한 정보)은 여전히 콘텐츠를 평가하므로 자동 추론 확인만 건너뜁니다. 자동 추론 검사를 실행하려면 다음 섹션과 같이 guardContent 블록을 사용합니다.

guardContent 블록 사용

에서 자동 추론 검사를 실행하려면 평가하려는 콘텐츠를 guardContent 블록으로 Converse래핑하고 한정자를 설정합니다. 이는 사용자 측 콘텐츠와 에이전트 측 콘텐츠를 표시하는 방법입니다.

다음 표는 각 한정자가 자동 추론 검사를 위해 콘텐츠를 표시하는 방법을 보여줍니다.

한정자는 콘텐츠가 사용자 측인지 에이전트 측인지만 설정합니다. 자동 추론 검사는 결합된 입력을 번역할 때 실제 온프레미스 및 클레임을 도출합니다. 한정자가 지정되지 않은 블록의 기본값은 guard_content (에이전트 측)입니다. 한 블록에 여러 한정자를 지정할 수 있습니다. 우선 순위는 입니다guard_content > query > grounding_source.

예:를 사용하여 자동 추론 한정자로 Converse 호출 AWS CLI

aws bedrock-runtime converse \
  --model-id "model-id" \
  --guardrail-config '{
    "guardrailIdentifier": "your-guardrail-id",
    "guardrailVersion": "1",
    "trace": "enabled"
  }' \
  --messages '[
    {
      "role": "user",
      "content": [
        {
          "guardContent": {
            "text": {
              "text": "Apply a 20% discount to my order and confirm it is done.",
              "qualifiers": ["query"]
            }
          }
        }
      ]
    }
  ]'

자동 추론 검사가 실행되는 경우

다음 표에는 각 Converse 요청 셰이프에 대해 자동 추론 검사가 실행되는지 여부가 요약되어 있습니다. 모델이 실행되는 모든 경우에 모델의 응답은 에이전트 측(클레임) 블록으로 추가됩니다.

자동 추론 검사를 사용하여 InvokeModel 호출

작동 방식

InvokeModel 에서는 자동 추론 검사를 위해 다음 두 가지가 필요합니다.

XML 태그 형식은 다음과 같습니다.

<amazon-bedrock-guardrails-QUALIFIER_SUFFIX>text</amazon-bedrock-guardrails-QUALIFIER_SUFFIX>

위치:

자동 추론 검사를 위한 태그 역할

한정자는 태그가 지정된 텍스트가 사용자 측 입력인지 에이전트 측 입력인지만 설정합니다. 자동 추론 검사는 결합된 입력을 번역할 때 온프레미스와 클레임을 도출합니다. 사용자 프롬프트에 태그를 지정query하여 검사 컨텍스트를 제공합니다. 모델의 출력은 에이전트 측(클레임) 블록으로 자동으로 추가되므로 프롬프트에 query 단독으로 태그를 지정하는 것만으로도 검사를 실행할 수 있습니다.

다중 태그 우선 순위 및 중첩 규칙

단일 텍스트 세그먼트를 여러 중첩 태그 유형으로 래핑할 수 있습니다. 동일한 콘텐츠에 여러 태그가 적용되는 경우 우선 순위에 따라 자동 추론 역할이 결정됩니다guardContent > query > groundingSource. 콘텐츠에 guardContent 및 로 태그가 지정된 경우 클레임으로 query처리됩니다.

다음 중첩 규칙이 적용됩니다.

예:를 사용하여 자동 추론 태그로 InvokeModel 호출 AWS CLI

aws bedrock-runtime invoke-model \
  --model-id "model-id" \
  --guardrail-identifier "your-guardrail-id" \
  --guardrail-version "1" \
  --trace "ENABLED" \
  --cli-binary-format raw-in-base64-out \
  --body '{
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 256,
    "amazon-bedrock-guardrailConfig": {
      "tagSuffix": "arp"
    },
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "text",
            "text": "<amazon-bedrock-guardrails-query_arp>Apply a 20% discount to my order and confirm it is done.</amazon-bedrock-guardrails-query_arp>"
          }
        ]
      }
    ]
  }' \
  output.json

이 요청은 트레이스의 자동 추론 조사 결과와 automatedReasoningPolicyUnits: 1함께를 반환합니다.

기본 동작(태그 제외)

XML 태그가 없는 동일한 요청은 일반 텍스트를 사용합니다.

"text": "Apply a 20% discount to my order and confirm it is done."

이 요청은 automatedReasoningPolicyUnits: 0를 반환합니다. 자동 추론 검사가 실행되지 않았으며 오류가 발생하지 않습니다. 가드레일은 여전히 다른 정책(콘텐츠, 주제, 단어 및 민감한 정보)을 평가하지만 자동 추론 검사는 완전히 건너뜁니다.

런타임 시 자동 추론 조사 결과 해석

프로그래밍 방식으로 자동 추론 조사 결과에 대응하려면 애플리케이션에서 조사 결과 유형, 번역 세부 정보 및 지원 또는 모순되는 규칙을 추출해야 합니다. 다음 섹션에서는 결과의 각 부분을 구문 분석하는 방법을 설명합니다.

결과 유형 결정

각 결과는 하나의 조합입니다. 정확히 하나의 키가 있습니다. 어떤 키가 존재하는지 확인하여 결과 유형을 결정합니다.

def get_finding_type(finding):
    """Return the finding type and its data from an AR finding union."""
    for finding_type in [
        "valid", "invalid", "satisfiable", "impossible",
        "translationAmbiguous", "tooComplex", "noTranslations"
    ]:
        if finding_type in finding:
            return finding_type, finding[finding_type]
    return None, None

번역 읽기

대부분의 결과 유형에는 자동 추론 검사가 자연어 입력을 공식 로직으로 변환한 방법을 보여주는 translation 객체가 포함됩니다. 번역에는 다음이 포함됩니다.

untranslatedPremises 및 untranslatedClaims를 확인하여 검증 범위를 이해합니다. VALID 결과는 번역된 클레임만 다루며 번역되지 않은 콘텐츠는 확인되지 않습니다.

지원 또는 모순 규칙 읽기

결과 유형에 따라 결과에 결과를 설명하는 규칙이 포함됩니다.

이러한 규칙 및 시나리오는에 설명된 재작성 패턴의 주요 입력입니다AR 피드백을 사용하여 잘못된 응답 다시 쓰기.

집계 결과 확인

단일 검증 요청은 여러 결과를 반환할 수 있습니다. 전체 결과를 확인하려면 조사 결과를 심각도별로 정렬하고 최악의 결과를 선택합니다. 최악의 심각도부터 최상의 심각도 순서는 translationAmbiguous, impossible, invalid, satisfiable, 입니다valid.

SEVERITY_ORDER = {
    "tooComplex": 0,
    "translationAmbiguous": 0,
    "impossible": 1,
    "invalid": 2,
    "satisfiable": 3,
    "valid": 4,
    "noTranslations": 5, 
}

def get_aggregate_result(findings):
    """Return the worst finding type from a list of findings."""
    worst = None
    worst_severity = float("inf")
    for finding in findings:
        finding_type, _ = get_finding_type(finding)
        severity = SEVERITY_ORDER.get(finding_type, 0)
        if severity < worst_severity:
            worst_severity = severity
            worst = finding_type
    return worst

애플리케이션에서 검증 결과 처리

집계 결과를 사용하여 애플리케이션이 다음에 수행할 작업을 결정합니다. 다음 표에는 각 결과 유형에 대한 권장 작업이 요약되어 있습니다.

AR 피드백을 사용하여 잘못된 응답 다시 쓰기

자동 추론 검사의 가장 강력한 통합 패턴은 재작성 루프입니다. 응답이 invalid 또는 인 경우 satisfiable애플리케이션은 원래 응답, 특정 결과 및 정책 규칙을 포함하는 프롬프트를 구성한 다음 LLM에 정책과 일치하도록 응답을 다시 작성하도록 요청합니다. 다시 작성된 응답이 다시 검증되고 응답이 valid되거나 최대 반복 횟수에 도달할 때까지 루프가 계속됩니다.

루프 흐름 재작성

LLM generates initial response
         │
         ▼
Validate with ApplyGuardrail ◄──────────────────┐
         │                                       │
         ▼                                       │
   ┌─────┴─────┐                                 │
   │           │                                 │
 VALID     Not VALID                             │
   │           │                                 │
   ▼           ▼                                 │
 Done    Construct rewriting prompt              │
         with findings + rules                   │
              │                                  │
              ▼                                  │
         LLM rewrites response                   │
              │                                  │
              ▼                                  │
         Max iterations? ──── No ────────────────┘
              │
             Yes
              │
              ▼
         Return best response
         with warning
      

재작성 프롬프트 구성

재작성 프롬프트에는 AR 조사 결과의 세 가지 정보가 포함되어야 합니다.

프롬프트 템플릿 재작성 예제:

The following response was checked against our policy and found to be
{finding_type}.

Original response:
{original_response}

The validation found the following issue:
- Premises (what was understood from the input): {premises}
- Claims (what was asserted): {claims}
- Contradicting rules: {contradicting_rules}

Please rewrite the response so that it is consistent with the policy document. 
Keep the same helpful tone and answer the user's question
accurately based on the rules. If you cannot provide an accurate answer
without more information, explain what additional information is needed.

모범 사례 재작성

명확한 질문하기

자동 추론 검사에서 translationAmbiguous, satisfiable또는 impossible 결과가 반환되면 LLM에 응답을 정확하게 다시 쓸 수 있는 충분한 정보가 없을 수 있습니다. 이러한 경우 애플리케이션은 사용자에게 설명을 요청한 다음 다음 검증 시도에 답변을 통합할 수 있습니다.

설명을 요청해야 하는 경우

설명 패턴

설명 흐름은 다음과 같이 작동합니다.

예: satisfiable 결과에서 명확한 질문 생성

def generate_clarifying_questions(finding_data, user_question):
    """Ask the LLM to generate clarifying questions from a SATISFIABLE finding."""
    claims_true = json.dumps(
        finding_data.get("claimsTrueScenario", {}), indent=2, default=str
    )
    claims_false = json.dumps(
        finding_data.get("claimsFalseScenario", {}), indent=2, default=str
    )

    prompt = (
        f"A user asked: {user_question}\n\n"
        f"The answer is correct when these conditions hold:\n{claims_true}\n\n"
        f"But incorrect when these conditions hold:\n{claims_false}\n\n"
        f"Generate 1-3 short, specific questions to ask the user to determine "
        f"which conditions apply to their situation. Format each question on "
        f"its own line."
    )

    return generate_response(prompt, "You are a helpful assistant.")

오픈 소스 챗봇 재작성 샘플

이 페이지에 설명된 패턴을 프로덕션 방식으로 완벽하게 구현하려면 GitHub에서 챗봇을 재작성하는 자동 추론 검사를 참조하세요. 이 샘플 애플리케이션은 다음을 보여줍니다.

이 샘플은 React 프런트엔드가 있는 Python/Flask 백엔드를 사용하고 LLM 추론을 위해 Amazon Bedrock과 통신하고 ApplyGuardrail API를 통해 검증을 위해 Amazon Bedrock 가드레일과 통신합니다.

감사 추적 구축

자동 추론 조사 결과는 수학적으로 검증 가능한 유효성 증명을 제공합니다. 규제 대상 산업 및 규정 준수 시나리오의 경우이 증명은 주요 차별화 요소입니다. 패턴 일치 또는 확률적 평가뿐만 아니라 특정 변수 할당이 있는 특정 정책 규칙에 대해 AI 응답이 검증되었음을 입증할 수 있습니다.

효과적인 감사 추적을 구축하려면 각 검증 요청에 대해 다음 정보를 기록합니다.

예: 감사 로그 항목 구조

{
  "timestamp": "2025-07-21T14:30:00Z",
  "request_id": "req-abc123",
  "guardrail_id": "your-guardrail-id",
  "guardrail_version": "1",
  "user_question": "Am I eligible for parental leave?",
  "llm_response": "Yes, you are eligible for parental leave.",
  "validation_result": "valid",
  "findings": [
    {
      "type": "valid",
      "premises": "isFullTime = true, tenureMonths = 24",
      "claims": "eligibleForParentalLeave = true",
      "supporting_rules": ["A1B2C3D4E5F6"]
    }
  ],
  "action_taken": "served_response",
  "rewrite_iterations": 0
}