기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

여러 테이블의 데이터를 조인하여 하나의 문서로 수집

RDS 소스 플러그인의 joins 구성을 사용하면 정규화된 관계형 테이블을 단일 OpenSearch 문서로 자동 비정규화할 수 있습니다. 구성되면 파이프라인은 여러 관련 테이블에서 변경 데이터 캡처(CDC) 이벤트를 읽고 Painless 스크립트 기반 업서트를 사용하여 상위 문서에 병합합니다.

이 주제에서는 조인 유형, 사전 조건, 구성 구문, 버전 추적 및 일반적인 문제 해결을 포함하여 Aurora 및 Amazon RDS 수집 파이프라인에서 테이블 조인을 구성하는 방법을 설명합니다.

사전 조건

지원되는 조인 패턴

구성의 예

다음 YAML 구성은 Aurora 소스 플러그인에 대한 상위-하위 테이블 관계를 정의하는 방법을 보여줍니다. 이 예제에서는 서로 다른 조인 유형을 사용하는 두 개의 하위 테이블로 상위 테이블을 구성합니다.

version: "2"
aurora-joins-pipeline:
  source:
    rds:
      db_identifier: "my-aurora-cluster"
      engine: "aurora-mysql"
      database: "my_database"
      tables:
        include:
          - "parent_table"
          - "child_table_1"
          - "child_table_2"
      s3_bucket: "my-pipeline-bucket"
      s3_region: "us-east-1"
      s3_prefix: "rds-export"
      export:
        kms_key_id: "my-kms-key-id"
        iam_role_arn: "arn:aws:iam::123456789012:role/my-export-role"
      stream: true
      aws:
        sts_role_arn: "arn:aws:iam::123456789012:role/my-pipeline-role"
        region: "us-east-1"
      authentication:
        username: ${{aws_secrets:secret:username}}
        password: ${{aws_secrets:secret:password}}
      joins:
        version_field: "__versions"
        relations:
          - parent: "parent_table"
            child: "child_table_1"
            parent_key: "id"
            child_key: "parent_id"
            child_primary_key: "child_id"
            join_type: "one_to_many"
            max_child_records: 100
          - parent: "parent_table"
            child: "child_table_2"
            parent_key: "id"
            child_key: "parent_id"
            child_primary_key: "child_id"
            join_type: "one_to_one"
  sink:
    - opensearch:
        hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
        index: "my-joined-index"
        document_id: "${getMetadata(\"primary_key\")}"
        action: "${getMetadata(\"opensearch_action\")}"
        aws:
          sts_role_arn: "arn:aws:iam::123456789012:role/my-pipeline-role"
          region: "us-east-1"
extension:
  aws:
    secrets:
      secret:
        secret_id: "arn:aws:secretsmanager:us-east-1:123456789012:secret:my-db-secret"
        region: "us-east-1"
        sts_role_arn: "arn:aws:iam::123456789012:role/my-pipeline-role"
        refresh_interval: PT1H

조인 유형

문서 구조

제한 사항

문제 해결