Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verschlüsseln von Daten während der Übertragung
AWS bietet Transport Layer Security (TLS) -Verschlüsselung für Daten in Bewegung. Sie können Verschlüsselungseinstellungen für Crawler, ETL-Aufträge und Entwicklungsendpunkte mithilfe von Sicherheitskonfigurationen in AWS Glue konfigurieren. Sie können die AWS Glue Data Catalog Verschlüsselung über die Einstellungen für den Datenkatalog aktivieren.
Seit dem 4. September 2018 wird AWS Glue ETL unterstützt AWS KMS (bringen Sie Ihren eigenen Schlüssel und serverseitige Verschlüsselung mit). AWS Glue Data Catalog
Spark Connect-Verschlüsselung bei der Übertragung
Wenn Sie Spark Connect mit AWS Glue interaktiven Sitzungen verwenden, wird die gesamte Kommunikation zwischen Ihrer Client-Anwendung und dem Spark Connect-Endpunkt mit TLS 1.3 verschlüsselt. Der Spark Connect-Datenpfad verwendet gRPC über HTTP/2, und der gesamte Datenverkehr wird über die folgenden Hops hinweg Ende-zu-Ende verschlüsselt:
-
Client zu Endpunkt — Ihr Spark Connect-Client (pyspark oder spark-connect-go) stellt über gRPC () eine Verbindung zum Sitzungsendpunkt her. TLS-encrypted HTTP/2 Der Endpunkt beendet TLS mithilfe eines Application Load Balancer mit einer TLS 1.3-Sicherheitsrichtlinie.
-
Proxy zur Berechnung — Interner Verkehr zwischen dem Reverse-Proxy und dem Spark Connect-Server, der auf dem Session Worker läuft, wird mit TLS über eine Transit-Gateway-Verbindung verschlüsselt.
Spark Connect-Sitzungen verwenden kurzlebige Bearer-Token für die Anforderungsauthentifizierung. Diese Token werden AES-256-GCM mit AWS KMS Datenschlüsseln verschlüsselt und haben eine Gültigkeitsdauer von 5 Minuten. Tokens werden von der GetSessionEndpoint API zurückgegeben und müssen in jeder gRPC-Anfrage an den Spark Connect-Endpunkt enthalten sein.
Kundendaten (Spark-Abfragen und -Ergebnisse) fließen während der Übertragung nur durch die Proxykette und werden nicht von der Proxy-Infrastruktur gespeichert. DataFrames At-restDie Speicherung von Sitzungsdaten auf Worker-Volumes verwendet die standardmäßige Amazon EBS-Verschlüsselung.