View a markdown version of this page

加密傳輸中的資料 - AWS Glue
傳輸中的 Spark Connect 加密

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

加密傳輸中的資料

AWS 為移動中的資料提供 Transport Layer Security (TLS) 加密。您可以使用AWS Glue 中的安全組態設定爬蟲程式、ETL 任務和開發端點的加密設定。您可以透過 Data Catalog 的設定開啟 AWS Glue Data Catalog 加密。

自 2018 年 9 月 4 日起， AWS Glue Data Catalog 支援 AWS Glue ETL 和 的 AWS KMS (使用您自己的金鑰和伺服器端加密)。

傳輸中的 Spark Connect 加密

當您搭配AWS Glue互動式工作階段使用 Spark Connect 時，用戶端應用程式和 Spark Connect 端點之間的所有通訊都會使用 TLS 1.3 加密。Spark Connect 資料路徑透過 HTTP/2 使用 gRPC，且所有流量都會透過下列躍點end-to-end加密：

  • 用戶端到端點 – Spark Connect 用戶端 (pyspark 或 spark-connect-go) 透過 TLS 加密的 gRPC (HTTP/2) 連線至工作階段端點。端點使用 Application Load Balancer 搭配 TLS 1.3 安全政策來終止 TLS。

  • 運算的代理 – 反向代理與在工作階段工作者上執行的 Spark Connect 伺服器之間的內部流量，會透過傳輸閘道連線使用 TLS 加密。

Spark Connect 工作階段使用短期承載字符進行請求身分驗證。這些字符使用 AES-256-GCM 與 AWS KMS 資料金鑰加密，並有 5 分鐘time-to-live。權杖由 GetSessionEndpoint API 傳回，且必須包含在每個 Spark Connect 端點的 gRPC 請求中。

客戶資料 (Spark 查詢、DataFrames 和結果） 只會透過代理鏈進行傳輸，而不會由代理基礎設施保留。在工作者磁碟區上靜態儲存工作階段資料會使用預設的 Amazon EBS 加密。