Criptografia de dados em trânsito
AWS fornece criptografia Transport Layer Security (TLS) para dados em movimento. Você pode definir as configurações de criptografia para crawlers, trabalhos de ETL e endpoints de desenvolvimento usando configurações de segurança no AWS Glue. É possível ativar a criptografia do AWS Glue Data Catalog por meio das configurações do Data Catalog.
Desde 4 de setembro de 2018, foi adicionado suporte ao AWS KMS (trazer sua própria chave e criptografia no lado do servidor) para o AWS Glue ETL e o AWS Glue Data Catalog.
Criptografia em trânsito do Spark Connect
Quando você usa o Spark Connect com sessões interativas do AWS Glue, toda a comunicação entre sua aplicação cliente e o endpoint do Spark Connect é criptografada usando o TLS 1.3. O caminho de dados do Spark Connect usa gRPC sobre HTTP/2 e todo o tráfego é criptografado de ponta a ponta nos seguintes saltos:
-
Cliente para endpoint: o cliente do Spark Connect (pyspark ou spark-connect-go) se conecta ao endpoint da sessão por meio de gRPC criptografado por TLS (HTTP/2). O endpoint encerra o TLS usando um Application Load Balancer com uma política de segurança TLS 1.3.
-
Proxy para computação: o tráfego interno entre o proxy reverso e o servidor Spark Connect executado no operador da sessão é criptografado usando TLS por meio de uma conexão de gateway de trânsito.
As sessões do Spark Connect usam tokens portadores de curta duração para a autenticação de solicitações. Esses tokens são criptografados usando o AES-256-GCM com chaves de dados AWS KMS e têm uma vida útil de 5 minutos. Os tokens retornam por meio da API GetSessionEndpoint e devem ser incluídos em cada solicitação gRPC ao endpoint do Spark Connect.
Os dados do cliente (consultas do Spark, DataFrames e resultados) fluem em trânsito somente pela cadeia de proxy e não são persistidos pela infraestrutura de proxy. O armazenamento em repouso dos dados da sessão nos volumes do operador usa a criptografia padrão do Amazon EBS.