Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Apache-Airflow-Zugriffsmodi
Die Amazon Managed Workflows for Apache Airflow Airflow-Konsole enthält integrierte Optionen zur Konfiguration von privatem, öffentlichem oder sowohl öffentlichem als auch privatem Routing zum Apache Airflow Airflow-Webserver in Ihrer Umgebung. Dieses Handbuch beschreibt die Zugriffsmodi, die für den Apache Airflow Airflow-Webserver in Ihrer Amazon Managed Workflows for Apache Airflow Airflow-Umgebung verfügbar sind, und die zusätzlichen Ressourcen, die Sie in Ihrer Amazon VPC konfigurieren müssen, wenn Sie die private Netzwerkoption wählen.
Inhalt
Apache-Airflow-Zugriffsmodi
Sie können privates, öffentliches oder sowohl öffentliches als auch privates Routing für Ihren Apache Airflow Airflow-Webserver wählen. Um privates Routing zu aktivieren, wählen Sie Privates Netzwerk aus. Dadurch wird der Benutzerzugriff auf einen Apache Airflow Airflow-Webserver innerhalb einer Amazon VPC eingeschränkt. Um öffentliches Routing zu aktivieren, wählen Sie Öffentliches Netzwerk aus. Damit können Benutzer über das Internet auf den Apache-Airflow-Webserver zugreifen. Um sowohl öffentliches als auch privates Routing zu aktivieren, wählen Sie Sowohl öffentlicher als auch privater Netzwerkzugriff. Auf diese Weise können Benutzer über das Internet auf den Apache Airflow Airflow-Webserver zugreifen, während Mitarbeiter über einen privaten VPC-Endpunkt mit dem Webserver kommunizieren.
Öffentliches Netzwerk
Das folgende Architekturdiagramm zeigt eine Amazon MWAA-Umgebung mit einem öffentlichen Webserver.
Im öffentlichen Netzwerkzugriffsmodus können Benutzer, denen Zugriff auf die IAM-Richtlinie für Ihre Umgebung gewährt wurde, über das Internet auf die Apache Airflow Airflow-Benutzeroberfläche zugreifen.
Wichtig
Wenn in Ihrer Umgebung Apache Airflow Version 3 oder höher mit dem öffentlichen Netzwerkzugriffsmodus verwendet wird, müssen Mitarbeiter in der Lage sein, den Webserver über das Internet zu erreichen, um den Aufgabenstatus zu kommunizieren. Wenn die Subnetze, die Ihre Mitarbeiter hosten, keinen Internetzugang haben (z. B. private Subnetze ohne NAT-Gateway), schlagen die DAG-Aufgaben fehl. Um dieses Problem zu beheben, führen Sie ein Upgrade auf Apache Airflow Version 3.2.1 oder höher durch und wechseln Sie zum öffentlichen und privaten Netzwerkzugriffsmodus, der die Kommunikation der Mitarbeiter über einen privaten VPC-Endpunkt weiterleitet.
Die folgende Abbildung zeigt, wo Sie die Option Öffentliches Netzwerk auf der Amazon MWAA-Konsole finden.
Privates Netzwerk
Das folgende Architekturdiagramm zeigt eine Amazon MWAA-Umgebung mit einem privaten Webserver.
Der private Netzwerkzugriffsmodus beschränkt den Zugriff auf die Apache Airflow Airflow-Benutzeroberfläche auf Benutzer in Ihrer Amazon VPC, denen Zugriff auf die IAM-Richtlinie für Ihre Umgebung gewährt wurde.
Wenn Sie eine Umgebung mit privatem Webserverzugriff erstellen, müssen Sie alle Ihre Abhängigkeiten in ein Python-Radarchiv (.whl) packen und dann auf das .whl in Ihrem requirements.txt verweisen. Anweisungen zum Paketieren und Installieren Ihrer Abhängigkeiten mit Wheel finden Sie unter Abhängigkeiten mit Python Wheel verwalten.
Die folgende Abbildung zeigt, wo Sie die Option Privates Netzwerk auf der Amazon MWAA-Konsole finden.
Sowohl öffentlicher als auch privater Netzwerkzugriff
Verfügbar für Apache Airflow Version 3.2.1 und höher. In Apache Airflow Version 3 und höher teilen Worker dem Webserver den Aufgabenstatus über die Task-API mit. Wenn Ihre Amazon VPC keinen Internetzugang hat, können Mitarbeiter keinen öffentlichen Webserver erreichen, sodass DAG-Aufgaben fehlschlagen. In diesem Modus wird sowohl ein öffentlicher Netzwerk-Loadbalancer für den Browserzugriff auf die Apache Airflow Airflow-Benutzeroberfläche als auch ein privater VPC-Endpunkt für die Kommunikation zwischen Mitarbeitern und Webservern erstellt, sodass Mitarbeiter den Webserver ohne Internetzugang erreichen können. Sehen Sie sich für jede Komponente die obigen Diagramme zur Architektur öffentlicher Netzwerke und privater Netzwerke an.
Anmerkung
In diesem Modus erfolgt der Browserzugriff auf die Apache Airflow Airflow-Benutzeroberfläche über die öffentliche URL. Der private VPC-Endpunkt wird von Mitarbeitern für die interne Kommunikation verwendet und ist nicht für den Browserzugriff vorgesehen.
Übersicht über die Zugriffsmodi
In diesem Abschnitt werden die VPC-Endpunkte (AWS PrivateLink) beschrieben, die in Ihrer Amazon VPC erstellt wurden, wenn Sie den Zugriffsmodus Öffentliches Netzwerk, Privates Netzwerk oder Sowohl öffentliches als auch privates Netzwerk wählen.
Öffentlicher Netzwerkzugriffsmodus
Wenn Sie den Modus Öffentlicher Netzwerkzugriff für Ihren Apache Airflow Airflow-Webserver gewählt haben, wird der Netzwerkverkehr öffentlich über das Internet geleitet.
-
Amazon MWAA erstellt einen VPC-Schnittstellenendpunkt für Ihre Amazon Aurora PostgreSQL-Metadatendatenbank. Der Endpunkt wird in den Availability Zones erstellt, die Ihren privaten Subnetzen zugeordnet sind, und ist unabhängig von anderen. AWS-Konten
-
Amazon MWAA bindet dann eine IP-Adresse aus Ihren privaten Subnetzen an die Schnittstellenendpunkte. Dies soll die bewährte Methode unterstützen, eine einzelne IP aus jeder Availability Zone der Amazon VPC zu binden.
Privater Netzwerkzugriffsmodus
Wenn Sie den privaten Netzwerkzugriffsmodus für Ihren Apache Airflow Airflow-Webserver gewählt haben, wird der Netzwerkverkehr innerhalb Ihrer Amazon VPC privat weitergeleitet.
-
Amazon MWAA erstellt einen VPC-Schnittstellenendpunkt für Ihren Apache Airflow Airflow-Webserver und einen Schnittstellenendpunkt für Ihre Amazon Aurora PostgreSQL-Metadatendatenbank. Die Endpunkte werden in den Availability Zones erstellt, die Ihren privaten Subnetzen zugeordnet sind, und sind unabhängig von anderen. AWS-Konten
-
Amazon MWAA bindet dann eine IP-Adresse aus Ihren privaten Subnetzen an die Schnittstellenendpunkte. Dies soll die bewährte Methode unterstützen, eine einzelne IP aus jeder Availability Zone der Amazon VPC zu binden.
Sowohl öffentlicher als auch privater Netzwerkzugriffsmodus
Wenn Sie den Modus Sowohl öffentlicher als auch privater Netzwerkzugriff für Ihren Apache Airflow Airflow-Webserver wählen, wird der Netzwerkverkehr zur Apache Airflow Airflow-Benutzeroberfläche öffentlich über das Internet geleitet, während die Kommunikation zwischen Mitarbeitern und Webservern privat innerhalb Ihrer Amazon VPC weitergeleitet wird.
-
Amazon MWAA erstellt einen VPC-Schnittstellenendpunkt für Ihren Apache Airflow Airflow-Webserver (für Worker-Konnektivität) und einen Schnittstellenendpunkt für Ihre Amazon Aurora PostgreSQL-Metadatendatenbank. Die Endpunkte werden in den Availability Zones erstellt, die Ihren privaten Subnetzen zugeordnet sind, und sind unabhängig von anderen. AWS-Konten
-
Amazon MWAA bindet dann eine IP-Adresse aus Ihren privaten Subnetzen an die Schnittstellenendpunkte. Dies soll die bewährte Methode unterstützen, eine einzelne IP aus jeder Availability Zone der Amazon VPC zu binden.
-
Auf die Apache Airflow Airflow-Benutzeroberfläche kann über das Internet über einen öffentlichen Netzwerk-Loadbalancer zugegriffen werden. Benutzer greifen auf die Benutzeroberfläche auf die gleiche Weise zu wie im Modus „Öffentlicher Netzwerkzugriff“.
Weitere Informationen finden Sie unterBeispielanwendungsfälle für eine Amazon VPC und den Apache Airflow Airflow-Zugriffsmodus.
Einrichtung der Zugriffsmodi
Im folgenden Abschnitt werden die zusätzlichen Einstellungen und Konfigurationen beschrieben, die Sie auf der Grundlage des Apache Airflow Airflow-Zugriffsmodus benötigen, den Sie für Ihre Umgebung ausgewählt haben.
Einrichtung für ein öffentliches Netzwerk
Wenn Sie die Option Öffentliches Netzwerk für Ihren Apache Airflow Airflow-Webserver wählen, können Sie die Apache Airflow Airflow-Benutzeroberfläche verwenden, nachdem Sie Ihre Umgebung erstellt haben.
Sie müssen die folgenden Schritte ausführen, um den Zugriff für Ihre Benutzer und die Erlaubnis für Ihre Umgebung zur Nutzung anderer Dienste zu konfigurieren. AWS
-
Fügen Sie Berechtigungen hinzu. Amazon MWAA benötigt eine Genehmigung zur Nutzung anderer AWS Dienste. Wenn Sie eine Umgebung erstellen, erstellt Amazon MWAA eine serviceverknüpfte Rolle, die es ihr ermöglicht, bestimmte IAM-Aktionen für Amazon Elastic Container Registry (Amazon ECR), CloudWatch Logs und Amazon EC2 zu verwenden.
Sie können die Erlaubnis zur Verwendung zusätzlicher Aktionen für diese Services oder zur Nutzung anderer AWS Services hinzufügen, indem Sie Ihrer Ausführungsrolle Berechtigungen hinzufügen. Weitere Informationen finden Sie unterAmazon MWAA-Ausführungsrolle.
-
Erstellen Sie Benutzerrichtlinien. Möglicherweise müssen Sie mehrere IAM-Richtlinien für Ihre Benutzer erstellen, um den Zugriff auf Ihre Umgebung und die Apache Airflow Airflow-Benutzeroberfläche zu konfigurieren. Weitere Informationen finden Sie unter. Zugreifen auf eine Amazon MWAA-Umgebung
Einrichtung für ein privates Netzwerk
Wenn Sie die Option Privates Netzwerk für Ihren Apache Airflow Airflow-Webserver wählen, müssen Sie den Zugriff für Ihre Benutzer und die Erlaubnis für Ihre Umgebung zur Nutzung anderer AWS Dienste konfigurieren und einen Mechanismus für den Zugriff auf die Ressourcen in Ihrer Amazon VPC von Ihrem Computer aus einrichten.
-
Fügen Sie Berechtigungen hinzu. Amazon MWAA benötigt eine Genehmigung zur Nutzung anderer AWS Dienste. Wenn Sie eine Umgebung erstellen, erstellt Amazon MWAA eine serviceverknüpfte Rolle, die es ihr ermöglicht, bestimmte IAM-Aktionen für Amazon Elastic Container Registry (Amazon ECR), CloudWatch Logs und Amazon EC2 zu verwenden.
Sie können die Erlaubnis zur Verwendung zusätzlicher Aktionen für diese Services oder zur Nutzung anderer AWS Services hinzufügen, indem Sie Ihrer Ausführungsrolle Berechtigungen hinzufügen. Weitere Informationen finden Sie unterAmazon MWAA-Ausführungsrolle.
-
Erstellen Sie Benutzerrichtlinien. Möglicherweise müssen Sie mehrere IAM-Richtlinien für Ihre Benutzer erstellen, um den Zugriff auf Ihre Umgebung und die Apache Airflow Airflow-Benutzeroberfläche zu konfigurieren. Weitere Informationen finden Sie unter. Zugreifen auf eine Amazon MWAA-Umgebung
-
Netzwerkzugriff aktivieren. Sie müssen in Ihrer Amazon VPC einen Mechanismus erstellen, um eine Verbindung zum VPC-Endpunkt (AWS PrivateLink) für Ihren Apache Airflow Airflow-Webserver herzustellen. Zum Beispiel, indem Sie mit einem einen VPN-Tunnel von Ihrem Computer aus erstellen. AWS Client VPN
Einrichtung sowohl für den öffentlichen als auch für den privaten Netzwerkzugriff
Wenn Sie die Option Sowohl öffentlicher als auch privater Netzwerkzugriff für Ihren Apache Airflow Airflow-Webserver wählen, können Sie nach dem Erstellen Ihrer Umgebung mit der Verwendung der Apache Airflow Airflow-Benutzeroberfläche beginnen. Für den Browserzugriff ist kein VPN- oder VPC-Endpunktzugriffsmechanismus erforderlich. Die Apache Airflow Airflow-Benutzeroberfläche ist über das Internet zugänglich. Die Mitarbeiter stellen über den privaten VPC-Endpunkt automatisch eine Verbindung zum Webserver her.
Sie müssen die folgenden Schritte ausführen, um den Zugriff für Ihre Benutzer und die Erlaubnis für Ihre Umgebung zur Nutzung anderer AWS Dienste zu konfigurieren.
-
Fügen Sie Berechtigungen hinzu. Amazon MWAA benötigt eine Genehmigung zur Nutzung anderer AWS Dienste. Wenn Sie eine Umgebung erstellen, erstellt Amazon MWAA eine serviceverknüpfte Rolle, die es ihr ermöglicht, bestimmte IAM-Aktionen für Amazon Elastic Container Registry (Amazon ECR), CloudWatch Logs und Amazon EC2 zu verwenden.
Sie können die Erlaubnis zur Verwendung zusätzlicher Aktionen für diese Services oder zur Nutzung anderer AWS Services hinzufügen, indem Sie Ihrer Ausführungsrolle Berechtigungen hinzufügen. Weitere Informationen finden Sie unterAmazon MWAA-Ausführungsrolle.
-
Erstellen Sie Benutzerrichtlinien. Möglicherweise müssen Sie mehrere IAM-Richtlinien für Ihre Benutzer erstellen, um den Zugriff auf Ihre Umgebung und die Apache Airflow Airflow-Benutzeroberfläche zu konfigurieren. Weitere Informationen finden Sie unter. Zugreifen auf eine Amazon MWAA-Umgebung
Zugriff auf den VPC-Endpunkt für Ihren Apache Airflow Airflow-Webserver (privater Netzwerkzugriff)
Wenn Sie die Option Privates Netzwerk ausgewählt haben, müssen Sie in Ihrer Amazon VPC einen Mechanismus für den Zugriff auf den VPC-Endpunkt (AWS PrivateLink) für Ihren Apache Airflow Airflow-Webserver einrichten. Wir empfehlen, für diese Ressourcen dieselbe Amazon VPC, VPC-Sicherheitsgruppe und dieselben privaten Subnetze wie Ihre Amazon MWAA-Umgebung zu verwenden.
Wenn Sie sowohl öffentlichen als auch privaten Netzwerkzugriff ausgewählt haben, müssen Sie keinen Mechanismus für den Zugriff auf die Apache Airflow Airflow-Benutzeroberfläche erstellen. Es ist über das Internet zugänglich. Der private VPC-Endpunkt wird automatisch von Mitarbeitern für die interne Kommunikation verwendet.
Weitere Informationen finden Sie unter Zugriff für VPC-Endpoints verwalten.