Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mode akses Apache Airflow
Konsol Alur Kerja Terkelola Amazon untuk Apache Airflow berisi opsi bawaan untuk mengonfigurasi perutean pribadi, publik, atau publik dan pribadi ke server web Apache Airflow di lingkungan Anda. Panduan ini menjelaskan mode akses yang tersedia untuk server web Apache Airflow di lingkungan Alur Kerja Terkelola Amazon untuk Apache Airflow, dan sumber daya tambahan yang perlu Anda konfigurasikan di VPC Amazon jika memilih opsi jaringan pribadi.
Mode akses Apache Airflow
Anda dapat memilih perutean pribadi, publik, atau publik dan pribadi untuk server web Apache Airflow Anda. Untuk mengaktifkan perutean privat, pilih Jaringan privat. Ini membatasi akses pengguna ke server web Apache Airflow dalam VPC Amazon. Untuk mengaktifkan perutean publik, pilih Jaringan publik. Hal ini memungkinkan pengguna mengakses server web Apache Airflow melalui Internet. Untuk mengaktifkan perutean publik dan pribadi, pilih Akses jaringan publik dan pribadi. Ini memungkinkan pengguna untuk mengakses server web Apache Airflow melalui internet sementara pekerja berkomunikasi dengan server web melalui titik akhir VPC pribadi.
Jaringan publik
Diagram arsitektur berikut menggambarkan lingkungan Amazon MWAA dengan server web publik.
Mode akses jaringan publik memungkinkan UI Apache Airflow diakses melalui internet oleh pengguna yang diberikan akses ke kebijakan IAM untuk lingkungan Anda.
penting
Jika lingkungan Anda menggunakan Apache Airflow versi 3 atau yang lebih baru dengan mode akses jaringan Publik, pekerja harus dapat menjangkau server web melalui internet untuk mengkomunikasikan status tugas. Jika subnet yang menghosting pekerja Anda tidak memiliki akses internet (misalnya, subnet pribadi tanpa gateway NAT), tugas DAG akan gagal. Untuk mengatasi hal ini, tingkatkan ke Apache Airflow versi 3.2.1 atau yang lebih baru dan beralih ke mode akses jaringan publik dan pribadi, yang merutekan komunikasi pekerja melalui titik akhir VPC pribadi.
Gambar berikut menggambarkan di mana menemukan opsi jaringan Publik di konsol Amazon MWAA.
Jaringan pribadi
Diagram arsitektur berikut menggambarkan lingkungan Amazon MWAA dengan server web pribadi.
Saat Anda membuat lingkungan dengan akses server web pribadi, Anda harus mengemas semua dependensi Anda dalam arsip roda Python (.whl), lalu mereferensikan di file Anda. .whl requirements.txt Untuk petunjuk tentang pengemasan dan pemasangan dependensi Anda menggunakan roda, lihat Mengelola dependensi menggunakan roda Python.
Gambar berikut menggambarkan di mana menemukan opsi Jaringan pribadi di konsol Amazon MWAA.
Akses jaringan publik dan pribadi
Tersedia untuk Apache Airflow versi 3.2.1 dan yang lebih baru. Di Apache Airflow versi 3 dan yang lebih baru, pekerja mengkomunikasikan status tugas ke server web melalui Task API. Jika VPC Amazon Anda tidak memiliki akses internet, pekerja tidak dapat menjangkau server web publik, menyebabkan tugas DAG gagal. Mode ini menciptakan penyeimbang beban jaringan publik untuk akses browser ke Apache Airflow UI dan titik akhir VPC pribadi untuk komunikasi worker-to-webserver, memungkinkan pekerja untuk mencapai server web tanpa akses internet. Lihat diagram arsitektur jaringan Publik dan jaringan pribadi di atas untuk setiap komponen.
catatan
Dengan mode ini, akses browser ke Apache Airflow UI melewati URL publik. Titik akhir VPC pribadi digunakan oleh pekerja untuk komunikasi internal dan tidak dimaksudkan untuk akses browser.
Ikhtisar mode akses
Bagian ini menjelaskan titik akhir VPC (AWS PrivateLink) yang dibuat di VPC Amazon Anda saat Anda memilih jaringan Publik, Jaringan pribadi, atau mode akses jaringan publik dan pribadi.
Mode akses jaringan publik
Jika Anda memilih mode akses jaringan Publik untuk server web Apache Airflow Anda, lalu lintas jaringan dirutekan secara publik melalui internet.
-
Amazon MWAA membuat titik akhir antarmuka VPC untuk database metadata Amazon Aurora PostgreSQL Anda. Titik akhir dibuat di Availability Zones yang dipetakan ke subnet pribadi Anda dan independen dari yang lain. Akun AWS
-
Amazon MWAA kemudian mengikat alamat IP dari subnet pribadi Anda ke titik akhir antarmuka. Ini dirancang untuk mendukung praktik terbaik mengikat satu IP dari setiap Availability Zone dari VPC Amazon.
Mode akses jaringan pribadi
Jika Anda memilih mode akses jaringan Pribadi untuk server web Apache Airflow Anda, lalu lintas jaringan dirutekan secara pribadi dalam VPC Amazon Anda.
-
Amazon MWAA membuat titik akhir antarmuka VPC untuk server web Apache Airflow Anda, dan titik akhir antarmuka untuk basis data metadata Amazon Aurora PostgreSQL Anda. Titik akhir dibuat di Availability Zones yang dipetakan ke subnet pribadi Anda dan independen dari yang lain. Akun AWS
-
Amazon MWAA kemudian mengikat alamat IP dari subnet pribadi Anda ke titik akhir antarmuka. Ini dirancang untuk mendukung praktik terbaik mengikat satu IP dari setiap Availability Zone dari VPC Amazon.
Mode akses jaringan publik dan pribadi
Jika Anda memilih mode akses jaringan publik dan pribadi untuk server web Apache Airflow Anda, lalu lintas jaringan ke Apache Airflow UI dirutekan secara publik melalui internet, sementara komunikasi pekerja-ke-server web dirutekan secara pribadi dalam VPC Amazon Anda.
-
Amazon MWAA membuat titik akhir antarmuka VPC untuk server web Apache Airflow Anda (untuk konektivitas pekerja), dan titik akhir antarmuka untuk database metadata Amazon Aurora PostgreSQL Anda. Titik akhir dibuat di Availability Zones yang dipetakan ke subnet pribadi Anda dan independen dari yang lain. Akun AWS
-
Amazon MWAA kemudian mengikat alamat IP dari subnet pribadi Anda ke titik akhir antarmuka. Ini dirancang untuk mendukung praktik terbaik mengikat satu IP dari setiap Availability Zone dari VPC Amazon.
-
Apache Airflow UI dapat diakses melalui internet melalui penyeimbang beban jaringan publik. Pengguna mengakses UI dengan cara yang sama seperti dengan mode akses jaringan Publik.
Untuk mempelajari lebih lanjut, lihatContoh kasus penggunaan untuk VPC Amazon dan mode akses Apache Airflow.
Pengaturan untuk mode akses
Bagian berikut menjelaskan pengaturan dan konfigurasi tambahan yang Anda perlukan berdasarkan mode akses Apache Airflow yang Anda pilih untuk lingkungan Anda.
Pengaturan untuk jaringan publik
Jika Anda memilih opsi jaringan Publik untuk server web Apache Airflow Anda, Anda dapat mulai menggunakan Apache Airflow UI setelah Anda membuat lingkungan Anda.
Anda harus mengambil langkah-langkah berikut untuk mengonfigurasi akses bagi pengguna Anda, dan izin untuk lingkungan Anda untuk menggunakan AWS layanan lain.
-
Tambahkan izin. Amazon MWAA memerlukan izin untuk menggunakan layanan lain AWS . Saat Anda membuat lingkungan, Amazon MWAA membuat peran terkait layanan yang memungkinkannya menggunakan tindakan IAM tertentu untuk Amazon Elastic Container Registry (Amazon ECR) Registry ECR), Log, dan Amazon EC2 CloudWatch .
Anda dapat menambahkan izin untuk menggunakan tindakan tambahan untuk layanan ini, atau menggunakan AWS layanan lain dengan menambahkan izin ke peran eksekusi Anda. Untuk mempelajari lebih lanjut, lihatPeran eksekusi Amazon MWAA.
-
Buat kebijakan pengguna. Anda mungkin perlu membuat beberapa kebijakan IAM agar pengguna dapat mengonfigurasi akses ke lingkungan dan UI Apache Airflow. Untuk mempelajari lebih lanjut, lihatMengakses lingkungan Amazon MWAA.
Pengaturan untuk jaringan pribadi
Jika Anda memilih opsi Jaringan pribadi untuk server web Apache Airflow Anda, Anda harus mengonfigurasi akses untuk pengguna Anda, izin lingkungan Anda untuk menggunakan layanan AWS lain, dan membuat mekanisme untuk mengakses sumber daya di VPC Amazon Anda dari komputer Anda.
-
Tambahkan izin. Amazon MWAA memerlukan izin untuk menggunakan layanan lain AWS . Saat Anda membuat lingkungan, Amazon MWAA membuat peran terkait layanan yang memungkinkannya menggunakan tindakan IAM tertentu untuk Amazon Elastic Container Registry (Amazon ECR) Registry ECR), Log, dan Amazon EC2 CloudWatch .
Anda dapat menambahkan izin untuk menggunakan tindakan tambahan untuk layanan ini, atau menggunakan AWS layanan lain dengan menambahkan izin ke peran eksekusi Anda. Untuk mempelajari lebih lanjut, lihatPeran eksekusi Amazon MWAA.
-
Buat kebijakan pengguna. Anda mungkin perlu membuat beberapa kebijakan IAM agar pengguna dapat mengonfigurasi akses ke lingkungan dan UI Apache Airflow. Untuk mempelajari lebih lanjut, lihatMengakses lingkungan Amazon MWAA.
-
Aktifkan akses jaringan. Anda harus membuat mekanisme di VPC Amazon Anda untuk terhubung ke titik akhir VPC () untuk server web Apache Airflow AWS PrivateLink Anda. Misalnya, dengan membuat terowongan VPN dari komputer Anda menggunakan file AWS Client VPN.
Pengaturan untuk akses jaringan publik dan pribadi
Jika Anda memilih opsi akses jaringan publik dan pribadi untuk server web Apache Airflow Anda, Anda dapat mulai menggunakan UI Apache Airflow setelah Anda membuat lingkungan Anda. Tidak diperlukan mekanisme akses titik akhir VPN atau VPC untuk akses browser. Apache Airflow UI dapat diakses melalui internet. Pekerja terhubung ke server web melalui titik akhir VPC pribadi secara otomatis.
Anda harus mengambil langkah-langkah berikut untuk mengonfigurasi akses bagi pengguna Anda, dan izin untuk lingkungan Anda untuk menggunakan AWS layanan lain.
-
Tambahkan izin. Amazon MWAA memerlukan izin untuk menggunakan layanan lain AWS . Saat Anda membuat lingkungan, Amazon MWAA membuat peran terkait layanan yang memungkinkannya menggunakan tindakan IAM tertentu untuk Amazon Elastic Container Registry (Amazon ECR) Registry ECR), Log, dan Amazon EC2 CloudWatch .
Anda dapat menambahkan izin untuk menggunakan tindakan tambahan untuk layanan ini, atau menggunakan AWS layanan lain dengan menambahkan izin ke peran eksekusi Anda. Untuk mempelajari lebih lanjut, lihatPeran eksekusi Amazon MWAA.
-
Buat kebijakan pengguna. Anda mungkin perlu membuat beberapa kebijakan IAM agar pengguna dapat mengonfigurasi akses ke lingkungan dan UI Apache Airflow. Untuk mempelajari lebih lanjut, lihatMengakses lingkungan Amazon MWAA.
Mengakses titik akhir VPC untuk server web Apache Airflow Anda (akses jaringan pribadi)
Jika Anda telah memilih opsi Jaringan pribadi, Anda harus membuat mekanisme di VPC Amazon Anda untuk mengakses titik akhir VPC () untuk server web Apache Airflow AWS PrivateLink Anda. Sebaiknya gunakan VPC Amazon, grup keamanan VPC, dan subnet pribadi yang sama dengan lingkungan Amazon MWAA Anda untuk sumber daya ini.
Jika Anda telah memilih Akses jaringan publik dan pribadi, Anda tidak perlu membuat mekanisme untuk mengakses UI Apache Airflow. Ini dapat diakses melalui internet. Titik akhir VPC pribadi digunakan secara otomatis oleh pekerja untuk komunikasi internal.
Untuk mempelajari lebih lanjut, lihat Mengelola akses untuk titik akhir VPC.