Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Modos de acceso de Apache Airflow
La consola Amazon Managed Workflows for Apache Airflow contiene opciones integradas para configurar el enrutamiento privado, público o tanto público como privado al servidor web Apache Airflow de su entorno. En esta guía, se describen los modos de acceso disponibles para el servidor web de Apache Airflow en su entorno de Amazon Managed Workflows para Apache Airflow y los recursos adicionales que deberá configurar en su VPC de Amazon si elige la opción de red privada.
Contenido
Modos de acceso de Apache Airflow
Puede elegir un enrutamiento privado, público o tanto público como privado para su servidor web Apache Airflow. Para habilitar el enrutamiento privado, elija red privada. De esta forma, los usuarios solo pueden acceder a un servidor web de Apache Airflow desde una VPC de Amazon. Para habilitar el enrutamiento público, elija red pública. Esto permite a los usuarios acceder al servidor web de Apache Airflow a través de Internet. Para habilitar el enrutamiento público y privado, elija Acceso a la red tanto pública como privada. Esto permite a los usuarios acceder al servidor web Apache Airflow a través de Internet mientras los trabajadores se comunican con el servidor web a través de un punto final de VPC privado.
Red pública
En el siguiente diagrama de arquitectura, se muestra un entorno de Amazon MWAA con un servidor web público.
El modo de acceso mediante red pública permite que los usuarios a los que se les haya otorgado acceso a la política de IAM de su entorno accedan a la UI de Apache Airflow a través de Internet.
importante
Si su entorno usa Apache Airflow versión 3 o posterior con el modo de acceso a la red pública, los trabajadores deben poder comunicarse con el servidor web a través de Internet para comunicar el estado de la tarea. Si las subredes que alojan a sus trabajadores no tienen acceso a Internet (por ejemplo, subredes privadas sin una puerta de enlace NAT), las tareas del DAG fallarán. Para resolver este problema, actualice a la versión 3.2.1 o posterior de Apache Airflow y cambie al modo de acceso a la red pública y privada, que enruta la comunicación de los trabajadores a través de un punto final de VPC privado.
En la siguiente imagen, se muestra dónde se encuentra la opción de red pública en la consola de Amazon MWAA.
Red privada
En el siguiente diagrama de arquitectura, se muestra un entorno de Amazon MWAA con un servidor web privado.
El modo de acceso de red privada limita el acceso a la interfaz de usuario de Apache Airflow a los usuarios de su Amazon VPC a los que se les ha concedido acceso a la política de IAM de su entorno.
Al crear un entorno con acceso mediante red privada al servidor web, debe empaquetar todas sus dependencias en un archivo wheel de Python (.whl) y luego hacer referencia al .whl en su requirements.txt. Para obtener instrucciones sobre cómo empaquetar e instalar sus dependencias mediante el archivo wheel, consulte cómo administrar dependencias con archivos wheel de Python.
En la siguiente imagen, se muestra dónde se encuentra la opción de red privada en la consola de Amazon MWAA.
Acceso a redes públicas y privadas
Disponible para Apache Airflow versión 3.2.1 y posteriores. En la versión 3 y posteriores de Apache Airflow, los trabajadores comunican el estado de la tarea al servidor web a través de la API de tareas. Si su Amazon VPC no tiene acceso a Internet, los trabajadores no pueden acceder a un servidor web público, lo que provoca un error en las tareas del DAG. Este modo crea un balanceador de carga de red pública para el acceso del navegador a la interfaz de usuario de Apache Airflow y un punto final de VPC privado para la comunicación entre el trabajador y el servidor web, lo que permite a los trabajadores llegar al servidor web sin acceso a Internet. Consulte los diagramas de arquitectura de redes públicas y redes privadas anteriores para cada componente.
nota
Con este modo, el acceso del navegador a la interfaz de usuario de Apache Airflow pasa por la URL pública. Los trabajadores utilizan el punto final de la VPC privada para la comunicación interna y no está diseñado para acceder a través del navegador.
Información general sobre los modos de acceso
En esta sección se describen los puntos de enlace de la VPC (AWS PrivateLink) que se crean en su Amazon VPC al elegir el modo de acceso a la red pública, la red privada o la red pública y privada.
Modo de acceso mediante red pública
Si elige el modo de acceso de Red pública para su servidor web Apache Airflow, el tráfico de la red se enruta públicamente a través de Internet.
-
Amazon MWAA crea un punto de conexión de la interfaz de la VPC para su base de datos de metadatos de Amazon Aurora PostgreSQL. El punto de conexión se crea en las zonas de disponibilidad correspondientes a sus subredes privadas y es independiente de las demás Cuentas de AWS.
-
A continuación, Amazon MWAA vincula una dirección IP de sus subredes privadas a los puntos de conexión de la interfaz. Se ha diseñado de esta manera siguiendo la práctica recomendada de vincular una sola IP de cada zona de disponibilidad de la VPC de Amazon.
Modo de acceso mediante red privada
Si elige el modo de acceso de Red privada para su servidor web Apache Airflow, el tráfico de red se enruta de forma privada dentro de Amazon VPC.
-
Amazon MWAA crea un punto de conexión de la interfaz de la VPC para el servidor web Apache Airflow y un punto de conexión de la interfaz para la base de datos de metadatos de Amazon Aurora PostgreSQL. Los puntos de conexión se crean en las zonas de disponibilidad asignadas a sus subredes privadas y son independientes de otras Cuentas de AWS.
-
A continuación, Amazon MWAA vincula una dirección IP de sus subredes privadas a los puntos de conexión de la interfaz. Se ha diseñado de esta manera siguiendo la práctica recomendada de vincular una sola IP de cada zona de disponibilidad de la VPC de Amazon.
Modo de acceso a la red pública y privada
Si eligió el modo de acceso a la red pública y privada para su servidor web Apache Airflow, el tráfico de red a la interfaz de usuario de Apache Airflow se enrutará públicamente a través de Internet, mientras que la comunicación entre el trabajador y el servidor web se enrutará de forma privada dentro de su Amazon VPC.
-
Amazon MWAA crea un punto de enlace de interfaz de VPC para su servidor web Apache Airflow (para la conectividad de los trabajadores) y un punto de enlace de interfaz para su base de datos de metadatos de Amazon Aurora PostgreSQL. Los puntos de enlace se crean en las zonas de disponibilidad asignadas a sus subredes privadas y son independientes de las demás. Cuentas de AWS
-
A continuación, Amazon MWAA vincula una dirección IP de sus subredes privadas a los puntos de conexión de la interfaz. Se ha diseñado de esta manera siguiendo la práctica recomendada de vincular una sola IP de cada zona de disponibilidad de la VPC de Amazon.
-
Se puede acceder a la interfaz de usuario de Apache Airflow a través de Internet a través de un balanceador de carga de red pública. Los usuarios acceden a la interfaz de usuario de la misma manera que con el modo de acceso a la red pública.
Consulte Ejemplos de casos de uso para un modo de acceso a Amazon VPC y Apache Airflow para obtener más información.
Configuración de los modos de acceso
En la siguiente sección se describen los ajustes y configuraciones adicionales que deberá realizar en función del modo de acceso de Apache Airflow que haya elegido para su entorno.
Configuración para la red pública
Si elige la opción de red pública para el servidor web de Apache Airflow, podrá empezar a usar la UI de Apache Airflow en cuanto haya creado su entorno.
Deberá seguir los siguientes pasos para configurar el acceso de sus usuarios y el permiso para que su entorno utilice otros AWS servicios.
-
Añada permisos. Amazon MWAA necesita permiso para utilizar otros AWS servicios. Al crear un entorno, Amazon MWAA crea un rol vinculado a un servicio que le permite utilizar determinadas acciones de IAM para Amazon Elastic Container Registry (Amazon ECR), Logs y Amazon EC2 CloudWatch .
Puede añadir permisos para utilizar acciones adicionales para estos servicios o para utilizar otros AWS servicios añadiendo permisos a su función de ejecución. Consulte Rol de ejecución de Amazon MWAA para obtener más información.
-
Cree políticas de usuario. Es posible que deba crear varias políticas de IAM para que sus usuarios puedan configurar el acceso a su entorno y a la UI de Apache Airflow. Consulte Acceso a un entorno de Amazon MWAA para obtener más información.
Configuración para la red privada
Si elige la opción Red privada para su servidor web Apache Airflow, tendrá que configurar el acceso de sus usuarios, permitir que su entorno utilice otros AWS servicios y crear un mecanismo para acceder a los recursos de su Amazon VPC desde su ordenador.
-
Añada permisos. Amazon MWAA necesita permiso para utilizar otros AWS servicios. Al crear un entorno, Amazon MWAA crea un rol vinculado a un servicio que le permite utilizar determinadas acciones de IAM para Amazon Elastic Container Registry (Amazon ECR), Logs y Amazon EC2 CloudWatch .
Puede añadir permisos para utilizar acciones adicionales para estos servicios o para utilizar otros AWS servicios añadiendo permisos a su función de ejecución. Consulte Rol de ejecución de Amazon MWAA para obtener más información.
-
Cree políticas de usuario. Es posible que deba crear varias políticas de IAM para que sus usuarios puedan configurar el acceso a su entorno y a la UI de Apache Airflow. Consulte Acceso a un entorno de Amazon MWAA para obtener más información.
-
Habilite el acceso a la red. Deberá crear un mecanismo en su VPC de Amazon para conectarse al punto de conexión de VPC (AWS PrivateLink) del servidor web de Apache Airflow. Por ejemplo, puede crear un túnel de VPN desde su ordenador mediante una AWS Client VPN.
Configuración para el acceso a la red pública y privada
Si elige la opción de acceso a la red pública y privada para su servidor web Apache Airflow, puede empezar a utilizar la interfaz de usuario de Apache Airflow después de crear su entorno. No se requiere ningún mecanismo de acceso a puntos finales de VPN o VPC para acceder al navegador. Se puede acceder a la interfaz de usuario de Apache Airflow a través de Internet. Los trabajadores se conectan automáticamente al servidor web a través del punto final de la VPC privada.
Deberá seguir los siguientes pasos para configurar el acceso de sus usuarios y los permisos para que su entorno utilice otros AWS servicios.
-
Añada permisos. Amazon MWAA necesita permiso para utilizar otros AWS servicios. Al crear un entorno, Amazon MWAA crea un rol vinculado a un servicio que le permite utilizar determinadas acciones de IAM para Amazon Elastic Container Registry (Amazon ECR), Logs y Amazon EC2 CloudWatch .
Puede añadir permisos para utilizar acciones adicionales para estos servicios o para utilizar otros AWS servicios añadiendo permisos a su función de ejecución. Consulte Rol de ejecución de Amazon MWAA para obtener más información.
-
Cree políticas de usuario. Es posible que deba crear varias políticas de IAM para que sus usuarios puedan configurar el acceso a su entorno y a la UI de Apache Airflow. Consulte Acceso a un entorno de Amazon MWAA para obtener más información.
Acceso al punto de conexión de VPC del servidor web de Apache Airflow (acceso mediante red privada)
Si elige la opción de red privada, tendrá que crear un mecanismo en su VPC de Amazon para poder acceder al punto de conexión de VPC (AWS PrivateLink) del servidor web de Apache Airflow. Recomendamos utilizar la misma VPC de Amazon, el mismo grupo de seguridad de VPC y las mismas subredes privadas que utiliza su entorno de Amazon MWAA para estos recursos.
Si ha elegido el acceso a la red tanto pública como privada, no necesita crear un mecanismo para acceder a la interfaz de usuario de Apache Airflow. Se puede acceder a él a través de Internet. Los trabajadores utilizan automáticamente el punto final de la VPC privada para la comunicación interna.
Para obtener más información, consulte cómo administrar accesos a los puntos de conexión de la VPC.