MemoriaGCP

tekio.org

Managed Service for Apache Airflow

Projet GCPData engineerDAG PythonCloud Storagedossier dags/Managed Airflowplanificateur, workersBigQueryrequêtes SQLManaged Sparkbatch PySparkDataflowjob par lotsCloud Loggingjournaux des tâches123456
  1. Le fichier Python du DAG est déposé dans le dossier dags/ du bucket de l'environnement
  2. Le processeur de DAG analyse le fichier, le planificateur en déduit les exécutions à lancer
  3. Une tâche soumet une requête BigQuery et attend son résultat
  4. Une autre tâche lance un batch Spark, la dépendance entre les deux étant décrite dans le DAG
  5. Une troisième tâche démarre un job Dataflow à partir d'un modèle
  6. Les journaux de chaque tâche partent dans Cloud Logging et dans le bucket de l'environnement

Ce que c'est

Apache Airflow exploité par Google : on décrit des workflows en Python, le service fournit l'infrastructure qui les planifie et les exécute.

  • DAG (Directed Acyclic Graph) : un fichier Python déclare des tâches et leurs dépendances. Chaque tâche appelle un opérateur — une requête BigQuery, un job Dataflow, un pod Kubernetes, un appel HTTP, un envoi de courriel. Un DAG se déclenche à l'horaire, à la main, ou sur un événement comme le dépôt d'un fichier dans un bucket.
  • Environnement : un déploiement Airflow isolé, dans une région, reposant sur un cluster GKE géré par le service. Il réunit les composants Airflow (planificateur, processeur de DAG, workers autoscalés, triggerer, serveur web), une base de données de métadonnées gérée, et un bucket Cloud Storage qui contient les dossiers dags/, plugins/, data/ et logs/. Plusieurs environnements peuvent cohabiter dans un même projet.
  • Deux interfaces : la console Google Cloud (liste des DAG, exécutions, journaux) et l'interface web native d'Airflow, propre à chaque environnement ; côté ligne de commande, gcloud composer relaie les commandes de la CLI Airflow.
  • Extensibilité : dépendances Python installées depuis PyPI ou un dépôt privé (Artifact Registry), plugins Airflow personnalisés, options de configuration Airflow modifiables — sauf une liste d'options bloquées par le service.
  • Réseau et sécurité : environnements à IP publique ou privée, rattachement à un VPC, VPC partagé, VPC Service Controls, CMEK. Les droits se donnent par IAM au niveau du projet, et par le contrôle d'accès de l'interface Airflow à l'intérieur de l'environnement.
  • Génération 3 : la génération courante, qui propose des environnements Airflow 2 ou Airflow 3 ; un environnement Airflow 2 existant ne passe pas encore à Airflow 3 par mise à niveau. Les environnements des générations précédentes restent documentés à part.
  • Facturation : en milli-DCU-heures, une unité qui agrège le vCPU, la mémoire et le stockage consommés par les composants de l'environnement — donc un coût de base tant que l'environnement existe, plus la part variable des workers autoscalés. S'ajoutent le stockage de la base Airflow et le trafic sortant.

À quoi ça sert

  • Orchestrer une chaîne de traitements qui traverse plusieurs services : extraction, chargement dans BigQuery, job Spark ou Dataflow, contrôle qualité, rafraîchissement d'un tableau de bord.
  • Gérer les dépendances, les tentatives, les alertes et le rattrapage (backfill) d'exécutions manquées.
  • Piloter des ressources éphémères : créer un cluster pour un job, le supprimer à la fin.
  • Orchestrer au-delà de Google Cloud : les providers Airflow couvrent les autres fournisseurs, les bases de données et les systèmes sur site.

À éviter pour un déclenchement événementiel à la seconde ou à très forte fréquence : Airflow planifie des tâches, il ne réagit pas à un flux — préférer Eventarc, Cloud Run ou un pipeline Dataflow. À éviter aussi pour un seul job périodique isolé : Cloud Scheduler, Cloud Run Jobs ou les requêtes planifiées de BigQuery coûtent bien moins cher qu'un environnement qui tourne en permanence.

Le code d'un DAG est relu à chaque analyse du fichier : tout ce qui est écrit au niveau du module (requête, appel réseau, lecture de fichier) s'exécute en boucle, même quand le DAG ne tourne pas. Ce travail se place dans les tâches, pas dans le corps du fichier.

Dans la console

Onglet DAGs d'un environnement dans la console : état de chaque DAG, dernière exécution, exécutions réussies et en échec
Onglet DAGs d'un environnement dans la console : état de chaque DAG, dernière exécution, exécutions réussies et en échec. Source : documentation Google Cloud, licence CC BY 4.0.
Interface web d'Airflow : vue graphe d'un DAG et de ses trois tâches, avec le détail d'une tâche au survol
Interface web d'Airflow : vue graphe d'un DAG et de ses trois tâches, avec le détail d'une tâche au survol. Source : documentation Google Cloud, licence CC BY 4.0.

Alternatives en logiciel libre

  • Apache Airflow lui-même, installé sur un cluster Kubernetes avec son chart Helm ou son opérateur : mêmes DAG, mêmes opérateurs.
  • Dagster : orchestration centrée sur les actifs de données produits plutôt que sur les tâches, avec typage et tests.
  • Prefect : workflows en Python ordinaire, sans DAG déclaré à l'avance.
  • Argo Workflows : enchaînement de conteneurs sur Kubernetes, décrit en YAML.
  • Apache DolphinScheduler : ordonnanceur distribué avec édition graphique des workflows.

Documentation