MemoriaGCP

tekio.org

Managed Service for Apache Spark

DéconseilléÀ réserver à un existant Spark ou Hadoop. Pour un nouveau pipeline, Dataflow ou BigQuery en SQL demandent moins d'exploitation.
Projet GCPManaged AirflowDAG planifiéCloud Storagedonnées brutesManaged Sparkcluster ou batch serverlessBigQuerytables résultatCloud StorageParquet, Iceberg1234
  1. Le DAG crée un cluster éphémère (ou lance un batch serverless) et soumet le job PySpark ; il supprime le cluster à la fin
  2. Lecture des données brutes par le connecteur Cloud Storage (gs://)
  3. Écriture des résultats par le connecteur BigQuery
  4. Écriture des fichiers transformés dans le lac de données

Ce que c'est

Service géré pour exécuter Apache Spark et l'écosystème Hadoop, sous deux formes :

  • Clusters : des VMs Compute Engine (un nœud maître, des nœuds de calcul) préinstallées avec Spark, Hadoop, Hive, et en option Flink, Trino, Jupyter. Création en une à deux minutes, autoscaling, nœuds secondaires en VMs Spot pour réduire le coût.
  • Serverless : des batches et des sessions interactives Spark sans cluster à gérer ; le service alloue les ressources le temps du job.

Les données restent de préférence dans Cloud Storage (connecteur gs://) ou BigQuery plutôt que dans le HDFS du cluster : le cluster devient jetable. Le catalogue des tables peut être partagé entre clusters par un metastore Hive géré. La facturation s'ajoute au prix des ressources Compute Engine utilisées, à la seconde.

Autoscaling des clusters. Une politique d'autoscaling fait varier le nombre de nœuds de calcul d'après la mémoire YARN en attente ou disponible ; le nœud maître et le type de machine ne changent pas. La documentation en fixe l'usage :

  • Adapté aux clusters dont les données sont hors du cluster (Cloud Storage, BigQuery), aux clusters qui enchaînent de nombreux jobs, et pour agrandir un cluster dédié à un seul job.
  • Nœuds secondaires seulement. Les nœuds principaux portent les DataNodes HDFS : en retirer un impose de recopier ses blocs, parfois pendant des heures, et le décommissionnement peut rester bloqué. Fixer leur nombre (minInstances égal à maxInstances) et faire varier les nœuds secondaires, de calcul pur.
  • Déconseillé pour dimensionner un HDFS sur le cluster, avec Spark Structured Streaming (non pris en charge), et pour réduire un cluster inactif : un cluster se recrée aussi vite qu'il se redimensionne, donc on le supprime (workflow, DAG Airflow, ou suppression planifiée après une durée d'inactivité).
  • Décommissionnement progressif (graceful decommissioning) : avant de retirer un nœud, YARN attend la fin des applications en cours, au plus gracefulDecommissionTimeout ; au-delà, le nœud est arrêté de force, au risque de perdre des données. Régler ce délai au-dessus de la durée du plus long job, et isoler les jobs longs sur leur propre cluster éphémère : sur un cluster partagé, ils retardent la réduction pour tous les autres.

À quoi ça sert

  • Migrer des traitements Spark ou Hadoop existants sans les réécrire.
  • Jobs PySpark ou Spark SQL de transformation par lots, préparation de données pour le ML.
  • Clusters éphémères : un cluster créé pour un job ou un workflow, puis supprimé, plutôt qu'un gros cluster permanent.

À éviter pour un nouveau pipeline sans existant Spark : Dataflow (Apache Beam, serverless, batch et streaming unifiés) ou BigQuery en SQL demandent moins d'exploitation.

Dans la console

Détail d'un job Spark soumis à un cluster : statut, durée et sortie du pilote dans la console
Détail d'un job Spark soumis à un cluster : statut, durée et sortie du pilote dans la console. Source : documentation Google Cloud, licence CC BY 4.0.
Tableau de bord d'un batch serverless : exécuteurs Spark, mémoire, octets lus et écrits, progression des étapes
Tableau de bord d'un batch serverless : exécuteurs Spark, mémoire, octets lus et écrits, progression des étapes. Source : documentation Google Cloud, licence CC BY 4.0.

Alternatives en logiciel libre

  • Apache Spark lui-même, sur un cluster autogéré : YARN (Hadoop) ou Kubernetes avec le Spark Operator.
  • Apache Flink : traitement de flux avec état, et batch.
  • Trino : SQL distribué sur le lac de données, quand le traitement s'exprime en SQL.
  • Apache Hadoop MapReduce et Apache Hive : l'écosystème historique, pour des traitements existants.

Documentation