MemoriaGCP

tekio.org

Storage Transfer Service

Sur siteProjet GCPAmazon S3Azure Blob, compatible S3Système de fichiersNFS, HDFSAgentsconteneurs DockerStorage Transferjobs de transfertPub/Subnotifications d'objetsCloud Storagebucket de destinationBigQueryanalyse des données migrées123456
  1. Transfert sans agent depuis Amazon S3, Azure Blob Storage ou un stockage compatible S3
  2. Les agents, lancés en conteneurs Docker sur des machines Linux, montent le système de fichiers
  3. Le pool d'agents pousse les fichiers ; c'est lui qui consomme la bande passante du site
  4. Transfert piloté par les événements : le service écoute les notifications et copie les objets nouveaux ou modifiés
  5. Écriture dans le bucket de destination, avec vérification d'intégrité et journal de transfert
  6. Les données migrées alimentent l'entrepôt et les traitements du projet

Ce que c'est

Service géré de copie de fichiers et d'objets vers, depuis et à l'intérieur de Google Cloud. On décrit un job de transfert (source, destination, filtres, calendrier), le service l'exécute et le rejoue.

  • Deux modes. Sans agent, Google mène le transfert de bout en bout : Amazon S3, Azure Blob Storage et Data Lake Storage Gen2, un stockage compatible S3, une liste d'URL publiques, ou un bucket Cloud Storage vers un autre. Avec agents, des conteneurs Docker installés sur des machines Linux du site source lisent un système de fichiers POSIX ou HDFS ; ils sont regroupés en pools d'agents, qui servent aussi à plafonner la bande passante consommée.
  • Déclenchement : à la demande, sur un calendrier récurrent, ou piloté par les événements — abonnement Pub/Sub pour une source Cloud Storage, Amazon SQS pour S3, Azure Storage Queue pour Azure. Le mode événementiel évite de lister la source à chaque passage et réplique en quelques minutes ; il ne propage pas les suppressions.
  • Sélection des données : préfixes, motifs glob, date de dernière modification, classe de stockage, ou fichier manifeste listant les objets à copier. Options d'écrasement et de suppression à la source après copie.
  • Fiabilité : parallélisation, reprises automatiques, validation d'intégrité, journal de transfert détaillé, chiffrement TLS 1.3 en transit. Le service n'a pas de SLA, ni sur le débit ni sur la latence.
  • Facturation : les transferts sans agent (entre buckets, depuis un autre cloud ou une liste d'URL) sont gratuits, hors frais de sortie du fournisseur d'origine. Les transferts avec agent vers ou depuis un système de fichiers sont facturés au volume transféré ; ceux depuis un stockage compatible S3 ou HDFS sont gratuits. Le transfert depuis S3 par le réseau privé géré est facturé à part.

À quoi ça sert

  • Migrer un lac de données depuis AWS ou Azure, en une passe massive puis en transferts incrémentaux jusqu'à la bascule.
  • Rapatrier un NAS ou un cluster HDFS vers Cloud Storage avant de moderniser les traitements avec Managed Service for Apache Spark ou BigQuery.
  • Répliquer un bucket dans une autre région, un autre projet ou un autre continent, pour la sauvegarde ou la séparation des environnements.
  • Changer l'emplacement ou la classe d'un jeu de données existant, en copiant vers un nouveau bucket.

À éviter pour quelques fichiers ou quelques gigaoctets : le service vise les transferts de plus d'un tébioctet, et gcloud storage cp ou rsync suffisent en dessous. À éviter aussi quand la liaison réseau mettrait plus d'une semaine à écouler le volume : préférer Transfer Appliance. Pour importer des données d'applications SaaS dans l'entrepôt, c'est BigQuery Data Transfer Service qu'il faut, pas celui-ci.

Alternatives en logiciel libre

  • Rclone : synchronisation entre plus de soixante stockages objet et systèmes de fichiers, avec filtres, reprise et vérification de somme de contrôle ; l'équivalent le plus direct.
  • rsync : la référence pour les transferts incrémentaux entre systèmes de fichiers POSIX.
  • Apache DistCp (Hadoop) : copie distribuée entre HDFS et stockage objet, pour les gros volumes d'un cluster.
  • Apache NiFi : flux de fichiers pilotés par événements, avec routage et traçabilité, quand le transfert demande de la logique.
  • s5cmd : client S3 parallélisé, pour les copies massives entre buckets compatibles S3.

Documentation