MemoriaGCP

tekio.org

Transfer Appliance

Centre de données du clientProjet GCPStockage existantNAS, SAN, archivesTransfer ApplianceTA40 ou TA300, SSDSite GoogletéléversementBigQueryanalyseCloud Storagebucket de destinationCloud KMSclé CMEK12345
  1. Les serveurs montent le partage NFS ou SMB de l'appliance et y copient les données
  2. Les données sont chiffrées en AES-256 avec une clé que le client gère dans Cloud KMS
  3. L'appliance scellée est expédiée à un site Google : environ trois semaines pour le cycle complet
  4. Google téléverse les données dans le bucket, puis efface l'appliance selon la norme NIST 800-88
  5. Les fichiers sont ensuite chargés dans l'entrepôt ou exploités sur place

Ce que c'est

Baie de stockage que Google expédie chez le client, qui la remplit et la renvoie ; Google verse ensuite les données dans un bucket Cloud Storage. C'est un transfert hors réseau, pour les volumes qu'une liaison Internet mettrait des mois à écouler.

  • Modèles : TA40 et TA300, en version rackable ou autonome, sur disques SSD. Capacité utile maximale de 40 à 300 To de données chiffrées selon le modèle ; on commande plusieurs appliances pour aller plus vite ou plus loin.
  • Raccordement : port RJ45 à 10 Gbit/s, et QSFP28 à 100 Gbit/s sur les modèles V2. Les données sont copiées par un partage NFS ou SMB, ou par SSH et SCP — un seul de ces protocoles est actif à la fois sur une appliance.
  • Sécurité : boîtier résistant à l'ouverture et étiquettes inviolables, puce TPM vérifiée par attestation à distance avant tout raccordement, chiffrement AES-256 avec une clé gérée par le client dans Cloud KMS. Après téléversement, Google efface l'appliance conformément à la norme NIST 800-88 et fournit un certificat d'effacement sur demande.
  • Mode en ligne : l'appliance peut aussi diffuser les données directement vers le bucket au fur et à mesure de la copie, sans attendre l'expédition ; le mode se bascule en ligne ou hors ligne par une commande.
  • Délais : environ trois semaines pour un cycle complet. L'ordre de grandeur donné par la documentation : 300 To capturés en moins de 25 jours, puis disponibles dans Cloud Storage une dizaine de jours ouvrés plus tard, sans consommer de bande passante sortante.
  • Disponibilité : États-Unis, États membres de l'Union européenne, Royaume-Uni, Singapour, Japon, Canada et Inde. Pour l'Union européenne, les appliances partent de Belgique et y reviennent.

À quoi ça sert

  • Migrer un centre de données ou un lac de données volumineux : archives, images médicales, rushes vidéo, sauvegardes historiques.
  • Collecter des données produites hors ligne, sur des sites mal connectés — navires, chantiers, campagnes de mesure, laboratoires partenaires.
  • Amorcer une architecture hybride : une copie du patrimoine dans le cloud, exploitée ensuite par BigQuery ou Managed Service for Apache Spark, pendant que l'existant continue de tourner sur site.

À éviter dès que le réseau peut écouler le volume en moins d'une semaine, ou qu'il faut des transferts répétés et incrémentaux : Storage Transfer Service fait le travail sans logistique. À éviter aussi pour des données qu'il faut garder synchronisées : l'appliance fige un instantané, elle ne réplique rien.

Beaucoup de très petits fichiers allongent nettement la reconstitution des données après téléversement. Regrouper les arborescences fines en archives avant la copie.

Alternatives en logiciel libre

Il n'existe pas d'équivalent libre : le service est d'abord du matériel et de la logistique. Côté logiciel, la copie hors ligne se monte avec des outils classiques :

  • rsync ou Rclone vers un tableau de disques ou une baie NAS que l'on transporte, puis Rclone ou s5cmd pour verser le contenu dans le stockage objet d'arrivée.
  • tar avec GNU Parallel pour regrouper les arborescences de petits fichiers avant la copie.
  • LUKS (dm-crypt) pour chiffrer les disques transportés, l'équivalent du chiffrement matériel de l'appliance.
  • par2 pour ajouter des données de redondance et détecter la corruption au retour.

Documentation