Managed Lustre
- Le jeu d'entraînement est importé depuis le bucket ; les transferts sont incrémentaux et ne recopient que ce qui a changé
- Le pilote CSI monte le système de fichiers dans les pods, en ReadWriteMany, sans installer de module dans les nœuds
- Les VM accélérées montent le même point de montage avec le client Lustre et lisent en parallèle depuis tous les serveurs d'objets
- Les points de contrôle de l'entraînement sont écrits sur le système de fichiers, à plein débit
- En fin de travail, les résultats sont exportés vers Cloud Storage, où ils coûtent moins cher à conserver
Ce que c'est
Système de fichiers parallèle géré, fondé sur Lustre et développé avec DDN, son principal mainteneur. Les données d'un fichier sont réparties sur de nombreux serveurs d'objets que les clients interrogent simultanément : le débit agrégé croît avec le nombre de nœuds de calcul, là où un serveur NFS plafonne sur un point d'entrée unique.
- Capacité et débit. De 9 000 Gio à 84 016 000 Gio (80,1 Pio) par instance, jusqu'à 10 To/s de débit agrégé, jusqu'à 5 800 IOPS en lecture et 5 600 en écriture par Tio, et 0,5 Pio pour un seul fichier.
- Paliers de performance. Quatre paliers numérotés, où le débit est proportionnel à la capacité provisionnée — 1 000, 500, 250 et 125 Mo/s par Tio —, avec une capacité minimale d'autant plus grande que le palier est modeste (9 000 Gio à 1 000 Mo/s par Tio, 72 000 Gio à 125). Le palier Dynamic (25 Mo/s par Tio, à partir de 472 000 Gio) garde un espace de noms unique à l'échelle du pétaoctet et déplace automatiquement les données actives vers un cache rapide.
- Conformité POSIX. Droits, liens durs, verrous, horodatages : les outils et les bibliothèques existants fonctionnent sans adaptation, contrairement à un bucket monté en FUSE.
- Métadonnées. Pour 72 Go/s de débit, jusqu'à 410 000
stat, 115 000 créations et 95 000 suppressions par seconde, et jusqu'à 22 fois ces valeurs sur les grandes instances — le point qui distingue un système de fichiers parallèle sur des jeux de millions de petits fichiers. - Clients. VM Compute Engine avec le client Lustre et le module noyau fourni (DKMS), ou pods GKE par le pilote CSI, qui gère les volumes persistants provisionnés dynamiquement ou rattachés à une instance existante, en
ReadWriteMany,ReadOnlyManyetReadWriteOnce. - Échanges avec Cloud Storage. Import et export incrémentaux, jusqu'à 100 Go/s pour les fichiers de plus de 32 Mio, dans la limite du débit de l'instance. Un bucket à espace de noms hiérarchique accélère nettement ces transferts. L'agent de service Managed Lustre doit avoir un rôle de lecture ou d'écriture sur le bucket.
- Réseau et sécurité. L'instance vit dans un VPC, avec contrôle d'accès par adresse IP, chiffrement au repos avec CMEK possible, journalisation d'audit et compatibilité VPC Service Controls. Le protocole Lustre ne chiffre pas lui-même les échanges, mais tout le trafic interne à Google Cloud l'est.
- Maintenance. Une stratégie de maintenance permet de choisir les fenêtres pendant lesquelles l'instance peut être mise à jour.
Une instance Managed Lustre n'est pas un espace de conservation : il n'existe ni instantané ni sauvegarde intégrée. La sauvegarde consiste à exporter vers un bucket Cloud Storage, qui reste la source de vérité des données.
À quoi ça sert
- Entraînement de modèles sur des flottes de machines accélérées, où des centaines de nœuds lisent le même corpus et écrivent leurs points de contrôle en même temps.
- Calcul à haute performance : simulation, modélisation, dynamique des fluides, séquençage, où les nœuds partagent un espace de travail commun.
- Prétraitement de gros jeux de données avant l'entraînement, quand le coût en temps vient des métadonnées et des petits fichiers.
- Portage sur Google Cloud d'une chaîne HPC existante déjà écrite pour Lustre, sans changer les scripts ni les points de montage.
À éviter pour un partage de fichiers d'entreprise : ni SMB, ni jonction à un domaine, ni instantanés, et un plancher de capacité qui se chiffre en dizaines de Tio. Filestore ou NetApp Volumes conviennent mieux. À éviter aussi comme stockage durable de référence, rôle qui revient à Cloud Storage, et pour un espace de travail purement local à une machine, où le Local SSD coûte bien moins cher.
Alternatives en logiciel libre
- Lustre lui-même (licence GPL) : c'est exactement le même logiciel, à installer et administrer soi-même sur des serveurs de métadonnées et d'objets.
- CephFS : espace de noms POSIX distribué, plus polyvalent mais moins taillé pour le débit séquentiel massif.
- OrangeFS : descendant de PVFS, orienté entrées-sorties parallèles MPI.
- DAOS : pile de stockage pour mémoire persistante et NVMe, pensée pour les charges HPC et IA à très faible latence.
- GekkoFS : système de fichiers éphémère monté sur les nœuds de calcul le temps d'un travail, pour absorber les accès aux petits fichiers.