MemoriaGCP

tekio.org

Database Migration Service

Sur site ou autre cloudProjet GCPBase sourceMySQL, PostgreSQL, OracleSQL Serversauvegardes, journauxDatabase Migration Servicejob de migrationCloud Storagefichiers .bak et .trnCloud SQLMySQL, PostgreSQL, SQL ServerAlloyDBPostgreSQL12345
  1. Connexion par liste d'adresses IP, tunnel SSH inversé, appairage VPC ou connectivité privée ; vidage initial puis capture continue des changements
  2. SQL Server : la sauvegarde complète puis les sauvegardes du journal de transactions sont déposées dans un bucket
  3. Le service surveille le bucket et restaure chaque fichier dans l'instance Cloud SQL for SQL Server
  4. Migration homogène : l'instance de destination est une réplique de la source jusqu'à la promotion, qui en fait une instance principale
  5. Migration hétérogène (Oracle, SQL Server vers PostgreSQL) : le schéma converti dans un espace de conversion est appliqué, puis les données suivent

Ce que c'est

Service serverless de migration de bases de données vers Cloud SQL et AlloyDB for PostgreSQL. Il prend en charge la connectivité, la copie initiale, la réplication continue et la bascule, et suit l'état de la migration.

  • Objets : un profil de connexion par extrémité (hôte, identifiants, certificats), un job de migration qui relie la source à la destination, et pour les migrations hétérogènes un espace de conversion. Au plus 2 000 profils et 1 000 jobs par projet, jobs terminés compris.
  • Migrations homogènes, même moteur des deux côtés :
    • MySQL (sur site, VM, Amazon RDS et Aurora, Azure, Cloud SQL) vers Cloud SQL for MySQL ;
    • PostgreSQL (mêmes sources) vers Cloud SQL for PostgreSQL ou AlloyDB, par réplication logique pglogical ;
    • SQL Server (autogéré, Amazon RDS, Cloud SQL) vers Cloud SQL for SQL Server, par restauration de fichiers de sauvegarde déposés dans Cloud Storage.
  • Migrations hétérogènes, changement de moteur : Oracle (11g à 21c, dont RAC et Exadata, hors Autonomous Database) et SQL Server vers Cloud SQL for PostgreSQL ou AlloyDB. L'espace de conversion traduit schéma, procédures stockées, fonctions et vues ; un éditeur SQL permet de corriger ce qui ne passe pas, et Gemini propose des conversions pour le code que les règles déterministes ne traitent pas.
  • Types de migration : ponctuelle (vidage et chargement, avec arrêt des écritures sur la source) ou continue (vidage initial puis capture des changements, CDC). En migration continue, la destination reste une réplique jusqu'à la promotion, qui la détache de la source ; la coupure se limite au temps de rediriger les applications.
  • Connectivité : liste d'adresses IP autorisées (sur l'internet public), tunnel SSH inversé par une VM bastion dont le script est généré, appairage VPC ou connectivité privée (souvent sur un VPN ou un Interconnect).
  • Suivi : onglet de métriques par job (volume du vidage, débit, délai de réplication), journaux dans Cloud Logging.
  • Facturation : les migrations homogènes vers Cloud SQL et AlloyDB sont gratuites. Les migrations hétérogènes sont facturées au volume traité : le CDC par paliers dégressifs, le backfill à un tarif fixe au-delà de 500 Gio gratuits par mois. S'y ajoutent l'instance de destination et, le cas échéant, la VM du tunnel SSH.

À quoi ça sert

  • Déplacer une base MySQL, PostgreSQL ou SQL Server d'un centre de données ou d'un autre cloud vers un service géré, avec une coupure limitée au temps de la bascule.
  • Passer d'une instance Cloud SQL à une autre (changement de région, de version majeure) ou de Cloud SQL for PostgreSQL à AlloyDB.
  • Sortir d'Oracle ou de SQL Server vers PostgreSQL, en industrialisant la conversion du schéma et du code.

À éviter pour une réplication durable vers l'analytique : DMS migre puis s'arrête, Datastream alimente BigQuery en continu. Pour une destination Spanner, passer par les outils de migration propres à Spanner. Pour une base qu'on garde telle quelle sur une VM, Migrate to Virtual Machines déplace le serveur entier.

Pour MySQL et PostgreSQL, les utilisateurs et leurs rôles ne sont pas migrés (la base système mysql n'est pas copiée) : les recréer sur la destination avant la promotion. En migration hétérogène, le taux de conversion affiché compte les instructions SQL, pas le travail restant : les objets « à revoir » demandent souvent plus de temps que les autres.

Dans la console

Espace de conversion Oracle vers PostgreSQL : taux de conversion du code, objets sans problème, à revoir ou à corriger, répartition par type d'objet
Espace de conversion Oracle vers PostgreSQL : taux de conversion du code, objets sans problème, à revoir ou à corriger, répartition par type d'objet. Source : documentation Google Cloud, licence CC BY 4.0.
Onglet Monitoring d'un job de migration : volume du vidage initial, débit, délai de réplication et stockage consommé
Onglet Monitoring d'un job de migration : volume du vidage initial, débit, délai de réplication et stockage consommé. Source : documentation Google Cloud, licence CC BY 4.0.

Alternatives en logiciel libre

  • Ora2Pg : l'outil de référence pour convertir un schéma et le code PL/SQL d'Oracle vers PostgreSQL, et exporter les données.
  • pgloader : chargement de MySQL, SQL Server ou SQLite vers PostgreSQL, avec conversion de types, en une passe.
  • pglogical et la réplication logique native de PostgreSQL : migration entre serveurs PostgreSQL avec une coupure minimale.
  • Debezium : capture des changements pour une migration continue sur mesure, avec Kafka Connect.
  • mydumper et myloader : vidage et chargement parallèles de MySQL.

Documentation