Configurer Cloud SQL et le serveur externe pour la réplication

Cette page explique comment configurer votre serveur externe pour la réplication sur Cloud SQL, créer une instance de représentation source sur Cloud SQL et répliquer les données vers Cloud SQL. Vous devez suivre intégralement la procédure présentée sur cette page avant de passer aux étapes de réplication.

Database Migration Service constitue une alternative aux procédures décrites sur cette page. Il offre une réplication continue ou une migration de base de données ponctuelle depuis un serveur externe vers Cloud SQL.

Avant de commencer

Terminologie

• Serveur externe. Serveur MySQL externe à Cloud SQL à partir duquel vous souhaitez répliquer des données. Il est également appelé "base de données source" ou "serveur de base de données externe". Il peut s'agir d'une autre instance Cloud SQL ou de tout autre serveur de base de données, par exemple, sur site, Amazon Relational Database Service (RDS), etc.

• Instance de représentation source. Instance Cloud SQL de simulation qui représente le serveur externe auprès de l'instance dupliquée Cloud SQL. Elle est visible dans la console Google Cloud et ressemble à une instance Cloud SQL classique, mais elle ne contient pas de données, nécessite une configuration ou une maintenance, ni n'affecte la facturation.

• Instance dupliquée Cloud SQL. Instance Cloud SQL dupliquée du serveur externe. Également appelée instance dupliquée principale externe avec accès en lecture.

• Compte utilisateur de réplication. Compte utilisateur MySQL sur le serveur externe disposant des autorisations suffisantes pour permettre la réplication entre le serveur externe et l'instance dupliquée Cloud SQL.

• Importation gérée. Processus d'importation des données directement depuis le serveur externe vers l'instance dupliquée Cloud SQL. Dans ce cas, Cloud SQL se connecte au serveur externe à l'aide du compte utilisateur de réplication et exécute le vidage des données directement sur le serveur externe pour importer des données vers l'instance dupliquée Cloud SQL.

Configurer un projet Google Cloud

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Cloud SQL Admin API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Cloud SQL Admin API.

   Enable the API

8. Assurez-vous de disposer des rôles d'administrateur Cloud SQL, d'administrateur de l'espace de stockage et de lecteur de Compute sur votre compte utilisateur.

   Accéder à la page IAM

Installer le Google Cloud SDK

Pour configurer la réplication, installez le SDK Google Cloud pour votre serveur externe. Vous pouvez installer le SDK sur votre serveur externe, à moins qu'il soit déjà installé ailleurs.

Configurer le serveur externe pour la réplication

Checklist du serveur externe

• Assurez-vous que MySQL 5.5, 5.6, 5.7, 8.0 ou 8.4 est installé sur votre serveur externe. MySQL Community Edition, Cloud SQL pour MySQL, Amazon Aurora et MySQL sur Amazon RDS sont compatibles.

  • Sur votre instance dupliquée Cloud SQL, vous devez utiliser une version majeure de MySQL identique ou ultérieure à celle exécutée sur votre serveur externe.
  • Si MySQL 5.5 est installé sur le serveur externe, GTID n'est pas accepté.

• Assurez-vous que les journaux binaires sont activés et que :

  • la journalisation binaire basée sur les lignes est utilisée ;
  • les journaux binaires sont conservés pendant une longue période pour permettre la migration de la base de données. En général, une semaine suffit.

• Vérifiez si GTID est activé sur votre serveur externe. Cela aura une incidence sur les étapes à suivre pour configurer la réplication.

• Vérifiez si votre serveur externe dispose d'autorisations gloables de verrouillage en lecture. Cela aura une incidence sur les étapes à suivre pour configurer la réplication.

• Si l'instance répliquée Cloud SQL est activée avec une adresse IP privée parce que l'adresse IP privée sortante n'est pas statique, configurez le pare-feu du serveur externe pour autoriser la plage d'adresses IP internes allouée à l'accès aux services privés du réseau VPC utilisé par l'instance répliquée Cloud SQL en tant que réseau privé.

  Le pare-feu du serveur de base de données source doit être configuré pour autoriser l'intégralité de la plage d'adresses IP internes allouée à la connexion de service privée du réseau VPC que l'instance de destination Cloud SQL utilise comme champ privateNetwork dans ses paramètres ipConfiguration.

  Pour trouver la plage d'adresses IP internes, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Réseaux VPC.

     Accéder à la page Réseaux VPC

  2. Sélectionnez le réseau VPC que vous souhaitez utiliser.

  3. Cliquez sur l'onglet Connexion au service privé.

• Si votre serveur externe contient des clauses DEFINER (vues, événements, déclencheurs ou procédures stockées), selon l'ordre d'exécution de ces instructions, la réplication peut échouer. Apprenez-en plus sur l'utilisation de DEFINER et sur les solutions de contournement potentielles dans Cloud SQL.

• InnoDB est le seul moteur de stockage compatible avec Cloud SQL. La migration avec MyISAM peut entraîner des incohérences et nécessiter une validation des données. Pour en savoir plus, consultez la section Convertir des tables MyISAM vers InnoDB dans la documentation MySQL.

Configurer la conservation des journaux binaires

Vous devez configurer votre serveur externe pour conserver les journaux binaires pendant au moins 24 heures.

call mysql.rds_set_configuration('binlog retention ', HOURS);

Créer un compte utilisateur de réplication

Un compte utilisateur MySQL dédié à la gestion de la réplication sur l'instance dupliquée Cloud SQL doit exister sur votre serveur externe. Ce compte utilisateur ne doit être utilisé que pour gérer la réplication. Selon l'approche de migration utilisée, vous devrez peut-être accorder des autorisations à l'utilisateur ultérieurement.

Pour ajouter un compte utilisateur de réplication, ouvrez un terminal sur le serveur externe, puis saisissez les commandes MySQL suivantes :

      CREATE USER 'USERNAME'@'%' IDENTIFIED BY 'PASSWORD';
      GRANT SELECT, SHOW VIEW ON *.* TO 'USERNAME'@'HOST';
      FLUSH PRIVILEGES;

CREATE USER 'replicationUser'@'%' IDENTIFIED BY '8*&fwwd';
GRANT SELECT, SHOW VIEW ON *.* TO 'replicationUser'@'%';
FLUSH PRIVILEGES;

Configurer une instance de représentation source

L'instance de représentation source fait référence au serveur externe. Elle ne contient que les données de requête du serveur externe. Créez les données de requête et utilisez-les dans une commande curl qui crée l'instance de représentation source dans Cloud SQL.

Créer les données de requête

Les données de requête contiennent des informations de base sur votre serveur de base de données source au format JSON. Elles peuvent être configurées pour une instance dupliquée Cloud SQL sur un réseau public ou privé et doivent contenir les informations suivantes :

    {
      "name": "SOURCE_NAME",
      "region": "REGION",
      "databaseVersion": "DATABASE_VERSION",
      "onPremisesConfiguration": {
        "hostPort": "SOURCE_HOST",
        "username": "USERNAME",
        "password": "PASSWORD",
        "caCertificate": "SOURCE_CERT",
        "clientCertificate": "CLIENT_CERT",
        "clientKey": "CLIENT_KEY"
      }
    }

// example of source.json for external server that
// - initiates replication from a Cloud SQL managed import
// - doesn't use SSL/TSL

{
  "name": "cloudsql-source-instance",
  "region": "us-central1",
  "databaseVersion": "MYSQL_5_7",
  "onPremisesConfiguration": {
    "hostPort": "192.0.2.0:3306",
    "username": "replicationUser",
    "password": "486#@%*@"
  }
}

// example of source.json for external server that
// - initiates replication from a file
// - uses SSL/TSL

{
  "name": "cloudsql-source-instance",
  "region": "us-central1",
  "databaseVersion": "MYSQL_5_7",
  "onPremisesConfiguration": {
    "hostPort": "192.0.2.0:"3306",
    "username": "replicationUser",
    "password": "486#@%*@",
    "dumpFilePath": "gs://replica-bucket/source-database.sql.gz",
    "caCertificate": "content of your certificate",
    "clientCertificate": "content of your certificate",
    "clientKey": "content of your client key"
  }
}

// example of source.json for external server that
// - initiates replication from a Cloud SQL custom import
// - doesn't use SSL/TSL

{
  "name": "cloudsql-source-instance",
  "region": "us-central1",
  "databaseVersion": "MYSQL_5_7",
  "onPremisesConfiguration": {
    "hostPort": "192.0.2.0:3306",
    "username": "replicationUser",
    "password": "486#@%*@"
  }
}

Créer une instance de représentation source

Avant d'effectuer cette étape, vous devez créer un fichier JSON contenant les données de requête source.

Ensuite, pour créer l'instance de représentation source dans Cloud SQL, ouvrez un terminal et exécutez les commandes suivantes :

    gcloud auth login
    ACCESS_TOKEN="$(gcloud auth print-access-token)"
    curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
         --header 'Content-Type: application/json' \
         --data @JSON_PATH \
         -X POST \
         https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT-ID/instances

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @./source.json \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances

Mettre à jour une instance de représentation source

Si vous mettez à jour les données de requête à partir du serveur externe, vous pouvez mettre à jour l'instance de représentation source existante afin qu'elle utilise les valeurs modifiées.

Modifier les données de requête

Mettez à jour les données de requête pour inclure tous les champs qui ont été modifiés. Cela inclut les champs hostPort, username, password, caCertificate, clientCertificate et clientKey. Après avoir mis à jour les données de requête, utilisez-les dans une commande curl pour mettre à jour l'instance dans Cloud SQL.

L'exemple suivant montre comment mettre à jour les champs username et password avec un nom d'utilisateur et un mot de passe différents :

    {
      "name": "SOURCE_NAME",
      "region": "REGION",
      "databaseVersion": "DATABASE_VERSION",
      "onPremisesConfiguration": {
        "username": "NEW_USERNAME",
        "password": "NEW_PASSWORD"
      }
    }

// example of source.json for external server that
// - initiates replication from a Cloud SQL managed import
// - doesn't use SSL/TSL

{
  "name": "cloudsql-source-instance",
  "region": "us-central1",
  "databaseVersion": "MYSQL_5_7",
  "onPremisesConfiguration": {
    "username": "newReplicationUser",
    "password": "525#@%*@"
  }
}

// example of source.json for external server that
// - initiates replication from a file
// - uses SSL/TSL

{
  "name": "cloudsql-source-instance",
  "region": "us-central1",
  "databaseVersion": "MYSQL_5_7",
  "onPremisesConfiguration": {
    "username": "newReplicationUser",
    "password": "486#@%*@"
  }
}

// example of source.json for external server that
// - initiates replication from a Cloud SQL custom import
// - doesn't use SSL/TSL

{
  "name": "cloudsql-source-instance",
  "region": "us-central1",
  "databaseVersion": "MYSQL_5_7",
  "onPremisesConfiguration": {
    "username": "newReplicationUser",
    "password": "486#@%*@"
  }
}

Modifier une instance de représentation source

Avant d'effectuer cette étape, vous devez créer un fichier JSON contenant les données de requête modifiées.

Ensuite, pour modifier l'instance de représentation source dans Cloud SQL, ouvrez un terminal et exécutez les commandes suivantes :

    gcloud auth login
    ACCESS_TOKEN="$(gcloud auth print-access-token)"
    curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
         --header 'Content-Type: application/json' \
         --data @JSON_PATH \
         -X PATCH \
         https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT-ID/instances/SOURCE_NAME

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @./source.json \
     -X PATCH \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/cloudsql-source-instance

Configurer une instance dupliquée Cloud SQL

L'instance dupliquée Cloud SQL contient à terme les données du serveur externe. Dans cette étape, vous allez créer les données de requête et les utiliser dans une commande curl qui crée l'instance dupliquée Cloud SQL dans Cloud SQL.

Créer les données de requête

Les données de requête contiennent des informations de base sur votre serveur externe et votre instance dupliquée Cloud SQL au format JSON. Les données de requête peuvent être configurées pour une instance dupliquée Cloud SQL sur un réseau public ou privé et doivent contenir les informations suivantes :

    {
        "settings": {
            "tier": "TIER",
            "dataDiskSizeGb": "DISK_SIZE",
            "ipConfiguration": {
                "ipv4Enabled": "PUBLIC_IP_STATUS",
                "privateNetwork": "projects/PROJECT_ID/global/networks/NETWORK_NAME"
             },
             "availabilityType": "AVAILABILITY_TYPE"
        },
        "masterInstanceName": "SOURCE_REPRESENTATION_INSTANCE_NAME",
        "region": "SOURCE_REGION",
        "databaseVersion": "DATABASE_VERSION",
        "name": "REPLICA_NAME"
    }

    {
        "settings": {
            "tier": "db-custom-4-15360",
            "dataDiskSizeGb": "100"
        },
        "masterInstanceName": "source-instance",
        "region": "us-central1",
        "databaseVersion": "MYSQL_8_0",
        "name": "replica-instance"
    }

Créer une instance dupliquée Cloud SQL

Avant d'effectuer cette étape, vous devez créer un fichier JSON contenant les données de requête de l'instance dupliquée. Ensuite, pour créer une instance dupliquée Cloud SQL, ouvrez un terminal Cloud Shell et exécutez les commandes suivantes :

    gcloud auth login
    ACCESS_TOKEN="$(gcloud auth print-access-token)"
    curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
         --header 'Content-Type: application/json' \
         --data @JSON_PATH \
         -X POST \
         https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT-ID/instances

    gcloud auth login
    ACCESS_TOKEN="$(gcloud auth print-access-token)"
    curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
         --header 'Content-Type: application/json' \
         --data @./replica.json \
         -X POST \
         https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances

Vérifier votre configuration

Pour vous assurer que vos instances ont été correctement configurées, accédez à la page Instances Cloud SQL.

Vous devriez voir votre instance de représentation source et l'instance dupliquée Cloud SQL dans une liste semblable à celle-ci :

Assurez-vous également que vous disposez de l'autorisation cloudsql.instances.migrate sur l'instance répliquée Cloud SQL. Cette autorisation est incluse dans les rôles IAM cloudsql.admin ou cloudsql.editor.

Ajouter des utilisateurs à l'instance dupliquée Cloud SQL

Vous ne pouvez pas importer de comptes utilisateur de base de données à partir du serveur externe, mais vous pouvez les créer sur une instance dupliquée Cloud SQL. Effectuez cette opération avant la réplication à partir du serveur externe.

Obtenir l'adresse IP sortante de l'instance dupliquée Cloud SQL

Vous pouvez utiliser l'adresse IP sortante de l'instance dupliquée Cloud SQL pour établir une connexion sécurisée entre le serveur externe et l'instance dupliquée Cloud SQL. Cette adresse IP ne vous sera pas facturée.

gcloud sql instances describe REPLICA_NAME --format="default(ipAddresses)"

Autoriser les connexions entrantes sur le serveur externe

L'instance dupliquée Cloud SQL doit se connecter au serveur externe pour que la réplication aboutisse. Vous devez configurer le pare-feu réseau pour que votre serveur externe accepte les connexions à partir de l'adresse IP sortante de l'instance dupliquée Cloud SQL si les conditions suivantes s'appliquent :

• Le serveur externe est protégé par un pare-feu ou par une autre restriction réseau.
• Votre instance dupliquée Cloud SQL utilise une adresse IP publique.

Pour vous connecter à l'instance dupliquée Cloud SQL, utilisez l'adresse IP principale de l'instance dupliquée. Cette adresse IP s'affiche dans la console Google Cloud.

Mettre à jour l'instance de représentation source pour autoriser la réplication sur l'instance dupliquée Cloud SQL

Après avoir configuré l'instance de représentation source pour l'instance dupliquée Cloud SQL, vous devrez peut-être mettre à jour l'instance de représentation source. Par exemple, les scénarios suivants nécessitent une mise à jour de vos configurations :

• L'hôte, le port ou l'adresse IP du serveur externe sont modifiés.
• Vous souhaitez utiliser un autre utilisateur de réplication MySQL.
• Le mot de passe de l'utilisateur de réplication MySQL est modifié.
• Les certificats SSL utilisés pour se connecter en toute sécurité au serveur externe sont modifiés.

Initier l'instance dupliquée Cloud SQL

Il existe trois options pour effectuer le chargement initial des données du serveur externe dans l'instance dupliquée Cloud SQL :

• Une importation gérée utilise un service qui extrait les données du serveur externe et les importe directement dans l'instance Cloud SQL. Cloud SQL recommande cette option. Vous devez utiliser cette option si votre serveur externe n'utilise pas la réplication par identifiant de transaction global (GTID). Pour en savoir plus, consultez la section Utiliser une importation gérée pour configurer la réplication à partir de bases de données externes.
• Un fichier de vidage nécessite de créer un fichier de vidage de votre serveur externe, de le déplacer vers un bucket Cloud Storage et de l'importer dans Cloud SQL. Vous ne pouvez utiliser cette option que si votre serveur externe utilise la réplication GTID. Pour en savoir plus, consultez la section Utiliser un fichier de vidage pour configurer la réplication à partir de bases de données externes.
• Une importation personnalisée nécessite de créer une instance principale Cloud SQL, d'effectuer une importation de données personnalisée à l'aide des outils de votre choix, de rétrograder l'instance principale en une instance dupliquée Cloud SQL, puis de configurer une réplication de serveur externe. Cela fonctionne mieux pour les migrations de bases de données de plusieurs téraoctets. Cependant, vous devez utiliser la réplication GTID. Pour en savoir plus, consultez la section Utiliser une importation personnalisée pour configurer la réplication à partir de bases de données externes volumineuses.

Quelle option vous convient le mieux ?

Surveiller la duplication

Une fois que l'instance dupliquée Cloud SQL a terminé la réplication, elle se connecte au serveur externe et applique toutes les mises à jour effectuées après l'exportation. Vérifiez l'état de la réplication.

Il est important de vérifier l'état de la duplication avant de promouvoir l'instance dupliquée sur une instance autonome. Si le processus de réplication n'est pas terminé, une instance dupliquée promue ne dispose pas de toutes les modifications provenant de votre serveur externe.

Si le délai de réplication ne tend pas vers 0, prenez les mesures nécessaires pour y remédier. Nous vous conseillons de vérifier les métriques suivantes : /postgresql/external_sync/initial_sync_complete, postgresql/external_sync/max_replica_byte_lag et database/replication/state. Consultez la liste des métriques Cloud SQL.

Une fois que l'instance dupliquée Cloud SQL a rattrapé le serveur externe et qu'elle ne présente pas de délai de réplication, connectez-vous à votre base de données. Exécutez les commandes de base de données appropriées pour vous assurer que le contenu est conforme aux attentes par rapport au serveur externe. Conservez votre serveur externe jusqu'à la fin des validations nécessaires.

Configurer une instance répliquée en cascade

Après la migration, vous pouvez créer des instances répliquées en cascade sous votre instance répliquée Cloud SQL avant de promouvoir cette instance.

Pour créer une instance répliquée en cascade, exécutez les commandes suivantes :

Promouvoir l'instance dupliquée

Pour promouvoir votre instance dupliquée, procédez comme suit :

1. Promouvez l'instance dupliquée en instance principale. Notez que les journaux GTID et binaires sont activés, et que les sauvegardes planifiées sont activées sur l'instance dupliquée promue.
2. Ajoutez des instances dupliquées avec accès en lecture à votre instance.
3. Facultatif : Configurez la haute disponibilité pour votre instance. Pour éviter les temps d'arrêt supplémentaires, vous pouvez activer la haute disponibilité lors de la configuration d'une instance dupliquée en définissant AVAILABILITY_TYPE sur REGIONAL.

Étape suivante

• Découvrez comment configurer l'importation personnalisée à partir de bases de données externes volumineuses.
• Apprenez à utiliser un fichier de vidage pour configurer la réplication à partir de bases de données externes.

• Découvrez comment configurer l'importation gérée à partir de bases de données externes.