Von externem Server replizieren (v1)

Auf dieser Seite wird beschrieben, wie Sie eine Konfiguration erstellen, mit der Daten von einem Quelldatenbankserver auf MySQL-Replikate repliziert werden.

Der Quellendatenbankserver kann ein beliebiger MySQL-Server sein, der alle Serveranforderungen erfüllt, einschließlich Cloud SQL-Instanzen. Instanzen, die von anderen Cloudanbietern gehostet werden, können ebenfalls als Datenquelle dienen, sofern sie die Anforderungen erfüllen, einschließlich der GTID-Unterstützung.

Weitere Informationen zu dieser Konfiguration finden Sie unter Informationen zur Replikation von einem externen Server.

Vorbereitung

Führen Sie vor dem Einrichten der Replikation von einem externen Server folgende Schritte aus:

• Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

• In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

  Go to project selector

• Make sure that billing is enabled for your Google Cloud project.

• In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

  Go to project selector

• Make sure that billing is enabled for your Google Cloud project.

• Enable the Cloud SQL Admin API.

  Enable the API

• Installieren und authentifizieren Sie die gcloud CLI.
• Prüfen Sie, ob Ihr Server die Anforderungen an den Quelldatenbankserver erfüllt.
• Stellen Sie die erforderliche Sicherheitsstufe für die Verbindungen zwischen der primären Instanz und dem Replikat fest und beschaffen Sie die erforderlichen Zertifikatsdateien.
• Wählen Sie die Google Cloud-Region aus, in der Sie Ihr Cloud SQL-Replikat verwenden möchten.

• Stellen Sie die erforderlichen Informationen zu Ihrem Quelldatenbankserver zusammen:

  • Externe IPv4-Adresse und Portnummer

    MySQL verwendet standardmäßig Port 3306.

  • Nutzerkonto und Passwort der MySQL-Replikation
  • MySQL-Versionsnummer
  • Speicherort aller erforderlichen SSL/TLS-Zertifikate und -Schlüssel entsprechend der ausgewählten Sicherheitsstufe

• Halten Sie alle erforderlichen Informationen zum Aktualisieren der Netzwerkfirewall bereit, damit der Quelldatenbankserver Verbindungen vom Cloud SQL-Replikat akzeptiert.

  Dieser Schritt muss innerhalb von 30 Minuten nach dem Erstellen des Replikats abgeschlossen sein.

• Wenn Sie kein Projektinhaber sind, brauchen Sie die Rolle Storage Admin.

Anforderungen an den Quelldatenbankserver

Bevor Sie von einem externen Server auf ein Cloud SQL-Replikat replizieren können, muss der Quelldatenbankserver die folgenden Konfigurationsanforderungen erfüllen:

• MySQL Community Edition, Version 5.6 oder 5.7 wird ausgeführt.

• Binäre Logs sind aktiviert. Weitere Informationen

• Binäre Logs werden bis zum Abschluss des Replikatimports beibehalten.

  In der Regel ist eine Woche ausreichend. Weitere Informationen zum Festlegen der Aufbewahrungsrichtlinie für binäre Logs

• Das Logging erfolgt auf Zeilenbasis. Weitere Informationen

• GTID ist aktiviert und die GTID-Konsistenz wird erzwungen.

  Hier finden Sie weitere Informationen zu GTID und hier mehr zur Option für das Erzwingen der GTID-Konsistenz.

• Alle Tabellen (außer Tabellen in Systemdatenbanken) verwenden das InnoDB-Speichermodul.

  Hier finden Sie weitere Informationen zu InnoDB und hier mehr zum Konvertieren zu InnoDB.

• Es ist ein MySQL-Nutzerkonto mit der Berechtigung REPLICATION_SLAVE vorhanden.

  Konfigurieren Sie dieses Konto so, dass Verbindungen von einem beliebigen Ort (Host = %) zugelassen werden. Sie können den Zugriff auf diesen Nutzer in einem späteren Schritt einschränken. Verwenden Sie dieses Nutzerkonto ausschließlich für die Replikation.

  Weitere Informationen zu Berechtigungen Weitere Informationen zu Nutzerkonten

• Es sind eine extern zugängliche IPv4-Adresse und ein TCP-Port vorhanden.

Konfigurationsverfahren

Führen Sie zum Einrichten der Replikation von einem externen Datenbankserver die folgenden Schritte aus:

1. Cloud Storage-Bucket für Ihre Daten erstellen
2. Daten in Cloud Storage exportieren
3. Replikationskonfiguration erstellen

4. Quelldatenbankserver so konfigurieren, dass Verbindungen vom Replikat akzeptiert werden

5. Zugriff auf das Nutzerkonto für die MySQL-Replikation beschränken

6. Konfiguration der Replikation abschließen

7. Replikationsstatus prüfen

8. Speicher bereinigen

1. Cloud Storage-Bucket für Ihre Daten erstellen

Erstellen Sie einen Bucket, in dem Sie Ihre Daten während des Exportvorgangs vorübergehend speichern, oder verwenden Sie einen vorhandenen Bucket.

Weitere Informationen zum Erstellen eines Buckets finden Sie unter Speicher-Buckets erstellen. Weitere Informationen zur Rolle "Storage-Administrator" finden Sie unter Cloud IAM-Rollen für Cloud Storage.

2. Daten nach Cloud Storage exportieren

Kopieren Sie die Daten vom Server in Cloud Storage, da die Daten für das Replikat aus Cloud Storage abgerufen werden. Sie können nach dem Export weiterhin Schreibvorgänge auf dem Server akzeptieren. Nach dem Import der Dumpdatei in das Replikat werden alle Änderungen seit dem Export verarbeitet, bis das Replikat den Stand der primären Instanz hat.

Führen Sie auf einem Rechner, auf dem die gcloud CLI installiert ist und der über das Netzwerk mit Ihrem MySQL-Server verbunden ist, folgenden Befehl aus:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://[BUCKET]/[PATH_TO_DUMP]

If the source of the migration is a Relational Database Service (RDS) for MySQL,
the master-data flag is not supported and should not be specified.
This command might look like the following example:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://[BUCKET]/[PATH_TO_DUMP]

Additionally, you should configure RDS instances to retain binlogs for a
a longer period of time.
This command might look like the following example:

// Sets the retention period to one day.
call mysql.rds_set_configuration('binlog retention hours', 24);

Ersetzen Sie die Attribute ([PROPERTIES_IN_BRACKETS]) durch folgende Werte:

Es ist normal, dass Sie möglicherweise eine Warnung über unvollständige Speicherungen und GTIDs erhalten.

Der Befehl kann wie im folgenden Beispiel aussehen:

mysqldump \
    -h 192.0.2.1 -P 3306 -u replicationUser \
    --databases guestbook  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://export-bucket/hq-primary1.sql.gz

3. Replikationskonfiguration erstellen

Wenn das Replikat private IP-Adressen verwendet, muss der Quelldatenbankserver für den Zugriff über die VPC des Replikats konfiguriert werden. Das Erstellen von Replikaten auf privaten VPCs wird nur über gcloud CLI und die Cloud SQL Admin API unterstützt.

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "[SOURCE_REPRESENTATION_NAME]",
         "region": "[REGION]",
         "databaseVersion": "[MYSQL_VERSION]",
         "onPremisesConfiguration": {
             "hostPort": "[SOURCE_SERVER_IP]:[SOURCE_SERVER_PORT]"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "hq-primary1",
         "region": "us-central1",
         "databaseVersion": "MYSQL_5_7",
         "onPremisesConfiguration": {
             "hostPort": "192.0.2.0:3306"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "[USERNAME]",
            "password": "[PASSWORD]",
            "dumpFilePath": "gs://[BUCKET]/[PATH_TO_DUMP]",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
     },
     "settings": {
         "tier": "[MACHINE_TYPE]",
         "dataDiskSizeGb": "[DISK_SIZE]"
     },
     "masterInstanceName": "[SOURCE_REPRESENTATION_NAME]",
     "region": "[REGION]",
     "databaseVersion": "[MYSQL_VERSION]",
     "name": "[REPLICA_NAME]"
}

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @[PATH_TO_DATA_FILE] \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "replicationUser",
            "password": "486#@%*@",
            "dumpFilePath": "gs://export-bucket/hq-primary1.sql.gz",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
    },
    "settings": {
        "tier": "db-custom-4-15360",
        "dataDiskSizeGb": "100"
    },
    "masterInstanceName": "hq-primary1",
    "region": "us-central1",
    "databaseVersion": "MYSQL_5_7",
    "name": "hq-primary1-replica1"
}

curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @./data.json
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

Wenn das Lesereplikat auf die Dumpdatei zugreifen kann, wird der Importvorgang gestartet. Die Dauer des Importvorgangs hängt von der Größe der Dumpdatei, dem für das Replikat verwendeten Maschinentyp und dem Datenbankschema ab. Generell können Sie davon ausgehen, dass für das Replikat etwa 25–50 GB pro Stunde importiert werden.

Das Replikat verbleibt im Status PENDING_CREATE, bis der Importvorgang abgeschlossen ist. Dann wechselt das Replikat in den Status RUNNABLE.

4. Quelldatenbankserver so konfigurieren, dass Verbindungen vom Replikat akzeptiert werden

Für eine erfolgreiche Replikation muss vom Replikat eine Verbindung zum Quelldatenbankserver hergestellt werden. Wenn sich der Quelldatenbankserver hinter einer Firewall befindet oder andere Netzwerkbeschränkungen gelten, aktivieren Sie den Netzwerkzugriff für das Replikat mithilfe der OUTGOING-IP-Adresse. Beachten Sie, dass dies nicht die IP-Adresse ist, die in der Hauptliste für das Replikat in der Google Cloud Console angezeigt wird. Die OUTGOING-IP-Adresse erhalten Sie durch Bewegen des Mauszeigers auf die Kurzinfo Weitere Informationen der IP-Adresse oder mit dem unten angegebenen gcloud-Befehl.

1. Rufen Sie die IP-Adressen des Lesereplikats ab:

   gcloud sql instances describe [REPLICA_NAME] --format="default(ipAddresses)"

2. Konfigurieren Sie bei Bedarf die Netzwerkfirewall, damit der Quelldatenbankserver Verbindungen von der OUTGOING-IP-Adresse akzeptiert.

3. Prüfen Sie, ob das Replikat mit dem Quelldatenbankserver verbunden wurde.

   1. Das Replikatsymbol in der Instanzliste sollte grün sein und dreht sich nicht mehr.

   2. Rufen Sie in der Google Cloud Console die Loganzeige auf.

      Zur Loganzeige

   3. Wählen Sie das Replikat in der Drop-down-Liste Instanz aus.

   4. Wählen Sie die Logdatei replication-setup.log aus.

      Wenn vom Replikat aus keine Verbindung zum Quelldatenbankserver hergestellt werden kann, prüfen Sie Folgendes:

      • Die Firewall auf dem Quelldatenbankserver ist so konfiguriert, dass Verbindungen über die IP-Adresse OUTGOING des Replikats zulässig sind.
      • Ihre SSL/TLS-Konfiguration ist korrekt.
      • Nutzername, Host und Passwort des Nutzerkontos für die Replikation sind korrekt.

5. Zugriff auf das Nutzerkonto für die MySQL-Replikation beschränken

Dieser Schritt ist optional, wird jedoch aus Sicherheitsgründen empfohlen.

Das auf dem Quelldatenbankserver für die MySQL-Replikation verwendete Nutzerkonto ist so konfiguriert, dass es Verbindungen von jedem Host (%) annimmt. Aktualisieren Sie dieses Nutzerkonto, damit es nur Verbindungen von der OUTGOING-IP-Adresse des Replikats akzeptiert:

    UPDATE mysql.user SET Host='[OUTGOING_IP]' WHERE Host='%' AND User='[USERNAME]';
    FLUSH PRIVILEGES;

6. Konfiguration der Replikation abschließen

1. Konfigurieren Sie ein Nutzerkonto für das Replikat.

   Verwenden Sie dazu die Google Cloud Console, die gcloud CLI oder die Cloud SQL API. Den mysql-Client können Sie nicht verwenden. Weitere Informationen zu MySQL-Nutzern finden Sie unter MySQL-Nutzer.

   So erstellen Sie einen Nutzer mit der Google Cloud Console:

   1. Rufen Sie in der Google Cloud Console die Seite Cloud SQL-Instanzen auf.
      Zur Seite "Cloud SQL-Instanzen"
   2. Klicken Sie auf den Instanznamen, um die zugehörige Seite Instanzdetails zu öffnen.
   3. Klicken Sie auf den Tab Nutzer.
   4. Klicken Sie auf Nutzerkonto erstellen.
   5. Geben Sie im Dialogfeld Nutzerkonto erstellen die Nutzerdetails an.
   6. Klicken Sie auf Erstellen.

2. Autorisieren Sie den Zugriff auf das Replikat von jedem Client, über den Sie eine Verbindung zum Replikat über öffentliche IP-Adressen herstellen möchten.

   Eine Anleitung finden Sie unter Autorisierte Adresse oder Adressbereich hinzufügen. Für das Herstellen einer Verbindung zum Replikat verwenden Sie die PRIMARY IP-Adresse des Replikats. Diese IP-Adresse wird in der Google Cloud Console angezeigt.

   Andernfalls können Sie eine Verbindung zum Replikat über eine beliebige andere Methode herstellen.

7. Replikationsstatus prüfen

Nachdem die Dumpdatei in das Replikat importiert wurde, wird eine Verbindung zum lokalen Server hergestellt, um alle nach dem Export erfolgten Aktualisierungen anzuwenden.

Es ist wichtig, dass Sie den Replikationsstatus prüfen, bevor Sie das Replikat zu einer eigenständigen Instanz hochstufen. Wenn der Replikationsvorgang nicht erfolgreich abgeschlossen wurde, enthält ein hochgestuftes Replikat nicht alle Änderungen aus der externen Instanz.

8. (Optional) Replikat auf eine eigenständige Instanz hochstufen

Wenn Sie nach dem Prüfen des Replikationsstatus den Quell-Datenbankserver vollständig durch Cloud SQL ersetzen ("migrieren") möchten, stufen Sie das Replikat zu einer eigenständigen primären Instanz hoch. Anschließend ist es nicht mehr mit dem ursprünglichen Quelldatenbankserver verbunden.

Erstellen Sie ein neues Replikat für die neue primäre Instanz und starten Sie Ihre verbundenen Anwendungen neu, damit sie auf die neue primäre Instanz (für Schreibvorgänge) oder auf das neue Replikat (für Lesevorgänge) verweisen.

9. Speicher bereinigen

1. Löschen Sie die Exportdatei:

   gcloud storage rm gs://[BUCKET]/[PATH_TO_DUMP]
   

2. Wenn Sie den Bucket nicht mehr benötigen, löschen Sie ihn:

   gcloud storage rm gs://[BUCKET] --recursive
   

Weitere Informationen finden Sie in der Cloud Storage-Dokumentation unter Objekte löschen und Buckets löschen.

Konfiguration aktualisieren

Wenn Sie die Konfigurationseinstellungen später aktualisieren möchten, können Sie die Quelldarstellungsinstanz bearbeiten. Wenn Sie die lokalen Konfigurationseinstellungen aktualisieren müssen, sollten Sie beachten, dass hostPort und type nicht aktualisiert werden können.

Nächste Schritte

• Aktualisieren einer Instanzvorlage
• Verwalten von Replikaten