Utilizzo di un'importazione gestita per configurare la replica da database esterni

Questa pagina descrive come configurare e utilizzare un'importazione gestita per i dati durante la replica da un server esterno a Cloud SQL.

Devi completare tutti i passaggi in questa pagina. Al termine, puoi gestire e monitorare l'istanza di rappresentazione di origine come faresti con qualsiasi altra istanza Cloud SQL.

Prima di iniziare

Prima di iniziare, completa i seguenti passaggi:

1. Configura il server esterno.

2. Crea l'istanza della rappresentazione di origine.

3. Configura la replica Cloud SQL.

Aggiorna i privilegi per l'utente di replica

L'utente di replica sul server esterno è configurato per accettare connessioni da qualsiasi host (%). Aggiorna questo account utente in modo che possa essere utilizzato solo con la replica Cloud SQL.

Privilegi obbligatori

Esistono quattro tipi di combinazioni di migrazioni e dump.

• Tipo 1: migrazione continua e dump gestito
• Tipo 2: migrazione continua e dump manuale
• Tipo 3: migrazione una tantum e dump gestito
• Tipo 4: migrazione una tantum e dump manuale

Di seguito sono elencati i privilegi per ogni tipo di migrazione e combinazione stupida.

Aggiorna privilegi

Per aggiornare i privilegi, apri un terminale sul server esterno e inserisci i seguenti comandi.

    UPDATE mysql.user
      SET Host='NEW_HOST'
      WHERE Host='OLD_HOST'
      AND User='USERNAME';
    GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION_CLIENT,
    RELOAD ON . TO
    'USERNAME'@'HOST';
    FLUSH PRIVILEGES;

    UPDATE mysql.user
    SET Host='NEW_HOST'
    WHERE Host='OLD_HOST'
    AND User='USERNAME';
    GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT,
    RELOAD ON . TO 'GCP_USERNAME'@'HOST';
    FLUSH PRIVILEGES;

UPDATE mysql.user
  SET Host='192.0.2.0'
  WHERE Host='%'
  AND User='replicationUser';
GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT,
RELOAD ON *.* TO 'username'@'host.com';
FLUSH PRIVILEGES;

Verifica le impostazioni di replica

Al termine della configurazione, assicurati che la replica Cloud SQL possa eseguire la replica dal server esterno.

Le seguenti impostazioni di sincronizzazione esterna devono essere corrette.

• Connettività tra la replica Cloud SQL e il server esterno
• Privilegi utente di replica
• Compatibilità delle versioni
• La replica Cloud SQL non è già in fase di replica
• I log bin sono abilitati sul server esterno
• GTID è abilitato se stai tentando di eseguire una sincronizzazione esterna da un server RDS esterno e utilizzi un bucket Google Cloud

Per verificare queste impostazioni, apri un terminale Cloud Shell e inserisci i seguenti comandi:

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "SYNC_MODE",
         "syncParallelLevel": "SYNC_PARALLEL_LEVEL",
         "mysqlSyncConfig": {
           "initialSyncFlags": "SYNC_FLAGS"
         }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE_ID/verifyExternalSyncSettings

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/myproject/instances/myreplica/verifyExternalSyncSettings

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
         "mysqlSyncConfig": {
             "initialSyncFlags": [{"name": "max-allowed-packet", "value": "1073741824"}, {"name": "hex-blob"}, {"name": "compress"}]
             }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/verifyExternalSyncSettings

Queste chiamate restituiscono un elenco di tipo sql#externalSyncSettingErrorList.

Se l'elenco è vuoto, non ci sono errori. Una risposta senza errori è simile alla seguente:

  {
    "kind": "sql#externalSyncSettingErrorList"
  }

Autorizzazione di blocco di lettura globale

Se non disponi dell'autorizzazione per accedere al blocco di lettura globale sul server esterno, come potrebbe essere il caso di Amazon RDS e Amazon Aurora, metti in pausa le scritture sul tuo server come descritto nei passaggi che seguono:

1. Vai a Esplora log e seleziona la replica Cloud SQL dall'elenco delle risorse. Dovresti visualizzare un elenco dei log più recenti per la replica Cloud SQL. Per il momento ignorale.
2. Apri un terminale e inserisci i comandi in Avvia la replica sul server esterno per eseguire la replica dal server esterno.

3. Torna a Esplora log. Quando vedi il log riportato di seguito, interrompi la scrittura nel database sul server esterno. Nella maggior parte dei casi, è richiesta solo per alcuni secondi.

      DUMP_IMPORT(START): Start importing data, please pause any write to the
      external primary database.
   

4. Quando vedi la seguente voce di log in Esplora log, riattiva la scrittura nel database sul server esterno.

      DUMP_IMPORT(SYNC): Consistent state on primary and replica. Writes to the
      external primary may resume.
   
   

Avvia la replica sul server esterno

Dopo aver verificato che puoi eseguire la replica dal server esterno, avvia la replica. La velocità di esecuzione della replica per la procedura di importazione iniziale è fino a 500 GB all'ora. Tuttavia, questa velocità può variare in base al livello della macchina, alle dimensioni del disco di dati, al throughput della rete e alla natura del database.

Durante la procedura di importazione iniziale, non eseguire operazioni DDL sul server esterno. In caso contrario, potrebbero verificarsi incoerenze durante l'importazione. Al termine del processo di importazione, la replica utilizza i log binari sul server esterno per allinearsi allo stato corrente del server esterno.

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "SYNC_MODE",
         "skipVerification": "SKIP_VERIFICATION",
         "syncParallelLevel": "SYNC_PARALLEL_LEVEL",
         "mysqlSyncConfig": {
           "initialSyncFlags": "SYNC_FLAGS"
         }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE_ID/startExternalSync

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/startExternalSync

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
         "skipVerification": false,
         "mysqlSyncConfig": {
             "initialSyncFlags": [{"name": "max-allowed-packet", "value": "1073741824"}, {"name": "hex-blob"}, {"name": "compress"}]
             }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/startExternalSync

Flag di sincronizzazione iniziale

Per eseguire la migrazione con flag del database personalizzati, puoi utilizzare i seguenti flag consentiti:

• --add-drop-database
• --add-drop-table
• --add-drop-trigger
• --add-locks
• --allow-keywords
• --all-tablespaces
• --apply-slave-statements
• --column-statistics
• --comments
• --compact
• --compatible
• --complete-insert
• --compress
• --compression-algorithms
• --create-options
• --default-character-set
• --delayed-insert
• --disable-keys
• --dump-date
• --events
• --extended-insert
• --fields-enclosed-by
• --fields-escaped-by
• --fields-optionally-enclosed-by
• --fields-terminated-by
• --flush-logs
• --flush-privileges
• --force
• --get-server-public-key
• --hex-blob
• --ignore-error
• --ignore-read-lock-error
• --ignore-table
• --insert-ignore
• --lines-terminated-by
• --lock-all-tables
• --lock-tables
• --max-allowed-packet
• --net-buffer-length
• --network-timeout
• --no-autocommit
• --no-create-db
• --no-create-info
• --no-data
• --no-defaults
• --no-set-names
• --no-tablespaces
• --opt
• --order-by-primary
• --pipe
• --quote-names
• --quick
• --replace
• --routines
• --secure-auth
• --set-charset
• --shared-memory-base-name
• --show-create-skip-secondary-engine
• --skip-opt
• --ssl-cipher
• --ssl-fips-mode
• --ssl-verify-server-cert
• --tls-ciphersuites
• --tls-version
• --triggers
• --tz-utc
• --verbose
• --xml
• --zstd-compression-level

Per i valori consentiti, consulta la documentazione pubblica di MySQL.

Monitoraggio della migrazione

Una volta avviata la replica dal server esterno, devi monitorarla. Per scoprire di più, consulta Monitorare la replica. A questo punto puoi completare la migrazione.

Risoluzione dei problemi

Valuta le seguenti opzioni per la risoluzione dei problemi:

Inoltre, per MySQL, valuta anche le seguenti opzioni:

Esamina i log di replica

Quando verifichi le impostazioni di replica, vengono generati i log.

Per visualizzare questi log, segui questi passaggi:

1. Vai al visualizzatore log nella console Google Cloud.

   Vai al visualizzatore log

2. Seleziona la replica Cloud SQL dal menu a discesa Instance (Instanza).
3. Seleziona il file log replication-setup.log.

Se la replica Cloud SQL non riesce a connettersi al server esterno, conferma quanto segue:

• Qualsiasi firewall sul server esterno sia configurato per consentire le connessioni dall'indirizzo IP in uscita della replica Cloud SQL.
• La configurazione SSL/TLS è corretta.
• L'utente, l'host e la password di replica siano corretti.

Passaggi successivi

• Scopri di più sull'aggiornamento di un'istanza.
• Scopri di più sulla gestione delle repliche.
• Scopri di più sul monitoraggio delle istanze.
• Scopri come promuovere la replica Cloud SQL.