Usar una importación gestionada para configurar la replicación desde bases de datos externas

En esta página se describe cómo configurar y usar una importación gestionada de datos al replicar desde un servidor externo a Cloud SQL.

Debes completar todos los pasos de esta página. Cuando termine, podrá administrar y monitorizar la instancia de representación de origen del mismo modo que lo haría con cualquier otra instancia de Cloud SQL.

Antes de empezar

Antes de empezar, sigue estos pasos:

1. Configura el servidor externo.

2. Crea la instancia de representación de la fuente.

3. Configura la réplica de Cloud SQL.

Actualizar los privilegios del usuario de replicación

El usuario de replicación del servidor externo está configurado para aceptar conexiones de cualquier host (%). Actualiza esta cuenta de usuario para que solo se pueda usar con la réplica de Cloud SQL.

Privilegios necesarios

Hay cuatro tipos de combinaciones de migraciones y volcados.

• Tipo 1: migración continua y volcado gestionado
• Tipo 2: migración continua y volcado manual
• Tipo 3: migración única y volcado gestionado
• Tipo 4: migración única y volcado manual

A continuación se indican los privilegios de cada tipo de migración y combinación de acceso.

Actualizar privilegios

Para actualizar los privilegios, abre un terminal en el servidor externo e introduce los siguientes comandos.

    UPDATE mysql.user
      SET Host='NEW_HOST'
      WHERE Host='OLD_HOST'
      AND User='USERNAME';
    GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION_CLIENT,
    RELOAD ON . TO
    'USERNAME'@'HOST';
    FLUSH PRIVILEGES;

    UPDATE mysql.user
    SET Host='NEW_HOST'
    WHERE Host='OLD_HOST'
    AND User='USERNAME';
    GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT,
    RELOAD ON . TO 'GCP_USERNAME'@'HOST';
    FLUSH PRIVILEGES;

UPDATE mysql.user
  SET Host='192.0.2.0'
  WHERE Host='%'
  AND User='replicationUser';
GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT,
RELOAD ON *.* TO 'username'@'host.com';
FLUSH PRIVILEGES;

Verificar la configuración de la replicación

Una vez que hayas completado la configuración, asegúrate de que la réplica de Cloud SQL pueda replicar desde el servidor externo.

Los siguientes ajustes de sincronización externa deben ser correctos.

• Conectividad entre la réplica de Cloud SQL y el servidor externo
• Privilegios de usuario de replicación
• Compatibilidad de versiones
• La réplica de Cloud SQL aún no está replicando
• Los registros binarios están habilitados en el servidor externo
• GTID está habilitado si intentas hacer una sincronización externa desde un servidor externo de RDS y utilizas un Google Cloud contenedor.

Para verificar estos ajustes, abre un terminal de Cloud Shell e introduce los siguientes comandos:

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "SYNC_MODE",
         "syncParallelLevel": "SYNC_PARALLEL_LEVEL",
         "mysqlSyncConfig": {
           "initialSyncFlags": "SYNC_FLAGS"
         }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE_ID/verifyExternalSyncSettings

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/myproject/instances/myreplica/verifyExternalSyncSettings

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
         "mysqlSyncConfig": {
             "initialSyncFlags": [{"name": "max-allowed-packet", "value": "1073741824"}, {"name": "hex-blob"}, {"name": "compress"}]
             }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/verifyExternalSyncSettings

Estas llamadas devuelven una lista de tipo sql#externalSyncSettingErrorList.

Si la lista está vacía, significa que no hay errores. Una respuesta sin errores tiene este aspecto:

  {
    "kind": "sql#externalSyncSettingErrorList"
  }

Permiso de bloqueo de lectura global

Si no tienes permiso para acceder al bloqueo de lectura global en el servidor externo (como puede ocurrir con Amazon RDS y Amazon Aurora), pausa las escrituras en tu servidor siguiendo los pasos que se indican a continuación:

1. Ve al explorador de registros y selecciona tu réplica de Cloud SQL en la lista de recursos. Debería ver una lista de los registros más recientes de su réplica de Cloud SQL. Ignóralos por ahora.
2. Abre un terminal e introduce los comandos de Iniciar la replicación en el servidor externo para replicar desde el servidor externo.

3. Vuelve al Explorador de registros. Cuando veas el registro de la siguiente manera, deja de escribir en la base de datos de tu servidor externo. En la mayoría de los casos, solo se requiere durante unos segundos.

      DUMP_IMPORT(START): Start importing data, please pause any write to the
      external primary database.
   

4. Cuando veas la siguiente entrada de registro en el Explorador de registros, vuelve a habilitar la escritura en la base de datos de tu servidor externo.

      DUMP_IMPORT(SYNC): Consistent state on primary and replica. Writes to the
      external primary may resume.
   
   

Iniciar la replicación en el servidor externo

Una vez que hayas verificado que puedes replicar desde el servidor externo, inicia la replicación. La velocidad de replicación del proceso de importación inicial es de hasta 500 GB por hora. Sin embargo, esta velocidad puede variar en función del nivel de la máquina, el tamaño del disco de datos, el rendimiento de la red y la naturaleza de la base de datos.

Durante el proceso de importación inicial, no realice ninguna operación de DDL en el servidor externo. Si lo hace, podría haber incoherencias durante la importación. Una vez que se completa el proceso de importación, la réplica usa los registros binarios del servidor externo para ponerse al día con el estado actual del servidor externo.

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "SYNC_MODE",
         "skipVerification": "SKIP_VERIFICATION",
         "syncParallelLevel": "SYNC_PARALLEL_LEVEL",
         "mysqlSyncConfig": {
           "initialSyncFlags": "SYNC_FLAGS"
         }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE_ID/startExternalSync

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/startExternalSync

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
         "skipVerification": false,
         "mysqlSyncConfig": {
             "initialSyncFlags": [{"name": "max-allowed-packet", "value": "1073741824"}, {"name": "hex-blob"}, {"name": "compress"}]
             }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/startExternalSync

Indicadores de sincronización inicial

Para migrar con marcas de base de datos personalizadas, puede usar las siguientes marcas permitidas:

• --add-drop-database
• --add-drop-table
• --add-drop-trigger
• --add-locks
• --allow-keywords
• --all-tablespaces
• --apply-slave-statements
• --column-statistics
• --comments
• --compact
• --compatible
• --complete-insert
• --compress
• --compression-algorithms
• --create-options
• --default-character-set
• --delayed-insert
• --disable-keys
• --dump-date
• --events
• --extended-insert
• --fields-enclosed-by
• --fields-escaped-by
• --fields-optionally-enclosed-by
• --fields-terminated-by
• --flush-logs
• --flush-privileges
• --force
• --get-server-public-key
• --hex-blob
• --ignore-error
• --ignore-read-lock-error
• --ignore-table
• --insert-ignore
• --lines-terminated-by
• --lock-all-tables
• --lock-tables
• --max-allowed-packet
• --net-buffer-length
• --network-timeout
• --no-autocommit
• --no-create-db
• --no-create-info
• --no-data
• --no-defaults
• --no-set-names
• --no-tablespaces
• --opt
• --order-by-primary
• --pipe
• --quote-names
• --quick
• --replace
• --routines
• --secure-auth
• --set-charset
• --shared-memory-base-name
• --show-create-skip-secondary-engine
• --skip-opt
• --ssl-cipher
• --ssl-fips-mode
• --ssl-verify-server-cert
• --tls-ciphersuites
• --tls-version
• --triggers
• --tz-utc
• --verbose
• --xml
• --zstd-compression-level

Para ver los valores permitidos, consulta la documentación pública de MySQL.

Controlar la migración

Una vez que hayas iniciado la replicación desde el servidor externo, tendrás que monitorizarla. Para obtener más información, consulta Monitorizar la replicación. A continuación, puedes completar la migración.

Solucionar problemas

Prueba las siguientes opciones para solucionar el problema:

Además, en el caso de MySQL, también puedes usar las siguientes opciones:

Revisar los registros de replicación

Cuando verifiques la configuración de la réplica, se generarán registros.

Para ver estos registros, sigue estos pasos:

1. Ve al visualizador de registros de la Google Cloud consola.

   Ir al visualizador de registros

2. Selecciona la réplica de Cloud SQL en el menú desplegable Instancia.
3. Selecciona el archivo de registro replication-setup.log.

Si la réplica de Cloud SQL no puede conectarse al servidor externo, comprueba lo siguiente:

• Cualquier cortafuegos del servidor externo está configurado para permitir conexiones desde la dirección IP de salida de la réplica de Cloud SQL.
• La configuración de SSL/TLS es correcta.
• El usuario, el host y la contraseña de la réplica son correctos.

Siguientes pasos

• Consulta cómo actualizar una instancia.
• Consulta información sobre cómo gestionar réplicas.
• Consulta información sobre cómo monitorizar instancias.
• Consulta información sobre cómo promocionar tu réplica de Cloud SQL.