En este documento, se describe cómo migrar de la replicación de datos de transmisión a la replicación de CDC a través de Pub/Sub cuando se usa BigQuery Connector para SAP.
Si ya usas BigQuery Connector para SAP y deseas que tu tabla de BigQuery refleje directamente los cambios de las tablas de SAP de origen, puedes usar la replicación de CDC a través de Pub/Sub. Cuando tus datos cambian en SAP, BigQuery Connector para SAP captura los cambios y los envía a través de Pub/Sub directamente a tu tabla de BigQuery, aplicando los cambios sin duplicados.
Antes de comenzar
Antes de comenzar, obtén información sobre el servicio de Pub/Sub y su terminología.
Asegúrate de que tú o tus administradores hayan completado los siguientes requisitos previos:
- Actualiza BigQuery Connector para SAP a la versión 2.9 o posterior.
- Habilita las Google Cloud APIs.
- Configura la autenticación.
- Crea un tema de mensajes no entregados.
Actualiza BigQuery Connector para SAP
Para usar la replicación de CDC a través de Pub/Sub, actualiza tu BigQuery Connector para SAP a la versión 2.9 o posterior. Si deseas obtener información para actualizar el conector, consulta Actualiza BigQuery Connector para SAP.
Habilita las APIs de Google Cloud
Para la replicación de CDC a través de Pub/Sub, asegúrate de que las siguientes APIs estén habilitadas:
- API de Pub/Sub
- API de BigQuery
- API de IAM Service Account Credentials
Para obtener información sobre cómo habilitar las Google Cloud APIs, consulta Habilita las APIs.
Configura la autenticación
Para usar la replicación de CDC a través de Pub/Sub, además de los roles existentes de BigQuery, debes otorgar el rol de Editor de Pub/Sub a la cuenta de servicio que se usa para la autorización. Asegúrate de que la cuenta de servicio tenga los siguientes roles:
- Editor de Pub/Sub
- Editor de datos de BigQuery
- Usuario de trabajo de BigQuery
Para obtener información sobre cómo otorgar un rol, consulta Otorga un solo rol.
Para obtener información sobre los métodos de autenticación admitidos y cómo configurar la autenticación, consulta Configura la autenticación.
Crea un tema de mensajes no entregados
Para controlar los mensajes que una suscripción a BigQuery no puede escribir en la tabla de BigQuery de destino, te recomendamos que crees un tema de mensajes no entregados. Este tema de mensajes no entregados funciona como una cola independiente en la que Pub/Sub publica automáticamente los mensajes que no se pueden entregar después de todos los reintentos.
Pasos para la migración
Sigue estos pasos de migración de alto nivel:
- Detén la configuración de replicación de SAP LT Replication Server.
- Prepara la tabla de CDC sin duplicados.
- Inicia la migración a través de BigQuery Connector para SAP.
- Configura los parámetros de replicación.
- Activa la configuración de replicación de SAP LT Replication Server.
- Verifica la replicación en BigQuery.
Detén la configuración de replicación de SAP LT Replication Server
En la GUI de SAP, ingresa el código de transacción
LTRC.Detén la configuración de replicación de SAP LT Replication Server que deseas migrar.
Prepara la tabla de CDC sin duplicados
En BigQuery, debes crear una tabla de CDC sin duplicados a partir de tu tabla de etapa intermedia de BigQuery existente. Cuando usas la replicación de CDC a través de Pub/Sub, esta tabla de CDC se convierte en la tabla externa en BigQuery para tus datos de SAP.
Para preparar una tabla de CDC sin duplicados, haz lo siguiente:
En la consola de Google Cloud , ve a la página BigQuery.
Haz clic en Redactar consulta nueva.
Crea una tabla de CDC a partir de tu tabla de transferencia de BigQuery existente:
En el área de texto del editor de consultas, para copiar la estructura de la tabla de transferencia existente de BigQuery, ingresa la siguiente consulta:
CREATE TABLE CDC_TABLE LIKE STAGING_TABLE
Reemplaza lo siguiente:
CDC_TABLE: Es el nombre de tu tabla de CDC de BigQuery.STAGING_TABLE: Es el nombre de la tabla de transferencia de BigQuery.
Haz clic en Ejecutar.
En este paso, se crea una estructura de tabla de CDC sin claves primarias.
Modifica la definición de la tabla de CDC para agregar claves primarias:
En el área de texto del Editor de consultas, para agregar claves principales, ingresa la siguiente consulta:
ALTER TABLE CDC_TABLE ADD PRIMARY KEY(PRIMARY_KEYS) NOT INFORCED
Reemplaza lo siguiente:
CDC_TABLE: Es el nombre de la tabla de CDC.PRIMARY_KEYS: Las claves primarias como una lista separada por comas. Puedes recuperar la lista de claves primarias de la tabla de SAP de origen.
Haz clic en Ejecutar.
Anula el duplicado de la tabla de CDC:
En el área de texto del Editor de consultas, para quitar los duplicados de la tabla de CDC, ingresa la siguiente consulta:
INSERT INTO CDC_TABLE (COLUMN_NAMES ) SELECT COLUMN_NAMES FROM STAGING_TABLE WHERE is_deleted = false QUALIFY ROW_NUMBER() OVER( PARTITION BY PRIMARY_KEYS ORDER BY recordstamp DESC ) = 1
Reemplaza lo siguiente:
CDC_TABLE: Es el nombre de la tabla de CDC.COLUMN_NAMES: Nombres de las columnas como una lista separada por comas. Puedes recuperar la lista de nombres de columnas del sistema de origen de SAP. Como alternativa, usa un asterisco (*) para seleccionar todas las columnas.PRIMARY_KEYS: Son las claves primarias de la tabla de CDC.STAGING_TABLE: Es el nombre de la tabla de transferencia.
Haz clic en Ejecutar.
Como alternativa, puedes usar la opción Copiar en BigQuery Studio para copiar la estructura de la tabla de transferencia de origen y crear una tabla de CDC.
Inicia la migración a través de BigQuery Connector para SAP
- En la GUI de SAP, ingresa la transacción
/GOOG/SLT_SETTINGSprecedida por/n:/n/GOOG/SLT_SETTINGS - En el menú desplegable del campo Socio de Google Cloud, selecciona BigQuery.
- En el menú desplegable Tabla de configuración, en la pantalla de lanzamiento de la transacción
/GOOG/SLT_SETTINGS, selecciona Transferencias masivas. - En el campo Clave de transferencia masiva, especifica el ID de transferencia masiva de la configuración de replicación de SAP LT Replication Server que deseas migrar.
- Haz clic en el ícono Ejecutar.
- En la pantalla Mantenimiento de configuración de BigQuery - Transferencias masivas, haz clic en Migrar.
- En el diálogo de confirmación de la migración, haz clic en Sí.
Configura los parámetros de configuración de la replicación
- En la GUI de SAP, ingresa la transacción
/GOOG/SLT_SETTINGSprecedida por/n:/n/GOOG/SLT_SETTINGS - En el menú desplegable del campo Socio de Google Cloud, selecciona CDC de BigQuery a través de Pub/Sub.
- En el menú desplegable Tabla de configuración, en la pantalla de lanzamiento de la transacción
/GOOG/SLT_SETTINGS, selecciona Transferencias masivas. - En el campo Clave de transferencia masiva, especifica el ID de transferencia masiva de la configuración de replicación de SAP LT Replication Server que migraste en la sección Inicia la migración a través de BigQuery Connector para SAP.
- Haz clic en el ícono Ejecutar. Aparecerá la pantalla Mantenimiento de configuración de BigQuery - Transferencias masivas.
- Verifica que se muestre la configuración de replicación migrada de SAP LT Replication Server.
Para la configuración de replicación de SAP LT Replication Server, especifica los siguientes atributos de la tabla:
En el campo Nombre de la tabla externa, ingresa el nombre de la tabla de CDC que creaste en el paso anterior Prepara la tabla de CDC sin duplicados.
Para habilitar la replicación de CDC en BigQuery a través de Pub/Sub, selecciona la casilla de verificación Repl CPS.
En el campo Esquema de Pub/Sub, ingresa un nombre para el esquema de Pub/Sub. BigQuery Connector para SAP crea o actualiza automáticamente un esquema de Avro existente para que coincida con la definición de la tabla de SAP.
En el campo Tema de Pub/Sub, ingresa un nombre para el tema de Pub/Sub en el que se publican los mensajes. BigQuery Connector para SAP crea un tema automáticamente.
En el campo Suscripción a Pub/Sub, ingresa un nombre para la suscripción a BigQuery que consume mensajes del tema de Pub/Sub y escribe en BigQuery. BigQuery Connector para SAP crea automáticamente una suscripción y la vincula al tema especificado en el paso anterior.
En el campo Dead Letter Queue, ingresa el nombre del tema de mensajes no entregados de Pub/Sub. Este tema de mensajes no entregados recibe mensajes que Pub/Sub no puede escribir en BigQuery a través de la suscripción a BigQuery.
Para habilitar la funcionalidad de captura de datos modificados (CDC) para la tabla, selecciona la casilla de verificación Act. CDC (Activar CDC).
Para optimizar el rendimiento de las cargas iniciales, selecciona la casilla de verificación Cache Val (validación de caché).
Cuando seleccionas este campo, el conector proporciona el máximo rendimiento para las transferencias de datos grandes. El sistema ejecuta validaciones de la canalización Google Cloud en intervalos y almacena los resultados en caché. El conector proporciona una transformación rápida de los datos y los envía directamente a Pub/Sub. Para obtener más información, consulta Validaciones de caché.
Activa la configuración de replicación de SAP LT Replication Server
En la GUI de SAP, ingresa el código de transacción
LTRC.Activa la configuración.
Cuando se activa la configuración, se crean todos los recursos relacionados con Pub/Sub necesarios y se inicia la replicación. La tabla de CDC configurada refleja todos los cambios nuevos y no procesados.
Verifica la replicación en BigQuery
En BigQuery, verifica que los valores de la tabla de CDC sean los mismos que los de tu tabla de SAP de origen. Para obtener más información sobre cómo hacerlo, consulta Valida la replicación en BigQuery.
Solucionar problemas
Si deseas obtener información para diagnosticar y resolver problemas que puedes encontrar cuando migras la replicación, consulta la guía de solución de problemas de BigQuery Connector para SAP.
Obtenga asistencia
Si necesitas ayuda para resolver problemas con los pasos de migración, recopila toda la información de diagnóstico disponible y comunícate con el servicio de Atención al cliente de Cloud. Si deseas obtener más información para comunicarte con el equipo de Atención al cliente, consulta Obtén asistencia para SAP en Google Cloud.