Zu CDC-Replikation über Pub/Sub migrieren

In diesem Dokument wird beschrieben, wie Sie bei Verwendung des BigQuery-Connector für SAP von der Streamingdatenreplikation zur CDC-Replikation über Pub/Sub migrieren.

Wenn Sie bereits BigQuery-Connector für SAP verwenden und möchten, dass Änderungen aus den SAP-Quelltabelle direkt in Ihrer BigQuery-Tabelle widergespiegelt werden, können Sie die CDC-Replikation über Pub/Sub verwenden. Wenn sich Ihre Daten in SAP ändern, erfasst der BigQuery-Connector für SAP die Änderungen und sendet sie über Pub/Sub direkt an Ihre BigQuery-Tabelle. Die Änderungen werden ohne Duplikate angewendet.

Hinweise

Machen Sie sich zuerst mit dem Pub/Sub-Dienst und seiner Terminologie vertraut.

Prüfen Sie, ob Sie oder Ihre Administratoren die folgenden Voraussetzungen erfüllt haben:

BigQuery-Connector für SAP aktualisieren

Wenn Sie die CDC-Replikation über Pub/Sub verwenden möchten, aktualisieren Sie Ihren BigQuery-Connector für SAP auf Version 2.9 oder höher. Informationen zum Aktualisieren des Connectors finden Sie unter BigQuery-Connector für SAP aktualisieren.

Google Cloud APIs aktivieren

Achten Sie bei der CDC-Replikation über Pub/Sub darauf, dass die folgenden APIs aktiviert sind:

  • Pub/Sub API
  • BigQuery API
  • IAM Service Account Credentials API

Informationen zum Aktivieren von Google Cloud APIs finden Sie unter APIs aktivieren.

Authentifizierung einrichten

Wenn Sie die CDC-Replikation über Pub/Sub verwenden möchten, müssen Sie dem für die Autorisierung verwendeten Dienstkonto zusätzlich zu den vorhandenen BigQuery-Rollen die Rolle „Pub/Sub-Bearbeiter“ zuweisen. Achten Sie darauf, dass das Dienstkonto die folgenden Rollen hat:

  • Pub/Sub-Bearbeiter
  • BigQuery-Dateneditor
  • BigQuery Job User

Informationen zum Zuweisen einer Rolle finden Sie unter Einzelne Rolle zuweisen.

Informationen zu den unterstützten Authentifizierungsmethoden und zum Einrichten der Authentifizierung finden Sie unter Authentifizierung einrichten.

Thema für unzustellbare Nachrichten erstellen

Um Nachrichten zu verarbeiten, die von einem BigQuery-Abo nicht in die BigQuery-Zieltabelle geschrieben werden können, empfehlen wir, ein Thema für unzustellbare Nachrichten zu erstellen. Dieses Dead-Letter-Thema dient als separate Warteschlange, in der Pub/Sub nicht zustellbare Nachrichten nach allen Wiederholungsversuchen automatisch veröffentlicht.

Migrationsschritte

So gehen Sie bei der Migration vor:

  1. SAP LT Replication Server-Replikationskonfiguration beenden
  2. Deduplizierte CDC-Tabelle vorbereiten
  3. Migration über den BigQuery-Connector für SAP starten
  4. Replikationseinstellungen konfigurieren
  5. Aktivieren Sie die SAP LT Replication Server-Replikationskonfiguration.
  6. Replikation in BigQuery prüfen

SAP LT Replication Server-Replikationskonfiguration beenden

  1. Geben Sie in der SAP-GUI den Transaktionscode LTRC ein.

  2. Beenden Sie die SAP LT Replication Server-Replikationskonfiguration, die Sie migrieren möchten.

Deduplizierte CDC-Tabelle vorbereiten

In BigQuery müssen Sie eine deduplizierte CDC-Tabelle aus Ihrer vorhandenen BigQuery-Staging-Tabelle erstellen. Wenn Sie die CDC-Replikation über Pub/Sub verwenden, wird diese CDC-Tabelle zur externen Tabelle in BigQuery für Ihre SAP-Daten.

So bereiten Sie eine deduplizierte CDC-Tabelle vor:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie auf Neue Abfrage erstellen.

  3. So erstellen Sie eine CDC-Tabelle aus Ihrer vorhandenen BigQuery-Staging-Tabelle:

    1. Geben Sie im Textbereich Abfrageeditor die folgende Abfrage ein, um die Struktur Ihrer vorhandenen BigQuery-Staging-Tabelle zu kopieren:

      CREATE TABLE CDC_TABLE LIKE STAGING_TABLE

      Ersetzen Sie Folgendes:

      • CDC_TABLE: Ein Name für Ihre BigQuery-CDC-Tabelle.
      • STAGING_TABLE: Der Name der BigQuery-Staging-Tabelle.

    2. Klicken Sie auf Ausführen.

    In diesem Schritt wird eine CDC-Tabellenstruktur ohne Primärschlüssel erstellt.

  4. Ändern Sie die CDC-Tabellendefinition, um Primärschlüssel hinzuzufügen:

    1. Geben Sie im Textbereich des Abfrageeditors die folgende Abfrage ein, um Primärschlüssel hinzuzufügen:

      ALTER TABLE CDC_TABLE ADD PRIMARY KEY(PRIMARY_KEYS) NOT INFORCED

      Ersetzen Sie Folgendes:

      • CDC_TABLE: Der Name der CDC-Tabelle.
      • PRIMARY_KEYS: Die Primärschlüssel als durch Kommas getrennte Liste. Sie können die Liste der Primärschlüssel aus der SAP-Quelltabelle abrufen.

    2. Klicken Sie auf Ausführen.

  5. CDC-Tabelle deduplizieren:

    1. Geben Sie im Textbereich Abfrageeditor die folgende Abfrage ein, um die CDC-Tabelle zu deduplizieren:

      INSERT INTO CDC_TABLE (COLUMN_NAMES )
SELECT COLUMN_NAMES FROM STAGING_TABLE WHERE is_deleted = false QUALIFY ROW_NUMBER() OVER( PARTITION BY PRIMARY_KEYS ORDER BY recordstamp DESC ) = 1

      Ersetzen Sie Folgendes:

      • CDC_TABLE: Der Name der CDC-Tabelle.
      • COLUMN_NAMES: Die Spaltennamen als durch Kommas getrennte Liste. Sie können die Liste der Spaltennamen aus dem SAP-Quellsystem abrufen. Alternativ können Sie ein Sternchen (*) verwenden, um alle Spalten auszuwählen.
      • PRIMARY_KEYS: Die Primärschlüssel der CDC-Tabelle.
      • STAGING_TABLE: Der Name der Staging-Tabelle.

    2. Klicken Sie auf Ausführen.

Alternativ können Sie in BigQuery Studio die Option Kopieren verwenden, um die Struktur der Quell-Staging-Tabelle zu kopieren und eine CDC-Tabelle zu erstellen.

Migration über den BigQuery-Connector für SAP starten

  1. Geben Sie in der SAP-GUI die Transaktion /GOOG/SLT_SETTINGS, der /n vorangestellt ist: 
    /n/GOOG/SLT_SETTINGS
  2. Wählen Sie im Drop-down-Menü im Feld Google Cloud Partner die Option BigQuery aus.
  3. Wählen Sie im Drop-down-Menü Einstellungentabelle im Startbildschirm für die Transaktion /GOOG/SLT_SETTINGS die Option Massenübertragungen aus.
  4. Geben Sie im Feld Massenübertragungsschlüssel die Massenübertragungs-ID der SAP LT Replication Server-Replikationskonfiguration an, die Sie migrieren möchten.
  5. Klicken Sie auf das Symbol Ausführen.
  6. Klicken Sie auf der Seite Wartung der BigQuery-Einstellungen – Massenübertragungen auf Migrieren.
  7. Klicken Sie im Dialogfeld zur Bestätigung der Migration auf Ja.

Replikationseinstellungen konfigurieren

  1. Geben Sie in der SAP-GUI die Transaktion /GOOG/SLT_SETTINGS, der /n vorangestellt ist: 
    /n/GOOG/SLT_SETTINGS
  2. Wählen Sie im Drop-down-Menü im Feld Google Cloud Partner die Option BigQuery CDC via Pub/Sub aus.
  3. Wählen Sie im Drop-down-Menü Einstellungentabelle im Startbildschirm für die Transaktion /GOOG/SLT_SETTINGS die Option Massenübertragungen aus.
  4. Geben Sie im Feld Massenübertragungsschlüssel die Massenübertragungs-ID der SAP LT Replication Server-Replikationskonfiguration an, die Sie im Abschnitt Migration über BigQuery-Connector für SAP starten migriert haben.
  5. Klicken Sie auf das Symbol Ausführen. Der Bildschirm Wartung der BigQuery-Einstellungen – Massenübertragungen wird angezeigt.
  6. Prüfen Sie, ob die migrierte SAP LT Replication Server-Replikationskonfiguration angezeigt wird.

  7. Geben Sie für die SAP LT Replication Server-Replikationskonfiguration die folgenden Tabellenattribute an:

    1. Geben Sie im Feld Name der externen Tabelle den Namen der CDC-Tabelle ein, die Sie im vorherigen Schritt Deduplizierte CDC-Tabelle vorbereiten erstellt haben.

    2. Wenn Sie die CDC-Replikation in BigQuery über Pub/Sub aktivieren möchten, wählen Sie das Kästchen Repl CPS aus.

    3. Geben Sie im Feld Pub/Sub-Schema einen Namen für das Pub/Sub-Schema ein. Der BigQuery-Connector für SAP erstellt automatisch ein Avro-Schema oder aktualisiert ein vorhandenes, damit es der SAP-Tabellendefinition entspricht.

    4. Geben Sie im Feld Pub/Sub-Thema einen Namen für das Pub/Sub-Thema ein, in dem Nachrichten veröffentlicht werden. Der BigQuery-Connector für SAP erstellt automatisch ein Thema.

    5. Geben Sie im Feld Pub/Sub-Abo einen Namen für das BigQuery-Abo ein, mit dem Nachrichten aus dem Pub/Sub-Thema abgerufen und in BigQuery geschrieben werden. Der BigQuery-Connector für SAP erstellt automatisch ein Abo und verknüpft es mit dem im vorherigen Schritt angegebenen Thema.

    6. Geben Sie im Feld Warteschlange für unzustellbare Nachrichten den Namen des Pub/Sub-Themas für unzustellbare Nachrichten ein. Dieses Thema für unzustellbare Nachrichten empfängt Nachrichten, die Pub/Sub über das BigQuery-Abo nicht in BigQuery schreiben kann.

    7. Wenn Sie die CDC-Funktion (Change Data Capture) für die Tabelle aktivieren möchten, klicken Sie das Kästchen Act. CDC (CDC aktivieren) an.

    8. Wenn Sie die Leistung für das erste Laden optimieren möchten, klicken Sie das Kästchen Cache Val (Cache-Validierung) an.

      Wenn Sie dieses Feld auswählen, bietet der Connector maximale Leistung für große Datenübertragungen. Das System führt in regelmäßigen Abständen Validierungen der Google Cloud Pipeline durch und speichert die Ergebnisse im Cache. Der Connector ermöglicht eine schnelle Datentransformation und sendet Daten direkt an Pub/Sub. Weitere Informationen finden Sie unter Cache-Validierungen.

SAP LT Replication Server-Replikationskonfiguration aktivieren

  1. Geben Sie in der SAP-GUI den Transaktionscode LTRC ein.

  2. Aktivieren Sie die Konfiguration.

    Durch die Aktivierung der Konfiguration werden alle erforderlichen Pub/Sub-bezogenen Ressourcen erstellt und die Replikation wird gestartet. Die konfigurierte CDC-Tabelle enthält alle neuen und noch nicht verarbeiteten Änderungen.

Replikation in BigQuery prüfen

Prüfen Sie in BigQuery, ob die Werte in der CDC-Tabelle mit denen in der SAP-Quelltabelle übereinstimmen. Weitere Informationen dazu finden Sie unter Replikation in BigQuery validieren.

Fehlerbehebung

Informationen zum Diagnostizieren und Beheben von Problemen, die bei der Migration der Replikation auftreten können, finden Sie im Leitfaden zur Fehlerbehebung für BigQuery-Connector für SAP.

Support anfordern

Wenn Sie Hilfe bei der Behebung von Problemen mit den Migrationsschritten benötigen, erfassen Sie alle verfügbaren Diagnoseinformationen und wenden Sie sich an Cloud Customer Care. Informationen zur Kontaktaufnahme mit Customer Care finden Sie unter Support für SAP auf Google Cloud.