Connector für die CDC-Replikation über Pub/Sub konfigurieren

In dieser Anleitung wird beschrieben, wie Sie die CDC-Replikation über Pub/Sub mit dem BigQuery-Connector für SAP konfigurieren.

Hinweise

Informationen zum Pub/Sub-Dienst und seiner Terminologie

Prüfen Sie, ob Sie oder Ihre Administratoren die folgenden Voraussetzungen erfüllt haben:

BigQuery-Connector für SAP installieren

Wenn Sie Daten mithilfe von Pub/Sub in BigQuery replizieren möchten, installieren Sie BigQuery-Connector für SAP Version 2.9 oder höher in Ihrer SAP-Umgebung. Eine Installationsanleitung finden Sie unter BigQuery-Connector für SAP installieren.

Wenn Sie die Streamingdatenreplikation mit BigQuery-Connector für SAP Version 2.8 oder früher verwenden, müssen Sie Ihren Connector auf die neueste Version aktualisieren und dann die Migrationsschritte ausführen, um die CDC-Replikation über Pub/Sub zu verwenden.

Authentifizierung einrichten

Für den Zugriff auf die Pub/Sub API müssen Sie die Authentifizierung fürGoogle Cloudeinrichten. Informationen zu den unterstützten Authentifizierungsmethoden und zum Einrichten der Authentifizierung finden Sie unter Authentifizierung für BigQuery-Connector für SAP.

Thema für unzustellbare Nachrichten erstellen

Um Nachrichten zu verarbeiten, die von einem BigQuery-Abo nicht in die Ziel-BigQuery-Tabelle geschrieben werden können, empfehlen wir, ein Dead-Letter-Thema zu erstellen. Dieses Dead-Letter-Thema dient als separate Warteschlange, in der Pub/Sub nicht zustellbare Nachrichten nach allen Wiederholungsversuchen automatisch veröffentlicht.

Erstellen Sie ein standardmäßiges Pub/Sub-Thema, um das Thema für unzustellbare Nachrichten zu erstellen. Dieses Thema für unzustellbare Nachrichten ist funktional identisch mit jedem anderen Pub/Sub-Thema, aber es ist speziell für unzustellbare Nachrichten vorgesehen. Sie können ein einzelnes Dead-Letter-Thema für mehrere Replikationsvorgänge verwenden oder je nach Bedarf dedizierte Dead-Letter-Themen für jeden Replikationsvorgang konfigurieren.

Sie geben dieses Thema für unzustellbare Nachrichten an, wenn Sie die CDC-Replikation konfigurieren. Das Thema für unzustellbare Nachrichten empfängt alle Nachrichten, die Pub/Sub über das BigQuery-Abo nicht in BigQuery schreiben kann.

Wenn Sie fehlgeschlagene Nachrichten analysieren, noch einmal verarbeiten oder Fehler beheben möchten, können Sie ein weiteres BigQuery-Abo für das Thema für unzustellbare Nachrichten erstellen. Dadurch wird der Prozess automatisiert, Nachrichten aus dem Dead-Letter-Thema zu übernehmen und in eine dedizierte BigQuery-Tabelle zu schreiben. Weitere Informationen finden Sie unter Thema für unzustellbare Nachrichten auf fehlgeschlagene Nachrichten überwachen.

Weitere Informationen zu Themen für unzustellbare Nachrichten finden Sie unter Thema für unzustellbare Nachrichten.

SAP-Rollen und -Autorisierungen für BigQuery-Connector für SAP erstellen

Um mit BigQuery-Connector für SAP zu arbeiten, benötigen Nutzer zusätzlich zu den standardmäßigen SAP LT Replication Server-Autorisierungen Zugriff auf die benutzerdefinierten Transaktionen, die mit BigQuery-Connector für SAP bereitgestellt werden: /GOOG/SLT_SETTINGS und /GOOG/REPLIC_VALID.

Standardmäßig können Nutzer, die Zugriff auf die benutzerdefinierten Transaktionen /GOOG/SLT_SETTINGS und /GOOG/REPLIC_VALID haben, die Einstellungen jeder Konfiguration ändern. Bei Bedarf können Sie also den Zugriff auf bestimmte Konfigurationen einschränken. Sie können Nutzern, die nur die Einstellungen von BigQuery-Connector für SAP aufrufen müssen, Lesezugriff auf die benutzerdefinierte Transaktion /GOOG/SLT_SETT_DISP gewähren.

Die BigQuery-Connector für SAP-Transportdateien enthalten das Google BigQuery Settings Authorization-Objekt ZGOOG_MTID für Autorisierungen, die für BigQuery-Connector für SAP spezifisch sind.

Mit den folgenden Schritten gewähren Sie Zugriff auf die benutzerdefinierten Transaktionen und beschränken den Zugriff auf bestimmte Konfigurationen:

  1. Definieren Sie mit dem SAP-Transaktionscode PFCG eine Rolle für BigQuery-Connector für SAP.

  2. Gewähren Sie der Rolle Zugriff auf die benutzerdefinierten Transaktionen /GOOG/SLT_SETTINGS und /GOOG/REPLIC_VALID.

  3. Um den Zugriff einer Rolle einzuschränken, geben Sie über das Autorisierungsobjekt ZGOOG_MTID die Autorisierungsgruppe jeder Konfiguration an, auf die die Rolle zugreifen kann. Beispiel:

    • Autorisierungsobjekt für BigQuery-Connector für SAP (ZGOOG_MTID):
      • Activity 01
      • Authorization Group AUTH_GROUP_1,AUTH_GROUP_N

    AUTH_GROUP_01 und AUTH_GROUP_N sind Werte, die in der SAP LT Replication Server-Konfiguration definiert sind.

    Die für ZGOOG_MTID angegebenen Autorisierungsgruppen müssen mit den Autorisierungsgruppen übereinstimmen, die für die Rolle im SAP-Autorisierungsobjekt S_DMIS_SLT angegeben sind.

SAP-Rollen und -Autorisierungen zum Aufrufen der Einstellungen von BigQuery-Connector für SAP erstellen

So gewähren Sie Lesezugriff für die benutzerdefinierte Transaktion /GOOG/SLT_SETT_DISP:

  1. Definieren Sie mit dem SAP-Transaktionscode PFCG eine Rolle zum Aufrufen der Einstellungen von BigQuery-Connector für SAP.

  2. Gewähren Sie der Rolle Zugriff auf die benutzerdefinierte Transaktion /GOOG/SLT_SETT_DISP.

  3. Fügen Sie das Autorisierungsobjekt für BigQuery-Connector für SAP (ZGOOG_MTID) mit den folgenden Attributen hinzu:

    • Activity 03
    • Authorization Group = *

  4. Generieren Sie das Rollenprofil und weisen Sie der Rolle die entsprechenden Nutzer zu.

Replikation konfigurieren

Zum Konfigurieren der Replikation geben Sie die Einstellungen sowohl für BigQuery-Connector für SAP als auch für SAP LT Replication Server an.

SAP LT Replication Server-Replikationskonfiguration erstellen

Verwenden Sie die SAP-Transaktion LTRC, um eine SAP LT Replication Server-Replikationskonfiguration zu erstellen.

Wenn SAP LT Replication Server auf einem anderen Server als dem SAP-Quellsystem ausgeführt wird, prüfen Sie vor dem Erstellen einer Replikationskonfiguration, ob Sie eine RFC-Verbindung zwischen den beiden Systemen haben.

Einige Einstellungen in der Replikationskonfiguration wirken sich auf die Leistung aus. Geeignete Einstellungswerte für die Installation finden Sie im Leitfaden zur Leistungsoptimierung für Ihre Version von SAP LT Replication Server im SAP-Hilfeportal.

Die Benutzer-Oberfläche und Konfigurationsoptionen für SAP LT Replication Server können je nach verwendeter Version geringfügig variieren.

Verwenden Sie zum Konfigurieren der Replikation das Verfahren für Ihre Version von SAP LT Replication Server:

Replikation in DMIS 2011 SP17, DMIS 2018 SP02 oder höher konfigurieren

In den folgenden Schritten wird die Replikation in höheren Versionen von SAP LT Replication Server konfiguriert. Wenn Sie eine ältere Version verwenden, finden Sie weitere Informationen unter Replikation in DMIS 2011 SP16, DMIS 2018 SP01 oder älter konfigurieren.

  1. Geben Sie in der SAP-GUI den Transaktionscode LTRC ein.

  2. Klicken Sie auf das Symbol Konfiguration erstellen. Der Assistent Konfiguration erstellen wird geöffnet.

  3. Geben Sie in die Felder Konfigurationsname und Beschreibung einen Namen und eine Beschreibung für die Konfiguration ein und klicken Sie dann auf Weiter.

    Sie können jetzt die Autorisierungsgruppe angeben, um den Zugriff jetzt auf eine bestimmte Autorisierungsgruppe zu beschränken, oder können dies später tun.

  4. Im Bereich Quellsystem-Verbindungsdetails:

    • Wählen Sie das Optionsfeld RFC-Verbindung aus.
    • Geben Sie im Feld RFC-Ziel den Namen der RFC-Verbindung zum Quellsystem an.
    • Aktivieren Sie die Kästchen Mehrfachverwendung zulassen und Von einzelnem Client lesen nach Bedarf. Weitere Informationen finden Sie in der Dokumentation zu SAP LT Replication Server.
    • Klicken Sie auf Weiter.

    Diese Schritte gelten für eine RFC-Verbindung. Wenn Ihre Quelle jedoch eine Datenbank ist, können Sie DB-Verbindung auswählen, wenn Sie bereits eine Verbindung mit der Transaktion DBACOCKPIT definiert haben.

  5. Im Bereich Zielsystem-Verbindungsdetails:

    • Wählen Sie das Optionsfeld für Andere aus.
    • Wählen Sie im Feld Szenario die Option SLT SDK aus dem Drop-down-Menü aus.
    • Klicken Sie auf Weiter.

  6. Gehen Sie im Bereich Übertragungseinstellungen angeben so vor:

    1. Geben Sie im Feld Anwendung des Abschnitts Datenübertragungseinstellungen /GOOG/SLT_BQ oder ZGOOG_SLT_BQ ein.

    2. Geben Sie im Abschnitt Joboptionen Startwerte in jedes der folgenden Felder ein:

      • Anzahl der Datenübertragungsjobs
      • Anzahl der anfänglichen Ladejobs
      • Anzahl der Berechnungsjobs

    3. Wählen Sie im Abschnitt Replikationsoptionen das Optionsfeld Echtzeit aus.

    4. Klicken Sie auf Weiter.

  7. Nachdem Sie die Konfiguration überprüft haben, klicken Sie auf Speichern.

  8. Notieren Sie sich die dreistellige ID in der Spalte Massenübertragung. Sie benötigen sie in einem späteren Schritt.

Weitere Informationen finden Sie im PDF-Anhang zum SAP-Hinweis 2652704: Daten mit SLT SDK replizieren – DMIS 2011 SP17, DMIS 2018 SP02.pdf.

Replikation in DMIS 2011 SP16, DMIS 2018 SP01 oder älter konfigurieren

In den folgenden Schritten wird die Replikation in früheren Versionen von SAP LT Replication Server konfiguriert. Wenn Sie eine höhere Version verwenden, lesen Sie die Informationen unter Replikation in DMIS 2011 SP17, DMIS 2018 SP02 oder höher konfigurieren.

  1. Geben Sie in der SAP-GUI den Transaktionscode LTRC ein.
  2. Klicken Sie auf Neu. Ein Dialogfeld zum Angeben einer neuen Konfiguration wird geöffnet.
  3. Im Schritt Quellsystem angeben:
    • Wählen Sie RFC-Verbindung als Verbindungstyp aus.
    • Geben Sie den Namen der RFC-Verbindung ein.
    • Achten Sie darauf, dass das Feld Mehrfachverwendung zulassen ausgewählt ist.
  4. Im Schritt Zielsystem angeben:
    • Geben Sie die Verbindungsdaten zum Zielsystem ein.
    • Wählen Sie RFC-Verbindung als Verbindungstyp aus.
    • Wählen Sie im Feld Szenario für RFC-Kommunikation den Wert Daten mit BAdI in das Ziel schreiben aus der Drop-down-Liste aus. Die RFC-Verbindung wird automatisch auf KEINE eingestellt.
  5. Drücken Sie im Schritt Übertragungseinstellungen festlegen die F4-Hilfe. Die zuvor definierte Anwendung wird im Feld Anwendung angezeigt.
  6. Notieren Sie sich die dreistellige ID in der Spalte Massenübertragung. Sie benötigen sie in einem späteren Schritt.

Weitere Informationen finden Sie im PDF-Anhang zum SAP-Hinweis 2652704: Daten mit SLT SDK replizieren – DMIS 2011 SP15, SP16, DMIS 2018 SP00, SP01.pdf.

Massenübertragungskonfiguration für BigQuery erstellen

Verwenden Sie die benutzerdefinierte /GOOG/SLT_SETTINGS-Transaktion, um eine Massenübertragung für BigQuery zu konfigurieren und die Tabellen- und Feldzuordnungen anzugeben.

Anfängliche Massenübertragungsoptionen auswählen

Wenn Sie zum ersten Mal die Transaktion /GOOG/SLT_SETTINGS eingeben, wählen Sie aus, welchen Teil der BigQuery-Massenübertragungskonfiguration Sie bearbeiten müssen.

So wählen Sie den Teil der Massenübertragungskonfiguration aus:

  1. Geben Sie in der SAP-GUI die Transaktion /GOOG/SLT_SETTINGS, der /n vorangestellt ist:

    /n/GOOG/SLT_SETTINGS

  2. Wählen Sie im Drop-down-Menü im Feld Google Cloud Partner die Option BigQuery CDC via Pub/Sub aus.

  3. Wählen Sie im Drop-down-Menü Einstellungentabelle im Startbildschirm für die Transaktion /GOOG/SLT_SETTINGS die Option Massenübertragungen aus.

    Lassen Sie für eine neue Massenübertragungskonfiguration das Feld Massübertragungsschlüssel leer.

  4. Klicken Sie auf das Symbol Ausführen. Der Bildschirm Wartung der BigQuery-Einstellungen wird angezeigt.

Tabellenerstellung und andere allgemeine Attribute angeben

Im ersten Abschnitt einer BigQuery-Massenübertragungskonfiguration identifizieren Sie die Massenübertragungskonfiguration und geben den zugehörigen Clientschlüssel sowie bestimmte Attribute an, die sich auf die Erstellung der BigQuery-Zieltabelle beziehen.

SAP LT Replication Server speichert die Massenübertragungskonfiguration als Eintrag in der benutzerdefinierten Konfigurationstabelle /GOOG/BQ_MASTR.

  1. Klicken Sie auf der Seite Wartung der BigQuery-Einstellungen auf das Symbol Zeile anhängen.

  2. Geben Sie im Feld Massenübertragungsschlüssel einen Namen für diese Übertragung an. Dieser Name wird zum Primärschlüssel der Massenübertragung.

  3. Geben Sie im Feld Massenübertragungs-ID die dreistellige ID ein, die beim Erstellen der entsprechenden SAP LT Replication Server-Replikationskonfiguration generiert wurde.

  4. Wenn Sie die Labels oder kurze Beschreibungen der Quellfelder als Namen für die Zielfelder in BigQuery verwenden möchten, klicken Sie das Kästchen Flag „Benutzerdefinierten Namen“ verwenden an. Weitere Informationen zu Feldnamen finden Sie unter Standardoptionen zur Benennung von Feldern.

  5. Um den Typ der Änderung, der ein Einfügen ausgelöst hat zu speichern und die Validierung der Anzahl der Datensätze zwischen der Quelltabelle, den SAP LT Replication Server-Statistiken und der BigQuery-Tabelle zu aktivieren, wählen Sie das Kästchen Flag „Zusätzliche Felder” aus.

    Wenn dieses Flag festgelegt ist, fügt BigQuery-Connector für SAP dem BigQuery-Tabellenschema Spalten hinzu. Weitere Informationen finden Sie unter Zusätzliche Felder für Datensatzänderungen und Anzahlabfragen.

  6. Damit das Senden von Daten beenden wird, wenn ein Datensatz mit einem Datenfehler gefunden wird, ist das Kästchen Flag „Beim ersten Fehler unterbrechen“ standardmäßig angeklickt. Wir empfehlen, diese Option aktiviert zu lassen. Weitere Informationen finden Sie unter Das BREAK-Flag.

  7. Optional können Sie die Blockgröße automatisch verringern, wenn die Bytegröße eines Blocks die maximale Bytegröße für HTTP-Anfragen überschreitet, die von Pub/Sub akzeptiert werden, indem Sie auf das Kästchen Flag zur dynamischen Größe von Blocks klicken. Weitere Informationen zur dynamischen Größe von Blocks finden Sie unter Dynamische Größe von Blocks.

  8. Wenn ein Datensatz mit einem Datenfehler gefunden wird, klicken Sie auf das Kästchen Flag „Ungültige Datensätze überspringen“, um den Datensatz zu überspringen und weiter Datensätze in die BigQuery-Tabelle einzufügen. Wir empfehlen, diese Option deaktiviert zu lassen. Weitere Informationen finden Sie unter Das SKIP-Flag.

  9. Geben Sie im Feld Google Cloud-Schlüsselname den Namen des in der /GOOG/CLIENT_KEY-Konfiguration angegebenen Clientschlüssels ein.

    BigQuery-Connector für SAP ruft die Google Cloud Projekt-ID automatisch aus der /GOOG/CLIENT_KEY-Konfiguration ab.

  10. Geben Sie im Feld BigQuery-Dataset den Namen des BigQuery-Ziel-Datasets ein, das Sie zuvor in diesem Verfahren erstellt haben.

  11. Aktivieren Sie im Feld Flag „Ist Einstellung aktiv“ die Konfiguration der Massenübertragung. Klicken Sie dazu auf das Kästchen.

  12. Klicken Sie auf Speichern.

    Ein Massenübertragungsdatensatz wird in der Tabelle /GOOG/BQ_MASTR angehängt und die Felder Geändert von, Geändert am und Geändert um werden automatisch ausgefüllt.

  13. Klicken Sie auf Tabelle anzeigen.

    Der neue Massenübertragungsdatensatz wird angezeigt, gefolgt vom Eintragsbereich für das Tabellenattribut.

Tabellenattribute angeben

Im zweiten Abschnitt der Transaktion /GOOG/SLT_SETTINGS können Sie Tabellenattribute wie den Tabellennamen und die Tabellenpartitionierung sowie die Anzahl der Datensätze angeben, die in jede Übertragung oder jeden Block aufgenommen werden sollen, der an BigQuery gesendet wird.

Die von Ihnen angegebenen Einstellungen werden als Datensatz in der Konfigurationstabelle /GOOG/BQ_TABLE gespeichert.

So geben Sie Tabellenattribute an:

  1. Klicken Sie auf das Symbol Zeile anhängen.

  2. Geben Sie im Feld SAP-Tabellenname den Namen der SAP-Quelltabelle ein.

  3. Geben Sie im Feld Name der externen Tabelle den Namen der BigQuery-Tabelle ein. Wenn die Zieltabelle noch nicht vorhanden ist, erstellt BigQuery-Connector für SAP diese Tabelle inline mit der SAP-Tabellendefinition. Außerdem werden die Primärschlüssel in dieser Tabelle definiert, um UPSERT- oder DELETE-Vorgänge zu ermöglichen. Die Tabelle unterstützt zusammengesetzte Primärschlüssel mit bis zu 16 Spalten. Die BigQuery-Namenskonventionen für Tabellen finden Sie unter Tabellennamen.

  4. Überspringen Sie das Feld Flag „Unkomprimiert senden“. Für die CDC-Replikation über Pub/Sub wird die Funktion zur Datensatzkomprimierung nicht unterstützt.

  5. Geben Sie optional im Feld Blockgröße die maximale Anzahl der Datensätze an, die in jedem Block enthalten sein sollen, der an Pub/Sub gesendet wird. Wir empfehlen, die standardmäßige Blockgröße mit BigQuery-Connector für SAP zu verwenden,also 1.000 Datensätze. Dies ist die maximale Anzahl von Datensätzen, die von Pub/Sub zugelassen werden.

    Wenn die Quelldatensätze eine große Anzahl von Feldern enthalten, kann die Anzahl der Felder die Bytegröße der Blöcke insgesamt erhöhen, was zu Blockfehlern führen kann. Versuchen Sie in diesem Fall, die Blockgröße zu reduzieren, um die Bytegröße zu reduzieren. Weitere Informationen finden Sie unter Blockgröße in BigQuery-Connector für SAP. Alternativ können Sie die dynamische Blockgröße aktivieren, um die Blockgröße automatisch anzupassen. Weitere Informationen finden Sie unter Dynamische Blockgröße.

  6. Geben Sie optional im Feld Partitionstyp ein Zeitinkrement für die Partitionierung an. Gültige Werte sind HOUR, DAY, MONTH oder YEAR. Weitere Informationen finden Sie unter Tabellenpartitionierung.

  7. Optional können Sie im Feld Partitionsfeld den Namen eines Felds in der BigQuery-Zieltabelle angeben, das einen Zeitstempel für die Partitionierung enthält. Wenn Sie das Partitionsfeld angeben, müssen Sie auch den Partitionstyp festlegen. Weitere Informationen finden Sie unter Tabellenpartitionierung.

  8. Aktivieren Sie im Feld Flag „Ist Einstellung aktiv“ die Tabellenattribute, indem Sie das Kästchen anklicken. Wenn das Kästchen Flag „Ist Einstellung aktiv“ nicht ausgewählt ist, erstellt BigQuery-Connector für SAP die BigQuery-Tabelle mit dem Namen der SAP-Quelltabelle, der standardmäßigen Blockgröße und ohne Partitionierung.

  9. Geben Sie für die CDC-Replikation über Pub/Sub die folgenden Attribute an:

    1. Wenn Sie die CDC-Replikation in BigQuery über Pub/Sub aktivieren möchten, wählen Sie das Kästchen Repl CPS (Replication Cloud Pub/Sub) aus.

      Wenn dieses Kästchen deaktiviert ist, verwendet der BigQuery-Connector für SAP die Streamingdatenreplikation und Pub/Sub-bezogene Konfigurationsfelder sind deaktiviert.

    2. Geben Sie im Feld Pub/Sub-Schema einen Namen für das Pub/Sub-Schema ein. Der BigQuery-Connector für SAP erstellt automatisch ein Avro-Schema oder aktualisiert ein vorhandenes, damit es der SAP-Tabellendefinition entspricht.

    3. Geben Sie im Feld Pub/Sub-Thema einen Namen für das Pub/Sub-Thema ein, in dem Nachrichten veröffentlicht werden. Der BigQuery-Connector für SAP erstellt automatisch ein Thema.

    4. Geben Sie im Feld Pub/Sub-Abo einen Namen für das BigQuery-Abo ein, mit dem Nachrichten aus dem Pub/Sub-Thema abgerufen und in BigQuery geschrieben werden. Der BigQuery-Connector für SAP erstellt automatisch ein Abo und verknüpft es mit dem im vorherigen Schritt angegebenen Thema.

    5. Geben Sie im Feld Warteschlange für unzustellbare Nachrichten den Namen des Pub/Sub-Themas für unzustellbare Nachrichten ein. Dieses Thema für unzustellbare Nachrichten empfängt Nachrichten, die Pub/Sub über das BigQuery-Abo nicht in BigQuery schreiben kann. Weitere Informationen zu Themen für unzustellbare Nachrichten finden Sie unter Thema für unzustellbare Nachrichten erstellen.

    6. Wenn Sie die CDC-Funktion (Change Data Capture) für die Tabelle aktivieren möchten, klicken Sie das Kästchen Act. CDC (CDC aktivieren) an.

    7. Wenn Sie die Leistung für das erste Laden optimieren möchten, klicken Sie das Kästchen Cache Val (Cache-Validierung) an.

      Wenn Sie dieses Feld auswählen, bietet der Connector maximale Leistung für große Datenübertragungen. Das System führt in regelmäßigen Abständen Validierungen der Google Cloud Pipeline durch und speichert die Ergebnisse im Cache. Der Connector ermöglicht eine schnelle Datentransformation und sendet Daten direkt an Pub/Sub. Weitere Informationen finden Sie unter Cache-Validierungen.

  10. Klicken Sie auf Speichern.

    Ihre Attribute werden als Datensatz in der Konfigurationstabelle /GOOG/BQ_TABLE gespeichert und die Felder Geändert von, Geändert am und Geändert um werden automatisch ausgefüllt.

  11. Klicken Sie auf Felder anzeigen.

    Der neue Tabellenattributdatensatz wird angezeigt, gefolgt vom Eintragsbereich für die Feldzuordnung.

Standardfeldzuordnung anpassen

Wenn die SAP-Quelltabelle Zeitstempelfelder oder boolesche Werte enthält, ändern Sie die Standardzuordnung des Datentyps so, dass sie genau den Datentyp in der BigQuery-Zieltabelle widerspiegelt.

Sie können auch andere Datentypen sowie die Namen ändern, die für Zielfelder verwendet werden.

Sie können die Standardzuordnung direkt in der SAP GUI bearbeiten oder in eine Tabelle oder Textdatei exportieren, damit die Werte von anderen Nutzern bearbeitet werden können, ohne Zugriff auf SAP LT Replication Server zu benötigen.

Weitere Informationen zur Standardfeldzuordnung und den möglichen Änderungen finden Sie unter Datentypzuordnung.

So passen Sie die Standardzuordnung für die BigQuery-Zielfelder an:

  1. Zeigen Sie auf der Seite Wartung der BigQuery-Einstellungen – Felder der Transaktion /GOOG/SLT_SETTINGS die Standardfeldzuordnungen für die Massenübertragung an, die Sie konfigurieren.

  2. Bearbeiten Sie den Ziel-Avro-Typ für ein Feld in der Spalte AVRO-Typ nach Bedarf. Ändern Sie insbesondere den Ziel-Avro-Typ für die folgenden Avro-Typen:

    • Boolesche Werte. Ändern Sie den Standard-Avro-Zieldatentyp von STRING in BOOLEAN.
    • Hexadezimalzahlen. Ändern Sie den Standard-Avro-Zieldatentyp von STRING in BYTES.

    So bearbeiten Sie den Avro-Typ:

    1. Klicken Sie in der Zeile des Felds, das Sie bearbeiten müssen, auf das Feld Avro-Typ.
    2. Wählen Sie im Dialogfeld für den Avro-Typ den benötigten BigQuery-Datentyp aus.
    3. Bestätigen Sie Ihre Änderungen und klicken Sie dann auf Speichern.

  3. Bearbeiten Sie die Standardzieldatentypen in der Spalte Externes Datenelement nach Bedarf. Ändern Sie insbesondere den Zieldatentyp für die folgenden Datentypen:

    • Zeitstempel. Ändern Sie den Standardzieldatentyp von NUMERIC in TIMESTAMP oder TIMESTAMP (LONG).
    • Boolesche Werte. Ändern Sie den Standardzieldatentyp von STRING in BOOLEAN.
    • Hexadezimalzahlen. Ändern Sie den Standardzieldatentyp von STRING in BYTES.

    So bearbeiten Sie die Standarddatentypzuordnung:

    1. Klicken Sie in der Zeile des Felds, das Sie bearbeiten müssen, auf das Feld Externes Datenelement.
    2. Wählen Sie im Dialogfeld für Datentypen den benötigten BigQuery-Datentyp aus.
    3. Bestätigen Sie Ihre Änderungen und klicken Sie dann auf Speichern.

  4. Wenn Sie das Flag Benutzerdefinierte Namen auf der Seite Wartung der BigQuery-Einstellungen angegeben haben, bearbeiten Sie die Standardzielfeldnamen in der Spalte Temporärer Feldname nach Bedarf.

    Die von Ihnen angegebenen Werte überschreiben die Standardnamen, die in der Spalte Name des externen Felds angezeigt werden.

  5. Bearbeiten Sie nach Bedarf die Standardbeschreibungen des Zielfelds in der Spalte Feldbeschreibung.

  6. Exportieren Sie optional die Feldzuordnung zur externen Bearbeitung. Eine Anleitung finden Sie unter BigQuery-Feldzuordnung in einer CSV-Datei bearbeiten.

  7. Nachdem alle Änderungen vorgenommen und alle extern bearbeiteten Werte hochgeladen wurden, prüfen Sie, ob das Kästchen Flag „Ist Einstellung aktiv“ ausgewählt ist. Wenn Flag „Ist Einstellung aktiv“ nicht ausgewählt ist, erstellt BigQuery-Connector für SAP Zieltabellen mit den Standardwerten.

  8. Klicken Sie auf Speichern.

    Die Änderungen werden in der Konfigurationstabelle /GOOG/BQ_FIELD gespeichert und die Felder Geändert von, Geändert am und Geändert um werden automatisch ausgefüllt.

Token-Caching aktivieren

Zur Verbesserung der Replikationsleistung empfehlen wir, das Caching für das Zugriffstoken zu aktivieren, das Sie von Google Cloudabrufen.

Wenn Sie das Token-Caching aktivieren, wird sichergestellt, dass ein Zugriffstoken wiederverwendet wird, bis es abläuft oder widerrufen wird. Dadurch wird wiederum die Anzahl der HTTP-Aufrufe zum Abrufen neuer Zugriffstokens reduziert.

Wählen Sie in der Clientschlüsseltabelle /GOOG/CLIENT_KEY das Flag Token-Caching aus, um das Token-Caching zu aktivieren.

Wenn Sie Token-Caching aktivieren, wird das Zugriffstoken im gemeinsam genutzten Speicher Ihres SAP LT Replication Server-Anwendungsservers für die Dauer im Cache gespeichert, die für das Feld Sekunden bis Tokenaktualisierung in der Tabelle /GOOG/CLIENT_KEY festgelegt ist. Wenn Sekunden bis Tokenaktualisierung nicht angegeben oder auf 0 festgelegt ist, wird das Zugriffstoken für den im Parameter CMD_SECS_DEFLT in Erweiterte Einstellungen angegebenen Wert im Cache gespeichert.

Bei SAP-Arbeitslasten, die nicht in Google Cloudausgeführt werden, verhindern die im Cache gespeicherten Zugriffstokens auch technische Probleme, die beim Replizieren von riesigen Datenlasten auftreten können. Dabei können nämlich mehrere Prozesse von SAP LT Replication Server gleichzeitig eine Anfrage für ein Zugriffstoken stellen und das zu jedem beliebigen Zeitpunkt.

Bei SAP-Arbeitslasten, die auf Google Cloud ausgeführt werden und über ein nutzerverwaltetes Dienstkonto auf BigQuery oder Pub/Sub zugreifen, kann das Token-Caching beim Abrufen eines Zugriffstokens eine erhebliche Verbesserung bringen, da zum Abrufen eines Zugriffstokens in diesem Szenario zwei HTTP-Aufrufe gemacht werden müssen.

Zwischengespeichertes Zugriffstoken löschen

Wenn Token-Caching aktiviert ist und Sie die Rollen aktualisieren, die dem Dienstkonto zugewiesen sind, das BigQuery-Connector für SAP für den Zugriff auf BigQuery oder Pub/Sub verwendet, wird das neue Zugriffstoken, das den aktualisierten Rollen entspricht, erst abgerufen, nachdem das vorhandene im Cache gespeicherte Token abgelaufen ist. In solchen Fällen können Sie das Zugriffstoken manuell löschen.

Wenn Sie das im Cache gespeicherte Zugriffstoken löschen möchten, geben Sie die Transaktion SE38 ein und führen Sie dann das Programm /GOOG/R_CLEAR_TOKEN_CACHE aus.

Replikationskonfiguration testen

Testen Sie die Replikationskonfiguration durch Starten der Datenbereitstellung:

  1. Öffnen Sie das SAP LT Replication Server-Cockpit (Transaktion LTRC) in der SAP-GUI.

  2. Klicken Sie auf die Massenübertragungskonfiguration für die zu testende Tabellenreplikation.

  3. Klicken Sie auf Datenbereitstellung.

  4. Starten Sie im Bereich Datenbereitstellung die Datenbereitstellung:

    1. Geben Sie den Namen der Quelltabelle ein.
    2. Klicken Sie auf das Optionsfeld für die Art der Datenbereitstellung, die Sie testen möchten. Beispiel: Laden starten.

    3. Klicken Sie auf das Symbol Ausführen. Die Datenübertragung beginnt und der Fortschritt wird auf dem Bildschirm Teilnehmende Objekte angezeigt.

      Wenn die Tabelle nicht in BigQuery vorhanden ist, erstellt BigQuery-Connector für SAP die Tabelle aus einem Schema, das aus den Tabellen- und Feldattributen erstellt wird, die Sie zuvor mit der Transaktion /GOOG/SLT_SETTINGS definiert haben.

      Wie lange das erstmalige Laden einer Tabelle dauert, hängt von der Größe der Tabelle und ihren Datensätzen ab.

      Nachrichten werden in den Abschnitt Anwendungslogs von SAP LT Replication Server in der Transaktion LTRC geschrieben.

Replikation validieren

Sie können die Replikation mit den folgenden Methoden validieren:

  • In SAP LT Replication Server:
    • Überwachen Sie die Replikation auf dem Bildschirm Datenbereitstellung.
    • Suchen Sie auf dem Bildschirm Anwendungslogs nach Fehlermeldungen.

  • Auf dem Tab mit Tabelleninformationen in BigQuery:

    • Prüfen Sie auf dem Tab Schema, ob das Schema korrekt aussieht.
    • Auf dem Tab Vorschau können Sie sich eine Vorschau der eingefügten Zeilen ansehen.
    • Auf dem Tab Details finden Sie die Anzahl der eingefügten Zeilen, die Größe der Tabelle und weitere Informationen.

Replikation in SAP LT Replication Server prüfen

Verwenden Sie die Transaktion LTRC, um den Fortschritt der anfänglichen Lade- oder Replikationsjobs nach ihrem Start zu sehen und auf Fehlermeldungen zu prüfen.

Sie können den Status des Ladevorgangs auf dem Tab Ladestatistiken und den Fortschritt des Jobs auf dem Tab Datenübertragungsmonitor in SAP LT Replication Server sehen.

Auf dem Bildschirm Anwendungslogs der Transaktion LTRC können Sie alle Nachrichten sehen, die von BigQuery, BigQuery-Connector für SAP und SAP LT Replication Server zurückgegeben wurden.

Nachrichten, die von BigQuery-Connector für SAP-Code in SAP LT Replication Server ausgegeben werden, beginnen mit dem Präfix /GOOG/SLT. Von der BigQuery API zurückgegebene Nachrichten beginnen mit dem Präfix /GOOG/MSG.

Nachrichten, die von SAP LT Replication Server zurückgegeben werden, beginnen nicht mit dem Präfix /GOOG/.

Replikation in BigQuery prüfen

Prüfen Sie in der Google Cloud -Konsole, ob die Tabelle erstellt wurde und ob BigQuery Daten in sie einfügt.

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Geben Sie im Suchfeld des Abschnitts Explorer den Namen der BigQuery-Zieltabelle ein und drücken Sie Enter.

    Die Tabelleninformationen werden auf einem Tab im Inhaltsbereich rechts auf der Seite angezeigt.

  3. Klicken Sie im Abschnitt "Tabelleninformationen" auf die folgenden Überschriften, um die Tabelle und das Einfügen von Zeilen zu prüfen:

    • Vorschau: Zeigt die Zeilen und Felder an, die in die BigQuery-Tabelle eingefügt werden.
    • Schema: Zeigt die Feldnamen und Datentypen an.
    • Details: Zeigt die Tabellengröße, die Gesamtzahl der Zeilen und andere Details an.

Fehlerbehebung

Informationen zum Diagnostizieren und Beheben von Problemen, die beim Konfigurieren des BigQuery-Connector für SAP auftreten können, finden Sie im Leitfaden zur Fehlerbehebung für BigQuery-Connector für SAP.

Support anfordern

Wenn Sie Hilfe bei der Behebung von Problemen mit der Konfiguration des BigQuery-Connector für SAP benötigen, erfassen Sie alle verfügbaren Diagnoseinformationen und wenden Sie sich an Cloud Customer Care. Informationen zur Kontaktaufnahme mit Customer Care finden Sie unter Support für SAP auf Google Cloud.