Daten aus SQL Server in BigQuery replizieren

In dieser Anleitung erfahren Sie, wie Sie einen Job erstellen und bereitstellen, der geänderte Daten kontinuierlich aus einer Microsoft SQL Server-Datenbank in eine BigQuery-Tabelle repliziert.

Lernziele

In dieser Anleitung erwartet Sie Folgendes:

  1. Aktivieren Sie Change Data Capture (CDC) in Ihrer SQL Server-Datenbank.
  2. Cloud Data Fusion-Replikationsjob erstellen und ausführen
  3. Ergebnisse in BigQuery anzeigen

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.

Neuen Google Cloud Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Wenn die Replikation ausgeführt wird, wird Ihnen der Dataproc-Cluster in Rechnung gestellt und es entstehen Verarbeitungskosten für BigQuery. Zur Optimierung dieser Kosten empfehlen wir dringend, BigQuery-Pauschalpreise zu verwenden.

Hinweise

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the Cloud Data Fusion, BigQuery, and Cloud Storage APIs.

    Enable the APIs

  4. Erstellen Sie eine öffentliche Cloud Data Fusion-Instanz in Version 6.3.0 oder höher. Wenn Sie eine private Instanz erstellen, richten Sie VPC-Netzwerk-Peering ein.
    • Aktivieren Sie die Replikation beim Erstellen der Instanz: Klicken Sie auf Beschleuniger hinzufügen und wählen Sie das Kästchen Replikation aus.
    • Informationen zum Aktivieren der Replikation in einer vorhandenen Instanz finden Sie unter Replikation aktivieren.

    5. Weitere Informationen zu Netzwerken finden Sie unter HAProxy mit Cloud Data Fusion verwenden, um komplexe Netzwerktopologien zu durchlaufen.

    Erforderliche Rollen

    Informationen zum Abrufen der für diese Anleitung erforderlichen Berechtigungen finden Sie unter Zugriffssteuerung mit IAM und Berechtigung für Dienstkontonutzer erteilen.

Optional: SQL Server-VM-Instanz einrichten

  1. SQL Server-Instanz erstellen

  2. Laden Sie die AdventureWorks2017-Datenbank (OLTP) herunter und laden Sie die Daten in Ihre SQL Server-Instanz.

CDC in Ihrer SQL Server-Datenbank aktivieren

Aktivieren Sie für die Replikation Change Data Capture (CDC) für die Datenbank und die Tabelle, die Sie replizieren möchten.

Cloud Data Fusion-Replikationsjob erstellen und ausführen

JDBC-Treiber hochladen

  1. Laden Sie den SQL Server-JDBC-Treiber auf Ihren lokalen Computer herunter.

  2. Laden Sie in der Cloud Data Fusion-Weboberfläche den JDBC-Treiber hoch. Konfigurieren Sie den JDBC-Treiber mit diesen Werten:

    • Geben Sie im Feld Name sqlserver ein.
    • Geben Sie im Feld Klassenname com.microsoft.sqlserver.jdbc.SQLServerDriver ein.
    • Übernehmen Sie im Feld Version die Standardeinstellung.

Auftrag erstellen

  1. Klicken Sie in der Cloud Data Fusion-Web-UI auf Replikation.

  2. Klicken Sie auf  Replikationsjob erstellen.

  3. Geben Sie auf der Seite Neuen Replikationsjob erstellen einen Namen für den Replikationsjob an und klicken Sie auf Weiter.

  4. Konfigurieren Sie die Quelle:

    1. Wählen Sie Microsoft SQL Server als Quelle aus.
    2. Geben Sie unter Host den Hostnamen des SQL-Servers ein, aus dem gelesen werden soll.
    3. Geben Sie unter Port den Port ein, der für die Verbindung zum SQL Server verwendet werden soll: 1433.
    4. Wählen Sie unter Name des JDBC-Plug-ins sqlserver aus oder den Namen, den Sie bei der Konfiguration des JDBC-Treibers angegeben haben.
    5. Geben Sie als Datenbankname AdventureWorks2017 ein.
    6. Geben Sie im Abschnitt Anmeldedaten Ihren Nutzernamen und Ihr Passwort ein, um auf den SQL-Server zuzugreifen.

  5. Klicken Sie auf Weiter.

  6. Konfigurieren Sie das Ziel:

    1. Wählen Sie das BigQuery-Ziel aus.
    2. Die Projekt-ID und der Dienstkontoschlüssel werden automatisch erkannt. Ändern Sie sie nicht.
    3. Optional: Im Abschnitt Erweitert können Sie den Namen und den Speicherort des Cloud Storage-Bucket, das Ladeintervall, das Präfix der Staging-Tabelle und das Verhalten konfigurieren, wenn Tabellen oder Datenbanken gelöscht werden.

  7. Klicken Sie auf Weiter.

  8. Wenn die Verbindung erfolgreich ist, wird eine Liste der AdventureWorks2017-Tabellen angezeigt. Wählen Sie für diese Anleitung einige Tabellen und Ereignisse aus, z. B. Insert-, Update- und Delete-Ereignisse.

  9. Optional: Konfigurieren Sie die erweiterten Attribute. Für diese Anleitung können Sie die Standardeinstellungen verwenden.

  10. Klicken Sie auf Weiter.

  11. Klicken Sie auf der Seite Bewertung prüfen für eine der Tabellen auf Zuordnungen ansehen, um eine Bewertung der Schemaprobleme, der fehlenden Funktionen oder der Verbindungsprobleme zu erhalten, die während der Replikation auftreten können. Probleme müssen behoben werden, bevor Sie fortfahren können. Wenn in dieser Anleitung Probleme mit Tabellen auftreten, gehen Sie zurück zu dem Schritt, an dem Sie Tabellen ausgewählt haben, und wählen Sie eine Tabelle oder ein Ereignis ohne Probleme aus.

    Weitere Informationen zu Datentypkonvertierungen von der Quelldatenbank zum BigQuery-Ziel finden Sie unter Replikationsdatentypen.

  12. Klicken Sie auf Back (Zurück).

  13. Klicken Sie auf Weiter.

  14. Prüfen Sie die Details des Replikationsjobs und klicken Sie dann auf Replikationsjob bereitstellen.

Job starten

  • Klicken Sie auf der Seite Replikationsjobdetails auf Starten.

Der Replikationsjob wechselt vom Status Wird bereitgestellt zu Wird gestartet zu Wird ausgeführt. Im Status „Wird ausgeführt“ lädt der Replikationsjob einen ersten Snapshot der ausgewählten Tabellendaten (z. B. die Tabelle „Personen“) in BigQuery. In diesem Status wird der Status der Tabelle als Snapshots werden erstellt aufgeführt. Nachdem der erste Snapshot in BigQuery geladen wurde, werden alle an der Tabelle „Personen“ vorgenommenen Änderungen nach BigQuery repliziert. Der Status der Tabelle wird als Wird repliziert aufgeführt.

Job überwachen

Sie können den Replikationsjob starten und beenden, seine Konfiguration und Logs prüfen und den Replikationsjob überwachen.

Sie können die Aktivitäten des Replikationsjobs auf der Seite Replikationsjobdetails überwachen.

  1. Klicken Sie auf der Seite Replikation auf den Namen des Replikationsjobs.

  2. Klicken Sie auf Monitoring.

Ergebnisse in BigQuery anzeigen

Der Replikationsjob erstellt ein repliziertes Dataset und eine replizierte Tabelle in BigQuery, wobei die Namen aus der entsprechenden SQL Server-Datenbank und den Tabellennamen übernommen werden.

  1. Öffnen Sie BigQuery in derGoogle Cloud Console.

  2. Klicken Sie im linken Bereich auf den Projektnamen, um eine Liste der Datasets zu maximieren.

  3. Wählen Sie zuerst das Dataset adventureworks2017 und dann eine Tabelle aus.

Weitere Informationen finden Sie in der BigQuery-Dokumentation.

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Löschen Sie nach Abschluss der Anleitung die von Ihnen inGoogle Clouderstellten Ressourcen.

VM-Instanz löschen

  1. In the Google Cloud console, go to the VM instances page.

    Go to VM instances

  2. Select the checkbox for the instance that you want to delete.
  3. To delete the instance, click More actions, click Delete, and then follow the instructions.

Löschen Sie die Cloud Data Fusion-Instanz.

Folgen Sie der Anleitung zum Löschen Ihrer Cloud Data Fusion-Instanz.

Projekt löschen

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Nächste Schritte