MySQL-Daten in BigQuery laden

Console

1. Rufen Sie die Seite Datenübertragungen auf.

   Zu „Datenübertragungen”

2. Klicken Sie auf add Übertragung erstellen.

3. Wählen Sie im Abschnitt Quelltyp für Quelle die Option MySQL aus.

4. Geben Sie im Abschnitt Konfigurationsname für Übertragung für Anzeigename einen Namen für die Übertragung ein. Der Name kann ein beliebiger Wert sein, anhand dessen Sie die Übertragung identifizieren können, falls Sie sie später ändern müssen.

5. Führen Sie im Abschnitt Zeitplanoptionen folgende Schritte aus:

   • Wählen Sie eine Wiederholungshäufigkeit aus. Wenn Sie die Option Stunden, Tage (Standard), Wochen oder Monate auswählen, müssen Sie auch eine Häufigkeit angeben. Sie können auch die Option Benutzerdefiniert auswählen, um eine genauere Wiederholungshäufigkeit festzulegen. Wenn Sie die Option On-Demand auswählen, wird diese Datenübertragung nur ausgeführt, wenn Sie die Übertragung manuell auslösen.
   • Wählen Sie gegebenenfalls die Option Jetzt starten oder Zu festgelegter Zeit starten aus und geben Sie ein Startdatum und eine Laufzeit an.

6. Wählen Sie im Abschnitt Zieleinstellungen für Dataset das Dataset aus, das Sie zum Speichern Ihrer Daten erstellt haben, oder klicken Sie auf Neues Dataset erstellen, um ein Dataset zu erstellen, das als Ziel-Dataset verwendet werden soll.

7. Führen Sie im Abschnitt Details zur Datenquelle folgende Schritte aus:

   • Wählen Sie unter Netzwerkanhang einen vorhandenen Netzwerkanhang aus oder klicken Sie auf Netzwerkanhang erstellen. Weitere Informationen finden Sie im Abschnitt Netzwerkverbindungen in diesem Dokument.
   • Geben Sie unter Host den Hostnamen oder die IP-Adresse des MySQL-Datenbankservers ein.
   • Geben Sie als Portnummer die Portnummer für den MySQL-Datenbankserver ein.
   • Geben Sie unter Datenbankname den Namen der MySQL-Datenbank ein.
   • Geben Sie für Nutzername den Nutzernamen des MySQL-Nutzers ein, der die MySQL-Datenbankverbindung initiiert.
   • Geben Sie unter Passwort das Passwort des MySQL-Nutzers ein, der die MySQL-Datenbankverbindung initiiert.
   • Wählen Sie unter Verschlüsselungsmodus im Menü die Option Vollständig aus, um die vollständige SSL-Validierung beim Herstellen einer Verbindung zur MySQL-Datenbank zu aktivieren, oder Deaktivieren, um die SSL-Validierung zu deaktivieren.

   • Führen Sie für Zu übertragende MySQL-Objekte einen der folgenden Schritte aus:

     • Klicken Sie auf Durchsuchen, um die für die Übertragung erforderlichen MySQL-Tabellen auszuwählen, und klicken Sie dann auf Auswählen.
     • Geben Sie die Namen der Tabellen in den zu übertragenden MySQL-Objekten manuell ein.

   

8. Optional: Geben Sie im Menü Dienstkonto ein benutzerdefiniertes Dienstkonto an, um die Übertragung zu autorisieren. Prüfen Sie, ob das verwendete Dienstkonto alle erforderlichen Rollen und Berechtigungen hat. Weitere Informationen finden Sie unter Übertragungs-Inhaber als Dienstkonto.

9. Optional: Gehen Sie im Abschnitt Benachrichtigungsoptionen so vor:

   • Klicken Sie zum Aktivieren von E‑Mail-Benachrichtigungen auf die Ein/Aus-Schaltfläche E‑Mail-Benachrichtigungen. Wenn Sie diese Option aktivieren, erhält der Übertragungsadministrator eine E‑Mail-Benachrichtigung, falls ein Übertragungsvorgang fehlschlägt.
   • Klicken Sie auf die Ein/Aus-Schaltfläche Pub/Sub-Benachrichtigungen, um Pub/Sub-Ausführungsbenachrichtigungen für Ihre Übertragung zu konfigurieren. Sie können den Namen für das Thema auswählen oder auf Thema erstellen klicken, um eines zu erstellen.

10. Klicken Sie auf Speichern.

bq

Geben Sie den Befehl bq mk ein und geben Sie das Flag --transfer_config für die Übertragungserstellung an:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Ersetzen Sie Folgendes:

• PROJECT_ID (optional): Ihre Google Cloud -Projekt-ID. Wenn das Flag --project_id nicht bereitgestellt wird, um ein bestimmtes Projekt anzugeben, wird das Standardprojekt verwendet.
• DATA_SOURCE: Die Datenquelle, die mysql ist.
• DISPLAY_NAME: Der Anzeigename für die Datenübertragungskonfiguration. Der Übertragungsname kann ein beliebiger Wert sein, mit dem Sie die Übertragung identifizieren können, wenn Sie sie später ändern müssen.
• DATASET: Das Ziel-Dataset für die Datenübertragungskonfiguration.

• PARAMETERS: die Parameter für die erstellte Übertragungskonfiguration im JSON-Format. Beispiel: --params='{"param":"param_value"}'. Im Folgenden finden Sie die Parameter für eine MySQL-Übertragung:

  • networkAttachment (optional): Der Name des Netzwerkanhangs, der eine Verbindung zur MySQL-Datenbank herstellen soll.
  • connector.database: Der Name der MySQL-Datenbank.
  • connector.endpoint.host: der Hostname oder die IP-Adresse der Datenbank.
  • connector.endpoint.port: die Portnummer der Datenbank.
  • connector.authentication.username: Der Nutzername des Datenbanknutzers.
  • connector.authentication.password: Das Passwort des Datenbanknutzers. connector.connectionType
  • connector.connectionType (optional): der Verbindungstyp zur Bestimmung der Verbindungs-URL. Das kann SERVICE, SID oder TNS sein. Wenn nicht angegeben, lautet der Standardwert SERVICE.
  • connector.encryptionMode: der Verschlüsselungsmodus. Dies kann FULL für die vollständige SSL-Validierung beim Herstellen einer Verbindung zur MySQL-Datenbank oder DISABLE für keine SSL-Validierung sein.
  • assets: Eine Liste der Namen der MySQL-Tabellen, die im Rahmen der Übertragung aus der MySQL-Datenbank übertragen werden sollen.

Mit dem folgenden Befehl wird beispielsweise ein MySQL-Transfer namens My Transfer erstellt:

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=mysql
    --display_name='My Transfer'
    --params='{"assets":["DB1/DEPARTMENT","DB1/EMPLOYEES"],
        "connector.authentication.username": "User1",
        "connector.authentication.password":"ABC12345",
        "connector.encryptionMode":"FULL",
        "connector.database":"DB1",
        "connector.endpoint.host":"54.74.220.23",
        "connector.endpoint.port":3306}'

API

Verwenden Sie die projects.locations.transferConfigs.create-Methode und geben Sie eine Instanz der TransferConfig-Ressource an.