CSV-Datei importieren

Auf dieser Seite wird beschrieben, wie Sie Daten aus einer CSV-Datei, die in einem Cloud Storage-Bucket gespeichert ist, in einen AlloyDB for PostgreSQL-Cluster importieren.

Sie können den Datenimport in AlloyDB-Cluster abbrechen. Weitere Informationen finden Sie unter Importvorgang abbrechen.

Hinweise

Vor dem Starten eines Importvorgangs:

  • Sorgen Sie dafür, dass in Ihrer Datenbank ausreichend freier Speicherplatz vorhanden ist.
  • Importvorgänge verwenden Datenbankressourcen, stören den normalen Datenbankbetrieb jedoch nicht, wenn der Cluster nicht unterdimensioniert ist.

Erforderliche Rollen und Berechtigungen für den Import in AlloyDB-Cluster

Wenn Sie Daten aus Cloud Storage in AlloyDB importieren möchten, muss der Nutzer, der den Import initiiert, eine der folgenden Rollen haben:

Außerdem muss das Dienstkonto für den AlloyDB-Cluster eine der folgenden Rollen haben:

  • storage.objectViewer IAM-Rolle.
  • Eine benutzerdefinierte Rolle mit den folgenden Berechtigungen:
    • storage.objects.get

Informationen zu IAM-Rollen finden Sie unter Identity and Access Management.

Daten aus einer CSV-Datei in AlloyDB-Cluster importieren

  • Die Datenbank und die Tabelle, in die importiert werden sollen, müssen in Ihrem AlloyDB-Cluster vorhanden sein. Informationen zum Erstellen einer Datenbank finden Sie unter Datenbank erstellen.
  • Die CSV-Dateien müssen eine Zeile pro Datensatz und kommagetrennte Felder haben.

So importieren Sie Daten aus einer CSV-Datei in einen AlloyDB-Cluster:

gcloud

  1. Cloud Storage-Bucket erstellen
  2. Laden Sie die CSV-Datei in den Bucket hoch. Informationen zum Hochladen von Dateien in Buckets finden Sie unter Objekte hochladen.
  3. Weisen Sie mit gcloud storage buckets add-iam-policy-binding die IAM-Rolle storage.objectViewer dem AlloyDB-Dienstkonto für den Bucket zu.

     service-PROJECT_NUMBER@gcp-sa-alloydb.iam.gserviceaccount.com

    Weitere Informationen zum Festlegen von IAM-Berechtigungen finden Sie unter IAM-Berechtigungen verwenden.

  4. Importieren Sie die Datei:

    gcloud alloydb clusters import CLUSTER_NAME --region=REGION --gcs-uri=gs://BUCKET_NAME/FILE_NAME --database=DATABASE_NAME --user=USER --csv --table=TABLE_NAME

    Ersetzen Sie die folgenden Werte:

    • CLUSTER_NAME ist der Name des Clusters.
    • REGION: Die Region, in der der AlloyDB-Cluster bereitgestellt wird.
    • BUCKET_NAME: der Name des Cloud Storage-Buckets.
    • FILE_NAME: der Name der CSV-Datei.
    • DATABASE_NAME: der Name einer Datenbank im Cluster.
    • USER: der Nutzer für den Importvorgang.
    • TABLE_NAME: die Tabelle in der Datenbank.

    Weitere Informationen zur Verwendung des Befehls import finden Sie auf der Referenzseite des Befehls alloydb import.

  5. Wenn Sie die zuvor festgelegten IAM-Berechtigungen nicht beibehalten möchten, entfernen Sie diese mit gcloud storage buckets remove-iam-policy-binding.

REST Version 1

  1. Cloud Storage-Bucket erstellen
  2. Laden Sie die CSV-Datei in den Bucket hoch. Informationen zum Hochladen von Dateien in Buckets finden Sie unter Objekte hochladen.
  3. Gewähren Sie dem Dienstkonto Berechtigungen für den Cloud Storage-Bucket für den Importvorgang. Verwenden Sie das Dienstkontoformat, um das Dienstkonto für das Projekt zu identifizieren, in das Sie importieren. Das Format für das Dienstkonto ist:

    service-PROJECT_NUMBER@gcp-sa-alloydb.iam.gserviceaccount.com
  4. Weisen Sie mit gcloud storage buckets add-iam-policy-binding die IAM-Rolle storage.objectViewer dem Dienstkonto des AlloyDB-Clusters für den Bucket zu. Weitere Informationen zum Festlegen von IAM-Berechtigungen finden Sie unter IAM-Berechtigungen verwenden.

  5. Importieren Sie die Datei.

    Verwenden Sie die folgende HTTP-Methode und URL:

    POST https://alloydb.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/clusters/CLUSTER_ID:import

    Ersetzen Sie diese Werte in den folgenden Anfragedaten:

    • PROJECT_ID: Projekt-ID.
    • LOCATION_ID: Die Region, in der der AlloyDB-Cluster bereitgestellt wird.
    • CLUSTER_ID: die Cluster-ID.
    • BUCKET_NAME: der Name des Cloud Storage-Buckets.
    • PATH_TO_CSV_FILE: Der Pfad zur CSV-Datei.
    • USER: der Nutzer für den Importvorgang.
    • DATABASE_NAME: Der Name einer Datenbank im AlloyDB-Cluster.
    • TABLE_NAME: die Tabelle in der Datenbank.
    • COLUMNS (optional): Die zu importierenden Spalten.
    • ESCAPE_CHARACTER (Optional): Das Zeichen, das vor einem Datenzeichen stehen muss, das maskiert werden soll. Der Wert dieses Arguments muss ein Zeichen im Hex-ASCII-Code sein. Beispiel: 22 steht für ein doppeltes Anführungszeichen.
    • QUOTE_CHARACTER (optional): Das Zeichen, das Werte aus Spalten mit dem Datentyp „String“ umschließt. Der Wert dieses Arguments muss ein Zeichen im Hex-ASCII-Code sein. Beispielsweise steht 22 für ein doppeltes Anführungszeichen.
    • FIELD_DELIMITER (optional): Das Zeichen, das die Spaltenwerte aufteilt. Der Wert dieses Arguments muss ein Zeichen im Hex-ASCII-Code sein. 2C steht beispielsweise für ein Komma.

    JSON-Text anfordern:

    {
      "gcsUri": "gs://BUCKET_NAME/PATH_TO_CSV_FILE",
      "database": "DATABASE_NAME",
      "user": "USER",
      "csvImportOptions": {
        "table": "TABLE_NAME",
        "columns": ["COLUMN1", "COLUMN2"],
        "fieldDelimiter": "FIELD_DELIMITER",
        "quoteCharacter": "QUOTE_CHARACTER",
        "escapeCharacter": "ESCAPE_CHARACTER"
      }
    }
    

    Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

    curl (Linux, macOS oder Cloud Shell)

    Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

       curl -X POST \
             -H "Authorization: Bearer $(gcloud auth print-access-token)" \
             -H "Content-Type: application/json; charset=utf-8" \
             -d @request.json \
             "https://alloydb.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/clusters/CLUSTER_ID:import"
    

    PowerShell (Windows)

    Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

    $cred = gcloud auth print-access-token
    $headers = @{ "Authorization" = "Bearer $cred" }
    
    Invoke-WebRequest `
      -Method POST `
      -Headers $headers `
      -ContentType: "application/json; charset=utf-8" `
      -InFile request.json `
      -Uri "https://alloydb.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/clusters/CLUSTER_ID:import"| Select-Object -Expand Content
    

    Sie erhalten eine JSON-Antwort ähnlich der folgenden:

    Antwort

    {
     "name": "projects/PROJECT_ID/locations/LOCATION_ID/operations/OPERATION_ID",
     "metadata": {
      "@type": "type.googleapis.com/google.cloud.alloydb.v1.OperationMetadata",
      "createTime": "2024-09-17T06:05:31.244428646Z",
      "target": "projects/project-id/locations/location-id/clusters/target-cluster",
      "verb": "import",
      "requestedCancellation": false,
      "apiVersion": "v1"
     },
     "done": false
    }
    
  6. Wenn Sie die zuvor festgelegten IAM-Berechtigungen nicht beibehalten möchten, entfernen Sie diese jetzt.

    Die vollständige Liste der Parameter für die Anfrage finden Sie unter clusters:import.

CSV-Format anpassen und Datei importieren

Sie können das CSV-Format anpassen und die Datei importieren, wenn die CSV-Datei nicht standardmäßige Feldtrennzeichen, Anführungszeichen oder Escapezeichen enthält. Wenn Sie eine CSV-Datei mit einem nicht standardmäßigen Format importieren möchten, müssen Sie dieselben Formatierungsoptionen in der Anfrage angeben.

Die folgenden Beispiele für die gcloud CLI und die REST API können Ihnen dabei helfen, das CSV-Dateiformat anzupassen.

gcloud

gcloud alloydb clusters import CLUSTER_NAME --region=REGION --database=DATABASE_NAME --gcs-uri='gs://BUCKET_NAME/PATH_TO_CSV_FILE' --user=USERNAME --table=TABLE_NAME --columns=COLUMNS --field-delimiter='2C' --quote-character='22' --escape-character='5C' --csv

REST Version 1

Der entsprechende REST API-Anfragetext sieht etwa so aus:

{
 "gcsUri": "gs://BUCKET_NAME/PATH_TO_CSV_FILE",
 "database": "DATABASE_NAME",
 "user": "USER",
 "csvImportOptions": {
     "table": "TABLE_NAME",
     "columns": ["COLUMN1", "COLUMN2"],
     "escapeCharacter": "5C",
     "quoteCharacter": "22",
     "fieldDelimiter": "2C",
 }
}

Informationen zum Aufbau der dieser Aufgabe zugrunde liegenden REST API-Anfrage finden Sie im APIs Explorer auf der Seite clusters:import.

Wenn ein Fehler wie INVALID_ARGUMENT angezeigt wird, prüfen Sie, ob die Tabelle vorhanden ist. Falls die Tabelle vorhanden ist, sollten Sie nachsehen, ob Sie die richtigen Berechtigungen für den Bucket haben. Hilfe zum Konfigurieren der Zugriffssteuerung in Cloud Storage finden Sie unter Access Control Lists (ACLs) erstellen und verwalten.

Status eines Importvorgangs prüfen

So prüfen Sie den Status eines Importvorgangs:

gcloud

Führen Sie den folgenden Befehl mit gcloud alloydb operations describe aus:

gcloud alloydb operations describe OPERATION_ID --region=REGION

Der Status dieser Vorgänge wird im Feld STATUS angezeigt.

Sie können auch Details eines bestimmten Vorgangs auflisten lassen oder einen bestimmten Vorgang abbrechen. Weitere Informationen zu diesem Befehl finden Sie auf der Referenzseite zum gcloud alloydb operations-Befehl.

REST Version 1

Verwenden Sie die Methode GET und die folgende URL:

GET https://alloydb.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID

Weitere Informationen finden Sie unter get.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • REGION: Die Region, in der der AlloyDB-Cluster bereitgestellt wird.
  • PROJECT_ID: Projekt-ID.
  • OPERATION_ID: die ID des Importvorgangs. Weitere Informationen finden Sie unter Vorbereitung.

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

curl (Linux, macOS oder Cloud Shell)

Führen Sie folgenden Befehl aus:

  curl -X GET \
       -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  https://alloydb.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID
 

PowerShell (Windows)

Führen Sie folgenden Befehl aus:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
  -Method GET `
  -Headers $headers `
  -Uri "https://alloydb.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID | Select-Object -Expand Content

Sie erhalten eine JSON-Antwort ähnlich der folgenden:

Bei erfolgreicher Ausführung enthält der Antworttext eine Instanz von Operation.

Nächste Schritte