Storage Insights-Datasets verwenden

Auf dieser Seite wird beschrieben, wie Sie Storage Insights-Datasets und Dataset-Konfigurationen erstellen und verwalten. Weitere Informationen zu Storage Insights-Datasets

Hinweise

Bevor Sie mit dem Erstellen und Verwalten von Datasets und Dataset-Konfigurationen beginnen, folgen Sie der Anleitung in den folgenden Unterabschnitten.

Erforderliche Rollen abrufen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Quellprojekte zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Verwalten von Datasets benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen und Verwalten von Datasets erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Datasets zu erstellen und zu verwalten:

  • Dataset-Konfiguration erstellen: storageinsights.datasetConfigs.create
  • Dataset-Konfiguration ansehen:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
  • Dataset-Konfiguration verwalten:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
  • Link zum BigQuery-Dataset: storageinsights.datasetConfigs.linkDataset
  • Verknüpfung zum BigQuery-Dataset aufheben: storageinsights.datasetConfigs.unlinkDataset
  • Mit BigQuery verknüpfte Datasets abfragen: bigquery.jobs.create or bigquery.jobs.*

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Storage Insights API aktivieren

Console

storageinsights.googleapis.com API aktivieren

Befehlszeile

Führen Sie den folgenden Befehl aus, um die Storage Insights API in Ihrem aktuellen Projekt zu aktivieren:

gcloud services enable storageinsights.googleapis.com

Weitere Informationen zum Aktivieren von Diensten für ein Google Cloud -Projekt finden Sie unter Dienste aktivieren und deaktivieren.

Storage Intelligence konfigurieren

Storage Intelligence muss für das Projekt, den Ordner oder die Organisation konfiguriert sein, die Sie mit Datasets analysieren möchten.

Dataset-Konfiguration erstellen

So erstellen Sie eine Dataset-Konfiguration und generieren ein Dataset: Weitere Informationen zu den Feldern, die Sie beim Erstellen der Dataset-Konfiguration angeben können, finden Sie unter Attribute der Dataset-Konfiguration.

Console

  1. Wechseln Sie in der Google Cloud Console zur Seite Storage Insights von Cloud Storage.

    Zu Storage Insights

  2. Klicken Sie auf Dataset konfigurieren.

  3. Geben Sie im Abschnitt Dataset benennen einen Namen für Ihr Dataset ein. Geben Sie optional eine Beschreibung für den Datensatz ein.

  4. Gehen Sie im Abschnitt Dataset-Bereich definieren so vor:

    • Wählen Sie eine der folgenden Optionen aus:

      • Wenn Sie Speichermetadaten für alle Projekte in der aktuellen Organisation abrufen möchten, wählen Sie Organisation einschließen aus.

      • Wenn Sie Speichermetadaten für alle Projekte in den ausgewählten Ordnern abrufen möchten, wählen Sie Ordner einschließen(Unterorganisation/Abteilungen) aus. Informationen zum Abrufen von Ordner-IDs finden Sie unter Ordner und Projekte ansehen oder auflisten. So fügst du Ordner hinzu:

        1. Geben Sie im Feld Ordner 1 die Ordner-ID ein.
        2. Optional: Wenn Sie mehrere Ordner-IDs hinzufügen möchten, klicken Sie auf + Weiteren Ordner hinzufügen.

      • Wenn Sie Speichermetadaten für die ausgewählten Projekte abrufen möchten, wählen Sie Projekte durch Angabe von Projektnummern einbeziehen aus. Informationen zum Ermitteln der Projektnummern finden Sie unter Projektname, -nummer und -ID finden. So fügen Sie Projekte hinzu:

        1. Geben Sie im Feld Projekt 1 die Projektnummer ein.
        2. Optional: Wenn Sie mehrere Projektnummern hinzufügen möchten, klicken Sie auf + Weiteres Projekt hinzufügen.

      • Wenn Sie Projekte oder Ordner im Bulk-Verfahren hinzufügen möchten, wählen Sie Liste mit Projekten /Ordnern über CSV-Datei hochladen aus. Die CSV-Datei muss die Projektnummern oder Ordner-IDs enthalten, die Sie in das Dataset aufnehmen möchten.

    • Geben Sie an, ob zukünftige Buckets automatisch in die ausgewählte Ressource aufgenommen werden sollen.

    • Wenn Sie optional Filter für Buckets basierend auf Regionen und Bucket-Präfixen angeben möchten, maximieren Sie den Bereich Filter (optional). Filter werden additiv auf Buckets angewendet.

      Sie können Buckets aus bestimmten Regionen ein- oder ausschließen. Sie können beispielsweise Buckets in den Regionen me-central1 und me-central2 ausschließen. Sie können Buckets auch nach Präfix ein- oder ausschließen. Wenn Sie beispielsweise Buckets ausschließen möchten, die mit my-bucket beginnen, geben Sie das Präfix my-bucket* ein.

  5. Klicken Sie auf Weiter.

  6. Wählen Sie im Abschnitt Aufbewahrungsdauer auswählen eine Aufbewahrungsdauer für die Daten im Dataset aus.

  7. Wählen Sie im Abschnitt Ort zum Speichern des konfigurierten Datasets auswählen einen Ort zum Speichern des Datasets und der Datasetkonfiguration aus.

  8. Wählen Sie im Abschnitt Dienstkontotyp auswählen einen Dienstagententyp für Ihren Datensatz aus. Dieser Dienst-Agent wird in Ihrem Namen erstellt, wenn Sie die Dataset-Konfiguration erstellen. Sie können einen der folgenden Kundenservicemitarbeiter auswählen:

    • Konfigurationsbezogenes Dienstkonto: Dieser Dienst-Agent kann nur auf das Dataset zugreifen und in das Dataset schreiben, das von der jeweiligen Dataset-Konfiguration generiert wird.
    • Dienstkonto mit Projektbereich: Dieser Dienst-Agent kann auf Datasets zugreifen und sie schreiben, die aus allen Dataset-Konfigurationen im Projekt generiert werden.

    Nach der Erstellung des Dienst-Agents müssen Sie ihm die erforderlichen Berechtigungen gewähren. Weitere Informationen zu diesen Dienst-Agents finden Sie unter Konfigurationsattribute für Datasets.

  9. Klicken Sie auf Konfigurieren. Nachdem Sie das Dataset konfiguriert haben, kann es bis zu 48 Stunden dauern, bis die ersten Daten im verknüpften Dataset angezeigt werden.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs create mit den erforderlichen Flags aus, um eine Dataset-Konfiguration zu erstellen:

    gcloud storage insights dataset-configs create DATASET_CONFG_ID \
  --source-projects=SOURCE_PROJECT_NUMBERS \
  --location=LOCATION \
  --retention-period-days=RETENTION_PERIOD_DAYS \
  --organization=ORGANIZATION_ID

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen, den Sie der Datasetkonfiguration geben möchten. Namen werden als Kennung von Dataset-Konfigurationen verwendet und können geändert werden. Der Name kann bis zu 128 Zeichen mit Buchstaben, Ziffern und Unterstrichen enthalten.

    • SOURCE_PROJECT_NUMBERS mit den Nummern der Projekte, die Sie in das Dataset aufnehmen möchten. Beispiel: 464036093014 Sie können ein oder mehrere Projekte angeben. Informationen zum Ermitteln der Projektnummer finden Sie unter Projektname, ‑nummer und ‑ID ermitteln.

      Alternativ zum Flag --source-projects können Sie das Flag --source-projects-file=FILE_PATH verwenden. Damit können Sie mehrere Projektnummern gleichzeitig angeben, indem Sie eine Datei mit den Projektnummern hochladen. Die Datei muss im CSV-Format vorliegen und in Cloud Storage hochgeladen werden.

    • Ersetzen Sie LOCATION durch den Speicherort, an dem die Dataset-Konfiguration und das Dataset gespeichert werden.

    • Ersetzen Sie RETENTION_PERIOD_DAYS durch den Aufbewahrungszeitraum für die Daten im Dataset.

    • Ersetzen Sie ORGANIZATION_ID durch die Ressourcen-ID der Organisation, zu der die Quellprojekte gehören. Quellprojekte außerhalb des angegebenen Standorts werden aus der Dataset-Konfiguration ausgeschlossen. Informationen zum Abrufen Ihrer Organisations-ID finden Sie unter Organisations-Ressourcen-ID abrufen.

    Optional können Sie zusätzliche Flags verwenden, um das Dataset genauer zu konfigurieren:

    • Verwenden Sie --include-buckets=BUCKET_NAMES_OR_REGEX, um bestimmte Buckets nach Name oder regulärem Ausdruck einzuschließen. Wenn dieses Flag verwendet wird, kann --exclude-buckets nicht verwendet werden.

    • Verwenden Sie --exclude-buckets=BUCKET_NAMES_OR_REGEX, um bestimmte Buckets nach Name oder regulärem Ausdruck auszuschließen. Wenn dieses Flag verwendet wird, kann --include-buckets nicht verwendet werden.

    • Mit --project=DESTINATION_PROJECT_ID können Sie ein Projekt angeben, in dem die Dataset-Konfiguration und das generierte Dataset gespeichert werden sollen. Wenn dieses Flag nicht verwendet wird, ist das Zielprojekt Ihr aktives Projekt. Weitere Informationen zu Projekt-IDs finden Sie unter Projekte erstellen und verwalten.

    • Mit --auto-add-new-buckets werden alle Buckets, die in Zukunft Quellprojekten hinzugefügt werden, automatisch einbezogen.

    • Verwenden Sie --skip-verification, um Prüfungen und Fehler aus dem Bestätigungsprozess zu überspringen. Dazu gehören auch Prüfungen für erforderliche IAM-Berechtigungen. Wenn sie verwendet werden, werden einige oder alle Buckets möglicherweise aus dem Dataset ausgeschlossen.

    • Mit --identity=IDENTITY_TYPE wird der Typ des Dienst-Agents angegeben, der zusammen mit der Dataset-Konfiguration erstellt wird. Mögliche Werte sind IDENTITY_TYPE_PER_CONFIG und IDENTITY_TYPE_PER_PROJECT. Wenn nicht angegeben, lautet die Standardeinstellung IDENTITY_TYPE_PER_CONFIG.

    • Verwenden Sie --description=DESCRIPTION, um eine Beschreibung für die Dataset-Konfiguration zu erstellen.

REST APIs

JSON API

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Erstellen Sie eine JSON-Datei, die folgende Informationen enthält:

    {
  "organizationNumber": "ORGANIZATION_ID",
  "sourceProjects": {
    "project_numbers": ["PROJECT_NUMBERS", ...]
  },
  "retentionPeriodDays": "RETENTION_PERIOD_DAYS",
  "identity": {
    "type": "IDENTITY_TYPE"
  }
}

    Ersetzen Sie:

    • ORGANIZATION_ID mit der Ressourcen-ID der Organisation ersetzen, zu der die Quellprojekte gehören. Informationen zum Abrufen Ihrer Organisations-ID finden Sie unter Organisations-Ressourcen-ID abrufen.

    • Ersetzen Sie PROJECT_NUMBERS durch die Nummern der Projekte, die Sie in das Dataset aufnehmen möchten. Sie können ein oder mehrere Projekte angeben. Projekte müssen als Liste von Strings angegeben werden.

      Alternativ können Sie eine Organisation oder einen oder mehrere Ordner hinzufügen, die Buckets und Objekte enthalten, für die Sie die Metadaten aktualisieren möchten. Wenn Sie Ordner oder Organisationen einbeziehen möchten, verwenden Sie das Feld sourceFolders bzw. organizationScope. Weitere Informationen finden Sie in der Referenz zu DatasetConfig.

    • RETENTION_PERIOD_DAYS mit der Anzahl der Tage, die im Dataset-Snapshot erfasst werden sollen. Beispiel: 90

    • IDENTITY_TYPE mit dem Typ des Dienstkontos, das zusammen mit der Dataset-Konfiguration erstellt wird. Mögliche Werte sind IDENTITY_TYPE_PER_CONFIG und IDENTITY_TYPE_PER_PROJECT.

  3. Verwenden Sie zum Erstellen der Dataset-Konfiguration cURL, um die JSON API mit einer Create-DatasetConfig-Anfrage aufzurufen:

    curl -X POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs?datasetConfigId=DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Ersetzen Sie:

    • JSON_FILE_NAME durch den Pfad zur JSON-Datei, die Sie im vorherigen Schritt erstellt haben. Alternativ können Sie eine Instanz von DatasetConfig im Anfragetext übergeben.

    • PROJECT_ID mit der ID des Projekts, zu dem die Dataset-Konfiguration und das Dataset gehören.

    • LOCATION mit dem Speicherort, an dem sich das Dataset und die Dataset-Konfiguration befinden. Beispiel: us-central1.

    • DATASET_CONFIG_ID durch den Namen, den Sie der Datasetkonfiguration geben möchten. Namen werden als Kennung von Dataset-Konfigurationen verwendet und sind nicht unveränderlich. Der Name kann bis zu 128 Zeichen mit Buchstaben, Ziffern und Unterstrichen enthalten. Der Name muss mit einem Buchstaben beginnen.

    • ACCESS_TOKEN durch das Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Informationen zur Fehlerbehebung bei Fehlern bei der Verarbeitung von Snapshots, die in error_attributes_view protokolliert werden, finden Sie unter Fehler im Storage Insights-Dataset.

Erforderliche Berechtigungen für den Dienst-Agent erteilen

Google Cloud erstellt in Ihrem Namen einen konfigurationsbezogenen oder projektbezogenen Dienst-Agent, wenn Sie eine Dataset-Konfiguration erstellen. Der Dienst-Agent folgt dem Namensformat service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com und wird auf der IAM-Seite der Google Cloud Console angezeigt, wenn Sie das Kästchen Von Google bereitgestellte Rollenzuweisungen einschließen auswählen. Sie können den Namen des Service-Agents auch abrufen, indem Sie die DatasetConfig-Ressource über die JSON API aufrufen.

Bitten Sie Ihren Administrator, dem Dienst-Agent die Dienstrolle „Storage Insights Collector“ (roles/storage.insightsCollectorService) für die Organisation zuzuweisen, die die Quellprojekte enthält, damit Storage Insights Datasets generieren und schreiben kann. Diese Rolle muss jedem dienstkontobezogenen Dienst-Agent zugewiesen werden, der für jede Dataset-Konfiguration erstellt wird, aus der Sie Daten abrufen möchten. Wenn Sie einen projektbezogenen Dienst-Agent verwenden, muss diese Rolle nur einmal zugewiesen werden, damit der Dienst-Agent Datasets für alle Dataset-Konfigurationen im Projekt lesen und schreiben kann.

Eine Anleitung zum Zuweisen von Rollen für Projekte finden Sie unter Zugriff verwalten.

So verknüpfen Sie ein Dataset mit BigQuery:

  1. Wechseln Sie in der Google Cloud Console zur Seite Storage Insights von Cloud Storage.

    Zu Storage Insights

  2. Klicken Sie auf den Namen der Datasetkonfiguration, mit der das Dataset generiert wurde, das Sie verknüpfen möchten.

  3. Klicken Sie im Bereich Mit BigQuery verknüpftes Dataset auf Dataset verknüpfen, um Ihr Dataset zu verknüpfen.

  1. Um ein Dataset mit BigQuery zu verknüpfen, führen Sie den Befehl gcloud storage insights dataset-configs create-link aus:

    gcloud storage insights dataset-configs create-link DATASET_CONFIG_ID --location=LOCATION

    Ersetzen Sie:

    • Ersetzen Sie DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, das Sie verknüpfen möchten.

    • LOCATION durch den Standort Ihres Datasets. Beispiel: us-central1

    Alternativ zur Angabe von DATASET_CONFIG_NAME und LOCATION können Sie einen vollständigen Dataset-Konfigurationspfad angeben. Beispiel:

    gcloud storage insights dataset-configs create-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID_

    Ersetzen Sie:

    • DESTINATION_PROJECT_ID durch die ID des Projekts, das die Dataset-Konfiguration enthält. Weitere Informationen zu Projekt-IDs finden Sie unter Projekte erstellen und verwalten.

    • Ersetzen Sie DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, das Sie verknüpfen möchten.

    • LOCATION durch den Speicherort Ihres Datasets und der Dataset-Konfiguration. Beispiel: us-central1

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Erstellen Sie eine JSON-Datei, die folgende Informationen enthält:

    {
  "name": "DATASET_NAME"
}

    Ersetzen Sie:

    • Ersetzen Sie DATASET_NAME durch den Namen des Datasets, das Sie verknüpfen möchten. Beispiel: my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2

  3. Verwenden Sie cURL, um die JSON API mit einer linkDataset-DatasetConfig-Anfrage aufzurufen:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:linkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Ersetzen Sie:

    • JSON_FILE_NAME durch den Pfad zur JSON-Datei, die Sie im vorherigen Schritt erstellt haben.

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • LOCATION durch den Speicherort, an dem sich das Dataset und die Dataset-Konfiguration befinden. Beispiel: us-central1.

    • Ersetzen Sie DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, das Sie verknüpfen möchten.

    • ACCESS_TOKEN durch das Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Verknüpfte Datasets ansehen und abfragen

So rufen Sie verknüpfte Datasets auf und fragen sie ab:

  1. Wechseln Sie in der Google Cloud Console zur Seite Storage Insights von Cloud Storage.

    Zu Storage Insights

    Eine Liste der Dataset-Konfigurationen, die in Ihrem Projekt erstellt wurden, wird angezeigt.

  2. Klicken Sie auf das verknüpfte BigQuery-Dataset der Dataset-Konfiguration, die Sie aufrufen möchten.

    Das verknüpfte BigQuery-Dataset wird in der Google Cloud Konsole angezeigt. Informationen zum Dataset-Schema der Metadaten finden Sie unter Dataset-Schema der Metadaten.

  3. Sie können Tabellen und Ansichten in Ihren verknüpften Datasets genauso wie alle anderen BigQuery-Tabellen abfragen.

Wenn Sie verhindern möchten, dass die Dataset-Konfiguration im BigQuery-Dataset veröffentlicht wird, heben Sie die Verknüpfung des Datasets auf. So heben Sie die Verknüpfung eines Datasets auf:

  1. Wechseln Sie in der Google Cloud Console zur Seite Storage Insights von Cloud Storage.

    Zu Storage Insights

  2. Klicken Sie auf den Namen der Datasetkonfiguration, mit der das Dataset generiert wurde, dessen Verknüpfung Sie aufheben möchten.

  3. Klicken Sie im Bereich Mit BigQuery verknüpftes Dataset auf Dataset entknüpfen, um die Verknüpfung Ihres Datasets aufzuheben.

  1. Führen Sie den Befehl gcloud storage insights dataset-configs delete-link aus, um die Verknüpfung des Datasets aufzuheben:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Ersetzen Sie:

    • Ersetzen Sie DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, das Sie trennen möchten.

    • LOCATION durch den Speicherort Ihres Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    Alternativ zur Angabe von DATASET_CONFIG_NAME und LOCATION können Sie einen vollständigen Dataset-Konfigurationspfad angeben. Beispiel:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Ersetzen Sie:

    • DESTINATION_PROJECT_ID durch die ID des Projekts, das die Dataset-Konfiguration enthält. Weitere Informationen zu Projekt-IDs finden Sie unter Projekte erstellen und verwalten.

    • Ersetzen Sie DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, das Sie trennen möchten.

    • LOCATION durch den Speicherort Ihres Datasets und Ihrer Dataset-Konfiguration. Beispiel: us-central1

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Erstellen Sie eine JSON-Datei, die folgende Informationen enthält:

    {
  "name": "DATASET_NAME"
}

    Ersetzen Sie:

    • DATASET_NAME durch den Namen des Datasets, dessen Verknüpfung Sie aufheben möchten. Beispiel: my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2

  3. Verwenden Sie cURL, um die JSON API mit einer unlinkDataset-DatasetConfig-Anfrage aufzurufen:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Ersetzen Sie:

    • JSON_FILE_NAME durch den Pfad zur JSON-Datei, die Sie im vorherigen Schritt erstellt haben.

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, dessen Verknüpfung Sie aufheben möchten.

    • ACCESS_TOKEN durch das Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Dataset-Konfiguration ansehen

So rufen Sie die Konfiguration eines Datasets auf:

Console

  1. Wechseln Sie in der Google Cloud Console zur Seite Storage Insights von Cloud Storage.

    Zu Storage Insights

  2. Klicken Sie auf den Namen der Datasetkonfiguration, die Sie aufrufen möchten.

    Die Details der Dataset-Konfiguration werden angezeigt.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs describe aus, um eine Datasetkonfiguration zu beschreiben:

    gcloud storage insights dataset-configs describe DATASET_CONFG_ID \
  --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und die Dataset-Konfiguration.

    Alternativ zur Angabe von DATASET_CONFIG_NAME und LOCATION können Sie einen vollständigen Dataset-Konfigurationspfad angeben. Beispiel:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Ersetzen Sie:

    • DESTINATION_PROJECT_ID durch die ID des Projekts, das die Dataset-Konfiguration enthält. Weitere Informationen zu Projekt-IDs finden Sie unter Projekte erstellen und verwalten.

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, das Sie aufrufen möchten.

    • LOCATION durch den Speicherort Ihres Datasets und Ihrer Dataset-Konfiguration. Beispiel: us-central1

REST APIs

JSON API

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Verwenden Sie cURL, um die JSON API mit einer Get-DatasetConfig-Anfrage aufzurufen:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Ersetzen Sie:

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration.

    • ACCESS_TOKEN durch das Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Dataset-Konfigurationen auflisten

So listen Sie die Dataset-Konfigurationen in einem Projekt auf:

Console

  1. Wechseln Sie in der Google Cloud Console zur Seite Storage Insights von Cloud Storage.

    Zu Storage Insights

    Die Liste der Dataset-Konfigurationen wird angezeigt.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs list aus, um die Dataset-Konfigurationen in einem Projekt aufzulisten:

    gcloud storage insights dataset-configs list --location=LOCATION

    Ersetzen Sie:

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    Mit den folgenden optionalen Flags können Sie das Verhalten des Auflistungsaufrufs angeben:

    • Mit --page-size können Sie die maximale Anzahl der Ergebnisse angeben, die pro Seite zurückgegeben werden sollen.

    • Verwenden Sie --filter=FILTER, um die Ergebnisse zu filtern. Weitere Informationen zur Verwendung des Flags --filter erhalten Sie, wenn Sie gcloud topic filters ausführen und die Dokumentation lesen.

    • Verwenden Sie --sort-by=SORT_BY_VALUE, um eine durch Kommas getrennte Liste von Schlüsselnamen für Ressourcenfelder anzugeben, nach denen sortiert werden soll. Beispiel: --sort-by=DATASET_CONFIG_NAME.

REST APIs

JSON API

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Verwenden Sie cURL, um die JSON API mit einer Get-DatasetConfig-Anfrage aufzurufen:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Ersetzen Sie:

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • ACCESS_TOKEN durch das Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Dataset-Konfiguration aktualisieren

So aktualisieren Sie eine Dataset-Konfiguration:

Console

  1. Wechseln Sie in der Google Cloud Console zur Seite Storage Insights von Cloud Storage.

    Zu Storage Insights

  2. Klicken Sie auf den Namen der Dataset-Konfiguration, die Sie aktualisieren möchten.

  3. Klicken Sie auf dem Tab Dataset-Konfiguration, der angezeigt wird, auf Bearbeiten , um die Felder zu aktualisieren.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs update aus, um eine Datasetkonfiguration zu aktualisieren:

    gcloud storage insights dataset-configs update DATASET_CONFG_ID \
  --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration.

    • LOCATION mit dem Speicherort des Datasets und der Dataset-Konfiguration.

    Mit den folgenden Flags können Sie die Attribute der Dataset-Konfiguration aktualisieren:

    • Verwenden Sie --skip-verification, um Prüfungen und Fehler aus dem Bestätigungsprozess zu überspringen. Dazu gehören auch Prüfungen für erforderliche IAM-Berechtigungen. Wenn sie verwendet werden, werden einige oder alle Buckets möglicherweise aus dem Dataset ausgeschlossen.

    • Mit --retention-period-days=DAYS können Sie die Anzahl der Tage für den gleitenden Zeitraum angeben, für den Daten im Dataset-Snapshot erfasst werden sollen. Beispiel: 90

    • Verwenden Sie --description=DESCRIPTION, um eine Beschreibung für die Dataset-Konfiguration zu erstellen.

REST APIs

JSON API

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Erstellen Sie eine JSON-Datei, die die folgenden optionalen Informationen enthält:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": RETENTION_PERIOD"
}

    Ersetzen Sie:

    • ORGANIZATION_ID mit der Ressourcen-ID der Organisation ersetzen, zu der die Quellprojekte gehören.

    • PROJECT_NUMBERS durch die Projektnummern, die Sie in das Dataset aufnehmen möchten. Sie können ein oder mehrere Projekte angeben. Projekte müssen in Listenform angegeben werden.

    • RETENTION_PERIOD mit der gleitenden Anzahl von Tagen an Daten, die im Dataset-Snapshot erfasst werden sollen. Beispiel: 90

  3. Um die Dataset-Konfiguration zu aktualisieren, verwenden Sie cURL, um die JSON API mit einer Patch-DatasetConfig-Anfrage aufzurufen:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=RETENTION_PERIOD" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Ersetzen Sie:

    • JSON_FILE_NAME durch den Pfad zur JSON-Datei, die Sie im vorherigen Schritt erstellt haben.

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, die Sie aktualisieren möchten.

    • RETENTION_PERIOD mit der gleitenden Anzahl von Tagen an Daten, die im Dataset-Snapshot erfasst werden sollen. Beispiel: 90

    • ACCESS_TOKEN durch das Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Dataset-Konfiguration löschen

So löschen Sie eine Dataset-Konfiguration:

Console

  1. Wechseln Sie in der Google Cloud Console zur Seite Storage Insights von Cloud Storage.

    Zu Storage Insights

  2. Klicken Sie auf den Namen der Datasetkonfiguration, die Sie löschen möchten.

  3. Klicken Sie auf Löschen .

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs delete aus, um eine Dataset-Konfiguration zu löschen:

    gcloud storage insights dataset-configs delete DATASET_CONFG_ID \
  --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, die Sie löschen möchten.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    Mit den folgenden Flags können Sie die Attribute der Dataset-Konfiguration aktualisieren:

    • Verwenden Sie --auto-delete-link, um die Verknüpfung des Datasets aufzuheben, das aus der Dataset-Konfiguration generiert wurde, die Sie löschen möchten. Sie müssen die Verknüpfung eines Datasets aufheben, bevor Sie die Dataset-Konfiguration löschen können, mit der das Dataset erstellt wurde.

    • Mit --retention-period-days=DAYS geben Sie an, wie viele Tage mit Daten im Dataset-Snapshot erfasst werden sollen. Beispiel: 90

    Alternativ zur Angabe von DATASET_CONFIG_NAME und LOCATION können Sie einen vollständigen Dataset-Konfigurationspfad angeben. Beispiel:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

REST APIs

JSON API

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Verwenden Sie cURL, um die JSON API mit einer Delete-DatasetConfig-Anfrage aufzurufen:

    curl -X DELETE \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Ersetzen Sie:

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, die Sie löschen möchten.

    • ACCESS_TOKEN durch das Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Nächste Schritte