Storage Insights-Datasets verwenden

Auf dieser Seite erfahren Sie, wie Sie Storage Insights-Datasets und Datasetkonfigurationen erstellen und verwalten. Weitere Informationen zu Storage Insights-Datasets

Hinweise

Bevor Sie mit dem Erstellen und Verwalten von Datasets und Datasetkonfigurationen beginnen, folgen Sie der Anleitung in den folgenden Abschnitten.

Erforderliche Rollen abrufen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Quellprojekte zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Verwalten von Datasets benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen und Verwalten von Datasets erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Datensätze zu erstellen und zu verwalten:

  • Dataset-Konfiguration erstellen: storageinsights.datasetConfigs.create
  • Dataset-Konfiguration ansehen:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
  • Dataset-Konfiguration verwalten:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
  • Verknüpfung mit BigQuery-Dataset: storageinsights.datasetConfigs.linkDataset
  • Verknüpfung mit BigQuery-Dataset aufheben: storageinsights.datasetConfigs.unlinkDataset
  • Mit BigQuery verknüpfte Datasets abfragen: bigquery.jobs.create or bigquery.jobs.*

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Storage Insights API aktivieren

Console

storageinsights.googleapis.com API aktivieren

Befehlszeile

Führen Sie den folgenden Befehl aus, um die Storage Insights API in Ihrem aktuellen Projekt zu aktivieren:

gcloud services enable storageinsights.googleapis.com

Weitere Informationen zum Aktivieren von Diensten für ein Google Cloud-Projekt finden Sie unter Dienste aktivieren und deaktivieren.

Storage Intelligence konfigurieren

Speicher-KI muss für das Projekt, den Ordner oder die Organisation konfiguriert sein, die Sie mit Datensätzen analysieren möchten.

Dataset-Konfiguration erstellen

So erstellen Sie eine Datensatzkonfiguration und generieren einen Datensatz: Weitere Informationen zu den Feldern, die Sie beim Erstellen der Dataset-Konfiguration angeben können, finden Sie unter Dataset-Konfigurationseigenschaften.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Speicherstatistiken von Cloud Storage auf.

    Storage Insights aufrufen

  2. Klicken Sie auf Dataset konfigurieren.

  3. Geben Sie im Abschnitt Dataset benennen einen Namen für das Dataset ein. Geben Sie optional eine Beschreibung für den Datensatz ein.

  4. Gehen Sie im Abschnitt Datensatzumfang definieren so vor:

    • Wählen Sie eine der folgenden Optionen aus:

      • Wenn Sie Speichermetadaten für alle Projekte in der aktuellen Organisation abrufen möchten, wählen Sie Organisation einbeziehen aus.

      • Wenn Sie Speichermetadaten für alle Projekte in den ausgewählten Ordnern abrufen möchten, wählen Sie Ordner einschließen(Unterorganisation/Abteilungen) aus. Informationen zum Abrufen von Ordner-IDs finden Sie unter Ordner und Projekte anzeigen oder auflisten. So fügen Sie Ordner hinzu:

        1. Geben Sie im Feld Ordner 1 die Ordner-ID ein.
        2. Optional: Wenn Sie mehrere Ordner-IDs hinzufügen möchten, klicken Sie auf + Weiteren Ordner hinzufügen.

      • Wenn Sie Speichermetadaten für die ausgewählten Projekte abrufen möchten, wählen Sie Projekte durch Angabe der Projektnummern einschließen aus. Informationen zum Ermitteln der Projektnummern finden Sie unter Projektname, -nummer und -ID ermitteln. So fügen Sie Projekte hinzu:

        1. Geben Sie im Feld Projekt 1 die Projektnummer ein.
        2. Optional: Wenn Sie mehrere Projektnummern hinzufügen möchten, klicken Sie auf + Weiteres Projekt hinzufügen.

      • Wenn Sie mehrere Projekte oder Ordner gleichzeitig hinzufügen möchten, wählen Sie Liste mit Projekten /Ordnern über CSV-Datei hochladen aus. Die CSV-Datei muss die Projektnummern oder Ordner-IDs enthalten, die Sie in den Datensatz aufnehmen möchten.

    • Geben Sie an, ob zukünftige Buckets automatisch in die ausgewählte Ressource aufgenommen werden sollen.

    • Wenn Sie Filter für Buckets basierend auf Regionen und Bucket-Präfixen angeben möchten, maximieren Sie den Bereich Filter (optional). Filter werden additiv auf Bucket angewendet.

      Sie können Buckets aus bestimmten Regionen ein- oder ausschließen. Sie können beispielsweise Buckets in den Regionen me-central1 und me-central2 ausschließen. Sie können Buckets auch nach Präfix ein- oder ausschließen. Wenn Sie beispielsweise Buckets ausschließen möchten, die mit my-bucket beginnen, geben Sie das Präfix my-bucket* ein.

  5. Klicken Sie auf Weiter.

  6. Wählen Sie im Abschnitt Aufbewahrungsdauer auswählen eine Aufbewahrungsdauer für die Daten im Datensatz aus.

  7. Wählen Sie im Abschnitt Ort zum Speichern des konfigurierten Datasets auswählen einen Speicherort für das Dataset und die Datasetkonfiguration aus.

  8. Wählen Sie im Abschnitt Dienstkontotyp auswählen einen Dienstagententyp für Ihren Datensatz aus. Dieser Dienst-Agent wird in Ihrem Namen erstellt, wenn Sie die Datensatzkonfiguration erstellen. Sie können einen der folgenden Kundenservicemitarbeiter auswählen:

    • Dienstkonto auf Konfigurationsebene: Dieser Dienst-Agent kann nur auf den Datensatz zugreifen und ihn schreiben, der von der jeweiligen Datensatzkonfiguration generiert wurde.
    • Dienstkonto auf Projektebene: Dieser Dienst-Agent kann auf Datasets zugreifen und sie schreiben, die aus allen Datasetkonfigurationen im Projekt generiert werden.

    Beim Erstellen des Dienst-Agents müssen Sie ihm die erforderlichen Berechtigungen erteilen. Weitere Informationen zu diesen Dienstmitarbeitern finden Sie unter Dataset-Konfigurationseigenschaften.

  9. Klicken Sie auf Konfigurieren.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs create mit den erforderlichen Flags aus, um eine Datensatzkonfiguration zu erstellen:

    gcloud storage insights dataset-configs create DATASET_CONFG_ID \
  --source-projects=SOURCE_PROJECT_NUMBERS \
  --location=LOCATION \
  --retention-period-days=RETENTION_PERIOD_DAYS \
  --organization=ORGANIZATION_ID

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen, den Sie der Dataset-Konfiguration geben möchten. Namen werden als Kennung von Datensatzkonfigurationen verwendet und können geändert werden. Der Name kann bis zu 128 Zeichen mit Buchstaben, Ziffern und Unterstrichen enthalten.

    • SOURCE_PROJECT_NUMBERS durch die Nummern der Projekte ersetzen, die Sie in den Datensatz aufnehmen möchten. Beispiel: 464036093014 Sie können ein oder mehrere Projekte angeben. Informationen zum Ermitteln der Projektnummer finden Sie unter Projektname, -nummer und -ID ermitteln.

      Alternativ zum Flag --source-projects können Sie das Flag --source-projects-file=FILE_PATH verwenden. Damit können Sie mehrere Projektnummern gleichzeitig angeben, indem Sie eine Datei mit den Projektnummern hochladen. Die Datei muss im CSV-Format vorliegen und in Cloud Storage hochgeladen werden.

    • LOCATION durch den Speicherort, an dem die Datensatzkonfiguration und der Datensatz gespeichert werden.

    • RETENTION_PERIOD_DAYS mit der Aufbewahrungsdauer für die Daten im Datensatz.

    • ORGANIZATION_ID durch die Ressourcen-ID der Organisation ersetzen, zu der die Quellprojekte gehören. Quellprojekte außerhalb des angegebenen Speicherorts werden von der Dataset-Konfiguration ausgeschlossen. Informationen zum Abrufen Ihrer Organisations-ID finden Sie unter Ressourcen-ID Ihrer Organisation abrufen.

    Optional können Sie zusätzliche Flags verwenden, um den Datensatz weiter zu konfigurieren:

    • Verwenden Sie --include-buckets=BUCKET_NAMES_OR_REGEX, um bestimmte Buckets nach Name oder regulärem Ausdruck einzuschließen. Wenn dieses Flag verwendet wird, kann --exclude-buckets nicht verwendet werden.

    • Verwenden Sie --exclude-buckets=BUCKET_NAMES_OR_REGEX, um bestimmte Buckets nach Name oder regulärem Ausdruck auszuschließen. Wenn dieses Flag verwendet wird, kann --include-buckets nicht verwendet werden.

    • Mit --project=DESTINATION_PROJECT_ID können Sie ein Projekt angeben, in dem die Dataset-Konfiguration und das generierte Dataset gespeichert werden sollen. Wenn dieses Flag nicht verwendet wird, ist das Zielprojekt Ihr aktives Projekt. Weitere Informationen zu Projekt-IDs finden Sie unter Projekte erstellen und verwalten.

    • Mit --auto-add-new-buckets können Sie alle Buckets automatisch einschließen, die in Zukunft zu Quellprojekten hinzugefügt werden.

    • Mit --skip-verification können Sie Prüfungen und Fehler im Überprüfungsprozess überspringen, einschließlich Prüfungen auf erforderliche IAM-Berechtigungen. Wenn Sie verwendet werden, werden einige oder alle Bucket möglicherweise aus dem Datensatz ausgeschlossen.

    • Mit --identity=IDENTITY_TYPE können Sie den Typ des Dienst-Agenten angeben, der zusammen mit der Datensatzkonfiguration erstellt wird. Mögliche Werte sind IDENTITY_TYPE_PER_CONFIG und IDENTITY_TYPE_PER_PROJECT. Wenn nicht angegeben, lautet die Standardeinstellung IDENTITY_TYPE_PER_CONFIG.

    • Verwenden Sie --description=DESCRIPTION, um eine Beschreibung für die Datensatzkonfiguration zu verfassen.

REST APIs

JSON API

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Erstellen Sie eine JSON-Datei, die folgende Informationen enthält:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": ["PROJECT_NUMBERS", ...]
  },
  "retention_period_days": "RETENTION_PERIOD_DAYS",
  "identity": {
    "type": "IDENTITY_TYPE"
  }
}

    Ersetzen Sie:

    • ORGANIZATION_ID durch die Ressourcen-ID der Organisation ersetzen, zu der die Quellprojekte gehören. Informationen zum Abrufen Ihrer Organisations-ID finden Sie unter Ressourcen-ID Ihrer Organisation abrufen.

    • PROJECT_NUMBERS durch die Nummern der Projekte ersetzen, die Sie in das Dataset aufnehmen möchten. Sie können ein oder mehrere Projekte angeben. Projekte müssen als Liste von Strings angegeben werden.

    • RETENTION_PERIOD_DAYS mit der Anzahl der Tage, für die Daten im Dataset-Snapshot erfasst werden sollen. Beispiel: 90

    • IDENTITY_TYPE mit dem Typ des Dienstkontos, das zusammen mit der Datensatzkonfiguration erstellt wird. Mögliche Werte sind IDENTITY_TYPE_PER_CONFIG und IDENTITY_TYPE_PER_PROJECT.

  3. Verwenden Sie cURL, um die JSON API mit einer Create-DatasetConfig-Anfrage aufzurufen, um die Datensatzkonfiguration zu erstellen:

    curl -X POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs?datasetConfigId=DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Ersetzen Sie:

    • JSON_FILE_NAME durch den Pfad zur JSON-Datei, die Sie im vorherigen Schritt erstellt haben. Alternativ kannst du eine Instanz von DatasetConfig im Anfragetext übergeben.

    • PROJECT_ID durch die ID des Projekts ersetzen, zu dem die Dataset-Konfiguration und das Dataset gehören.

    • LOCATION durch den Speicherort, an dem sich das Dataset und die Datasetkonfiguration befinden. Beispiel: us-central1.

    • DATASET_CONFIG_ID durch den Namen, den Sie der Datensatzkonfiguration geben möchten. Namen werden als Kennung von Datensatzkonfigurationen verwendet und sind unveränderlich. Der Name kann bis zu 128 Zeichen mit Buchstaben, Ziffern und Unterstrichen enthalten. Der Name muss mit einem Buchstaben beginnen.

    • ACCESS_TOKEN mit dem Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Informationen zur Behebung von Fehlern bei der Snapshot-Verarbeitung, die in error_attributes_view protokolliert werden, finden Sie unter Storage Insights-Dataset-Fehler.

Dem Dienst-Agent die erforderlichen Berechtigungen erteilen

Google Cloud erstellt in Ihrem Namen einen Dienst-Agenten auf Konfigurations- oder Projektebene, wenn Sie eine Datensatzkonfiguration erstellen. Der Dienst-Agent folgt dem Namensformat service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com und wird auf der IAM-Seite der Google Cloud Console angezeigt, wenn Sie das Kästchen Von Google bereitgestellte Rollenzuweisungen aktivieren. Sie können den Namen des Kundenservicemitarbeiters auch über die JSON API in der Ressource DatasetConfig abrufen.

Damit Storage Insights Datensätze generieren und schreiben kann, bitten Sie Ihren Administrator, dem Dienst-Agent die Rolle „Storage Insights Collector Service“ (roles/storage.insightsCollectorService) für die Organisation zuzuweisen, die die Quellprojekte enthält. Diese Rolle muss jedem Dienst-Agent auf Konfigurationsebene gewährt werden, der für jede Dataset-Konfiguration erstellt wird, aus der Sie Daten abrufen möchten. Wenn Sie einen Dienst-Agenten auf Projektebene verwenden, muss diese Rolle nur einmal gewährt werden, damit der Dienst-Agent Datasets für alle Datasetkonfigurationen im Projekt lesen und schreiben kann.

Eine Anleitung zum Zuweisen von Rollen für Projekte finden Sie unter Zugriff verwalten.

So verknüpfen Sie ein Dataset mit BigQuery:

  1. Rufen Sie in der Google Cloud Console die Seite Speicher-Insights von Cloud Storage auf.

    Storage Insights aufrufen

  2. Klicken Sie auf den Namen der Datensatzkonfiguration, mit der der Datensatz generiert wurde, den Sie verknüpfen möchten.

  3. Klicken Sie im Bereich Mit BigQuery verknüpftes Dataset auf Dataset verknüpfen, um das Dataset zu verknüpfen.

  1. Wenn Sie ein Dataset mit BigQuery verknüpfen möchten, führen Sie den Befehl gcloud storage insights dataset-configs create-link aus:

    gcloud storage insights dataset-configs create-link DATASET_CONFIG_ID --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Datasetkonfiguration ersetzen, mit der das Dataset generiert wurde, das Sie verknüpfen möchten.

    • LOCATION durch den Speicherort Ihres Datasets. Beispiel: us-central1

    Alternativ zu DATASET_CONFIG_NAME und LOCATION können Sie auch einen vollständigen Pfad zur Datasetkonfiguration angeben. Beispiel:

    gcloud storage insights dataset-configs create-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID_

    Ersetzen Sie:

    • DESTINATION_PROJECT_ID durch die ID des Projekts ersetzen, das die Datasetkonfiguration enthält. Weitere Informationen zu Projekt-IDs finden Sie unter Projekte erstellen und verwalten.

    • DATASET_CONFIG_ID durch den Namen der Datasetkonfiguration ersetzen, mit der das Dataset generiert wurde, das Sie verknüpfen möchten.

    • LOCATION durch den Speicherort Ihres Datasets und Ihrer Datasetkonfiguration. Beispiel: us-central1

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Erstellen Sie eine JSON-Datei, die folgende Informationen enthält:

    {
  "name": "DATASET_NAME"
}

    Ersetzen Sie:

    • DATASET_NAME durch den Namen des Datasets, das Sie verknüpfen möchten. Beispiel: my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2

  3. Verwenden Sie cURL, um die JSON API mit einer linkDataset-DatasetConfig-Anfrage aufzurufen:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:linkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Ersetzen Sie:

    • JSON_FILE_NAME durch den Pfad zur JSON-Datei, die Sie im vorherigen Schritt erstellt haben.

    • PROJECT_ID durch die ID des Projekts ersetzen, zu dem die Dataset-Konfiguration gehört.

    • LOCATION durch den Speicherort ersetzen, an dem sich der Datensatz und die Datensatzkonfiguration befinden. Beispiel: us-central1.

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration ersetzen, mit der das Dataset generiert wurde, das Sie verknüpfen möchten.

    • ACCESS_TOKEN mit dem Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Verknüpfte Datasets aufrufen und abfragen

So rufen Sie verknüpfte Datasets auf und fragen sie ab:

  1. Rufen Sie in der Google Cloud Console die Seite Speicher-Insights von Cloud Storage auf.

    Storage Insights aufrufen

    Eine Liste der Datasetkonfigurationen, die in Ihrem Projekt erstellt wurden, wird angezeigt.

  2. Klicken Sie auf das verknüpfte BigQuery-Dataset der Datensatzkonfiguration, die Sie aufrufen möchten.

    Das verknüpfte BigQuery-Dataset wird in der Google Cloud Console angezeigt. Informationen zum Dataset-Schema der Metadaten finden Sie unter Dataset-Schema der Metadaten.

  3. Sie können Tabellen und Ansichten in Ihren verknüpften Datasets genauso wie alle anderen BigQuery-Tabellen abfragen.

Wenn die Dataset-Konfiguration nicht mehr im BigQuery-Dataset veröffentlicht werden soll, heben Sie die Verknüpfung mit dem Dataset auf. So heben Sie die Verknüpfung eines Datensatzes auf:

  1. Rufen Sie in der Google Cloud Console die Seite Speicherstatistiken von Cloud Storage auf.

    Storage Insights aufrufen

  2. Klicken Sie auf den Namen der Datensatzkonfiguration, mit der der Datensatz generiert wurde, dessen Verknüpfung Sie aufheben möchten.

  3. Klicken Sie im Bereich Mit BigQuery verknüpftes Dataset auf Dataset verknüpfen, um die Verknüpfung aufzuheben.

  1. Führen Sie den Befehl gcloud storage insights dataset-configs delete-link aus, um die Verknüpfung des Datensatzes aufzuheben:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Datasetkonfiguration ersetzen, mit der das Dataset generiert wurde, dessen Verknüpfung Sie aufheben möchten.

    • LOCATION durch den Speicherort Ihres Datasets und Ihrer Datasetkonfiguration. Beispiel: us-central1

    Alternativ zu DATASET_CONFIG_NAME und LOCATION können Sie auch einen vollständigen Pfad zur Datasetkonfiguration angeben. Beispiel:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Ersetzen Sie:

    • DESTINATION_PROJECT_ID durch die ID des Projekts ersetzen, das die Datasetkonfiguration enthält. Weitere Informationen zu Projekt-IDs finden Sie unter Projekte erstellen und verwalten.

    • DATASET_CONFIG_ID durch den Namen der Datasetkonfiguration ersetzen, mit der das Dataset generiert wurde, dessen Verknüpfung Sie aufheben möchten.

    • LOCATION durch den Speicherort Ihres Datasets und Ihrer Datasetkonfiguration. Beispiel: us-central1

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Erstellen Sie eine JSON-Datei, die folgende Informationen enthält:

    {
  "name": "DATASET_NAME"
}

    Ersetzen Sie:

    • DATASET_NAME durch den Namen des Datasets, dessen Verknüpfung Sie aufheben möchten. Beispiel: my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2

  3. Verwenden Sie cURL, um die JSON API mit einer unlinkDataset-DatasetConfig-Anfrage aufzurufen:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Ersetzen Sie:

    • JSON_FILE_NAME durch den Pfad zur JSON-Datei, die Sie im vorherigen Schritt erstellt haben.

    • PROJECT_ID durch die ID des Projekts ersetzen, zu dem die Dataset-Konfiguration gehört.

    • LOCATION durch den Speicherort des Datasets und der Datasetkonfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration ersetzen, mit der das Dataset generiert wurde, dessen Verknüpfung Sie aufheben möchten.

    • ACCESS_TOKEN mit dem Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Dataset-Konfiguration ansehen

So rufen Sie eine Datensatzkonfiguration auf:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Speicher-Insights von Cloud Storage auf.

    Storage Insights aufrufen

  2. Klicken Sie auf den Namen der Datasetkonfiguration, die Sie aufrufen möchten.

    Die Details zur Datensatzkonfiguration werden angezeigt.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs describe aus, um eine Datensatzkonfiguration zu beschreiben:

    gcloud storage insights dataset-configs describe DATASET_CONFG_ID \
  --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Datensatzkonfiguration.

    • LOCATION durch den Speicherort des Datasets und die Datasetkonfiguration.

    Alternativ zu DATASET_CONFIG_NAME und LOCATION können Sie auch einen vollständigen Pfad zur Datasetkonfiguration angeben. Beispiel:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Ersetzen Sie:

    • DESTINATION_PROJECT_ID durch die ID des Projekts ersetzen, das die Datasetkonfiguration enthält. Weitere Informationen zu Projekt-IDs finden Sie unter Projekte erstellen und verwalten.

    • DATASET_CONFIG_ID durch den Namen der Datasetkonfiguration, mit der das Dataset generiert wurde, das Sie aufrufen möchten.

    • LOCATION durch den Speicherort Ihres Datasets und Ihrer Datasetkonfiguration. Beispiel: us-central1

REST APIs

JSON API

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Verwenden Sie cURL, um die JSON API mit einer Get-DatasetConfig-Anfrage aufzurufen:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Ersetzen Sie:

    • PROJECT_ID durch die ID des Projekts ersetzen, zu dem die Dataset-Konfiguration gehört.

    • LOCATION durch den Speicherort des Datasets und der Datasetkonfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Datensatzkonfiguration.

    • ACCESS_TOKEN mit dem Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Dataset-Konfigurationen auflisten

So listen Sie die Datasetkonfigurationen in einem Projekt auf:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Speicherstatistiken von Cloud Storage auf.

    Storage Insights aufrufen

    Die Liste der Datensatzkonfigurationen wird angezeigt.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs list aus, um die Datasetkonfigurationen in einem Projekt aufzulisten:

    gcloud storage insights dataset-configs list --location=LOCATION

    Ersetzen Sie:

    • LOCATION durch den Speicherort des Datasets und der Datasetkonfiguration. Beispiel: us-central1

    Mit den folgenden optionalen Flags können Sie das Verhalten des Listenaufrufs angeben:

    • Mit --page-size können Sie die maximale Anzahl von Ergebnissen angeben, die pro Seite zurückgegeben werden sollen.

    • Verwenden Sie --filter=FILTER, um Ergebnisse zu filtern. Weitere Informationen zur Verwendung des Flags --filter finden Sie in der Dokumentation.gcloud topic filters

    • Mit --sort-by=SORT_BY_VALUE können Sie eine durch Kommas getrennte Liste von Schlüsselnamen für Ressourcenfelder angeben, nach denen sortiert werden soll. Beispiel: --sort-by=DATASET_CONFIG_NAME.

REST APIs

JSON API

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Verwenden Sie cURL, um die JSON API mit einer Get-DatasetConfig-Anfrage aufzurufen:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Ersetzen Sie:

    • PROJECT_ID durch die ID des Projekts ersetzen, zu dem die Dataset-Konfiguration gehört.

    • LOCATION durch den Speicherort des Datasets und der Datasetkonfiguration. Beispiel: us-central1

    • ACCESS_TOKEN mit dem Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Dataset-Konfiguration aktualisieren

So aktualisieren Sie die Konfiguration eines Datensatzes:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Speicherstatistiken von Cloud Storage auf.

    Storage Insights aufrufen

  2. Klicken Sie auf den Namen der Datasetkonfiguration, die Sie aktualisieren möchten.

  3. Klicken Sie auf dem Tab Datensatzkonfiguration auf Bearbeiten , um die Felder zu aktualisieren.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs update aus, um eine Datasetkonfiguration zu aktualisieren:

    gcloud storage insights dataset-configs update DATASET_CONFG_ID \
  --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Datensatzkonfiguration.

    • LOCATION durch den Speicherort und die Konfiguration des Datasets.

    Mit den folgenden Flags können Sie Eigenschaften der Datensatzkonfiguration aktualisieren:

    • Mit --skip-verification können Sie Prüfungen und Fehler im Überprüfungsprozess überspringen, einschließlich Prüfungen auf erforderliche IAM-Berechtigungen. Wenn Sie verwendet werden, werden einige oder alle Bucket möglicherweise aus dem Datensatz ausgeschlossen.

    • Mit --retention-period-days=DAYS können Sie die Anzahl der Tage an Daten angeben, die im Dataset-Snapshot erfasst werden sollen. Beispiel: 90

    • Verwenden Sie --description=DESCRIPTION, um eine Beschreibung für die Datensatzkonfiguration zu verfassen.

REST APIs

JSON API

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Erstellen Sie eine JSON-Datei mit den folgenden optionalen Informationen:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": RETENTION_PERIOD"
}

    Ersetzen Sie:

    • ORGANIZATION_ID durch die Ressourcen-ID der Organisation ersetzen, zu der die Quellprojekte gehören.

    • PROJECT_NUMBERS durch die Projektnummern ersetzen, die Sie in das Dataset aufnehmen möchten. Sie können ein oder mehrere Projekte angeben. Projekte müssen in einem Listenformat angegeben werden.

    • RETENTION_PERIOD mit der Anzahl der Tage, deren Daten im Dataset-Snapshot erfasst werden sollen. Beispiel: 90

  3. Um die Datensatzkonfiguration zu aktualisieren, verwenden Sie cURL, um die JSON API mit einer Patch-DatasetConfig-Anfrage aufzurufen:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=RETENTION_PERIOD" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Ersetzen Sie:

    • JSON_FILE_NAME durch den Pfad zur JSON-Datei, die Sie im vorherigen Schritt erstellt haben.

    • PROJECT_ID durch die ID des Projekts ersetzen, zu dem die Dataset-Konfiguration gehört.

    • LOCATION durch den Speicherort des Datasets und der Datasetkonfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Datasetkonfiguration, die Sie aktualisieren möchten.

    • RETENTION_PERIOD mit der Anzahl der Tage, deren Daten im Dataset-Snapshot erfasst werden sollen. Beispiel: 90

    • ACCESS_TOKEN mit dem Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Dataset-Konfiguration löschen

So löschen Sie eine Datensatzkonfiguration:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Speicherstatistiken von Cloud Storage auf.

    Storage Insights aufrufen

  2. Klicken Sie auf den Namen der Datensatzkonfiguration, die Sie löschen möchten.

  3. Klicken Sie auf Löschen .

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs delete aus, um eine Datasetkonfiguration zu löschen:

    gcloud storage insights dataset-configs delete DATASET_CONFG_ID \
  --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Datensatzkonfiguration, die Sie löschen möchten.

    • LOCATION durch den Speicherort des Datasets und der Datasetkonfiguration. Beispiel: us-central1

    Mit den folgenden Flags können Sie Eigenschaften der Datensatzkonfiguration aktualisieren:

    • Verwenden Sie --auto-delete-link, um die Verknüpfung des Datasets aufzuheben, das aus der Dataset-Konfiguration generiert wurde, die Sie löschen möchten. Sie müssen die Verknüpfung eines Datasets aufheben, bevor Sie die Dataset-Konfiguration löschen können, mit der das Dataset generiert wurde.

    • Mit --retention-period-days=DAYS können Sie angeben, wie viele Tage an Daten im Dataset-Snapshot erfasst werden sollen. Beispiel: 90

    Alternativ zu DATASET_CONFIG_NAME und LOCATION können Sie auch einen vollständigen Pfad zur Datasetkonfiguration angeben. Beispiel:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

REST APIs

JSON API

  1. Die gcloud CLI installieren und initialisieren, um ein Zugriffstoken für den Header Authorization zu generieren.

  2. Verwenden Sie cURL, um die JSON API mit einer Delete-DatasetConfig-Anfrage aufzurufen:

    curl -X DELETE \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Ersetzen Sie:

    • PROJECT_ID durch die ID des Projekts ersetzen, zu dem die Dataset-Konfiguration gehört.

    • LOCATION durch den Speicherort des Datasets und der Datasetkonfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Datensatzkonfiguration, die Sie löschen möchten.

    • ACCESS_TOKEN mit dem Zugriffstoken, das Sie beim Installieren und Initialisieren der Google Cloud CLI generiert haben.

Nächste Schritte