Utilizzare i set di dati di Storage Insights

Questa pagina mostra come creare e gestire i set di dati e le configurazioni dei set di dati di Storage Insights. Scopri di più sui set di dati di Storage Insights.

Prima di iniziare

Prima di iniziare a creare e gestire set di dati e configurazioni dei set di dati, segui le istruzioni riportate nelle sottosezioni successive.

Ottieni i ruoli richiesti

Per ottenere le autorizzazioni necessarie per creare e gestire i set di dati, chiedi all'amministratore di concederti i seguenti ruoli IAM nei progetti di origine:

Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per creare e gestire i set di dati. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per creare e gestire i set di dati sono necessarie le seguenti autorizzazioni:

  • Crea la configurazione del set di dati: storageinsights.datasetConfigs.create
  • Visualizza la configurazione del set di dati:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
  • Gestisci la configurazione del set di dati:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
  • Collega al set di dati BigQuery: storageinsights.datasetConfigs.linkDataset
  • Scollega dal set di dati BigQuery: storageinsights.datasetConfigs.unlinkDataset
  • Esegui query sui set di dati collegati a BigQuery: bigquery.jobs.create or bigquery.jobs.*

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Abilita l'API Storage Insights

Console

Abilita l'API storageinsights.googleapis.com

Riga di comando

Per attivare l'API Storage Insights nel progetto corrente, esegui il seguente comando:

gcloud services enable storageinsights.googleapis.com

Per ulteriori dettagli sull'attivazione dei servizi per un progetto Google Cloud, consulta Attivare e disattivare i servizi.

Configura Storage Intelligence

Assicurati che Storage Insights sia configurato nel progetto, nella cartella o nell'organizzazione che vuoi analizzare con i set di dati.

Crea una configurazione del set di dati

Per creare una configurazione del set di dati e generare un set di dati, segui questi passaggi. Per ulteriori informazioni sui campi che puoi specificare durante la creazione della configurazione del set di dati, consulta Proprietà di configurazione del set di dati.

Console

  1. Nella console Google Cloud, vai alla pagina Approfondimenti sull'archiviazione in Cloud Storage.

    Vai a Storage Insights

  2. Fai clic su Configura set di dati.

  3. Nella sezione Dai un nome al set di dati, inserisci un nome per il set di dati. Se vuoi, inserisci una descrizione per il set di dati.

  4. Nella sezione Definisci l'ambito del set di dati, segui questi passaggi:

    • Seleziona una delle seguenti opzioni:

      • Per ottenere i metadati dello spazio di archiviazione per tutti i progetti dell'organizzazione corrente, seleziona Includi l'organizzazione.

      • Per ottenere i metadati di archiviazione per tutti i progetti nelle cartelle selezionate, seleziona Includi cartelle(organizzazione secondaria/reparti). Per informazioni su come ottenere gli ID cartella, consulta Visualizzare o elencare cartelle e progetti. Per aggiungere cartelle:

        1. Nel campo Cartella 1, inserisci l'ID cartella.
        2. Se vuoi, per aggiungere più ID cartella, fai clic su + Aggiungi un'altra cartella.

      • Per ottenere i metadati di archiviazione per i progetti selezionati, seleziona Includi progetti specificando i numeri di progetto. Per scoprire come trovare i numeri di progetto, consulta Trovare il nome, il numero e l'ID del progetto. Per aggiungere progetti:

        1. Nel campo Progetto 1, inserisci il numero del progetto.
        2. Se vuoi, per aggiungere più numeri di progetto, fai clic su + Aggiungi un altro progetto.

      • Per aggiungere più progetti o cartelle contemporaneamente, seleziona Carica un elenco di progetti /cartelle tramite un file CSV. Il file CSV deve contenere i numeri di progetto o gli ID cartella che vuoi includere nel set di dati.

    • Specifica se vuoi includere automaticamente i bucket futuri nella risorsa selezionata.

    • Se vuoi, per specificare i filtri per i bucket in base alle regioni e ai prefissi dei bucket, espandi la sezione (Facoltativo) Filtri. I filtri vengono applicati in modo additivo ai bucket.

      Puoi includere o escludere i bucket da regioni specifiche. Ad esempio, puoi escludere i bucket nelle regioni me-central1 e me-central2. Puoi anche includere o escludere i bucket in base al prefisso. Ad esempio, se vuoi escludere i bucket che iniziano con my-bucket, inserisci il prefisso my-bucket*.

  5. Fai clic su Continua.

  6. Nella sezione Seleziona il periodo di conservazione, seleziona un periodo di conservazione per i dati nel set di dati.

  7. Nella sezione Seleziona la località in cui archiviare il set di dati configurato, seleziona una località in cui archiviare il set di dati e la relativa configurazione.

  8. Nella sezione Seleziona il tipo di account di servizio, seleziona un tipo di agente di servizio per il tuo set di dati. Questo agente di servizio viene creato per tuo conto quando crei la configurazione del set di dati. Puoi selezionare uno dei seguenti agenti di servizio:

    • Account di servizio con ambito a livello di configurazione: questo agente di servizio può solo accedere e scrivere il set di dati generato dalla configurazione del set di dati specifico.
    • Account di servizio a livello di progetto: questo agente di servizio può accedere e scrivere set di dati generati da tutte le configurazioni dei set di dati nel progetto.

    Al momento della creazione dell'agente di servizio, devi concedergli le autorizzazioni richieste. Per ulteriori informazioni su questi agenti di servizio, consulta le proprietà di configurazione del set di dati.

  9. Fai clic su Configura.

Riga di comando

  1. Per creare una configurazione del set di dati, esegui il comando gcloud storage insights dataset-configs create con i flag richiesti:

    gcloud storage insights dataset-configs create DATASET_CONFG_ID \
  --source-projects=SOURCE_PROJECT_NUMBERS \
  --location=LOCATION \
  --retention-period-days=RETENTION_PERIOD_DAYS \
  --organization=ORGANIZATION_ID

    Sostituisci:

    • DATASET_CONFIG_ID con il nome che vuoi assegnare alla configurazione del set di dati. I nomi vengono utilizzati come identificatori delle configurazioni dei set di dati e sono mutabili. Il nome può contenere fino a 128 caratteri tra cui lettere, numeri e trattini bassi.

    • SOURCE_PROJECT_NUMBERS con i numeri dei progetti da includere nel set di dati. Ad esempio: 464036093014. Puoi specificare uno o più progetti. Per scoprire come trovare il numero del progetto, consulta Trovare il nome, il numero e l'ID del progetto.

      In alternativa all'utilizzo del flag --source-projects, puoi utilizzare il flag --source-projects-file=FILE_PATH, che ti consente di specificare più numeri di progetto contemporaneamente caricando un file contenente i numeri di progetto. Il file deve essere in formato CSV e deve essere caricato su Cloud Storage.

    • LOCATION con la località in cui verranno archiviati la configurazione e il set di dati.

    • RETENTION_PERIOD_DAYS con il periodo di conservazione per i dati nel set di dati.

    • ORGANIZATION_ID con l'ID risorsa dell'organizzazione a cui appartengono i progetti di origine. I progetti di origine al di fuori della posizione specificata vengono esclusi dalla configurazione del set di dati. Per scoprire come trovare l'ID della tua organizzazione, consulta Ottenere l'ID risorsa dell'organizzazione.

    Se vuoi, puoi utilizzare flag aggiuntivi per configurare con precisione il set di dati:

    • Utilizza --include-buckets=BUCKET_NAMES_OR_REGEX per includere bucket specifici per nome o espressione regolare. Se viene utilizzato questo --exclude-buckets, non è possibile utilizzare --exclude-buckets.

    • Utilizza --exclude-buckets=BUCKET_NAMES_OR_REGEX per escludere bucket specifici per nome o espressione regolare. Se viene utilizzato questo --include-buckets, non è possibile utilizzare --include-buckets.

    • Utilizza --project=DESTINATION_PROJECT_ID per specificare un progetto da utilizzare per archiviare la configurazione e il set di dati generato. Se questo flag non è utilizzato, il progetto di destinazione sarà il progetto attivo. Per scoprire di più sugli ID progetto, consulta la pagina Creare e gestire progetti.

    • Utilizza --auto-add-new-buckets per includere automaticamente tutti i bucket che verranno aggiunti ai progetti di origine in futuro.

    • Utilizza --skip-verification per saltare i controlli e gli errori della procedura di verifica, inclusi i controlli delle autorizzazioni IAM richieste. Se utilizzati, alcuni o tutti i bucket potrebbero essere esclusi dal set di dati.

    • Utilizza --identity=IDENTITY_TYPE per specificare il tipo di agente di servizio che viene creato insieme alla configurazione del set di dati. I valori sono IDENTITY_TYPE_PER_CONFIG o IDENTITY_TYPE_PER_PROJECT. Se non specificato, il valore predefinito è IDENTITY_TYPE_PER_CONFIG.

    • Utilizza --description=DESCRIPTION per scrivere una descrizione della configurazione del set di dati.

API REST

API JSON

  1. Avere installato e inizializzatogcloud CLI, che consente di generare un token di accesso per l'intestazione Authorization.

  2. Crea un file JSON contenente le seguenti informazioni:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": ["PROJECT_NUMBERS", ...]
  },
  "retention_period_days": "RETENTION_PERIOD_DAYS",
  "identity": {
    "type": "IDENTITY_TYPE"
  }
}

    Sostituisci:

    • ORGANIZATION_ID con l'ID risorsa dell' organizzazione a cui appartengono i progetti di origine. Per scoprire come trovare l'ID della tua organizzazione, consulta Ottenere l'ID risorsa dell'organizzazione.

    • PROJECT_NUMBERS con i numeri dei progetti da includere nel set di dati. Puoi specificare uno o più progetti. I progetti devono essere specificati come elenco di stringhe.

    • RETENTION_PERIOD_DAYS con il numero di giorni di dati da acquisire nello snapshot del set di dati. Ad esempio, 90.

    • IDENTITY_TYPE con il tipo di account servizio creato insieme alla configurazione del set di dati. I valori sono IDENTITY_TYPE_PER_CONFIG o IDENTITY_TYPE_PER_PROJECT.

  3. Per creare la configurazione del set di dati, utilizza cURL per chiamare l'API JSON con una Create richiesta DatasetConfig:

    curl -X POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs?datasetConfigId=DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Sostituisci:

    • JSON_FILE_NAME con il percorso del file JSON creato nel passaggio precedente. In alternativa, puoi trasmettere un'istanza di DatasetConfig nel corpo della richiesta.

    • PROJECT_ID con l'ID del progetto a cui appartengono la configurazione e il set di dati.

    • LOCATION con la posizione in cui risiede il set di dati e la relativa configurazione. Ad esempio, us-central1.

    • DATASET_CONFIG_ID con il nome che vuoi assegnare alla configurazione del set di dati. I nomi vengono utilizzati come identificatore delle configurazioni dei set di dati e non sono immutabili. Il nome può contenere fino a 128 caratteri tra cui lettere, numeri e trattini bassi. Il nome deve iniziare con una lettera.

    • ACCESS_TOKEN con il token di accesso generato quando hai installato e inizializzato Google Cloud CLI.

Per risolvere i problemi relativi all'elaborazione degli snapshot registrati in error_attributes_view, consulta Errori dei set di dati di Storage Insights.

Concedi le autorizzazioni richieste all'agente di servizio

Google Cloud crea un agente di servizio con ambito a livello di configurazione o di progetto per tuo conto quando crei una configurazione del set di dati. L'agente di servizio segue il formato di denominazioneservice-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com e viene visualizzato nella pagina IAM della console Google Cloud quando selezioni la casella di controllo Includi concessioni di ruoli fornite da Google. Puoi anche trovare il nome dell'agente di servizio visualizzando la risorsa DatasetConfig utilizzando l'API JSON.

Per consentire a Storage Insights di generare e scrivere set di dati, chiedi all'amministratore di concedere all'agente di servizio il ruolo Storage Insights Collector Service (roles/storage.insightsCollectorService) nell'organizzazione che contiene i progetti di origine. Questo ruolo deve essere concesso a ogni agente di servizio basato sulla configurazione che viene creato per ogni configurazione del set di dati da cui vuoi estrarre i dati. Se utilizzi un agente di servizio a livello di progetto, questo ruolo deve essere concesso solo una volta affinché l'agente di servizio possa leggere e scrivere i set di dati per tutte le configurazioni dei set di dati all'interno del progetto.

Per le istruzioni sulla concessione dei ruoli nei progetti, consulta Gestire l'accesso.

Per collegare un set di dati a BigQuery:

  1. Nella console Google Cloud, vai alla pagina Approfondimenti sull'archiviazione in Cloud Storage.

    Vai a Storage Insights

  2. Fai clic sul nome della configurazione del set di dati che ha generato il set di dati da collegare.

  3. Nella sezione Set di dati collegato a BigQuery, fai clic su Collega set di dati per collegare il set di dati.

  1. Per collegare un set di dati a BigQuery, esegui il comando gcloud storage insights dataset-configs create-link:

    gcloud storage insights dataset-configs create-link DATASET_CONFIG_ID --location=LOCATION

    Sostituisci:

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che ha generato il set di dati che vuoi collegare.

    • LOCATION con la posizione del set di dati. Ad esempio: us-central1.

    In alternativa a DATASET_CONFIG_NAME e LOCATION, puoi specificare un percorso di configurazione completo del set di dati. Ad esempio:

    gcloud storage insights dataset-configs create-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID_

    Sostituisci:

    • DESTINATION_PROJECT_ID con l'ID del progetto contenente la configurazione del set di dati. Per scoprire di più sugli ID progetto, consulta la pagina Creare e gestire progetti.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che ha generato il set di dati che vuoi collegare.

    • LOCATION con la posizione del set di dati e della relativa configurazione. Ad esempio: us-central1.

  1. Avere installato e inizializzatogcloud CLI, che consente di generare un token di accesso per l'intestazione Authorization.

  2. Crea un file JSON contenente le seguenti informazioni:

    {
  "name": "DATASET_NAME"
}

    Sostituisci:

    • DATASET_NAME con il nome del set di dati da collegare. Ad esempio, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Utilizza cURL per chiamare l'API JSON con una richiesta linkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:linkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Sostituisci:

    • JSON_FILE_NAME con il percorso del file JSON che hai creato nel passaggio precedente.

    • PROJECT_ID con il ID del progetto a cui appartiene la configurazione del set di dati.

    • LOCATION con la posizione in cui si trovano il set di dati e la relativa configurazione. Ad esempio, us-central1.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che ha generato il set di dati che vuoi collegare.

    • ACCESS_TOKEN con il token di accesso generato quando hai installato e inizializzato Google Cloud CLI.

Visualizzare ed eseguire query sui set di dati collegati

Per visualizzare e eseguire query sui set di dati collegati:

  1. Nella console Google Cloud, vai alla pagina Approfondimenti sull'archiviazione in Cloud Storage.

    Vai a Storage Insights

    Viene visualizzato un elenco delle configurazioni dei set di dati creati nel progetto.

  2. Fai clic sul set di dati collegato a BigQuery della configurazione del set di dati che vuoi visualizzare.

    Il set di dati collegato BigQuery viene visualizzato nella console Google Cloud. Per informazioni sullo schema del set di dati dei metadati, consulta Schema del set di dati dei metadati.

  3. Puoi eseguire query sulle tabelle e sulle viste nei set di dati collegati nello stesso modo in cui eseguiresti query su qualsiasi altra tabella BigQuery.

Per interrompere la pubblicazione della configurazione del set di dati nel set di dati BigQuery, scollega il set di dati. Per scollegare un set di dati:

  1. Nella console Google Cloud, vai alla pagina Approfondimenti sull'archiviazione in Cloud Storage.

    Vai a Storage Insights

  2. Fai clic sul nome della configurazione del set di dati che ha generato il set di dati da scollegare.

  3. Nella sezione Set di dati collegato a BigQuery, fai clic su Scollega set di dati per scollegare il set di dati.

  1. Per scollegare il set di dati, esegui il comando gcloud storage insights dataset-configs delete-link:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Sostituisci:

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che ha generato il set di dati che vuoi scollegare.

    • LOCATION con la posizione del set di dati e della relativa configurazione. Ad esempio: us-central1.

    In alternativa a DATASET_CONFIG_NAME e LOCATION, puoi specificare un percorso di configurazione completo del set di dati. Ad esempio:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Sostituisci:

    • DESTINATION_PROJECT_ID con l'ID del progetto contenente la configurazione del set di dati. Per scoprire di più sugli ID progetto, consulta la pagina Creare e gestire progetti.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che ha generato il set di dati che vuoi scollegare.

    • LOCATION con la posizione del set di dati e della relativa configurazione. Ad esempio: us-central1.

  1. Avere installato e inizializzatogcloud CLI, che consente di generare un token di accesso per l'intestazione Authorization.

  2. Crea un file JSON contenente le seguenti informazioni:

    {
  "name": "DATASET_NAME"
}

    Sostituisci:

    • DATASET_NAME con il nome del set di dati che vuoi scollegare. Ad esempio, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Utilizza cURL per chiamare l'API JSON con una richiesta unlinkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Sostituisci:

    • JSON_FILE_NAME con il percorso del file JSON che hai creato nel passaggio precedente.

    • PROJECT_ID con il ID del progetto a cui appartiene la configurazione del set di dati.

    • LOCATION con la posizione del set di dati e della relativa configurazione. Ad esempio: us-central1.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che ha generato il set di dati che vuoi scollegare.

    • ACCESS_TOKEN con il token di accesso generato quando hai installato e inizializzato Google Cloud CLI.

Visualizzare una configurazione del set di dati

Per visualizzare la configurazione di un set di dati:

Console

  1. Nella console Google Cloud, vai alla pagina Approfondimenti sull'archiviazione in Cloud Storage.

    Vai a Storage Insights

  2. Fai clic sul nome della configurazione del set di dati che vuoi visualizzare.

    Vengono visualizzati i dettagli della configurazione del set di dati.

Riga di comando

  1. Per descrivere una configurazione del set di dati, esegui il comando gcloud storage insights dataset-configs describe:

    gcloud storage insights dataset-configs describe DATASET_CONFG_ID \
  --location=LOCATION

    Sostituisci:

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati.

    • LOCATION con la posizione e la configurazione del set di dati.

    In alternativa a DATASET_CONFIG_NAME e LOCATION, puoi specificare un percorso di configurazione completo del set di dati. Ad esempio:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Sostituisci:

    • DESTINATION_PROJECT_ID con l'ID del progetto contenente la configurazione del set di dati. Per scoprire di più sugli ID progetto, consulta la pagina Creare e gestire progetti.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che ha generato il set di dati che vuoi visualizzare.

    • LOCATION con la posizione del set di dati e della relativa configurazione. Ad esempio: us-central1.

API REST

API JSON

  1. Avere installato e inizializzatogcloud CLI, che consente di generare un token di accesso per l'intestazione Authorization.

  2. Utilizza cURL per chiamare l'API JSON con una richiesta Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Sostituisci:

    • PROJECT_ID con il ID del progetto a cui appartiene la configurazione del set di dati.

    • LOCATION con la posizione del set di dati e la relativa configurazione. Ad esempio: us-central1.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati.

    • ACCESS_TOKEN con il token di accesso generato quando hai installato e inizializzato Google Cloud CLI.

Elencare le configurazioni dei set di dati

Per elencare le configurazioni dei set di dati in un progetto, completa i seguenti passaggi:

Console

  1. Nella console Google Cloud, vai alla pagina Approfondimenti sull'archiviazione in Cloud Storage.

    Vai a Storage Insights

    Viene visualizzato l'elenco delle configurazioni dei set di dati.

Riga di comando

  1. Per elencare le configurazioni dei set di dati in un progetto, esegui il comando gcloud storage insights dataset-configs list:

    gcloud storage insights dataset-configs list --location=LOCATION

    Sostituisci:

    • LOCATION con la posizione del set di dati e la relativa configurazione. Ad esempio: us-central1.

    Puoi utilizzare i seguenti flag facoltativi per specificare il comportamento della chiamata alla scheda:

    • Utilizza --page-size per specificare il numero massimo di risultati da restituire per pagina.

    • Utilizza --filter=FILTER per filtrare i risultati. Per maggiori informazioni su come utilizzare il flag --filter, esegui gcloud topic filters e consulta la documentazione.

    • Utilizza --sort-by=SORT_BY_VALUE per specificare un elenco separato da virgole di nomi di chiavi di campo della risorsa in base ai quali ordinare. Ad esempio, --sort-by=DATASET_CONFIG_NAME.

API REST

API JSON

  1. Avere installato e inizializzatogcloud CLI, che consente di generare un token di accesso per l'intestazione Authorization.

  2. Utilizza cURL per chiamare l'API JSON con una richiesta Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Sostituisci:

    • PROJECT_ID con il ID del progetto a cui appartiene la configurazione del set di dati.

    • LOCATION con la posizione del set di dati e la relativa configurazione. Ad esempio: us-central1.

    • ACCESS_TOKEN con il token di accesso generato quando hai installato e inizializzato Google Cloud CLI.

Aggiornare la configurazione di un set di dati

Per aggiornare la configurazione di un set di dati:

Console

  1. Nella console Google Cloud, vai alla pagina Approfondimenti sull'archiviazione in Cloud Storage.

    Vai a Storage Insights

  2. Fai clic sul nome della configurazione del set di dati da aggiornare.

  3. Nella scheda Configurazione del set di dati visualizzata, fai clic su Modifica per aggiornare i campi.

Riga di comando

  1. Per aggiornare la configurazione di un set di dati, esegui il comando gcloud storage insights dataset-configs update:

    gcloud storage insights dataset-configs update DATASET_CONFG_ID \
  --location=LOCATION

    Sostituisci:

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati.

    • LOCATION con la posizione del set di dati e la relativa configurazione.

    Utilizza i seguenti flag per aggiornare le proprietà della configurazione del set di dati:

    • Utilizza --skip-verification per saltare i controlli e gli errori della procedura di verifica, inclusi i controlli delle autorizzazioni IAM richieste. Se utilizzati, alcuni o tutti i bucket potrebbero essere esclusi dal set di dati.

    • Utilizza --retention-period-days=DAYS per specificare il numero di giorni di dati in movimento da acquisire nello snapshot del set di dati. Ad esempio, 90.

    • Utilizza --description=DESCRIPTION per scrivere una descrizione della configurazione del set di dati.

API REST

API JSON

  1. Avere installato e inizializzatogcloud CLI, che consente di generare un token di accesso per l'intestazione Authorization.

  2. Crea un file JSON contenente le seguenti informazioni facoltative:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": RETENTION_PERIOD"
}

    Sostituisci:

    • ORGANIZATION_ID con l'ID risorsa dell' organizzazione a cui appartengono i progetti di origine.

    • PROJECT_NUMBERS con i numeri dei progetti da includere nel set di dati. Puoi specificare uno o più progetti. I progetti devono essere specificati in un formato di elenco.

    • RETENTION_PERIOD con il numero variabile di giorni di dati da acquisire nello snapshot del set di dati. Ad esempio, 90.

  3. Per aggiornare la configurazione del set di dati, utilizza cURL per chiamare l'API JSON con una richiesta Patch DatasetConfig:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=RETENTION_PERIOD" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Sostituisci:

    • JSON_FILE_NAME con il percorso del file JSON creato nel passaggio precedente.

    • PROJECT_ID con il ID del progetto a cui appartiene la configurazione del set di dati.

    • LOCATION con la posizione del set di dati e della relativa configurazione. Ad esempio: us-central1.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati da aggiornare.

    • RETENTION_PERIOD con il numero variabile di giorni di dati da acquisire nello snapshot del set di dati. Ad esempio, 90.

    • ACCESS_TOKEN con il token di accesso generato quando hai installato e inizializzato Google Cloud CLI.

Eliminare una configurazione del set di dati

Per eliminare una configurazione del set di dati, completa i seguenti passaggi:

Console

  1. Nella console Google Cloud, vai alla pagina Approfondimenti sull'archiviazione in Cloud Storage.

    Vai a Storage Insights

  2. Fai clic sul nome della configurazione del set di dati che vuoi eliminare.

  3. Fai clic su Elimina .

Riga di comando

  1. Per eliminare una configurazione del set di dati, esegui il comando gcloud storage insights dataset-configs delete:

    gcloud storage insights dataset-configs delete DATASET_CONFG_ID \
  --location=LOCATION

    Sostituisci:

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che vuoi eliminare.

    • LOCATION con la posizione del set di dati e della relativa configurazione. Ad esempio: us-central1.

    Utilizza i seguenti flag per aggiornare le proprietà della configurazione del set di dati:

    • Utilizza --auto-delete-link per scollegare il set di dati generato dalla configurazione del set di dati che vuoi eliminare. Devi scollegare un set di dati prima di poter eliminare la configurazione del set di dati che lo ha gerado.

    • Utilizza --retention-period-days=DAYS per specificare il numero di giorni di dati da acquisire nello snapshot del set di dati. Ad esempio, 90.

    In alternativa a DATASET_CONFIG_NAME e LOCATION, puoi specificare un percorso di configurazione completo del set di dati. Ad esempio:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

API REST

API JSON

  1. Avere installato e inizializzatogcloud CLI, che consente di generare un token di accesso per l'intestazione Authorization.

  2. Utilizza cURL per chiamare l'API JSON con una richiesta Delete DatasetConfig:

    curl -X DELETE \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Sostituisci:

    • PROJECT_ID con il ID del progetto a cui appartiene la configurazione del set di dati.

    • LOCATION con la posizione del set di dati e della relativa configurazione. Ad esempio: us-central1.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che vuoi eliminare.

    • ACCESS_TOKEN con il token di accesso generato quando hai installato e inizializzato Google Cloud CLI.

Passaggi successivi