Creare e gestire i report sull'inventario

Console

Per abilitare l'API storageinsights.googleapis.com, segui le istruzioni riportate in Abilitazione dei servizi.

Riga di comando

Per abilitare l'API Storage Insights nel tuo progetto attuale, esegui questo comando:

gcloud services enable storageinsights.googleapis.com

Per maggiori dettagli su come attivare i servizi per un progetto Google Cloud , vedi Abilitazione e disabilitazione dei servizi.

API REST

Console

Per creare una configurazione del report sull'inventario:

1. Nella console Google Cloud , vai alla pagina Bucket in Cloud Storage.
   

   Vai a Bucket

2. Nell'elenco dei bucket, fai clic sul nome del bucket che vuoi utilizzare come bucket di origine.

3. Nella pagina Dettagli bucket, fai clic sulla scheda Report inventario.

4. Fai clic su Crea configurazione di report.

5. Nella sezione Identifica la configurazione dei report, crea un nome visualizzato per la configurazione del report dell'inventario. Il nome visualizzato può contenere fino a 256 caratteri.

6. Nella sezione Scegli i campi dei metadati, seleziona i campi dei metadati da includere nei report sull'inventario.

7. Fai clic su Continua.

8. Nella sezione Scegli un formato file, seleziona il formato file in cui vuoi generare i report sull'inventario.

9. Nella sezione Scegli un bucket di destinazione, seleziona il bucket che vuoi utilizzare come bucket di destinazione.

   Nella sezione (Facoltativo) Inserisci il percorso di destinazione, puoi specificare facoltativamente un percorso di destinazione in cui verranno generati i report sull'inventario.

10. Nella sezione Opzioni di pianificazione, specifica la frequenza, la data di inizio e la data di fine per la generazione dei report.

11. Fai clic su Crea.

    Viene visualizzata la pagina Dettagli configurazione report. I metadati dei report sull'inventario generati verranno visualizzati nella pagina.

Riga di comando

1. Per creare una configurazione di report dell'inventario, esegui il comando gcloud storage insights inventory-reports create:

   gcloud storage insights inventory-reports create SOURCE_BUCKET_URL \
     --csv-separator=SEPARATOR \
     --csv-delimiter=DELIMITER \
     --[no]-csv-header \
     --parquet \
     --display-name=DISPLAY_NAME \
     --destination=DESTINATION_PATH \
     --metadata-fields=METADATA_FIELD \
     --schedule-starts=START_DATE \
     --schedule-repeats=FREQUENCY \
     --schedule-repeats-until=END_DATE

   Sostituisci:

   • SOURCE_BUCKET_URL con l'URL del bucket di origine. Ad esempio, gs://my_example_source_bucket.

   • SEPARATOR con il carattere utilizzato per separare i record nel file CSV del report sull'inventario. Deve essere \n o \r\n. Il valore predefinito è \n. Facoltativo. Se viene utilizzato il flag --csv-separator, non è possibile utilizzare --parquet.

   • DELIMITER con il delimitatore che separa i campi nel file CSV del report sull'inventario. Il valore può includere un carattere e non può essere uguale a SEPARATOR. Il valore predefinito è ,. Facoltativo. Se viene utilizzato --csv-delimiter, non è possibile utilizzare --parquet.

   • --[no]-csv-header con il flag che indica se le intestazioni sono incluse o meno nel file CSV del report sull'inventario. Utilizza --csv-header per includere le intestazioni e --no-csv-header per escluderle. Se viene utilizzato uno dei due flag, non è possibile utilizzare --parquet.

   • DISPLAY_NAME con il nome modificabile della configurazione del report sull'inventario. Facoltativo.

   • --parquet con il flag che genera report sull'inventario in formato Apache Parquet anziché CSV. Se utilizzati, --csv-delimiter, --csv-separator e --[no-]csv-header non possono essere utilizzati.

   • DESTINATION_PATH con il bucket o la cartella nel bucket in cui verranno generati i report sull'inventario. Ad esempio, gs://my_example_destination_bucket o gs://my_example_destination_bucket/path/to/inventory/report.

     Quando specifichi un percorso a una cartella all'interno di un bucket, puoi utilizzare parole chiave nel percorso, che vengono sostituite con i valori corrispondenti al momento della generazione del report. In questo modo puoi generare report in un formato partizionato Hive, in modo da poter caricare o eseguire query sui dati in BigQuery senza ulteriori elaborazioni.

   • METADATA_FIELD con un elenco separato da virgole di campi di metadati da includere nel report sull'inventario.

   • START_DATE con la data UTC in cui vuoi iniziare a generare i report sull'inventario. Ad esempio, 2022-01-15.

   • FREQUENCY con la frequenza con cui vuoi che vengano generati i report sull'inventario. I valori sono daily o weekly.

   • END_DATE con la data UTC dopo la quale vuoi interrompere la generazione dei report sull'inventario. Deve essere un valore successivo a START_DATE. Ad esempio, se specifichi 2022-02-15, i report sull'inventario non verranno più generati a partire dal 16 febbraio 2022.

Librerie client

import com.google.cloud.storageinsights.v1.CSVOptions;
import com.google.cloud.storageinsights.v1.CloudStorageDestinationOptions;
import com.google.cloud.storageinsights.v1.CloudStorageFilters;
import com.google.cloud.storageinsights.v1.CreateReportConfigRequest;
import com.google.cloud.storageinsights.v1.FrequencyOptions;
import com.google.cloud.storageinsights.v1.LocationName;
import com.google.cloud.storageinsights.v1.ObjectMetadataReportOptions;
import com.google.cloud.storageinsights.v1.ReportConfig;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import com.google.common.collect.ImmutableList;
import com.google.type.Date;
import java.io.IOException;

public class CreateInventoryReportConfig {

  public static void createInventoryReportConfig(
      String projectId, String bucketLocation, String sourceBucket, String destinationBucket)
      throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      ReportConfig reportConfig =
          ReportConfig.newBuilder()
              .setDisplayName("Example inventory report configuration")
              .setFrequencyOptions(
                  FrequencyOptions.newBuilder()
                      .setFrequency(FrequencyOptions.Frequency.WEEKLY)
                      .setStartDate(Date.newBuilder().setDay(15).setMonth(8).setYear(3022).build())
                      .setEndDate(Date.newBuilder().setDay(15).setMonth(9).setYear(3022).build())
                      .build())
              .setCsvOptions(
                  CSVOptions.newBuilder()
                      .setDelimiter(",")
                      .setRecordSeparator("\n")
                      .setHeaderRequired(true)
                      .build())
              .setObjectMetadataReportOptions(
                  ObjectMetadataReportOptions.newBuilder()
                      .addAllMetadataFields(ImmutableList.of("project", "name", "bucket"))
                      .setStorageFilters(
                          CloudStorageFilters.newBuilder().setBucket(sourceBucket).build())
                      .setStorageDestinationOptions(
                          CloudStorageDestinationOptions.newBuilder()
                              .setBucket(destinationBucket)
                              .build())
                      .build())
              .build();
      CreateReportConfigRequest request =
          CreateReportConfigRequest.newBuilder()
              .setParent(LocationName.of(projectId, bucketLocation).toString())
              .setReportConfig(reportConfig)
              .build();
      ReportConfig response = storageInsightsClient.createReportConfig(request);
      System.out.println("Created inventory report config with name " + response.getName());
    }
  }
}

API REST

Console

Per modificare la configurazione di un report sull'inventario:

1. Nella console Google Cloud , vai alla pagina Bucket in Cloud Storage.
   

   Vai a Bucket

2. Nell'elenco dei bucket, fai clic sul nome del bucket di origine che contiene la configurazione del report sull'inventario da modificare.

3. Nella pagina Dettagli bucket del bucket di origine, fai clic sulla scheda Report di inventario.

4. Fai clic sul nome della configurazione della configurazione del report sull'inventario da modificare.

5. Nella pagina Dettagli configurazione report visualizzata, modifica le proprietà che preferisci utilizzando il pulsante edit Modifica.

Riga di comando

Per modificare la configurazione di un report sull'inventario:

1. Per trovare il nome della configurazione del report sull'inventario che vuoi modificare, elenca tutte le configurazioni dell'inventario nel bucket di origine utilizzando il comando gcloud storage insights inventory-reports list:

   gcloud storage insights inventory-reports list \
     --source=SOURCE_BUCKET \
     --filter=EXPRESSION \
     --page-size=SIZE \
     --sort-by=FIELD \
     --format="yaml(name)"

   Sostituisci:

   • SOURCE_BUCKET con l'URL del bucket di origine che contiene la configurazione del report sull'inventario.

   • EXPRESSION con un filtro booleano da applicare a ogni elemento risorsa da elencare. Se l'espressione restituisce True, l'elemento viene elencato. Per maggiori dettagli ed esempi di espressioni di filtro, esegui $ gcloud topic filters.

   • SIZE con il numero massimo di risorse per pagina. Il valore predefinito è 50.

   • FIELD con un elenco separato da virgole di nomi di chiavi dei campi delle risorse in base ai quali ordinare. L'ordine predefinito è crescente. Aggiungi il prefisso ~ a un campo per l'ordine decrescente in quel campo.

   1. Modifica i campi di configurazione del report sull'inventario che vuoi aggiornare utilizzando il comando gcloud storage insights inventory-reports update. Il seguente esempio aggiorna la configurazione del report dell'inventario per generare report dell'inventario giornalieri in formato Apache Parquet:

      gcloud storage insights inventory-reports update CONFIG_NAME \
      --parquet \
      --schedule-repeats="daily"

Librerie client

import com.google.cloud.storageinsights.v1.ReportConfig;
import com.google.cloud.storageinsights.v1.ReportConfigName;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import com.google.cloud.storageinsights.v1.UpdateReportConfigRequest;
import com.google.protobuf.FieldMask;
import java.io.IOException;

public class EditInventoryReportConfig {


  public static void editInventoryReportConfig(
          String projectId, String location, String inventoryReportConfigUuid) throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      ReportConfigName name = ReportConfigName.of(projectId, location, inventoryReportConfigUuid);
      ReportConfig reportConfig = storageInsightsClient.getReportConfig(name);

      // Set any other fields you want to update here
      ReportConfig updatedReportConfig =
              reportConfig.toBuilder().setDisplayName("Updated Display Name").build();

      storageInsightsClient.updateReportConfig(
              UpdateReportConfigRequest.newBuilder()
                      // Add any fields that you want to update to the update mask, in snake case
                      .setUpdateMask(FieldMask.newBuilder().addPaths("display_name")
                              .build())
                      .setReportConfig(updatedReportConfig).build());

      System.out.println("Edited inventory report config with name " + name);
    }
  }
}

API REST

Console

Per elencare le configurazioni del report sull'inventario in un bucket di origine, completa i seguenti passaggi:

1. Nella console Google Cloud , vai alla pagina Bucket in Cloud Storage.
   

   Vai a Bucket

2. Nell'elenco dei bucket, fai clic sul nome del bucket di origine che contiene le configurazioni dei report sull'inventario che vuoi visualizzare.

3. Nella pagina Dettagli bucket, fai clic sulla scheda Report inventario.

   Vengono visualizzate le configurazioni dei report sull'inventario nel bucket di origine.

Riga di comando

Puoi elencare tutte le configurazioni dell'inventario in un bucket di origine utilizzando il comando gcloud storage insights inventory-reports list:

gcloud storage insights inventory-reports list \
  --source=SOURCE_BUCKET \
  --filter=EXPRESSION \
  --page-size=SIZE \
  --sort-by=FIELD \
  --format="yaml(name)"
  

Sostituisci:

• SOURCE_BUCKET con l'URL del bucket di origine che contiene la configurazione del report sull'inventario.

• EXPRESSION con un filtro booleano da applicare a ogni elemento risorsa da elencare. Se l'espressione restituisce True, l'elemento viene elencato. Per maggiori dettagli ed esempi di espressioni di filtro, esegui $ gcloud topic filters.

• SIZE con il numero massimo di risorse per pagina. Il valore predefinito è 50.

• FIELD con un elenco separato da virgole di nomi di chiavi dei campi delle risorse in base ai quali ordinare. L'ordine predefinito è crescente. Aggiungi il prefisso ~ a un campo per l'ordine decrescente in quel campo.

Librerie client

import com.google.cloud.storageinsights.v1.LocationName;
import com.google.cloud.storageinsights.v1.ReportConfig;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import java.io.IOException;

public class ListInventoryReportConfigs {


  public static void listInventoryReportConfigs(String projectId, String location)
      throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      System.out.println(
          "Printing inventory report configs in project "
              + projectId
              + " and location "
              + location);
      for (ReportConfig config :
          storageInsightsClient
              .listReportConfigs(LocationName.of(projectId, location))
              .iterateAll()) {
        System.out.println(config.getName());
      }
    }
  }
}

API REST

Console

Scaricare singoli report

I report sull'inventario vengono generati e archiviati come oggetti nel bucket di destinazione, quindi puoi scaricarli come faresti con un normale oggetto.

Per scaricare un report sull'inventario:

1. Nella console Google Cloud , vai alla pagina Bucket in Cloud Storage.
   

   Vai a Bucket

2. Nell'elenco dei bucket, fai clic sul nome del bucket di destinazione che contiene il report sull'inventario che vuoi scaricare.

3. Nella pagina Dettagli bucket, assicurati che sia selezionata la scheda Oggetti.

4. Fai clic su file_download Scarica associato al report sull'inventario che vuoi scaricare.

Se non conosci il bucket di destinazione, puoi anche scaricare un report sull'inventario tramite la configurazione del report sull'inventario da cui è stato generato:

1. Nella console Google Cloud , vai alla pagina Bucket in Cloud Storage.
   

   Vai a Bucket

2. Nell'elenco dei bucket, fai clic sul nome del bucket di origine contenente la configurazione del report sull'inventario che ha generato il report da scaricare.

3. Nella pagina Dettagli bucket, fai clic sul nome della configurazione del report di inventario.

4. Nella pagina Dettagli configurazione report visualizzata, vai alla sezione Cronologia report sull'inventario, quindi fai clic sul percorso dell'oggetto di destinazione del report sull'inventario che vuoi scaricare.

   Viene visualizzata la pagina Dettagli bucket per il bucket di destinazione che contiene il report sull'inventario.

5. Fai clic su file_download Scarica associato al report sull'inventario che vuoi scaricare.

Scaricare gli shard del report

Per scaricare un report sull'inventario suddiviso in uno o più shard, completa i seguenti passaggi:

1. Nella console Google Cloud , vai alla pagina Bucket in Cloud Storage.
   

   Vai a Bucket

2. Nell'elenco dei bucket, fai clic sul nome del bucket di destinazione che hai specificato quando hai creato la configurazione del report sull'inventario.

3. Nella pagina Dettagli bucket, verifica la presenza di un file manifest. La presenza di un file manifest indica che sono stati generati tutti gli shard di un report sull'inventario.

   Un esempio di nome file manifest è fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json.

4. Nel bucket di destinazione, fai clic su file_download Scarica associato al file manifest. Prendi nota dei nomi dei file shard che vuoi scaricare dal campo report_shards_file_names.

5. Nel bucket di destinazione, fai clic su file_download Scarica associato ai file di partizione che vuoi scaricare.

Riga di comando

Scaricare singoli report

Per scaricare un report sull'inventario:

1. Per elencare tutti i report di inventario generati da una configurazione dei report di inventario e recuperare il relativo REPORT_DETAIL_ID, utilizza il comando gcloud storage insights inventory-reports details list:

   gcloud storage insights inventory-reports details list CONFIG_NAME \
     --filter=EXPRESSION \
     --page-size=SIZE \
     --sort-by=FIELD

   Sostituisci:

   • CONFIG_NAME con il nome univoco della configurazione del report dell'inventario, nel formato projects/PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID.

   • EXPRESSION con un filtro booleano da applicare a ogni elemento della risorsa da elencare. Se l'espressione restituisce True, l'elemento viene elencato. Per maggiori dettagli ed esempi di espressioni di filtro, esegui $ gcloud topic filters.

   • SIZE con il numero massimo di risorse per pagina. Il valore predefinito è 50.

   • FIELD con un elenco separato da virgole di nomi di chiavi dei campi delle risorse in base ai quali ordinare. L'ordine predefinito è crescente. Aggiungi il prefisso ~ a un campo per l'ordine decrescente in quel campo.

   In caso di esito positivo, il comando restituisce un output simile al seguente:

   REPORT_DETAIL_ID            SNAPSHOT_TIME
   Report_2023-04-10T00-00     2023-04-10T00:53:03Z
   Report_2023-04-12T00-00     2023-04-12T00:52:54Z
   Report_2023-04-05T00-00     2023-04-05T00:53:01Z

2. Per scaricare un report sull'inventario, devi prima recuperare la proprietà reportPathPrefix dell'oggetto ReportDetail. Per ottenere il reportPathPrefix di un report, utilizza il comando gcloud storage insights inventory-reports details describe:

   gcloud storage insights inventory-reports details describe REPORT_DETAIL_NAME

   Sostituisci REPORT_DETAIL_NAME con il nome del report sull'inventario nel formato projects/PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID/reportDetails/REPORT_DETAIL_ID.

Scaricare gli shard del report

Per scaricare un report sull'inventario suddiviso in uno o più shard, completa i seguenti passaggi:

1. Scarica il file manifest del report sull'inventario utilizzando il comando gcloud storage cp:

   gcloud storage cp gs://BUCKET_NAME/MANIFEST_FILE_NAME DOWNLOAD_PATH

   Sostituisci:

   • BUCKET_NAME con il nome del bucket di destinazione.

   • MANIFEST_FILE_NAME con il nome del file manifest nel bucket di destinazione, nella seguente convenzione di denominazione:

     REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json

     Dove:

     • REPORT_CONFIG_UUID è l'UUID generato automaticamente della configurazione del report di inventario che ha generato i segmenti del report che vuoi scaricare.

     • TARGET_DATETIME è la data e l'ora in cui è stato generato il report sull'inventario.

     Ad esempio, fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json.

   • DOWNLOAD_PATH con il percorso del file di sistema in cui vuoi salvare il report sull'inventario. Ad esempio, ./example_report.csv.

2. Per scaricare un file di shard, utilizza il comando gcloud storage cp:

   gcloud storage cp gs://BUCKET_NAME/SHARD_FILE_NAME DOWNLOAD_PATH

   Sostituisci:

   • BUCKET_NAME con il nome del bucket di destinazione.

   • SHARD_FILE_NAME con il nome codificato nell'URL del file dello shard che vuoi scaricare. Ad esempio, fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv.

   • DOWNLOAD_PATH con il percorso del file di sistema in cui vuoi salvare il report sull'inventario. Ad esempio, ./example_report.csv.

Librerie client

import com.google.cloud.storageinsights.v1.ReportConfig;
import com.google.cloud.storageinsights.v1.ReportConfigName;
import com.google.cloud.storageinsights.v1.ReportDetail;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import java.io.IOException;

public class GetInventoryReportNames {


  public static void getInventoryReportNames(
      String projectId, String location, String reportConfigUuid) throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      ReportConfig config =
          storageInsightsClient.getReportConfig(
              ReportConfigName.of(projectId, location, reportConfigUuid));
      String extension = config.hasCsvOptions() ? "csv" : "parquet";
      System.out.println(
          "You can use the Google Cloud Storage Client "
              + "to download the following objects from Google Cloud Storage:");
      for (ReportDetail reportDetail :
          storageInsightsClient.listReportDetails(config.getName()).iterateAll()) {
        for (long index = reportDetail.getShardsCount() - 1; index >= 0; index--) {
          System.out.println(reportDetail.getReportPathPrefix() + index + "." + extension);
        }
      }
    }
  }
}

API REST

Console

Per eliminare una configurazione del report sull'inventario, completa i seguenti passaggi:

1. Nella console Google Cloud , vai alla pagina Bucket in Cloud Storage.
   

   Vai a Bucket

2. Nell'elenco dei bucket, fai clic sul nome del bucket di origine che contiene la configurazione del report sull'inventario che vuoi eliminare.

3. Nella pagina Dettagli bucket del bucket di origine, fai clic sulla scheda Report di inventario.

4. Fai clic sul nome della configurazione della configurazione del report sull'inventario che vuoi eliminare.

5. Nella pagina Dettagli configurazione report visualizzata, fai clic su delete Elimina.

Riga di comando

Per eliminare una configurazione dei report sull'inventario, utilizza il gcloud storage insights inventory-reports delete comando:

gcloud storage insights inventory-reports delete CONFIG_NAME
  --force

Sostituisci CONFIG_NAME con il nome univoco della configurazione del report dell'inventario, nel formato projects/PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID.

Il flag --force elimina i metadati di tutti i report sull'inventario generati dalla configurazione del report sull'inventario specificata. Gli oggetti del report sull'inventario non verranno eliminati.

Librerie client

import com.google.cloud.storageinsights.v1.ReportConfigName;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import java.io.IOException;

public class DeleteInventoryReportConfig {


  public static void deleteInventoryReportConfig(
      String projectId, String location, String inventoryReportConfigUuid) throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      ReportConfigName name = ReportConfigName.of(projectId, location, inventoryReportConfigUuid);
      storageInsightsClient.deleteReportConfig(name);

      System.out.println("Deleted inventory report config with name " + name);
    }
  }
}

API REST