Cómo usar los informes de inventario

Console

Para habilitar la API de storageinsights.googleapis.com, sigue las instrucciones en Habilita servicios.

Línea de comandos

Para habilitar la API de Storage Insights en tu proyecto actual, ejecuta el siguiente comando:

gcloud services enable storageinsights.googleapis.com

Si deseas obtener más detalles para habilitar los servicios de un proyecto de Google Cloud , consulta Habilita e inhabilita servicios.

API de REST

Console

Para crear una configuración de informes de inventario, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.
   

   Ir a Buckets

2. En la lista de buckets, haz clic en el nombre del bucket que deseas usar como bucket de origen.

3. En la página Detalles del bucket, haz clic en la pestaña Inventory reports.

4. Haz clic en Create report configuration.

5. En la sección Identifica la configuración de tu informe, crea un nombre visible para la configuración de informes de inventario. El nombre visible puede contener hasta 256 caracteres.

6. En la sección Elige campos de metadatos, selecciona los campos de metadatos que deseas incluir en los informes de inventario.

7. Haz clic en Continuar.

8. En la sección Elige un formato de archivo, selecciona el formato de archivo en el que deseas generar informes de inventario.

9. En la sección Elige un bucket de destino, selecciona el bucket que deseas usar como bucket de destino.

   En la sección Ingresar ruta de destino (opcional), puedes especificar una ruta de destino en la que se generarán informes de inventario.

10. En la sección Opciones de programación, especifica la frecuencia, la fecha de inicio y la fecha de finalización para generar informes.

11. Haz clic en Crear.

    Se muestra la página Report configuration details. Los metadatos de los informes de inventario generados aparecerán en la página.

Línea de comandos

1. Para crear una configuración de informes de inventario, ejecuta el comando gcloud storage insights inventory-reports create:

   gcloud storage insights inventory-reports create SOURCE_BUCKET_URL \
     --csv-separator=SEPARATOR \
     --csv-delimiter=DELIMITER \
     --[no]-csv-header \
     --parquet \
     --display-name=DISPLAY_NAME \
     --destination=DESTINATION_PATH \
     --metadata-fields=METADATA_FIELD \
     --schedule-starts=START_DATE \
     --schedule-repeats=FREQUENCY \
     --schedule-repeats-until=END_DATE

   Reemplaza lo siguiente:

   • SOURCE_BUCKET_URL es la URL del bucket de origen. Por ejemplo, gs://my_example_source_bucket

   • SEPARATOR con el carácter que se usa para separar los registros en el archivo CSV del informe de inventario. Debe ser \n o \r\n. El valor predeterminado es \n. Opcional. Si se usa la marca --csv-separator, --parquet no se puede usar.

   • DELIMITER con el delimitador que separa los campos en el archivo CSV del informe de inventario. El valor puede incluir un carácter y no puede ser el mismo que SEPARATOR. El valor predeterminado es ,. Opcional. Si se usa --csv-delimiter, no se puede usar --parquet.

   • --[no]-csv-header con la marca que indica si se incluyen o no encabezados en el archivo CSV del informe de inventario Usa --csv-header para incluir encabezados y --no-csv-header para excluirlos. Si se usa alguna de las marcas, no se puede usar --parquet.

   • DISPLAY_NAME es el nombre editable de la configuración de informes de inventario. Opcional.

   • --parquet por la marca que genera informes de inventario en formato Apache Parquet en lugar de CSV. Si se usa, --csv-delimiter, --csv-separator y --[no-]csv-header no se pueden usar.

   • DESTINATION_PATH por el bucket o la carpeta en el bucket en el que se generarán los informes de inventario. Por ejemplo, gs://my_example_destination_bucket o gs://my_example_destination_bucket/path/to/inventory/report.

     Cuando especificas una ruta de acceso a una carpeta dentro de un bucket, puedes usar palabras clave en la ruta de acceso, que se sustituyen por sus valores correspondientes cuando se genera el informe. Esto te permite generar informes en un formato particionado de Hive para que puedas cargar o consultar los datos en BigQuery sin procesamiento adicional.

   • METADATA_FIELD por una lista separada por comas de los campos de metadatos que deseas incluir en el informe de inventario.

   • START_DATE con la fecha UTC en la que deseas comenzar a generar informes de inventario. Por ejemplo, 2022-01-15

   • FREQUENCY con la frecuencia con la que deseas que se generen los informes de inventario. Los valores son daily o weekly.

   • END_DATE con la fecha UTC después de la cual deseas dejar de generar informes de inventario. Debe ser un valor después de START_DATE. Por ejemplo, si especificas 2022-02-15, los informes de inventario ya no se generarán a partir del 16 de febrero de 2022.

Bibliotecas cliente

import com.google.cloud.storageinsights.v1.CSVOptions;
import com.google.cloud.storageinsights.v1.CloudStorageDestinationOptions;
import com.google.cloud.storageinsights.v1.CloudStorageFilters;
import com.google.cloud.storageinsights.v1.CreateReportConfigRequest;
import com.google.cloud.storageinsights.v1.FrequencyOptions;
import com.google.cloud.storageinsights.v1.LocationName;
import com.google.cloud.storageinsights.v1.ObjectMetadataReportOptions;
import com.google.cloud.storageinsights.v1.ReportConfig;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import com.google.common.collect.ImmutableList;
import com.google.type.Date;
import java.io.IOException;

public class CreateInventoryReportConfig {

  public static void createInventoryReportConfig(
      String projectId, String bucketLocation, String sourceBucket, String destinationBucket)
      throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      ReportConfig reportConfig =
          ReportConfig.newBuilder()
              .setDisplayName("Example inventory report configuration")
              .setFrequencyOptions(
                  FrequencyOptions.newBuilder()
                      .setFrequency(FrequencyOptions.Frequency.WEEKLY)
                      .setStartDate(Date.newBuilder().setDay(15).setMonth(8).setYear(3022).build())
                      .setEndDate(Date.newBuilder().setDay(15).setMonth(9).setYear(3022).build())
                      .build())
              .setCsvOptions(
                  CSVOptions.newBuilder()
                      .setDelimiter(",")
                      .setRecordSeparator("\n")
                      .setHeaderRequired(true)
                      .build())
              .setObjectMetadataReportOptions(
                  ObjectMetadataReportOptions.newBuilder()
                      .addAllMetadataFields(ImmutableList.of("project", "name", "bucket"))
                      .setStorageFilters(
                          CloudStorageFilters.newBuilder().setBucket(sourceBucket).build())
                      .setStorageDestinationOptions(
                          CloudStorageDestinationOptions.newBuilder()
                              .setBucket(destinationBucket)
                              .build())
                      .build())
              .build();
      CreateReportConfigRequest request =
          CreateReportConfigRequest.newBuilder()
              .setParent(LocationName.of(projectId, bucketLocation).toString())
              .setReportConfig(reportConfig)
              .build();
      ReportConfig response = storageInsightsClient.createReportConfig(request);
      System.out.println("Created inventory report config with name " + response.getName());
    }
  }
}

API de REST

Console

Para editar la configuración de un informe de inventario, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.
   

   Ir a Buckets

2. En la lista de buckets, haz clic en el nombre del bucket de origen que contiene la configuración del informe de inventario que deseas editar.

3. En la página Detalles del bucket de tu bucket de origen, haz clic en la pestaña Inventory reports.

4. Haz clic en el nombre de la configuración del informe de inventario que deseas editar.

5. En la página Detalles de configuración del informe que aparece, edita las propiedades que deseas mediante el botón edit Editar.

Línea de comandos

Para editar la configuración de un informe de inventario, sigue estos pasos:

1. Para encontrar el nombre de la configuración del informe de inventario que deseas editar, enumera todas las opciones de configuración del inventario en el depósito de origen mediante el comando gcloud storage insights inventory-reports list:

   gcloud storage insights inventory-reports list \
     --source=SOURCE_BUCKET \
     --filter=EXPRESSION \
     --page-size=SIZE \
     --sort-by=FIELD \
     --format="yaml(name)"

   Reemplaza lo siguiente:

   • SOURCE_BUCKET con la URL del bucket de origen que contiene la configuración de informes de inventario.

   • EXPRESSION con un filtro booleano que se aplicará a cada elemento de recurso que se enumerará. Si la expresión evalúa como Verdadero, el elemento aparece en la lista. Para obtener más detalles y ejemplos de expresiones de filtros, ejecuta $ gcloud topic filters.

   • SIZE por la cantidad máxima de recursos por página. El valor predeterminado es 50.

   • FIELD por una lista separada por comas de los nombres de claves de campo de recurso para ordenar. El orden predeterminado es ascendente. Agrega un prefijo ~ a un campo para obtener el orden descendente en ese campo.

   1. Edita los campos de configuración del informe de inventario que deseas actualizar mediante el comando gcloud storage insights inventory-reports update. En el siguiente ejemplo, se actualiza la configuración del informe de inventario para generar informes de inventario a diario en formato Parquet de Apache:

      gcloud storage insights inventory-reports update CONFIG_NAME \
      --parquet \
      --schedule-repeats="daily"

Bibliotecas cliente

import com.google.cloud.storageinsights.v1.ReportConfig;
import com.google.cloud.storageinsights.v1.ReportConfigName;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import com.google.cloud.storageinsights.v1.UpdateReportConfigRequest;
import com.google.protobuf.FieldMask;
import java.io.IOException;

public class EditInventoryReportConfig {


  public static void editInventoryReportConfig(
          String projectId, String location, String inventoryReportConfigUuid) throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      ReportConfigName name = ReportConfigName.of(projectId, location, inventoryReportConfigUuid);
      ReportConfig reportConfig = storageInsightsClient.getReportConfig(name);

      // Set any other fields you want to update here
      ReportConfig updatedReportConfig =
              reportConfig.toBuilder().setDisplayName("Updated Display Name").build();

      storageInsightsClient.updateReportConfig(
              UpdateReportConfigRequest.newBuilder()
                      // Add any fields that you want to update to the update mask, in snake case
                      .setUpdateMask(FieldMask.newBuilder().addPaths("display_name")
                              .build())
                      .setReportConfig(updatedReportConfig).build());

      System.out.println("Edited inventory report config with name " + name);
    }
  }
}

API de REST

Console

Para obtener una lista de las opciones de configuración del informe de inventario en un bucket de origen, completa los siguientes pasos:

1. En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.
   

   Ir a Buckets

2. En la lista de buckets, haz clic en el nombre del bucket de origen que contiene la configuración del informe de inventario que deseas editar.

3. En la página Detalles del bucket, haz clic en la pestaña Inventory reports.

   Aparecerán las configuraciones de informe de inventario en el bucket de origen.

Línea de comandos

Puedes obtener una lista de todas las opciones de configuración del inventario en un bucket de origen mediante el comando gcloud storage insights inventory-reports list:

gcloud storage insights inventory-reports list \
  --source=SOURCE_BUCKET \
  --filter=EXPRESSION \
  --page-size=SIZE \
  --sort-by=FIELD \
  --format="yaml(name)"
  

Reemplaza lo siguiente:

• SOURCE_BUCKET con la URL del bucket de origen que contiene la configuración de informes de inventario.

• EXPRESSION con un filtro booleano que se aplicará a cada elemento de recurso que se enumerará. Si la expresión evalúa como Verdadero, el elemento aparece en la lista. Para obtener más detalles y ejemplos de expresiones de filtros, ejecuta $ gcloud topic filters.

• SIZE por la cantidad máxima de recursos por página. El valor predeterminado es 50.

• FIELD por una lista separada por comas de los nombres de claves de campo de recurso para ordenar. El orden predeterminado es ascendente. Agrega un prefijo ~ a un campo para obtener el orden descendente en ese campo.

Bibliotecas cliente

import com.google.cloud.storageinsights.v1.LocationName;
import com.google.cloud.storageinsights.v1.ReportConfig;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import java.io.IOException;

public class ListInventoryReportConfigs {


  public static void listInventoryReportConfigs(String projectId, String location)
      throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      System.out.println(
          "Printing inventory report configs in project "
              + projectId
              + " and location "
              + location);
      for (ReportConfig config :
          storageInsightsClient
              .listReportConfigs(LocationName.of(projectId, location))
              .iterateAll()) {
        System.out.println(config.getName());
      }
    }
  }
}

API de REST

Console

Descarga informes individuales

Los informes de inventario se generan y se almacenan como objetos en el bucket de destino, por lo que puedes descargarlos como lo harías con un objeto normal.

Para descargar un informe de inventario, siga estos pasos:

1. En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.
   

   Ir a Buckets

2. En la lista de buckets, haz clic en el nombre del bucket de destino que contiene el informe de inventario que deseas descargar.

3. En la página Detalles del bucket, asegúrate de que la pestaña Objetos esté seleccionada.

4. Haz clic en file_download Descargar asociado con el informe de inventario que deseas descargar.

Si no conoces el bucket de destino, también puedes descargar un informe de inventario a través de la configuración de informes de inventario a partir de la cual se generó:

1. En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.
   

   Ir a Buckets

2. En la lista de buckets, haz clic en el nombre del bucket de origen que contiene la configuración de informes de inventario que generó el informe que deseas descargar.

3. En la página Detalles del bucket, haz clic en el nombre de la configuración de informes de inventario.

4. En la página Report configuration details que aparecerá, navega a la sección Historial de informes de inventario y, luego, haz clic en la ruta de acceso del objeto de destino del informe de inventario que deseas descargar.

   Aparecerá la página Detalles del bucket para el bucket de destino que contiene el informe de inventario.

5. Haz clic en file_download Descargar asociado con el informe de inventario que deseas descargar.

Descargar fragmentos de informe

Para descargar un informe de inventario que se dividió en uno o más fragmentos, completa los siguientes pasos:

1. En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.
   

   Ir a Buckets

2. En la lista de buckets, haz clic en el nombre del bucket de destino que especificaste cuando creaste la configuración del informe de inventario.

3. En la página Detalles del bucket, verifica la presencia de un archivo de manifiesto. La presencia de un archivo de manifiesto indica que se generaron todos los fragmentos de un informe de inventario.

   Un ejemplo de nombre de archivo de manifiesto es fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json.

4. En el bucket de destino, haz clic en file_download Descargar asociado con el archivo de manifiesto. Anota los nombres de los archivos de fragmentación que deseas descargar desde el campo report_shards_file_names.

5. En el bucket de destino, haz clic en file_download Descargar asociado con los archivos de fragmentación que deseas descargar.

Línea de comandos

Descarga informes individuales

Para descargar un informe de inventario, siga estos pasos:

1. Para enumerar todos los informes de inventario que generó una configuración de informes de inventario y recuperar su REPORT_DETAIL_ID, usa el comando gcloud storage insights inventory-reports details list:

   gcloud storage insights inventory-reports details list CONFIG_NAME \
     --filter=EXPRESSION \
     --page-size=SIZE \
     --sort-by=FIELD

   Reemplaza lo siguiente:

   • CONFIG_NAME con el nombre único de la configuración de informes de inventario, en el formato projects/PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID.

   • EXPRESSION con un filtro booleano que se aplicará a cada elemento de recurso que se enumerará. Si la expresión se evalúa como True, se muestra ese elemento. Para obtener más detalles y ejemplos de expresiones de filtros, ejecuta $ gcloud topic filters.

   • SIZE con la cantidad máxima de recursos por página. El valor predeterminado es 50.

   • FIELD por una lista separada por comas de los nombres de claves de campo de recurso para ordenar. El orden predeterminado es ascendente. Agrega un prefijo ~ a un campo para obtener el orden descendente en ese campo.

   Si se completa correctamente, el comando muestra un resultado similar al siguiente:

   REPORT_DETAIL_ID            SNAPSHOT_TIME
   Report_2023-04-10T00-00     2023-04-10T00:53:03Z
   Report_2023-04-12T00-00     2023-04-12T00:52:54Z
   Report_2023-04-05T00-00     2023-04-05T00:53:01Z

2. Para descargar un informe de inventario, primero debes recuperar la propiedad reportPathPrefix del objeto ReportDetail. Para obtener el reportPathPrefix de un informe, usa el comando gcloud storage insights inventory-reports details describe:

   gcloud storage insights inventory-reports details describe REPORT_DETAIL_NAME

   Reemplaza REPORT_DETAIL_NAME por el nombre del informe de inventario en el formato projects/PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID/reportDetails/REPORT_DETAIL_ID.

Descargar fragmentos de informe

Para descargar un informe de inventario que se dividió en uno o más fragmentos, completa los siguientes pasos:

1. Descarga el archivo de manifiesto del informe de inventario mediante el comando gcloud storage cp:

   gcloud storage cp gs://BUCKET_NAME/MANIFEST_FILE_NAME DOWNLOAD_PATH

   Reemplaza lo siguiente:

   • BUCKET_NAME por el nombre del bucket de destino.

   • MANIFEST_FILE_NAME por el nombre del archivo de manifiesto en el bucket de destino, con la siguiente nomenclatura:

     REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json

     Donde:

     • REPORT_CONFIG_UUID es el UUID generado de forma automática de la configuración de informes de inventario que generó los fragmentos del informe que deseas descargar.

     • TARGET_DATETIME es la fecha y la hora en que se generó el informe de inventario.

     Por ejemplo, fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json.

   • DOWNLOAD_PATH por la ruta de acceso al sistema de archivos en el que deseas guardar el informe de inventario. Por ejemplo, ./example_report.csv.

2. Para descargar un archivo de fragmentación, usa el comando gcloud storage cp:

   gcloud storage cp gs://BUCKET_NAME/SHARD_FILE_NAME DOWNLOAD_PATH

   Reemplaza lo siguiente:

   • BUCKET_NAME por el nombre del bucket de destino.

   • SHARD_FILE_NAME por el nombre codificado como URL del archivo de fragmento que deseas descargar. Por ejemplo, fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv

   • DOWNLOAD_PATH por la ruta de acceso al sistema de archivos en el que deseas guardar el informe de inventario. Por ejemplo, ./example_report.csv.

Bibliotecas cliente

import com.google.cloud.storageinsights.v1.ReportConfig;
import com.google.cloud.storageinsights.v1.ReportConfigName;
import com.google.cloud.storageinsights.v1.ReportDetail;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import java.io.IOException;

public class GetInventoryReportNames {


  public static void getInventoryReportNames(
      String projectId, String location, String reportConfigUuid) throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      ReportConfig config =
          storageInsightsClient.getReportConfig(
              ReportConfigName.of(projectId, location, reportConfigUuid));
      String extension = config.hasCsvOptions() ? "csv" : "parquet";
      System.out.println(
          "You can use the Google Cloud Storage Client "
              + "to download the following objects from Google Cloud Storage:");
      for (ReportDetail reportDetail :
          storageInsightsClient.listReportDetails(config.getName()).iterateAll()) {
        for (long index = reportDetail.getShardsCount() - 1; index >= 0; index--) {
          System.out.println(reportDetail.getReportPathPrefix() + index + "." + extension);
        }
      }
    }
  }
}

API de REST

Console

Para borrar la configuración de un informe de inventario, completa los siguientes pasos:

1. En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.
   

   Ir a Buckets

2. En la lista de buckets, haz clic en el nombre del bucket de origen que contiene la configuración del informe de inventario que deseas borrar.

3. En la página Detalles del bucket de tu bucket de origen, haz clic en la pestaña Inventory reports.

4. Haz clic en el nombre de la configuración del informe de inventario que deseas borrar.

5. En la página Report configuration details que aparecerá, haz clic en delete Borrar.

Línea de comandos

Para borrar una configuración de informe de inventario, usa el comando gcloud storage insights inventory-reports delete:

gcloud storage insights inventory-reports delete CONFIG_NAME
  --force

Reemplaza CONFIG_NAME por el nombre único de la configuración del informe de inventario, en el formato projects/PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID.

La marca --force borra los metadatos de todos los informes de inventario que generó la configuración de informes de inventario determinada. No se borrarán los objetos del informe de inventario.

Bibliotecas cliente

import com.google.cloud.storageinsights.v1.ReportConfigName;
import com.google.cloud.storageinsights.v1.StorageInsightsClient;
import java.io.IOException;

public class DeleteInventoryReportConfig {


  public static void deleteInventoryReportConfig(
      String projectId, String location, String inventoryReportConfigUuid) throws IOException {
    try (StorageInsightsClient storageInsightsClient = StorageInsightsClient.create()) {
      ReportConfigName name = ReportConfigName.of(projectId, location, inventoryReportConfigUuid);
      storageInsightsClient.deleteReportConfig(name);

      System.out.println("Deleted inventory report config with name " + name);
    }
  }
}

API de REST