Informes de inventario de Storage Insights

La función de informes de inventario de Storage Insights te ayuda a administrar el almacenamiento de objetos a gran escala. Es una alternativa más rápida y programada a la operación de la API Objects: list.

Los informes de inventario contienen información de metadatos sobre los objetos, como la clase de almacenamiento del objeto, la ETag y el tipo de contenido. Esta información te ayuda a analizar los costos de almacenamiento, auditar y validar tus objetos, y garantizar la seguridad y el cumplimiento de los datos. Puedes exportar informes de inventario como archivos de valores separados por comas (CSV) o Parquet de Apache para analizarlos aún más mediante herramientas como BigQuery.

En esta página, se proporciona una descripción general de la característica de informes de inventario de Storage Insights. Para obtener instrucciones sobre cómo usar la función, consulta Crea y administra informes de inventario.

Descripción general de los informes de inventario

Los informes de inventario contienen una lista de objetos y los metadatos asociados para un bucket determinado, también conocido como bucket de origen. Para generar informes de inventario, primero debes crear una configuración de informes de inventario que defina la frecuencia con la que se generan los informes, los campos de metadatos que deseas que incluyan los informes y un bucket para generar y almacenar los informes, también conocido como bucket de destino.

Cuando creas una configuración informe de inventario, se le asigna automáticamente un identificador único universal (UUID). Este campo no se puede editar. Sin embargo, puedes editar los siguientes campos de una configuración de informes de inventario:

• El nombre visible de la configuración de informes de inventario
• Los campos de metadatos del objeto que se incluyen en los informes de inventario
• El bucket de destino que almacena los informes de inventario
• El programa que determina la frecuencia con la que se generan los informes de inventario
• El formato de archivo en el que se generan los informes de inventario (CSV o Parquet de Apache)

Cuando borras una configuración de informes de inventario, los informes de inventario nuevos ya no se generan para la configuración, pero los informes de inventario existentes permanecen.

Buckets de origen y destino

El bucket de origen contiene los objetos para los que deseas generar informes de inventario. También contiene la configuración de informes de inventario. Puedes tener hasta 100 configuraciones de informes de inventario en un bucket de origen.

El bucket de destino almacena los informes de inventario generados. El bucket de destino debe cumplir con los siguientes requisitos:

• Debe estar en la misma ubicación que el bucket de origen.
• Debe estar en el mismo proyecto que el bucket de origen.
• Puede ser igual que el bucket de origen.

Cuando creas una configuración de informe de inventario por primera vez, se crea un agente de servicio de forma automática por ti. Para crear configuraciones de informes de inventario y escribir informes de inventario en el bucket de destino, tú y tu agente de servicio deben tener los permisos de IAM necesarios. Consulta los permisos necesarios para ti y para tu agente de servicio.

Storage Insights usa los nombres de los buckets de origen y de destino para determinar qué buckets usar cuando se ejecutan trabajos. Si borras un bucket de origen o destino y, luego, creas un bucket nuevo con el mismo nombre, Storage Insights ejecutará trabajos en el bucket nuevo.

Campos de metadatos del objeto

Los siguientes campos de metadatos se pueden incluir en un informe de inventario. Los campos de metadatos marcados como "Obligatorios" deben incluirse en el informe de inventario.

Para obtener más información sobre los campos de metadatos de objetos, consulta Metadatos de objetos.

Fragmentos de informes de inventario

Cuando un informe de inventario contiene más de 1,000,000 de objetos, Storage Insights genera uno o más objetos de fragmento para redactar el informe de inventario. Cuando todos los fragmentos de un informe de inventario se generan de forma correcta, se genera un archivo de manifiesto en el mismo bucket de destino que los fragmentos.

Archivo de manifiesto del informe de inventario

La presencia de un archivo de manifiesto indica que se generaron todos los fragmentos que componen un informe de inventario. El archivo de manifiesto también proporciona los nombres de los objetos de fragmento del informe de inventario.

El archivo de manifiesto sigue la convención de nomenclatura REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json, en la que:

• REPORT_CONFIG_UUID es el UUID generado de forma automática de la configuración de informes de inventario.

• TARGET_DATETIME es la fecha y hora de UTC generadas de forma automática en las que se genera un informe de inventario.

Un ejemplo de nombre de archivo de manifiesto es fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json.

El archivo manifest.json contiene los siguientes campos de propagación automática:

{
  "report_config": REPORT_CONFIG_FIELDS,
  "records_processed": NUMBER_OF_INCLUDED_OBJECTS,
  "snapshot_time": "SNAPSHOT_TIME,
  "target_datetime": "TARGET_DATETIME,
  "shard_count": SHARD_COUNT,
  "report_shards_file_names": [
    SHARD_FILE_NAME
    ...]
}

Donde:

• REPORT_CONFIG_FIELDS incluye campos contenidos en el recurso ReportConfig.

• NUMBER_OF_INCLUDED_OBJECTS es la cantidad de objetos incluidos en el informe de inventario.

• SNAPSHOT_TIME es la fecha y la hora UTC generadas de forma automática en que se produce la instantánea de datos. Todos los datos en un informe de inventario se capturan en la instantánea.

• TARGET_DATETIME es la fecha y la hora UTC generadas de forma automática en que se genera un informe de inventario.

• SHARD_COUNT es la cantidad total de fragmentos generados que componen el informe de inventario.

• SHARD_FILE_NAME es el nombre de un fragmento que compone un informe de inventario.

Un archivo manifest.json de ejemplo se ve de la siguiente manera:

{
  "report_config":
     {
       "name": "projects/123456789098/locations/us/reportConfigs/fcec5187-afa6-48b0-938a-543d16493dc0",
       "createTime": "2023-06-08T08:07:53.397366139Z",
       "updateTime": "2023-06-08T08:07:53.552347723Z",
       "frequencyOptions": {
         "frequency": "DAILY",
         "startDate": {
           "year": 2023,
           "month": 6,
           "day": 9
         }
         "endDate": {
           "year": 2023,
           "month": 6,
           "day": 23
         }
       },
       "csvOptions": {
         "recordSeparator": "\n",
         "delimiter": ","
       },
       "objectMetadataReportOptions": {
         "metadataFields": [
           "project",
           "bucket",
           "name",
           "location",
           "updated",
           "storageClass",
         ],
         "storageFilters": {
           "bucket": "my-test-bucket"
         },
         "storageDestinationOptions": {
           "bucket": "example-bucket",
           "destinationPath": "folder/subfolder"
         }
       }
     },
  "records_processed": 3993900,
  "snapshot_time" : "2023-06-06T00:07:27Z",
  "target_datetime": {
    "year": 2023,
    "month": 6,
    "day": 6
  },
  "shard_count": 4,
  "report_shards_file_names": [
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv",
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_1.csv",
    ...
  ],
}

Precios y ubicaciones de los buckets admitidos

Storage Insights está sujeto a los precios, en los que cada millón de objetos contenidos en un informe de inventario se cobran según los precios que se encuentran a continuación, según la ubicación de almacenamiento. Para obtener más información sobre las ubicaciones de almacenamiento, consulta Ubicaciones de buckets.

Ubicaciones admitidas

Registros de auditoría

Cloud Storage crea registros de auditoría cuando los informes de inventario se generan en el bucket de destino. Storage Insights genera registros de auditoría cada vez que se crean, actualizan o borran configuraciones de informes de inventario.

Cloud Storage no crea registros de auditoría cuando una configuración de informe de inventario lee los metadatos del objeto del bucket de origen.

Integración con los Controles del servicio de VPC

Puedes proporcionar una capa adicional de seguridad para los recursos de Storage Insights mediante los Controles del servicio de VPC. Cuando usas los Controles del servicio de VPC, agregas proyectos a los perímetros de servicio que protegen los recursos y servicios de las solicitudes que se originan fuera del perímetro. Para obtener más información sobre los Controles del servicio de VPC y los perímetros de servicio, consulta Configuración y perímetros de servicio.

Limitación

Si habilitas el filtrado de IP en los buckets de Cloud Storage, se restringe el acceso de Storage Insights al bucket, independientemente de si usa un agente de servicio para interactuar con Cloud Storage. Para evitar interrupciones del servicio, te recomendamos que no uses el filtrado de IP en los buckets de Cloud Storage si creas informes de inventario para ese bucket.

¿Qué sigue?

Obtén más información sobre cómo crear una configuración de informes de inventario y comenzar a generar informes de inventario.