Usa conjuntos de datos de Storage Insights

En esta página, se muestra cómo crear y administrar conjuntos de datos y configuraciones de Storage Insights. Obtén más información sobre los conjuntos de datos de Storage Insights.

Antes de comenzar

Antes de comenzar a crear y administrar conjuntos de datos y configuraciones de conjuntos de datos, sigue las instrucciones de las subsecciones siguientes.

Obtén los roles necesarios

Para obtener los permisos que necesitas para crear y administrar conjuntos de datos, pídele a tu administrador que te otorgue los siguientes roles de IAM en tus proyectos de origen:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para crear y administrar conjuntos de datos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para crear y administrar conjuntos de datos:

  • Crea la configuración del conjunto de datos: storageinsights.datasetConfigs.create
  • Ver la configuración del conjunto de datos:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
  • Administra la configuración del conjunto de datos:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
  • Vincula a un conjunto de datos de BigQuery: storageinsights.datasetConfigs.linkDataset
  • Desvincular del conjunto de datos de BigQuery: storageinsights.datasetConfigs.unlinkDataset
  • Consulta conjuntos de datos vinculados a BigQuery: bigquery.jobs.create or bigquery.jobs.*

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Habilita la API de Storage Insights

Console

Habilita la API de storageinsights.googleapis.com

Línea de comandos

Para habilitar la API de Storage Insights en tu proyecto actual, ejecuta el siguiente comando:

gcloud services enable storageinsights.googleapis.com

Si deseas obtener más detalles sobre cómo habilitar servicios para un proyecto de Google Cloud, consulta Habilita e inhabilita servicios.

Configura Storage Intelligence

Asegúrate de que Storage Intelligence esté configurado en el proyecto, la carpeta o la organización que deseas analizar con conjuntos de datos.

Crea una configuración de conjunto de datos

Para crear una configuración de conjunto de datos y generar uno, sigue estos pasos. Para obtener más información sobre los campos que puedes especificar cuando creas la configuración del conjunto de datos, consulta Propiedades de configuración del conjunto de datos.

Console

  1. En la consola de Google Cloud, ve a la página Estadísticas de almacenamiento de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en Configurar conjunto de datos.

  3. En la sección Asigna un nombre a tu conjunto de datos, ingresa un nombre para tu conjunto de datos. De manera opcional, ingresa una descripción para el conjunto de datos.

  4. En la sección Define el alcance del conjunto de datos, haz lo siguiente:

    • Selecciona una de las siguientes opciones:

      • Para obtener metadatos de almacenamiento de todos los proyectos de la organización actual, selecciona Incluir la organización.

      • Para obtener metadatos de almacenamiento de todos los proyectos de las carpetas seleccionadas, selecciona Incluir carpetas(suborganización/departamentos). Para obtener información sobre cómo obtener los IDs de las carpetas, consulta Cómo ver o enumerar carpetas y proyectos. Para agregar carpetas, haz lo siguiente:

        1. En el campo Carpeta 1, ingresa el ID de la carpeta.
        2. De manera opcional, para agregar varios IDs de carpetas, haz clic en + Agregar otra carpeta.
      • Para obtener metadatos de almacenamiento para los proyectos seleccionados, selecciona Incluir proyectos proporcionando números de proyecto. Para obtener información sobre cómo encontrar los números de proyecto, consulta Cómo encontrar el nombre, el número y el ID del proyecto. Para agregar proyectos, haz lo siguiente:

        1. En el campo Project 1, ingresa el número de proyecto.
        2. De manera opcional, para agregar varios números de proyecto, haz clic en + Agregar otro proyecto.
      • Para agregar proyectos o carpetas de forma masiva, selecciona Subir una lista de proyectos o carpetas a través de un archivo CSV. El archivo CSV debe contener los números de proyecto o los IDs de carpeta que deseas incluir en el conjunto de datos.

    • Especifica si quieres incluir automáticamente buckets futuros en el recurso seleccionado.

    • De manera opcional, para especificar filtros en buckets en función de las regiones y los prefijos de los buckets, expande la sección Filtros (opcional). Los filtros se aplican de forma aditiva en los buckets.

      Puedes incluir o excluir buckets de regiones específicas. Por ejemplo, puedes excluir los buckets que se encuentran en las regiones me-central1 y me-central2. También puedes incluir o excluir buckets por prefijo. Por ejemplo, si quieres excluir buckets que comienzan con my-bucket, ingresa el prefijo my-bucket*.

  5. Haz clic en Continuar.

  6. En la sección Seleccionar período de retención, selecciona un período de retención para los datos del conjunto de datos.

  7. En la sección Selecciona la ubicación para almacenar el conjunto de datos configurado, selecciona una ubicación para almacenar el conjunto de datos y su configuración.

  8. En la sección Selecciona el tipo de cuenta de servicio, selecciona un tipo de agente de servicio para tu conjunto de datos. Este agente de servicio se crea en tu nombre cuando creas la configuración del conjunto de datos. Puedes seleccionar uno de los siguientes agentes de servicio:

    • Cuenta de servicio con alcance de configuración: Este agente de servicio solo puede acceder y escribir el conjunto de datos generado por la configuración particular del conjunto de datos.
    • Cuenta de servicio centrada en el proyecto: Este agente de servicio puede acceder a conjuntos de datos que se generan a partir de todas las configuraciones de conjuntos de datos del proyecto y escribirlos.

    Cuando crees el agente de servicio, debes otorgarle los permisos necesarios. Para obtener más información sobre estos agentes de servicio, consulta las propiedades de configuración del conjunto de datos.

  9. Haz clic en Configurar.

Línea de comandos

  1. Para crear una configuración de conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs create con las marcas requeridas:

    gcloud storage insights dataset-configs create DATASET_CONFG_ID \
      --source-projects=SOURCE_PROJECT_NUMBERS \
      --location=LOCATION \
      --retention-period-days=RETENTION_PERIOD_DAYS \
      --organization=ORGANIZATION_ID

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID por el nombre que deseas darle a la configuración de tu conjunto de datos. Los nombres se usan como identificador de configuraciones de conjuntos de datos y son mutables. El nombre puede contener hasta 128 caracteres, incluidos letras, números y guiones bajos.

    • SOURCE_PROJECT_NUMBERS con los números de los proyectos que deseas incluir en el conjunto de datos. Por ejemplo, 464036093014. Puedes especificar uno o varios proyectos. Para obtener información sobre cómo encontrar el número de tu proyecto, consulta Cómo encontrar el nombre, el número y el ID del proyecto.

      Como alternativa al uso de la marca --source-projects, puedes usar la marca --source-projects-file=FILE_PATH, que te permite especificar varios números de proyecto a la vez subiendo un archivo que los contenga. El archivo debe estar en formato CSV y subirse a Cloud Storage.

    • LOCATION con la ubicación en la que se almacenarán la configuración y el conjunto de datos.

    • RETENTION_PERIOD_DAYS con el período de retención de los datos del conjunto de datos.

    • ORGANIZATION_ID con el ID de recurso de la organización a la que pertenecen los proyectos de origen. Los proyectos de origen fuera de la ubicación especificada se excluyen de la configuración del conjunto de datos. Para obtener información sobre cómo encontrar el ID de tu organización, consulta Obtén el ID de tu recurso de organización.

    De manera opcional, puedes usar marcas adicionales para configurar con mayor precisión el conjunto de datos:

    • Usa --include-buckets=BUCKET_NAMES_OR_REGEX para incluir buckets específicos por nombre o expresión regular. Si se usa esta marca, no se puede usar --exclude-buckets.

    • Usa --exclude-buckets=BUCKET_NAMES_OR_REGEX para excluir buckets específicos por nombre o expresión regular. Si se usa esta marca, no se puede usar --include-buckets.

    • Usa --project=DESTINATION_PROJECT_ID para especificar un proyecto que se usará para almacenar la configuración del conjunto de datos y el conjunto de datos generado. Si no se usa esta marca, el proyecto de destino será tu proyecto activo. Para obtener más información sobre los IDs de proyecto, consulta Crea y administra proyectos.

    • Usa --auto-add-new-buckets para incluir automáticamente cualquier bucket que se agregue a los proyectos de origen en el futuro.

    • Usa --skip-verification para omitir las verificaciones y fallas del proceso de verificación, lo que incluye las verificaciones de los permisos de IAM necesarios. Si se usan, es posible que se excluyan algunos o todos los buckets del conjunto de datos.

    • Usa --identity=IDENTITY_TYPE para especificar el tipo de agente de servicio que se crea junto con la configuración del conjunto de datos. Los valores son IDENTITY_TYPE_PER_CONFIG o IDENTITY_TYPE_PER_PROJECT. Si no se especifica, se establece de forma predeterminada como IDENTITY_TYPE_PER_CONFIG.

    • Usa --description=DESCRIPTION para escribir una descripción de la configuración del conjunto de datos.

API de REST

API de JSON

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Crea un archivo JSON que contenga la siguiente información:

    {
      "organization_number": "ORGANIZATION_ID",
      "source_projects": {
        "project_numbers": ["PROJECT_NUMBERS", ...]
      },
      "retention_period_days": "RETENTION_PERIOD_DAYS",
      "identity": {
        "type": "IDENTITY_TYPE"
      }
    }

    Reemplaza lo siguiente:

    • ORGANIZATION_ID con el ID de recurso de la organización a la que pertenecen los proyectos de origen. Para obtener información sobre cómo encontrar el ID de tu organización, consulta Obtén el ID de tu recurso de organización.

    • PROJECT_NUMBERS con los números de los proyectos que deseas incluir en el conjunto de datos. Puedes especificar uno o varios proyectos. Los proyectos se deben especificar como una lista de cadenas.

    • RETENTION_PERIOD_DAYS con la cantidad de días de datos que se deben capturar en la instantánea del conjunto de datos. Por ejemplo, 90.

    • IDENTITY_TYPE con el tipo de cuenta de servicio que se crea junto con la configuración del conjunto de datos. Los valores son IDENTITY_TYPE_PER_CONFIG o IDENTITY_TYPE_PER_PROJECT.

  3. Para crear la configuración del conjunto de datos, usa cURL para llamar a la API de JSON con una solicitud Create DatasetConfig:

    curl -X POST --data-binary @JSON_FILE_NAME \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs?datasetConfigId=DATASET_CONFIG_ID" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json"

    Reemplaza lo siguiente:

    • JSON_FILE_NAME por la ruta de acceso al archivo JSON que creaste en el paso anterior. Como alternativa, puedes pasar una instancia de DatasetConfig en el cuerpo de la solicitud.

    • PROJECT_ID con el ID del proyecto al que pertenecerán la configuración y el conjunto de datos.

    • LOCATION con la ubicación en la que residirán el conjunto de datos y su configuración. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID con el nombre que deseas asignar a la configuración de tu conjunto de datos. Los nombres se usan como identificadores de las configuraciones de los conjuntos de datos y no son inmutables. El nombre puede contener hasta 128 caracteres, incluidos letras, números y guiones bajos. El nombre debe comenzar con una letra.

    • ACCESS_TOKEN con el token de acceso que generaste cuando instalaste y, luego, inicializaste Google Cloud CLI.

Para solucionar los errores de procesamiento de instantáneas que se registran en error_attributes_view, consulta Errores de conjuntos de datos de Storage Insights.

Otorga los permisos necesarios al agente de servicio

Google Cloud crea un agente de servicio centrado en la configuración o en el proyecto en tu nombre cuando creas una configuración de conjunto de datos. El agente de servicio sigue el formato de nombres service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com y aparece en la página de IAM de la consola de Google Cloud cuando seleccionas la casilla de verificación Incluir asignaciones de roles proporcionadas por Google. También puedes encontrar el nombre del agente de servicio si consultas el recurso DatasetConfig con la API de JSON.

Para permitir que las estadísticas de almacenamiento generen y escriban conjuntos de datos, pídele a tu administrador que otorgue al agente de servicio el rol de servicio de recopilador de estadísticas de almacenamiento (roles/storage.insightsCollectorService) en la organización que contiene los proyectos de origen. Este rol se debe otorgar a todos los agentes de servicio centrados en la configuración que se crean para cada configuración de conjunto de datos de la que deseas obtener datos. Si usas un agente de servicio centrado en el proyecto, este rol solo se debe otorgar una vez para que el agente de servicio pueda leer y escribir conjuntos de datos para todas las configuraciones de conjuntos de datos dentro del proyecto.

Si quieres obtener instrucciones para otorgar roles en proyectos, consulta Administra el acceso.

Para vincular un conjunto de datos a BigQuery, completa los siguientes pasos:

  1. En la consola de Google Cloud, ve a la página Estadísticas de almacenamiento de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas vincular.

  3. En la sección Conjunto de datos vinculado a BigQuery, haz clic en Vincular conjunto de datos para vincular tu conjunto de datos.

  1. Para vincular un conjunto de datos a BigQuery, ejecuta el comando gcloud storage insights dataset-configs create-link:

    gcloud storage insights dataset-configs create-link DATASET_CONFIG_ID --location=LOCATION

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas vincular.

    • LOCATION con la ubicación de tu conjunto de datos. Por ejemplo, us-central1.

    Como alternativa a especificar DATASET_CONFIG_NAME y LOCATION, puedes especificar una ruta de acceso de configuración completa del conjunto de datos. Por ejemplo:

    gcloud storage insights dataset-configs create-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID_

    Reemplaza lo siguiente:

    • DESTINATION_PROJECT_ID con el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyecto, consulta Crea y administra proyectos.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas vincular.

    • LOCATION con la ubicación de tu conjunto de datos y su configuración. Por ejemplo, us-central1.

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Crea un archivo JSON que contenga la siguiente información:

    {
      "name": "DATASET_NAME"
    }

    Reemplaza lo siguiente:

    • DATASET_NAME por el nombre del conjunto de datos que deseas vincular. Por ejemplo, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2
  3. Usa cURL para llamar a la API de JSON con una solicitud de linkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:linkDataset?" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json" \
    

    Reemplaza lo siguiente:

    • JSON_FILE_NAME por la ruta de acceso al archivo JSON que creaste en el paso anterior.

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación en la que residen el conjunto de datos y su configuración. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas vincular.

    • ACCESS_TOKEN con el token de acceso que generaste cuando instalaste y, luego, inicializaste Google Cloud CLI.

Consulta y visualiza conjuntos de datos vinculados

Para ver y consultar conjuntos de datos vinculados, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Estadísticas de almacenamiento de Cloud Storage.

    Ir a Storage Insights

    Aparecerá una lista de las configuraciones de conjuntos de datos que se crearon en tu proyecto.

  2. Haz clic en el conjunto de datos vinculado de BigQuery de la configuración del conjunto de datos que deseas ver.

    El conjunto de datos vinculado de BigQuery aparecerá en la consola de Google Cloud. Para obtener información sobre el esquema de metadatos del conjunto de datos, consulta Esquema de metadatos del conjunto de datos.

  3. Puedes consultar tablas y vistas en tus conjuntos de datos vinculados de la misma manera que consultarías cualquier otra tabla de BigQuery.

Para evitar que la configuración del conjunto de datos se publique en el conjunto de datos de BigQuery, desvincula el conjunto de datos. Para desvincular un conjunto de datos, completa los siguientes pasos:

  1. En la consola de Google Cloud, ve a la página Estadísticas de almacenamiento de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.

  3. En la sección Conjunto de datos vinculado a BigQuery, haz clic en Desvincular conjunto de datos para desvincular tu conjunto de datos.

  1. Para desvincular el conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs delete-link:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.

    • LOCATION con la ubicación de tu conjunto de datos y su configuración. Por ejemplo, us-central1.

    Como alternativa a especificar DATASET_CONFIG_NAME y LOCATION, puedes especificar una ruta de acceso de configuración completa del conjunto de datos. Por ejemplo:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Reemplaza lo siguiente:

    • DESTINATION_PROJECT_ID con el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyecto, consulta Cómo crear y administrar proyectos.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.

    • LOCATION con la ubicación de tu conjunto de datos y su configuración. Por ejemplo, us-central1.

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Crea un archivo JSON que contenga la siguiente información:

    {
      "name": "DATASET_NAME"
    }

    Reemplaza lo siguiente:

    • DATASET_NAME con el nombre del conjunto de datos que quieres desvincular. Por ejemplo, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2
  3. Usa cURL para llamar a la API de JSON con una solicitud de unlinkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:unlinkDataset?" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json" \
    

    Reemplaza lo siguiente:

    • JSON_FILE_NAME por la ruta de acceso al archivo JSON que creaste en el paso anterior.

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y su configuración. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.

    • ACCESS_TOKEN con el token de acceso que generaste cuando instalaste y, luego, inicializaste Google Cloud CLI.

Cómo ver la configuración de un conjunto de datos

Para ver la configuración de un conjunto de datos, completa los siguientes pasos:

Console

  1. En la consola de Google Cloud, ve a la página Estadísticas de almacenamiento de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en el nombre de la configuración del conjunto de datos que deseas ver.

    Se muestran los detalles de la configuración del conjunto de datos.

Línea de comandos

  1. Para describir la configuración de un conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs describe:

    gcloud storage insights dataset-configs describe DATASET_CONFG_ID \
      --location=LOCATION

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y su configuración.

    Como alternativa a especificar DATASET_CONFIG_NAME y LOCATION, puedes especificar una ruta de acceso de configuración completa del conjunto de datos. Por ejemplo:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Reemplaza lo siguiente:

    • DESTINATION_PROJECT_ID con el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyecto, consulta Crea y administra proyectos.

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas ver.

    • LOCATION con la ubicación de tu conjunto de datos y su configuración. Por ejemplo, us-central1.

API de REST

API de JSON

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Usa cURL para llamar a la API de JSON con una solicitud de Get DatasetConfig:

    curl -X GET \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json" \
    

    Reemplaza lo siguiente:

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y su configuración. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos.

    • ACCESS_TOKEN con el token de acceso que generaste cuando instalaste y, luego, inicializaste Google Cloud CLI.

Muestra una lista de las configuraciones de los conjuntos de datos

Para obtener una lista de las configuraciones de los conjuntos de datos en un proyecto, completa los siguientes pasos:

Console

  1. En la consola de Google Cloud, ve a la página Estadísticas de almacenamiento de Cloud Storage.

    Ir a Storage Insights

    Se mostrará la lista de configuraciones de conjuntos de datos.

Línea de comandos

  1. Para enumerar las configuraciones de los conjuntos de datos en un proyecto, ejecuta el comando gcloud storage insights dataset-configs list:

    gcloud storage insights dataset-configs list --location=LOCATION

    Reemplaza lo siguiente:

    • LOCATION con la ubicación del conjunto de datos y su configuración. Por ejemplo, us-central1.

    Puedes usar las siguientes marcas opcionales para especificar el comportamiento de la llamada a la ficha:

    • Usa --page-size para especificar la cantidad máxima de resultados que se mostrarán por página.

    • Usa --filter=FILTER para filtrar los resultados. Para obtener más información sobre cómo usar la marca --filter, ejecuta gcloud topic filters y consulta la documentación.

    • Usa --sort-by=SORT_BY_VALUE para especificar una lista separada por comas de nombres de claves de campo de recursos para ordenar. Por ejemplo, --sort-by=DATASET_CONFIG_NAME

API de REST

API de JSON

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Usa cURL para llamar a la API de JSON con una solicitud de Get DatasetConfig:

    curl -X GET \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json" \
    

    Reemplaza lo siguiente:

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y su configuración. Por ejemplo, us-central1.

    • ACCESS_TOKEN con el token de acceso que generaste cuando instalaste y, luego, inicializaste Google Cloud CLI.

Actualiza la configuración de un conjunto de datos

Para actualizar la configuración de un conjunto de datos, completa los siguientes pasos:

Console

  1. En la consola de Google Cloud, ve a la página Estadísticas de almacenamiento de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en el nombre de la configuración del conjunto de datos que deseas actualizar.

  3. En la pestaña Configuración del conjunto de datos que aparece, haz clic en Editar para actualizar los campos.

Línea de comandos

  1. Para actualizar la configuración de un conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs update:

    gcloud storage insights dataset-configs update DATASET_CONFG_ID \
      --location=LOCATION

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos.

    • LOCATION con la ubicación y la configuración del conjunto de datos.

    Usa las siguientes marcas para actualizar las propiedades de la configuración del conjunto de datos:

    • Usa --skip-verification para omitir las verificaciones y fallas del proceso de verificación, lo que incluye las verificaciones de los permisos de IAM necesarios. Si se usan, es posible que se excluyan algunos o todos los buckets del conjunto de datos.

    • Usa --retention-period-days=DAYS para especificar la cantidad de días de datos móviles que se capturarán en la instantánea del conjunto de datos. Por ejemplo, 90.

    • Usa --description=DESCRIPTION para escribir una descripción de la configuración del conjunto de datos.

API de REST

API de JSON

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Crea un archivo JSON que contenga la siguiente información opcional:

    {
      "organization_number": "ORGANIZATION_ID",
      "source_projects": {
        "project_numbers": "PROJECT_NUMBERS"
      },
      "retention_period_days": RETENTION_PERIOD"
    }

    Reemplaza lo siguiente:

    • ORGANIZATION_ID con el ID de recurso de la organización a la que pertenecen los proyectos de origen.

    • PROJECT_NUMBERS con los números de proyecto que deseas incluir en el conjunto de datos. Puedes especificar uno o varios proyectos. Los proyectos se deben especificar en formato de lista.

    • RETENTION_PERIOD con la cantidad de días de datos móviles que se deben capturar en la instantánea del conjunto de datos. Por ejemplo, 90.

  3. Para actualizar la configuración del conjunto de datos, usa cURL para llamar a la API de JSON con una solicitud Patch DatasetConfig:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=RETENTION_PERIOD" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json" \
    

    Reemplaza lo siguiente:

    • JSON_FILE_NAME por la ruta de acceso al archivo JSON que creaste en el paso anterior.

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y su configuración. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que deseas actualizar.

    • RETENTION_PERIOD con la cantidad de días de datos móviles que se deben capturar en la instantánea del conjunto de datos. Por ejemplo, 90.

    • ACCESS_TOKEN con el token de acceso que generaste cuando instalaste y, luego, inicializaste Google Cloud CLI.

Borra la configuración de un conjunto de datos

Para borrar la configuración de un conjunto de datos, completa los siguientes pasos:

Console

  1. En la consola de Google Cloud, ve a la página Estadísticas de almacenamiento de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en el nombre de la configuración del conjunto de datos que deseas borrar.

  3. Haz clic en Borrar .

Línea de comandos

  1. Para borrar la configuración de un conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs delete:

    gcloud storage insights dataset-configs delete DATASET_CONFG_ID \
      --location=LOCATION

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que deseas borrar.

    • LOCATION con la ubicación del conjunto de datos y su configuración. Por ejemplo, us-central1.

    Usa las siguientes marcas para actualizar las propiedades de la configuración del conjunto de datos:

    • Usa --auto-delete-link para desvincular el conjunto de datos que se generó a partir de la configuración del conjunto de datos que deseas borrar. Debes desvincular un conjunto de datos antes de poder borrar la configuración del conjunto de datos que lo generó.

    • Usa --retention-period-days=DAYS para especificar la cantidad de días de datos que se deben capturar en la instantánea del conjunto de datos. Por ejemplo, 90.

    Como alternativa a especificar DATASET_CONFIG_NAME y LOCATION, puedes especificar una ruta de acceso de configuración completa del conjunto de datos. Por ejemplo:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

API de REST

API de JSON

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Usa cURL para llamar a la API de JSON con una solicitud de Delete DatasetConfig:

    curl -X DELETE \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
      --header "Authorization: Bearer ACCESS_TOKEN" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json" \
    

    Reemplaza lo siguiente:

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y su configuración. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que deseas borrar.

    • ACCESS_TOKEN con el token de acceso que generaste cuando instalaste y, luego, inicializaste Google Cloud CLI.

¿Qué sigue?