Usar os conjuntos de dados do Storage Insights

Esta página mostra como criar e gerenciar conjuntos de dados e configurações de conjuntos de dados do Storage Insights. Saiba mais sobre os conjuntos de dados do Storage Insights.

Antes de começar

Antes de começar a criar e gerenciar conjuntos de dados e configurações, siga as instruções nas subseções a seguir.

Ter os papéis necessários

Para receber as permissões necessárias para criar e gerenciar conjuntos de dados, peça ao administrador para conceder a você os seguintes papéis do IAM nos seus projetos de origem:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para criar e gerenciar conjuntos de dados. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para criar e gerenciar conjuntos de dados:

  • Criar configuração do conjunto de dados: storageinsights.datasetConfigs.create
  • Configurar o conjunto de dados:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
  • Gerenciar a configuração do conjunto de dados:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
  • Vincular ao conjunto de dados do BigQuery: storageinsights.datasetConfigs.linkDataset
  • Desvincular do conjunto de dados do BigQuery: storageinsights.datasetConfigs.unlinkDataset
  • Consultar conjuntos de dados vinculados do BigQuery: bigquery.jobs.create or bigquery.jobs.*

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Ativar a API Storage Insights

Console

Ative a API storageinsights.googleapis.com

Linha de comando

Para ativar a API Storage Insights no projeto atual, execute o seguinte comando:

gcloud services enable storageinsights.googleapis.com

Para mais detalhes sobre como ativar serviços em um projeto do Google Cloud, consulte Como ativar e desativar serviços.

Configurar o Storage Intelligence

Verifique se o Storage Intelligence está configurado no projeto, na pasta ou na organização que você quer analisar com conjuntos de dados.

Criar uma configuração de conjunto de dados

Para criar e gerar uma configuração de conjunto de dados, siga estas etapas. Para mais informações sobre os campos que podem ser especificados ao criar a configuração do conjunto de dados, consulte Propriedades de configuração do conjunto de dados.

Console

  1. No console do Google Cloud, acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique em Configurar conjunto de dados.

  3. Na seção Nomear o conjunto de dados, insira um nome. Opcionalmente, insira uma descrição para o conjunto de dados.

  4. Na seção Definir o escopo do conjunto de dados, faça o seguinte:

    • Selecione uma das seguintes opções:

      • Para receber metadados de armazenamento de todos os projetos na organização atual, selecione Incluir a organização.

      • Para receber metadados de armazenamento de todos os projetos nas pastas selecionadas, selecione Incluir pastas(suborganização/departamentos). Para saber como conseguir IDs de pastas, consulte Como visualizar ou listar pastas e projetos. Para adicionar pastas, faça o seguinte:

        1. No campo Pasta 1, insira o ID da pasta.
        2. Se preferir, adicione vários IDs de pastas clicando em + Adicionar outra pasta.

      • Para receber metadados de armazenamento dos projetos selecionados, selecione Incluir projetos fornecendo números de projeto. Para saber como encontrar os números de projeto, consulte Encontrar o nome, o número e o ID do projeto. Para adicionar projetos, faça o seguinte:

        1. No campo Project 1, insira o número do projeto.
        2. Se preferir, para adicionar vários números de projeto, clique em + Adicionar outro projeto.

      • Para adicionar projetos ou pastas em massa, selecione Fazer upload de uma lista de projetos /pastas por arquivo CSV. O arquivo CSV precisa conter os números de projeto ou os IDs de pastas que você quer incluir no conjunto de dados.

    • Especifique se você quer incluir automaticamente buckets futuros no recurso selecionado.

    • Opcionalmente, para especificar filtros em buckets com base em regiões e prefixos de bucket, expanda a seção Filtros (opcional). Os filtros são aplicados de forma aditiva nos buckets.

      É possível incluir ou excluir buckets de regiões específicas. Por exemplo, é possível excluir buckets que estão nas regiões me-central1 e me-central2. Também é possível incluir ou excluir buckets por prefixo. Por exemplo, se você quiser excluir buckets que começam com my-bucket, digite o prefixo my-bucket*.

  5. Clique em Continuar.

  6. Na seção Selecionar período de retenção, escolha um período de retenção para os dados no conjunto de dados.

  7. Na seção Selecionar local para armazenar o conjunto de dados configurado, selecione um local para armazenar o conjunto de dados e a configuração dele.

  8. Na seção Selecionar tipo de conta de serviço, escolha um tipo de agente de serviço para seu conjunto de dados. Esse agente de serviço é criado em seu nome quando você cria a configuração do conjunto de dados. Você pode selecionar um dos seguintes agentes de serviço:

    • Conta de serviço com escopo de configuração: esse agente de serviço só pode acessar e gravar o conjunto de dados gerado pela configuração específica do conjunto de dados.
    • Conta de serviço no escopo do projeto: esse agente de serviço pode acessar e gravar conjuntos de dados gerados a partir de todas as configurações de conjunto de dados no projeto.

    Após a criação do agente de serviço, conceda a ele as permissões necessárias. Para mais informações sobre esse agente de serviço, consulte as Propriedades de configuração do conjunto de dados.

  9. Clique em Configurar.

Linha de comando

  1. Para criar uma configuração de conjunto de dados, execute o comando gcloud storage insights dataset-configs create com as flags necessárias:

    gcloud storage insights dataset-configs create DATASET_CONFG_ID \
  --source-projects=SOURCE_PROJECT_NUMBERS \
  --location=LOCATION \
  --retention-period-days=RETENTION_PERIOD_DAYS \
  --organization=ORGANIZATION_ID

    Substitua:

    • DATASET_CONFIG_ID pelo nome que você quer dar à configuração do conjunto de dados. Os nomes são usados como identificador das configurações do conjunto de dados e são mutáveis. O nome pode ter até 128 caracteres, com letras, números e sublinhados.

    • SOURCE_PROJECT_NUMBERS com os números dos projetos que você quer incluir no conjunto de dados. Por exemplo, 464036093014. É possível especificar um ou vários projetos. Para saber como encontrar o número do projeto, consulte Encontrar o nome, o número e o ID do projeto.

      Como alternativa à sinalização --source-projects, use a sinalização --source-projects-file=FILE_PATH, que permite especificar vários números de projeto de uma vez fazendo upload de um arquivo com esses números. O arquivo precisa estar no formato CSV e ser enviado ao Cloud Storage.

    • LOCATION com o local em que a configuração e o conjunto de dados serão armazenados.

    • RETENTION_PERIOD_DAYS com o período de retenção dos dados no conjunto de dados.

    • ORGANIZATION_ID com o ID do recurso da organização a que os projetos de origem pertencem. Os projetos de origem fora do local especificado são excluídos da configuração do conjunto de dados. Para saber como encontrar o ID da organização, consulte Como conseguir o ID do recurso da sua organização.

    Opcionalmente, é possível usar outras flags para configurar o conjunto de dados:

    • Use --include-buckets=BUCKET_NAMES_OR_REGEX para incluir buckets específicos por nome ou expressão regular. Se essa flag for usada, não será possível usar --exclude-buckets.

    • Use --exclude-buckets=BUCKET_NAMES_OR_REGEX para excluir buckets específicos por nome ou expressão regular. Se essa flag for usada, não será possível usar --include-buckets.

    • Use --project=DESTINATION_PROJECT_ID para especificar um projeto a ser usado para armazenar a configuração e o conjunto de dados gerado. Se essa flag não for usada, o projeto de destino será o ativo. Para mais informações sobre IDs de projetos, consulte Como criar e gerenciar projetos.

    • Use --auto-add-new-buckets para incluir automaticamente todos os buckets que forem adicionados aos projetos de origem no futuro.

    • Use --skip-verification para pular verificações e falhas do processo de verificação, que inclui verificações de permissões necessárias do IAM. Se forem usados, alguns ou todos os buckets podem ser excluídos do conjunto de dados.

    • Use --identity=IDENTITY_TYPE para especificar o tipo de agente de serviço que será criado com a configuração do dataset. Os valores são IDENTITY_TYPE_PER_CONFIG ou IDENTITY_TYPE_PER_PROJECT. Se não for especificado, o padrão será IDENTITY_TYPE_PER_CONFIG.

    • Use --description=DESCRIPTION para escrever uma descrição da configuração do conjunto de dados.

APIs REST

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um arquivo JSON com as informações a seguir:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": ["PROJECT_NUMBERS", ...]
  },
  "retention_period_days": "RETENTION_PERIOD_DAYS",
  "identity": {
    "type": "IDENTITY_TYPE"
  }
}

    Substitua:

    • ORGANIZATION_ID com o ID do recurso da organização a que os projetos de origem pertencem. Para saber como encontrar o ID da organização, consulte Como encontrar o ID do recurso da organização.

    • PROJECT_NUMBERS com os números dos projetos que você quer incluir no conjunto de dados. É possível especificar um ou vários projetos. Os projetos precisam ser especificados como uma lista de strings.

    • RETENTION_PERIOD_DAYS com o número de dias de dados a serem capturados no snapshot do conjunto de dados. Por exemplo, 90.

    • IDENTITY_TYPE com o tipo de conta de serviço que é criada com a configuração do conjunto de dados. Os valores são IDENTITY_TYPE_PER_CONFIG ou IDENTITY_TYPE_PER_PROJECT.

  3. Para criar a configuração do conjunto de dados, use cURL para chamar a API JSON com uma solicitação Create DatasetConfig:

    curl -X POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs?datasetConfigId=DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Substitua:

    • JSON_FILE_NAME pelo caminho para o arquivo JSON criado na etapa anterior. Como alternativa, é possível transmitir uma instância de DatasetConfig no corpo da solicitação.

    • PROJECT_ID com o ID do projeto ao qual a configuração e o conjunto de dados pertencerão.

    • LOCATION com o local em que o conjunto de dados e a configuração do conjunto de dados vão residir. Por exemplo, us-central1.

    • DATASET_CONFIG_ID pelo nome que você quer dar à configuração do conjunto de dados. Os nomes são usados como o identificador das configurações do conjunto de dados e não são imutáveis. O nome pode ter até 128 caracteres usando letras, números e sublinhados. O nome precisa começar com uma letra.

    • ACCESS_TOKEN com o token de acesso gerado quando você instalou e inicializou a CLI do Google Cloud.

Para resolver erros de processamento de snapshots registrados em error_attributes_view, consulte Erros de conjunto de dados do Storage Insights.

Conceda as permissões necessárias ao agente de serviço

Google Cloud cria um agente de serviço no escopo da configuração ou do projeto em seu nome quando você cria uma configuração de conjunto de dados. O agente de serviço segue o formato de nomenclatura service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com e aparece na página do IAM no console do Google Cloud quando você seleciona a caixa de seleção Incluir concessões de função fornecidas pelo Google. Também é possível encontrar o nome do agente de serviço visualizando o recurso DatasetConfig usando a API JSON.

Para permitir que o Storage Insights gere e grave conjuntos de dados, peça ao administrador para conceder ao agente de serviço o papel de serviço do coletor do Storage Insights (roles/storage.insightsCollectorService) na organização que contém os projetos de origem. Essa função precisa ser concedida a todos os agentes de serviço com escopo de configuração criados para cada configuração de conjunto de dados de onde você quer dados. Se você estiver usando um agente de serviço no escopo do projeto, esse papel só precisa ser concedido uma vez para que o agente de serviço possa ler e gravar conjuntos de dados para todas as configurações de conjuntos de dados no projeto.

Para instruções sobre como conceder papéis a projetos, consulte Gerenciar o acesso.

Para vincular um conjunto de dados ao BigQuery, siga estas etapas:

  1. No console do Google Cloud, acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração que gerou o conjunto de dados que você quer vincular.

  3. Na seção Conjunto de dados vinculado do BigQuery, clique em Vincular conjunto de dados para vincular seu conjunto de dados.

  1. Para vincular um conjunto de dados ao BigQuery, execute o comando gcloud storage insights dataset-configs create-link:

    gcloud storage insights dataset-configs create-link DATASET_CONFIG_ID --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer vincular.

    • LOCATION com o local do conjunto de dados. Por exemplo, us-central1.

    Como alternativa a DATASET_CONFIG_NAME e LOCATION, especifique um caminho de configuração completo do conjunto de dados. Exemplo:

    gcloud storage insights dataset-configs create-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID_

    Substitua:

    • DESTINATION_PROJECT_ID com o ID do projeto que contém a configuração do conjunto de dados. Para mais informações sobre IDs de projetos, consulte Criar e gerenciar projetos.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer vincular.

    • LOCATION com o local do conjunto de dados e a configuração dele. Por exemplo, us-central1.

  1. Ter a CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um arquivo JSON com as informações a seguir:

    {
  "name": "DATASET_NAME"
}

    Substitua:

    • DATASET_NAME pelo nome do conjunto de dados que você quer vincular. Por exemplo, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Use cURL para chamar a API JSON com uma solicitação de linkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:linkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substitua:

    • JSON_FILE_NAME pelo caminho para o arquivo JSON criado na etapa anterior.

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com o local em que o conjunto de dados e a configuração do conjunto de dados estão armazenados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer vincular.

    • ACCESS_TOKEN com o token de acesso gerado quando você instalou e inicializou a CLI do Google Cloud.

Conferir e consultar conjuntos de dados vinculados

Para consultar e acessar conjuntos de dados vinculados, siga estas etapas:

  1. No console do Google Cloud, acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

    Uma lista de configurações de conjuntos de dados criados no projeto vai aparecer.

  2. Clique no conjunto de dados vinculado do BigQuery da configuração do conjunto de dados que você quer visualizar.

    O conjunto de dados vinculado do BigQuery aparece no console do Google Cloud. Para informações sobre o esquema de metadados do conjunto de dados, consulte Esquema de metadados do conjunto de dados.

  3. É possível consultar tabelas e visualizações nos conjuntos de dados vinculados da mesma forma que você consultaria qualquer outra tabela do BigQuery.

Para impedir que a configuração do conjunto de dados seja publicada no conjunto de dados do BigQuery, desvincule o conjunto de dados. Para desvincular um conjunto de dados, siga estas etapas:

  1. No console do Google Cloud, acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer desvincular.

  3. Na seção Conjunto de dados vinculado ao BigQuery, clique em Desvincular conjunto de dados para desvincular o conjunto de dados.

  1. Para desvincular o conjunto de dados, execute o comando gcloud storage insights dataset-configs delete-link:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer desvincular.

    • LOCATION com o local do conjunto de dados e a configuração dele. Por exemplo, us-central1.

    Como alternativa a DATASET_CONFIG_NAME e LOCATION, especifique um caminho de configuração completo do conjunto de dados. Exemplo:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Substitua:

    • DESTINATION_PROJECT_ID com o ID do projeto que contém a configuração do conjunto de dados. Para mais informações sobre IDs de projetos, consulte Criar e gerenciar projetos.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer desvincular.

    • LOCATION com o local do conjunto de dados e da configuração. Por exemplo, us-central1.

  1. Ter a CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um arquivo JSON com as informações a seguir:

    {
  "name": "DATASET_NAME"
}

    Substitua:

    • DATASET_NAME pelo nome do conjunto de dados que você quer desvincular. Por exemplo, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Use cURL para chamar a API JSON com uma solicitação de unlinkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substitua:

    • JSON_FILE_NAME pelo caminho para o arquivo JSON criado na etapa anterior.

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer desvincular.

    • ACCESS_TOKEN com o token de acesso que você gerou ao instalar e inicializar a CLI do Google Cloud.

Conferir a configuração de um conjunto de dados

Para conferir a configuração de um conjunto de dados, siga estas etapas:

Console

  1. No console do Google Cloud, acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração do conjunto de dados que você quer consultar.

    Os detalhes da configuração do conjunto de dados são exibidos.

Linha de comando

  1. Para descrever uma configuração de conjunto de dados, execute o comando gcloud storage insights dataset-configs describe:

    gcloud storage insights dataset-configs describe DATASET_CONFG_ID \
  --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID pelo nome da configuração do conjunto de dados.

    • LOCATION com o local do conjunto de dados e a configuração do conjunto de dados.

    Como alternativa a especificar DATASET_CONFIG_NAME e LOCATION, você pode especificar um caminho de configuração completo do conjunto de dados. Exemplo:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Substitua:

    • DESTINATION_PROJECT_ID com o ID do projeto que contém a configuração do conjunto de dados. Para mais informações sobre IDs de projetos, consulte Criar e gerenciar projetos.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer consultar.

    • LOCATION com o local do conjunto de dados e da configuração. Por exemplo, us-central1.

APIs REST

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com uma solicitação de Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substitua:

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID pelo nome da configuração do conjunto de dados.

    • ACCESS_TOKEN com o token de acesso gerado quando você instalou e inicializou a CLI do Google Cloud.

Listar configurações do conjunto de dados

Para listar as configurações de conjuntos de dados em um projeto, siga estas etapas:

Console

  1. No console do Google Cloud, acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

    A lista de configurações do conjunto de dados é exibida.

Linha de comando

  1. Para listar as configurações de conjuntos de dados em um projeto, execute o comando gcloud storage insights dataset-configs list:

    gcloud storage insights dataset-configs list --location=LOCATION

    Substitua:

    • LOCATION com o local do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    É possível usar as seguintes flags opcionais para especificar o comportamento da chamada de listagem:

    • Use --page-size para especificar o número máximo de resultados a serem retornados por página.

    • Use --filter=FILTER para filtrar os resultados. Para mais informações sobre como usar a flag --filter, execute gcloud topic filters e consulte a documentação.

    • Use --sort-by=SORT_BY_VALUE para especificar uma lista separada por vírgulas de nomes de chaves de campos de recursos para classificação. Por exemplo, --sort-by=DATASET_CONFIG_NAME.

APIs REST

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com uma solicitação Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substitua:

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • ACCESS_TOKEN com o token de acesso gerado quando você instalou e inicializou a CLI do Google Cloud.

Atualizar a configuração de um conjunto de dados

Para atualizar a configuração de um conjunto de dados, siga estas etapas:

Console

  1. No console do Google Cloud, acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração do conjunto de dados que você quer atualizar.

  3. Na guia Configuração do conjunto de dados que aparece, clique em Editar para atualizar os campos.

Linha de comando

  1. Para atualizar a configuração de um conjunto de dados, execute o comando gcloud storage insights dataset-configs update:

    gcloud storage insights dataset-configs update DATASET_CONFG_ID \
  --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID pelo nome da configuração do conjunto de dados.

    • LOCATION com o local do conjunto de dados e a configuração do conjunto de dados.

    Use as flags a seguir para atualizar as propriedades da configuração do conjunto de dados:

    • Use --skip-verification para pular verificações e falhas do processo de verificação, que inclui verificações de permissões necessárias do IAM. Se forem usados, alguns ou todos os buckets podem ser excluídos do conjunto de dados.

    • Use --retention-period-days=DAYS para especificar o número de dias de dados a serem capturados no snapshot do conjunto de dados. Por exemplo, 90.

    • Use --description=DESCRIPTION para escrever uma descrição da configuração do conjunto de dados.

APIs REST

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um arquivo JSON com as seguintes informações opcionais:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": RETENTION_PERIOD"
}

    Substitua:

    • ORGANIZATION_ID com o ID do recurso da organização a que os projetos de origem pertencem.

    • PROJECT_NUMBERS com os números de projeto que você quer incluir no conjunto de dados. Você pode especificar um ou vários projetos. Os projetos precisam ser especificados em um formato de lista.

    • RETENTION_PERIOD com o número de dias de dados a serem capturados no snapshot do conjunto de dados. Por exemplo, 90.

  3. Para atualizar a configuração do conjunto de dados, use cURL para chamar a API JSON com uma solicitação Patch DatasetConfig:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=RETENTION_PERIOD" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substitua:

    • JSON_FILE_NAME pelo caminho para o arquivo JSON criado na etapa anterior.

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID pelo nome da configuração do conjunto de dados que você quer atualizar.

    • RETENTION_PERIOD com o número de dias de dados a serem capturados no snapshot do conjunto de dados. Por exemplo, 90.

    • ACCESS_TOKEN com o token de acesso gerado quando você instalou e inicializou a CLI do Google Cloud.

Excluir uma configuração de conjunto de dados

Para excluir uma configuração de conjunto de dados, siga estas etapas:

Console

  1. No console do Google Cloud, acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração do conjunto de dados que você quer excluir.

  3. Clique em Excluir .

Linha de comando

  1. Para excluir uma configuração de conjunto de dados, execute o comando gcloud storage insights dataset-configs delete:

    gcloud storage insights dataset-configs delete DATASET_CONFG_ID \
  --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID pelo nome da configuração do conjunto de dados que você quer excluir.

    • LOCATION com o local do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    Use as flags a seguir para atualizar as propriedades da configuração do conjunto de dados:

    • Use --auto-delete-link para desvincular o conjunto de dados que foi gerado da configuração que você quer excluir. É necessário desvincular um conjunto de dados antes de excluir a configuração que o gerou.

    • Use --retention-period-days=DAYS para especificar o número de dias de dados a serem capturados no snapshot do conjunto de dados. Por exemplo, 90.

    Como alternativa a especificar DATASET_CONFIG_NAME e LOCATION, você pode especificar um caminho de configuração completo do conjunto de dados. Exemplo:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

APIs REST

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com uma solicitação Delete DatasetConfig:

    curl -X DELETE \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substitua:

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID pelo nome da configuração do conjunto de dados que você quer excluir.

    • ACCESS_TOKEN com o token de acesso gerado quando você instalou e inicializou a CLI do Google Cloud.

A seguir