Analisar seus dados armazenados com a ajuda do Gemini

Nesta página, descrevemos como usar a assistência com tecnologia de IA do Gemini para entender melhor o cenário de armazenamento de dados no Cloud Storage. Ao usar o Gemini Cloud Assist, você pode inserir comandos sobre como o Cloud Storage funciona em geral. Ao ativar uma assinatura do Storage Intelligence, é possível inserir comandos sobre buckets e objetos específicos.

Em seguida, use as informações fornecidas pelo Gemini Cloud Assist para fazer o seguinte:

  • Analisar padrões e tendências de uso de dados

  • Identificar oportunidades de economizar nos custos de armazenamento

  • Otimizar seus dados para segurança e compliance

  • Tome decisões fundamentadas sobre como gerenciar seus dados

O Gemini não usa seus comandos nem as respostas deles como dados para treinar os modelos sem sua permissão explícita. Para mais informações sobre como o Google usa seus dados, consulte Como o Gemini para Google Cloud usa seus dados.

Esta página é destinada a desenvolvedores, analistas ou engenheiros de dados, administradores de plataforma, operadores financeiros e responsáveis pela conformidade. Ele pressupõe que você sabe usar o Cloud Storage e consultar conjuntos de dados vinculados.

Quais comandos o Gemini pode responder?

Para entender seu armazenamento de dados, forneça ao Gemini Cloud Assist um comando, que é uma instrução ou pergunta em linguagem natural.

Ao usar o Gemini Cloud Assist sem uma assinatura do Storage Intelligence, você pode fazer perguntas sobre como o Cloud Storage funciona em geral, como as seguintes:

  • "Como faço a transição de objetos de uma classe de armazenamento para outra?"

  • "Como ativar a exclusão reversível em um bucket?"

Ao ativar uma assinatura do Storage Intelligence, você também pode fazer solicitações relacionadas a oportunidades de economia de custos, segurança e conformidade, além de descoberta de dados. O Gemini Cloud Assist pode usar os metadados contidos nos conjuntos de dados do Storage Insights para gerar insights, que são respostas a comandos sobre o uso e os metadados dos seus buckets e objetos. Você pode fazer comandos como:

  • Solicitações relacionadas ao uso e à economia de custos:

    • "5 maiores buckets sem gerenciamento do ciclo de vida de objetos"

    • "5 maiores buckets sem a Classe automática ativada"

  • Comandos relacionados à segurança e à conformidade:

    • "5 maiores buckets sem o controle de versões de objetos ativado"

    • "5 maiores objetos com data de validade da retenção nos próximos 30 dias"

  • Comandos relacionados à descoberta de dados:

    • "Buckets com um grande volume de arquivos pequenos (cada um com menos de 1 MB)"

    • "Objetos na classe de armazenamento Standard menores que 50 MB"

Antes de começar

Para usar o Gemini Cloud Assist com comandos gerais relacionados ao Cloud Storage, primeiro configure o Gemini Cloud Assist, incluindo a obtenção das funções necessárias.

Configurar o Gemini Cloud Assist

Verifique se o Gemini Cloud Assist está configurado para seu Google Cloud projeto.

Se quiser inserir comandos relacionados a buckets e objetos específicos, também será necessário concluir as seguintes etapas de pré-requisito:

  1. Ative o Storage Intelligence, que dá acesso ao uso de conjuntos de dados do Storage Insights.

  2. Crie um conjunto de dados do Storage Insights, que o Gemini Cloud Assist vai analisar para fornecer informações sobre buckets e objetos específicos.

    Se preferir, se houver um conjunto de dados que você queira usar, é possível receber os papéis do IAM necessários para acessar o conjunto de dados.

  3. Verifique se o agente de serviço do Storage Insights tem acesso ao conjunto de dados que o Gemini Cloud Assist vai analisar. Isso permite que o conjunto de dados seja lido e analisado.

Ativar o Storage Intelligence

Verifique se a inteligência de armazenamento está ativada no projeto, na pasta ou na organização que contém ou vai conter os conjuntos de dados que o Gemini Cloud Assist vai usar para responder aos comandos.

crie um conjunto de dados

Crie um conjunto de dados e vincule-o ao BigQuery.

Conceder os papéis necessários para acessar conjuntos de dados

Quando um usuário cria uma configuração de conjunto de dados pela primeira vez, um agente de serviço do Storage Insights é criado. O agente de serviço segue o formato de nomenclatura service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com e aparece na página do IAM no console do Google Cloud quando você seleciona a caixa de seleção Incluir concessões de funções fornecidas pelo Google.

Para usar o Gemini Cloud Assist com comandos relacionados a metadados de bucket ou objeto, é necessário ativar o agente de serviço do Storage Insights para ler conjuntos de dados. Peça ao administrador para conceder ao agente de serviço o papel de Leitor de dados do BigQuery (roles/bigquery.dataViewer) na organização, pasta ou projeto que contém o conjunto de dados que você quer analisar.

Para instruções sobre como conceder papéis a agentes de serviço, consulte criar e conceder papéis a agentes de serviço.

Acessar os papéis necessários para acessar conjuntos de dados

Para receber as permissões necessárias para ter insights sobre metadados de bucket e objeto, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto, na pasta ou na organização que contém os conjuntos de dados que você quer analisar:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Analise seu armazenamento de dados usando comandos de linguagem natural

Para inserir comandos no Gemini Cloud Assist, siga estas etapas:

  1. No console Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Na barra de ferramentas, clique em spark (Gemini) para abrir o painel de chat do Cloud Assist.

    O painel de chat do Cloud Assist aparece.

  3. No painel de chat do Cloud Assist, insira um comando em linguagem natural sobre o armazenamento de dados. Por exemplo, você pode inserir o seguinte:

    Which is my largest bucket
  4. Clique em (Gerar).

  5. Se solicitado, insira o nome do conjunto de dados que o Gemini vai analisar para gerar a resposta e clique em (Gerar).

    Se a operação for bem-sucedida, o Gemini Cloud Assist vai gerar uma resposta semelhante a esta:

    Here's what I found by analyzing the data in EXAMPLE_DATASET:
    
    Bucket name Size
    my-bucket 39.1 TB

    A consulta SQL subjacente usada pelo Gemini Cloud Assist também é retornada. A consulta SQL gerada é semelhante a esta:

    SELECT bucket_id, bucket_size
    FROM buckets
    WHERE project_id = 'example-project'
    ORDER BY bucket_size DESC
    LIMIT 1;
    

Se quiser, insira comandos sugeridos:

  1. No console Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Na seção Comandos sugeridos, selecione uma opção. Por exemplo, um comando sugerido pode dizer: Storage size broken down by object content type.

  3. Se a operação for bem-sucedida, o Gemini Cloud Assist vai gerar uma resposta semelhante a esta:

    Here's what I found by analyzing the data in EXAMPLE_DATASET:
    
    Content type Size
    MP4 483.2 GB
    MOV 239.1 GB
    MP3 125.8 GB

    A consulta SQL subjacente usada pelo Gemini Cloud Assist também é retornada. A consulta SQL gerada é semelhante a esta:

    SELECT
    oa.contentType, ROUND(sum(oa.size) / (1024 * 1024 * 1024), 2) AS total_size_gb
    FROM object_attributes_latest AS oa
    GROUP BY oa.contentType
    ORDER BY sum(oa.size) DESC;

Limitações

  • Ao usar comandos para analisar recursos do Cloud Storage, é possível especificar até cinco recursos no comando. Por exemplo: 5 largest buckets without Autoclass enabled. Mesmo que você inclua mais de cinco recursos no comando, o Gemini Cloud Assist só poderá retornar resultados para os cinco principais recursos que correspondem aos critérios do comando.

  • O Gemini Cloud Assist usa os metadados de bucket e objeto contidos nos conjuntos de dados do Storage Insights para responder a comandos sobre o armazenamento de dados.

    Os seguintes dados não estão disponíveis nos conjuntos de dados do Storage Insights. Isso significa que o Gemini Cloud Assist não tem o contexto adequado para responder a comandos relacionados a esses dados:

    • Dados de custos específicos, por exemplo: "quanto custa meu bucket por mês?".

    • Dados de atividade, por exemplo: "qual é o último horário de acesso do meu objeto?".

    • Dados sobre a configuração de determinados recursos, como exclusão temporária. Por exemplo: "quais buckets não têm a exclusão temporária ativada".

    O Gemini Cloud Assist também não tem o contexto adequado para responder a comandos relacionados a informações de série temporal. Por exemplo: "quanto meu bucket cresceu nas últimas três semanas". Isso porque o Gemini Cloud Assist lê apenas o snapshot mais recente de um conjunto de dados.

A seguir