Esta página foi traduzida pela API Cloud Translation.

Gerar texto usando um modelo do Gemini e a função ML.GENERATE_TEXT

Neste tutorial, mostramos como criar um modelo remoto baseado no modelo gemini-2.0-flash, e como usá-lo com a função ML.GENERATE_TEXT para extrair palavras-chave e realizar análises de sentimento em resenhas de filmes a tabela pública bigquery-public-data.imdb.reviews.

Funções exigidas

Para seguir este tutorial, você precisa dos seguintes papéis do Identity and Access Management (IAM):

Criar e usar conjuntos de dados, conexões e modelos do BigQuery: administrador do BigQuery (roles/bigquery.admin).
Conceda permissões à conta de serviço da conexão: administrador do IAM do projeto (roles/resourcemanager.projectIamAdmin).

Esses papéis predefinidos contêm as permissões necessárias para executar as tarefas neste documento. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

Criar um conjunto de dados: bigquery.datasets.create
Criar, delegar e usar uma conexão: bigquery.connections.*
Defina a conexão padrão: bigquery.config.*
Defina as permissões da conta de serviço: resourcemanager.projects.getIamPolicy e resourcemanager.projects.setIamPolicy
Crie um modelo e execute a inferência:
- bigquery.jobs.create
- bigquery.models.create
- bigquery.models.getData
- bigquery.models.updateData
- bigquery.models.updateMetadata

Essas permissões também podem ser concedidas com papéis personalizados ou outros papéis predefinidos.

Custos

Neste documento, você vai usar os seguintes componentes faturáveis do Google Cloud:

BigQuery ML: You incur costs for the data that you process in BigQuery.
Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Para mais informações, consulte Preços do BigQuery na documentação do BigQuery.

Para mais informações sobre preços da Vertex AI, consulte esta página.

Antes de começar

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector
Make sure that billing is enabled for your Google Cloud project.
Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.
Enable the APIs

crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar seu modelo de ML.

Console

No console Google Cloud , acesse a página BigQuery.

Acessar a página do BigQuery
No painel Explorer, clique no nome do seu projeto.
Clique em Conferir ações > Criar conjunto de dados.
Na página Criar conjunto de dados, faça o seguinte:
- Para o código do conjunto de dados, insira bqml_tutorial.
- Em Tipo de local, selecione Multirregião e EUA (várias regiões nos Estados Unidos).
- Mantenha as configurações padrão restantes e clique em Criar conjunto de dados.

bq

Para criar um novo conjunto de dados, utilize o comando bq mk com a sinalização --location. Para obter uma lista completa de parâmetros, consulte a referência comando bq mk --dataset.

Crie um conjunto de dados chamado bqml_tutorial com o local dos dados definido como US e uma descrição de BigQuery ML tutorial dataset:
```
bq --location=US mk -d \
 --description "BigQuery ML tutorial dataset." \
 bqml_tutorial
```
Em vez de usar a flag --dataset, o comando usa o atalho -d. Se você omitir -d e --dataset, o comando vai criar um conjunto de dados por padrão.
Confirme se o conjunto de dados foi criado:
```
bq ls
```

API

Chame o método datasets.insert com um recurso de conjunto de dados definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Antes de testar esta amostra, siga as instruções de configuração dos BigQuery DataFrames no Guia de início rápido do BigQuery: como usar os BigQuery DataFrames. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para autenticar no BigQuery, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Criar o modelo remoto

Crie um modelo remoto que represente um modelo da Vertex AI:

No console Google Cloud , acesse a página BigQuery.

Acessar o BigQuery
No editor de consultas, execute a seguinte instrução:

CREATE OR REPLACE MODEL `bqml_tutorial.gemini_model`
  REMOTE WITH CONNECTION DEFAULT
  OPTIONS (ENDPOINT = 'gemini-2.0-flash');

A consulta leva alguns segundos para ser concluída. Depois disso, o modelo gemini_model aparece no conjunto de dados bqml_tutorial no painel Explorer. Como a consulta usa uma instrução CREATE MODEL para criar um modelo, não há resultados de consulta.

Realizar extração de palavra-chave

Realize a extração de palavra-chave em avaliações de filmes do IMDB usando o modelo remoto e a função ML.GENERATE_TEXT:

No console Google Cloud , acesse a página BigQuery.

Acessar o BigQuery

No editor de consultas, insira a seguinte instrução para realizar a extração de palavra-chave em cinco avaliações de filmes:

SELECT
  ml_generate_text_result['candidates'][0]['content'] AS generated_text,
  * EXCEPT (ml_generate_text_result)
FROM
  ML.GENERATE_TEXT(
    MODEL `bqml_tutorial.gemini_model`,
    (
      SELECT
        CONCAT('Extract the key words from the text below: ', review) AS prompt,
        *
      FROM
        `bigquery-public-data.imdb.reviews`
      LIMIT 5
    ),
    STRUCT(
      0.2 AS temperature,
      100 AS max_output_tokens));

A saída é semelhante à seguinte, com as colunas não geradas omitidas para fins de esclarecimento:

+----------------------------------------+-------------------------+----------------------------+-----+
| generated_text                         | ml_generate_text_status | prompt                     | ... |
+----------------------------------------+-------------------------+----------------------------+-----+
| {"parts":[{"text":"## Key words:\n\n*  |                         | Extract the key words from |     |
| **Negative sentiment:** \"terribly     |                         | the text below: I had to   |     |
| bad acting\", \"dumb story\", \"not    |                         | see this on the British    |     |
| even a kid would enjoy this\",         |                         | Airways plane. It was      |     |
| \"something to switch off\"\n*         |                         | terribly bad acting and    |     |
| **Context:** \"British Airways plane\" |                         | a dumb story. Not even     |     |
| \n* **Genre:** \"movie\" (implied)...  |                         | a kid would enjoy this...  |     |
+----------------------------------------+-------------------------+----------------------------+-----+
| {"parts":[{"text":"## Key words:\n\n*  |                         | Extract the key words from |     |
| **Movie:** The Real Howard Spitz\n*    |                         | the text below: This is    |     |
| **Genre:** Family movie\n*             |                         | a family movie that was    |     |
| **Broadcast:** ITV station, 1.00 am\n* |                         | broadcast on my local      |     |
| **Director:** Vadim Jean\n*            |                         | ITV station at 1.00 am a   |     |
| **Main character:** Howard Spitz,      |                         | couple of nights ago.      |     |
| a children's author who hates...       |                         | This might be a strange... |     |
+----------------------------------------+-------------------------+----------------------------+-----+

Os resultados incluem as seguintes colunas:

generated_text: o texto gerado.
ml_generate_text_status: o status da resposta da API sobre a linha correspondente. Se a operação tiver sido bem-sucedida, esse valor estará vazio.
prompt: o comando usado para a análise de sentimento.
Todas as colunas da tabela bigquery-public-data.imdb.reviews.

Opcional: em vez de analisar manualmente o JSON retornado pela função, como você fez na etapa anterior, use o argumento flatten_json_output para retornar o texto gerado e os atributos de segurança em colunas separadas.

No editor de consultas, execute a seguinte instrução:

SELECT
  *
FROM
  ML.GENERATE_TEXT(
    MODEL `bqml_tutorial.gemini_model`,
    (
      SELECT
        CONCAT('Extract the key words from the text below: ', review) AS prompt,
        *
      FROM
        `bigquery-public-data.imdb.reviews`
      LIMIT 5
    ),
    STRUCT(
      0.2 AS temperature,
      100 AS max_output_tokens,
      TRUE AS flatten_json_output));

A saída é semelhante à seguinte, com as colunas não geradas omitidas para fins de esclarecimento:

+----------------------------------------+----------------------------------------------+-------------------------+----------------------------+-----+
| ml_generate_text_llm_result            | ml_generate_text_rai_result                  | ml_generate_text_status | prompt                     | ... |
+----------------------------------------+----------------------------------------------+-------------------------+----------------------------+-----+
| ## Keywords:                           |                                              |                         | Extract the key words from |     |
|                                        |                                              |                         | the text below: I had to   |     |
| * **Negative sentiment:**              |                                              |                         | see this on the British    |     |
| "terribly bad acting", "dumb           |                                              |                         | Airways plane. It was      |     |
| story", "not even a kid would          |                                              |                         | terribly bad acting and    |     |
| enjoy this", "switch off"              |                                              |                         | a dumb story. Not even     |     |
| * **Context:** "British                |                                              |                         | a kid would enjoy this...  |     |
+----------------------------------------+----------------------------------------------+-------------------------+----------------------------+-----+
| ## Key words:                          |                                              |                         | Extract the key words from |     |
|                                        |                                              |                         | the text below: This is    |     |
| * **Movie:** The Real Howard Spitz     |                                              |                         | a family movie that was    |     |
| * **Genre:** Family movie              |                                              |                         | broadcast on my local      |     |
| * **Broadcast:** ITV, 1.00             |                                              |                         | ITV station at 1.00 am a   |     |
| am                                     |                                              |                         | couple of nights ago.      |     |
| - ...                                  |                                              |                         | This might be a strange... |     |
+----------------------------------------+----------------------------------------------+-------------------------+----------------------------+-----+

Os resultados incluem as seguintes colunas:

ml_generate_text_llm_result: o texto gerado.
ml_generate_text_rai_result: os atributos de segurança, com informações sobre eventual bloqueio do conteúdo devido a uma das categorias de bloqueio. Para mais informações sobre os atributos de segurança, consulte Configurar filtros de segurança.
ml_generate_text_status: o status da resposta da API sobre a linha correspondente. Se a operação tiver sido bem-sucedida, esse valor estará vazio.
prompt: o prompt usado para a extração da palavra-chave.
Todas as colunas da tabela bigquery-public-data.imdb.reviews.

Realizar análise de sentimento

Realize a análise de sentimento nas avaliações de filmes do IMDB usando o modelo remoto e a função ML.GENERATE_TEXT:

No console Google Cloud , acesse a página BigQuery.

Acessar o BigQuery

No editor de consultas, execute a seguinte instrução para realizar a análise de sentimento em cinco avaliações de filmes:

SELECT
  ml_generate_text_result['candidates'][0]['content'] AS generated_text,
  * EXCEPT (ml_generate_text_result)
FROM
  ML.GENERATE_TEXT(
    MODEL `bqml_tutorial.gemini_model`,
    (
      SELECT
        CONCAT(
          'perform sentiment analysis on the following text, return one the following categories: positive, negative: ',
          review) AS prompt,
        *
      FROM
        `bigquery-public-data.imdb.reviews`
      LIMIT 5
    ),
    STRUCT(
      0.2 AS temperature,
      100 AS max_output_tokens));

A saída é semelhante à seguinte, com as colunas não geradas omitidas para fins de esclarecimento:

+--------------------------------------------+-------------------------+----------------------------+-----+
| generated_text                             | ml_generate_text_status | prompt                     | ... |
+--------------------------------------------+-------------------------+----------------------------+-----+
| {"parts":[{"text":"## Sentiment Analysis:  |                         | perform sentiment analysis |     |
| Negative \n\nThis text expresses a         |                         | on the following text,     |     |
| strongly negative sentiment towards the    |                         | return one the following   |     |
| movie. Here's why:\n\n* **Negative         |                         | negative: I  had to see    |     |
| like \"terribly,\" \"dumb,\" and           |                         | this on the British        |     |
| \"not even\" to describe the acting...     |                         | Airways plane. It was...   |     |
+--------------------------------------------+-------------------------+----------------------------+-----+
| {"parts":[{"text":"## Sentiment Analysis:  |                         | perform sentiment analysis |     |
| Negative \n\nThis review expresses a       |                         | on the following text,     |     |
| predominantly negative sentiment towards   |                         | return one the following   |     |
| the movie \"The Real Howard Spitz.\"       |                         | categories: positive,      |     |
| Here's why:\n\n* **Criticism of the film's |                         | negative: This is a family |     |
| premise:** The reviewer finds it strange   |                         | movie that was broadcast   |     |
| that a film about a children's author...   |                         | on my local ITV station... |     |
+--------------------------------------------+-------------------------+----------------------------+-----+

Os resultados incluem as mesmas colunas documentadas para Realizar a extração de palavra-chave.

Limpar

Cuidado: excluir um projeto tem os seguintes efeitos:

Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

In the Google Cloud console, go to the Manage resources page.
Go to Manage resources
In the project list, select the project that you want to delete, and then click Delete.
In the dialog, type the project ID, and then click Shut down to delete the project.