Analisar dados multimodais em Python com o BigQuery DataFrames

Este tutorial mostra como analisar dados multimodais em um notebook Python usando classes e métodos do BigQuery DataFrames.

Este tutorial usa o catálogo de produtos do conjunto de dados público da loja de animais de estimação Cymbal.

Para fazer upload de um notebook já preenchido com as tarefas abordadas neste tutorial, consulte DataFrame multimodal do BigFrames.

Objetivos

  • Crie DataFrames multimodais.
  • Combine dados estruturados e não estruturados em um DataFrame.
  • Transformar imagens.
  • Gerar texto e embeddings com base em dados de imagem.
  • Divida os PDFs em partes para análise mais detalhada.

Custos

Neste documento, você vai usar os seguintes componentes faturáveis do Google Cloud:

  • BigQuery: you incur costs for the data that you process in BigQuery.
  • BigQuery Python UDFs: you incur costs for using BigQuery DataFrames image transformation and chunk PDF methods.
  • Cloud Storage: you incur costs for the objects stored in Cloud Storage.
  • Vertex AI: you incur costs for calls to Vertex AI models.

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Para mais informações, consulte as seguintes páginas de preços:

Antes de começar

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the BigQuery, BigQuery Connection, Cloud Storage, and Vertex AI APIs.

    Enable the APIs

Funções exigidas

Para conseguir as permissões necessárias para concluir este tutorial, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Configurar

Nesta seção, você vai criar o bucket do Cloud Storage, a conexão e o notebook usados neste tutorial.

Criar um bucket

Crie um bucket do Cloud Storage para armazenar objetos transformados:

  1. No console Google Cloud , acesse a página Buckets.

    Acessar buckets

  2. Clique em Criar.

  3. Na página Criar um bucket, na seção Começar, insira um nome globalmente exclusivo que atenda aos requisitos de nome de bucket.

  4. Clique em Criar.

Crie uma conexão

Crie uma Conexão de recursos do Cloud e tenha acesso à conta de serviço da conexão. O BigQuery usa a conexão para acessar objetos no Cloud Storage.

  1. Acessar a página do BigQuery.

    Ir para o BigQuery

  2. No painel Explorer, clique em Adicionar dados.

    A caixa de diálogo Adicionar dados é aberta.

  3. No painel Filtrar por, na seção Tipo de fonte de dados, selecione Aplicativos comerciais.

    Como alternativa, no campo Pesquisar fontes de dados, insira Vertex AI.

  4. Na seção Fontes de dados em destaque, clique em Vertex AI.

  5. Clique no card da solução Modelos da Vertex AI: federação do BigQuery.

  6. Na lista Tipo de conexão, selecione Modelos remotos da Vertex AI, funções remotas e BigLake (recurso do Cloud).

  7. No campo ID da conexão, digite bigframes-default-connection.

  8. Clique em Criar conexão.

  9. Clique em Ir para conexão.

  10. No painel Informações da conexão, copie o ID da conta de serviço para uso em uma etapa posterior.

Conceder permissões para a conta de serviço do portal

Conceda à conta de serviço da conexão os papéis necessários para acessar o Cloud Storage e a Vertex AI. É necessário conceder essas funções no mesmo projeto que você criou ou selecionou na seção Antes de começar.

Para conceder o papel, siga estas etapas:

  1. Acessar a página AM e administrador

    Acessar IAM e administrador

  2. Clique em CONCEDER ACESSO.

  3. No campo Novos principais, digite o ID da conta de serviço que você copiou anteriormente.

  4. No campo Selecionar papel, escolha Cloud Storage e, em seguida, Usuário de objetos do Storage.

  5. Clique em Adicionar outro papel.

  6. No campo Selecionar um papel, selecione Vertex AI e, em seguida, selecione Usuário da Vertex AI.

  7. Clique em Salvar.

Criar um notebook

Crie um notebook em que você possa executar código Python:

  1. Acessar a página do BigQuery.

    Acessar o BigQuery

  2. Na barra de guias do painel do editor, clique na seta suspensa ao lado de Consulta SQL e clique em Notebook.

  3. No painel Começar com um modelo, clique em Fechar.

  4. Clique em Conectar > Conectar a um ambiente de execução.

  5. Se você tiver um ambiente de execução, aceite as configurações padrão e clique em Conectar. Se você não tiver um ambiente de execução, selecione Criar novo ambiente de execução e clique em Conectar.

    A configuração do ambiente de execução pode levar alguns minutos.

Criar um DataFrame multimodal

Crie um DataFrame multimodal que integre dados estruturados e não estruturados usando o método from_glob_path da classe Session:

  1. No notebook, crie uma célula de código e copie o seguinte código nela: 
    import bigframes

# Flags to control preview image/video preview size
bigframes.options.display.blob_display_width = 300

import bigframes.pandas as bpd

# Create blob columns from wildcard path.
df_image = bpd.from_glob_path(
    "gs://cloud-samples-data/bigquery/tutorials/cymbal-pets/images/*", name="image"
)
# Other ways are: from string uri column
# df = bpd.DataFrame({"uri": ["gs://<my_bucket>/<my_file_0>", "gs://<my_bucket>/<my_file_1>"]})
# df["blob_col"] = df["uri"].str.to_blob()

# From an existing object table
# df = bpd.read_gbq_object_table("<my_object_table>", name="blob_col")

# Take only the 5 images to deal with. Preview the content of the Mutimodal DataFrame
df_image = df_image.head(5)
df_image

  2. Clique em Executar.

    A chamada final para df_image retorna as imagens que foram adicionadas ao DataFrame. Como alternativa, você pode chamar o método .display.

Combinar dados estruturados e não estruturados no DataFrame

Combine dados de texto e imagem no DataFrame multimodal:

  1. No notebook, crie uma célula de código e copie o seguinte código nela: 
    # Combine unstructured data with structured data
df_image["author"] = ["alice", "bob", "bob", "alice", "bob"]  # type: ignore
df_image["content_type"] = df_image["image"].blob.content_type()
df_image["size"] = df_image["image"].blob.size()
df_image["updated"] = df_image["image"].blob.updated()
df_image

  2. Clique em Executar .

    O código retorna os dados do DataFrame.

  3. No notebook, crie uma célula de código e copie o seguinte código nela: 

    # Filter images and display, you can also display audio and video types. Use width/height parameters to constrain window sizes.
df_image[df_image["author"] == "alice"]["image"].blob.display()

  4. Clique em Executar .

    O código retorna imagens do DataFrame em que o valor da coluna author é alice.

Fazer transformações de imagem

Transforme dados de imagem usando os seguintes métodos da classe Series.BlobAccessor:

As imagens transformadas são gravadas no Cloud Storage.

Transformar imagens:

  1. No notebook, crie uma célula de código e copie o seguinte código nela: 
    df_image["blurred"] = df_image["image"].blob.image_blur(
    (20, 20), dst=f"{dst_bucket}/image_blur_transformed/", engine="opencv"
)
df_image["resized"] = df_image["image"].blob.image_resize(
    (300, 200), dst=f"{dst_bucket}/image_resize_transformed/", engine="opencv"
)
df_image["normalized"] = df_image["image"].blob.image_normalize(
    alpha=50.0,
    beta=150.0,
    norm_type="minmax",
    dst=f"{dst_bucket}/image_normalize_transformed/",
    engine="opencv",
)

# You can also chain functions together
df_image["blur_resized"] = df_image["blurred"].blob.image_resize(
    (300, 200), dst=f"{dst_bucket}/image_blur_resize_transformed/", engine="opencv"
)
df_image
  2. Atualize todas as referências a {dst_bucket} para se referirem ao bucket que você criou, no formato gs://mybucket.

  3. Clique em Executar .

    O código retorna as imagens originais e todas as transformações delas.

Gerar texto

Gere texto de dados multimodais usando o método predict da classe GeminiTextGenerator:

  1. No notebook, crie uma célula de código e copie o seguinte código nela: 
    from bigframes.ml import llm

gemini = llm.GeminiTextGenerator(model_name="gemini-2.0-flash-001")

# Deal with first 2 images as example
df_image = df_image.head(2)

# Ask the same question on the images
df_image = df_image.head(2)
answer = gemini.predict(df_image, prompt=["what item is it?", df_image["image"]])
answer[["ml_generate_text_llm_result", "image"]]

  2. Clique em Executar .

    O código retorna as duas primeiras imagens em df_image, além do texto gerado em resposta à pergunta what item is it? para ambas as imagens.

  3. No notebook, crie uma célula de código e copie o seguinte código nela: 

    # Ask different questions
df_image["question"] = [  # type: ignore
    "what item is it?",
    "what color is the picture?",
]
answer_alt = gemini.predict(
    df_image, prompt=[df_image["question"], df_image["image"]]
)
answer_alt[["ml_generate_text_llm_result", "image"]]

  4. Clique em Executar .

    O código retorna as duas primeiras imagens em df_image, com texto gerado em resposta à pergunta what item is it? para a primeira imagem e texto gerado em resposta à pergunta what color is the picture? para a segunda imagem.

Gerar embeddings

Gere embeddings para dados multimodais usando o método predict da classe MultimodalEmbeddingGenerator:

  1. No notebook, crie uma célula de código e copie o seguinte código nela: 
    # Generate embeddings on images
embed_model = llm.MultimodalEmbeddingGenerator()
embeddings = embed_model.predict(df_image["image"])
embeddings

  2. Clique em Executar .

    O código retorna os embeddings gerados por uma chamada a um modelo de embedding.

Dividir PDFs em partes

Divida os objetos PDF usando o método pdf_chunk da classe Series.BlobAccessor:

  1. No notebook, crie uma célula de código e copie o seguinte código nela: 
    # PDF chunking
df_pdf = bpd.from_glob_path(
    "gs://cloud-samples-data/bigquery/tutorials/cymbal-pets/documents/*", name="pdf"
)
df_pdf["chunked"] = df_pdf["pdf"].blob.pdf_chunk(engine="pypdf")
chunked = df_pdf["chunked"].explode()
chunked

  2. Clique em Executar .

    O código retorna os dados do PDF em partes.

Limpar

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.