Veja descrições de imagens usando legendas visuais

As legendas visuais permitem que você gere uma descrição relevante para uma imagem. Essas informações podem ser usadas para vários usos:

• Receba metadados mais detalhados sobre imagens para armazenamento e pesquisa.
• Gere legendas automáticas para oferecer suporte aos casos de uso de acessibilidade.
• Receba descrições rápidas de produtos e recursos visuais.

Fonte da imagem: Santhosh Kumar em Unsplash (cortada)

Legenda (formato curto): uma camisa azul com bolinhas brancas está pendurada em um gancho

Idiomas compatíveis

As legendas visuais estão disponíveis nos seguintes idiomas:

• Inglês (en)
• Francês (fr)
• Alemão (de)
• Italiano (it)
• Espanhol (es)

Desempenho e limitações

Os limites a seguir se aplicam quando você usa esse modelo :

As estimativas de latência de serviço a seguir se aplicam quando você usa esse modelo. Estes valores são ilustrativos e não são uma promessa de serviço:

Locais

Um local é uma região que pode ser especificada em uma solicitação para controlar onde os dados são armazenados em repouso. Para uma lista de regiões disponíveis, consulte IA generativa em locais da Vertex AI.

Filtragem de segurança da IA responsável

O modelo de recurso de legendagem de imagens e de resposta visual a perguntas (VQA, na sigla em inglês) não aceita filtros de segurança configuráveis pelo usuário. No entanto, a filtragem de segurança geral do Imagen ocorre nos seguintes dados:

• Entrada do usuário
• Saída do modelo

Como resultado, a saída poderá ser diferente da saída da amostra se o Imagen aplicar esses filtros de segurança. Confira estes exemplos.

Entrada filtrada

Se a entrada for filtrada, a resposta será semelhante a esta:

{
  "error": {
    "code": 400,
    "message": "Media reasoning failed with the following error: The response is blocked, as it may violate our policies. If you believe this is an error, please send feedback to your account team. Error Code: 63429089, 72817394",
    "status": "INVALID_ARGUMENT",
    "details": [
      {
        "@type": "type.googleapis.com/google.rpc.DebugInfo",
        "detail": "[ORIGINAL ERROR] generic::invalid_argument: Media reasoning failed with the following error: The response is blocked, as it may violate our policies. If you believe this is an error, please send feedback to your account team. Error Code: 63429089, 72817394 [google.rpc.error_details_ext] { message: \"Media reasoning failed with the following error: The response is blocked, as it may violate our policies. If you believe this is an error, please send feedback to your account team. Error Code: 63429089, 72817394\" }"
      }
    ]
  }
}

Saída filtrada

Se o número de respostas retornadas for menor que a contagem de amostras especificada, isso significa que as respostas incompletas serão filtradas pela IA responsável. Por exemplo, o seguinte é uma resposta a uma solicitação com "sampleCount": 2, mas uma das respostas é filtrada:

{
  "predictions": [
    "cappuccino"
  ]
}

Se toda a saída for filtrada, a resposta será um objeto vazio semelhante a este:

{}

Usar legendas de imagens curtas

Use os exemplos a seguir para gerar legendas curtas para uma imagem.

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagetext:predict

{
  "instances": [
    {
      "image": {
          "bytesBase64Encoded": "B64_IMAGE"
      }
    }
  ],
  "parameters": {
    "sampleCount": RESPONSE_COUNT,
    "language": "LANGUAGE_CODE"
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagetext:predict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagetext:predict" | Select-Object -Expand Content

{
  "predictions": [
    "a yellow mug with a sheep on it sits next to a slice of cake",
    "a cup of coffee with a heart shaped latte art next to a slice of cake"
  ],
  "deployedModelId": "DEPLOYED_MODEL_ID",
  "model": "projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID",
  "modelDisplayName": "MODEL_DISPLAYNAME",
  "modelVersionId": "1"
}

{
  "predictions": [
    "una taza de café junto a un plato de pastel de chocolate",
    "una taza de café con una forma de corazón en la espuma"
  ]
}

import vertexai
from vertexai.preview.vision_models import Image, ImageTextModel

# TODO(developer): Update and un-comment below lines
# project_id = "PROJECT_ID"
# input_file = "my-input.png"

vertexai.init(project=project_id, location="us-central1")

model = ImageTextModel.from_pretrained("imagetext@001")
source_img = Image.load_from_file(location=input_file)

captions = model.get_captions(
    image=source_img,
    # Optional parameters
    language="en",
    number_of_results=1,
)

print(captions)

Usar parâmetros para a legendagem de imagens

Ao receber legendas de imagens, há vários parâmetros que podem ser definidos, de acordo com o caso de uso.

Número de resultados

Use o parâmetro de número de resultados para limitar a quantidade de legendas retornadas para cada solicitação enviada. Para mais informações, consulte a referência da API do modelo imagetext (legendagem de imagens).

Número da semente

Um número que você adiciona a uma solicitação para tornar as descrições geradas determinísticas. Adicionar um número de origem à solicitação é uma maneira de garantir que você sempre receba a mesma previsão (descrições) todas as vezes. No entanto, as legendas das imagens não são necessariamente retornadas na mesma ordem. Para mais informações, consulte a referência da API do modelo imagetext (legendagem de imagens).

A seguir

Confira artigos sobre o Imagen e outras IAs generativas nos produtos da Vertex AI:

• Guia para desenvolvedores sobre como começar a usar o Imagen 3 na Vertex AI
• Novos modelos e ferramentas de mídia generativa criados com criadores para criadores
• Novidades no Gemini: Gems personalizados e geração de imagens aprimorada com o Imagen 3
• Google DeepMind: Imagen 3 — Nosso modelo de qualidade mais alta para conversão de texto em imagem