Remover objetos de uma imagem usando o retoque

Nesta página, descrevemos como remover objetos de uma imagem. Com o Imagen na Vertex AI, é possível especificar uma área de máscara, chamada de repintura, para remover objetos de uma imagem. É possível usar sua própria máscara ou permitir que o Imagen na Vertex AI gere uma máscara para você.

Exemplo de remoção de conteúdo

O exemplo a seguir usa o retoque para remover conteúdo de uma imagem atual usando uma máscara de imagem:

Entradas

Imagem de base* para editar	Mascarar a área especificada usando ferramentas no console Google Cloud	Comando de texto
		Comando: (nenhum comando fornecido)

^{* Crédito da imagem: Inside Weather no Unsplash.}

Saída após especificar uma área da máscara no Google Cloud console

Ver o card do modelo do Imagen para edição e personalização

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Enable the API

1. Configure a autenticação do ambiente.

   Select the tab for how you plan to use the samples on this page:

   Console

   When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

   Java

   Para usar os exemplos Java desta página em um ambiente de desenvolvimento local, instale e inicialize a CLI gcloud e configure o Application Default Credentials com suas credenciais de usuário.

   Instale a CLI do Google Cloud.

   Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

   If you're using a local shell, then create local authentication credentials for your user account:

   gcloud auth application-default login

   You don't need to do this if you're using Cloud Shell.

   If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

   Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local na documentação de autenticação do Google Cloud .

   Node.js

   Para usar os exemplos Node.js desta página em um ambiente de desenvolvimento local, instale e inicialize a CLI gcloud e configure o Application Default Credentials com suas credenciais de usuário.

   Instale a CLI do Google Cloud.

   Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

   If you're using a local shell, then create local authentication credentials for your user account:

   gcloud auth application-default login

   You don't need to do this if you're using Cloud Shell.

   If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

   Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local na documentação de autenticação do Google Cloud .

   Python

   Para usar os exemplos Python desta página em um ambiente de desenvolvimento local, instale e inicialize a CLI gcloud e configure o Application Default Credentials com suas credenciais de usuário.

   Instale a CLI do Google Cloud.

   Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

   If you're using a local shell, then create local authentication credentials for your user account:

   gcloud auth application-default login

   You don't need to do this if you're using Cloud Shell.

   If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

   Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local na documentação de autenticação do Google Cloud .

   REST

   Para usar as amostras da API REST nesta página em um ambiente de desenvolvimento local, use as credenciais fornecidas para a CLI gcloud.

   Instale a CLI do Google Cloud.

   Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

   Para mais informações, consulte Autenticar para usar REST na documentação de autenticação do Google Cloud .

   Remover com uma área de máscara definida

   Use os exemplos a seguir para especificar o retoque para remover o conteúdo. Nessas amostras, você especifica uma imagem de base, um prompt de texto e uma área de máscara para modificar a imagem de base.

   Imagen 3

   Use os exemplos a seguir para enviar uma solicitação de repintura usando o modelo do Imagen 3.

   Console

   1. No console do Google Cloud , acesse a página Vertex AI > Media Studio .

      Acessar o Media Studio

   2. Clique em Fazer upload. Na caixa de diálogo de arquivos exibida, selecione um arquivo para fazer upload.
   3. Clique em Pintar.
   4. No painel Parâmetros, clique em Pintar (remover).

   5. Escolha uma destas opções:

      • Fazer upload da sua própria máscara:
        1. Crie uma máscara no computador.
        2. Clique em Fazer upload da máscara. Na caixa de diálogo exibida, selecione uma máscara para fazer upload.
      • Defina sua própria máscara:na barra de ferramentas de edição, use as ferramentas de máscara (check_box_outline_blankcaixa, brushpincel ou masked_transitions inverter) para especificar a área ou áreas às quais adicionar conteúdo.
   6. Opcional: no painel Parâmetros, ajuste as seguintes opções:
      • Modelo: o modelo do Imagen a ser usado
      • Número de resultados: o número de resultados a serem gerados.
      • Comando negativo: itens a serem evitados na geração
   7. No campo de comando, digite um comando para modificar a imagem.
   8. Clique em play_arrowGerar.

   Python

   Instalar

   pip install --upgrade google-genai

   Para saber mais, consulte a documentação de referência do SDK.

   Defina variáveis de ambiente para usar o SDK de IA generativa com a Vertex AI:

   # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
   # with appropriate values for your project.
   export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
   export GOOGLE_CLOUD_LOCATION=us-central1
   export GOOGLE_GENAI_USE_VERTEXAI=True

   from google import genai
   from google.genai.types import (
       RawReferenceImage,
       MaskReferenceImage,
       MaskReferenceConfig,
       EditImageConfig,
   )
   
   client = genai.Client()
   
   # TODO(developer): Update and un-comment below line
   # output_file = "output-image.png"
   
   raw_ref = RawReferenceImage(
       reference_image=Image.from_file(location="test_resources/fruit.png"),
       reference_id=0,
   )
   mask_ref = MaskReferenceImage(
       reference_id=1,
       reference_image=Image.from_file(location="test_resources/fruit_mask.png"),
       config=MaskReferenceConfig(
           mask_mode="MASK_MODE_USER_PROVIDED",
           mask_dilation=0.01,
       ),
   )
   
   image = client.models.edit_image(
       model="imagen-3.0-capability-001",
       prompt="",
       reference_images=[raw_ref, mask_ref],
       config=EditImageConfig(
           edit_mode="EDIT_MODE_INPAINT_REMOVAL",
       ),
   )
   
   image.generated_images[0].image.save(output_file)
   
   print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
   # Example response:
   # Created output image using 1234567 bytes
   

   REST

   Para mais informações, consulte a referência da API Editar imagens.

   Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

   • PROJECT_ID: o ID do projeto do Google Cloud .
   • LOCATION: a região do seu projeto. Por exemplo, us-central1, europe-west2 ou asia-northeast3. Para uma lista de regiões disponíveis, consulte IA generativa em locais da Vertex AI.
   • prompt: para melhores resultados, omita um comando e negativePrompt ao usar a pintura interna para remoção.
   • B64_BASE_IMAGE: a imagem de base que será editada ou aprimorada. A imagem precisa ser especificada como uma string de bytes codificada em base64. Limite de tamanho: 10 MB.
   • B64_MASK_IMAGE: a imagem em preto e branco que você quer usar como uma camada de máscara para editar a imagem original. A imagem precisa ser especificada como uma string de bytes codificada em base64. Limite de tamanho: 10 MB.
   • MASK_DILATION: ponto flutuante. A porcentagem da largura da imagem para dilatar essa máscara. Um valor de 0.01 é recomendado para compensar máscaras de entrada imperfeitas.
   • EDIT_STEPS: número inteiro. O número de etapas de amostragem para o modelo de base. Para a remoção de inpainting, comece com 12 etapas. Aumente as etapas até o limite superior de 75 se a qualidade não atender aos seus requisitos. Aumentar as etapas também aumenta a latência da solicitação.
   • EDIT_IMAGE_COUNT: o número de imagens editadas. Valores inteiros aceitos: 1 a 4. Valor padrão: 4.

   Método HTTP e URL:

   POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

   Corpo JSON da solicitação:

   {
     "instances": [
       {
         "prompt": "",
         "referenceImages": [
           {
             "referenceType": "REFERENCE_TYPE_RAW",
             "referenceId": 1,
             "referenceImage": {
               "bytesBase64Encoded": "B64_BASE_IMAGE"
             }
           },
           {
             "referenceType": "REFERENCE_TYPE_MASK",
             "referenceId": 2,
             "referenceImage": {
               "bytesBase64Encoded": "B64_MASK_IMAGE"
             },
             "maskImageConfig": {
               "maskMode": "MASK_MODE_USER_PROVIDED",
               "dilation": MASK_DILATION
             }
           }
         ]
       }
     ],
     "parameters": {
       "editConfig": {
         "baseSteps": EDIT_STEPS
       },
       "editMode": "EDIT_MODE_INPAINT_REMOVAL",
       "sampleCount": EDIT_IMAGE_COUNT
     }
   }
   

   Para enviar a solicitação, escolha uma destas opções:

   curl

   Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

   PowerShell

   Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content

   O exemplo de resposta a seguir é para uma solicitação com "sampleCount": 2. A resposta retorna dois objetos de previsão, com os bytes de imagem gerados codificados em base64.

   {
     "predictions": [
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "mimeType": "image/png",
         "bytesBase64Encoded": "BASE64_IMG_BYTES"
       }
     ]
   }
   

   Imagen 2

   Use os exemplos a seguir para enviar uma solicitação de pintura usando o modelo do Imagen 2.

   Console

   1. No console do Google Cloud , acesse a página Vertex AI > Media Studio .

      Acessar o Media Studio

   2. No painel inferior de tarefas, clique em editEditar imagem.

   3. Clique em Fazer upload para selecionar a imagem do produto armazenada localmente a ser editada.

   4. Na barra de ferramentas de edição, use as ferramentas de máscara (check_box_outline_blankcaixa, brushpincel ou masked_transitions inverter) para especificar a área ou áreas das quais remover conteúdo.

   5. Opcional. No painel Parâmetros, ajuste o Número de resultados, o Comando negativo (opcional para remoção), a Orientação de solicitação de texto ou outros parâmetros.

   6. Deixe o campo de solicitação em branco.

   7. Clique em play_arrowGerar.

   REST

   Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

   • PROJECT_ID: o ID do projeto do Google Cloud .
   • LOCATION: a região do seu projeto. Por exemplo, us-central1, europe-west2 ou asia-northeast3. Para uma lista de regiões disponíveis, consulte IA generativa em locais da Vertex AI.
   • B64_BASE_IMAGE: a imagem de base que será editada ou aprimorada. A imagem precisa ser especificada como uma string de bytes codificada em base64. Limite de tamanho: 10 MB.
   • B64_MASK_IMAGE: a imagem em preto e branco que você quer usar como uma camada de máscara para editar a imagem original. A imagem precisa ser especificada como uma string de bytes codificada em base64. Limite de tamanho: 10 MB.
   • EDIT_IMAGE_COUNT: o número de imagens editadas. Valor padrão: 4.

   Método HTTP e URL:

   POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict

   Corpo JSON da solicitação:

   {
     "instances": [
       {
         "prompt": "",
         "image": {
             "bytesBase64Encoded": "B64_BASE_IMAGE"
         },
         "mask": {
           "image": {
             "bytesBase64Encoded": "B64_MASK_IMAGE"
           }
         }
       }
     ],
     "parameters": {
       "sampleCount": EDIT_IMAGE_COUNT,
       "editConfig": {
         "editMode": "inpainting-remove"
       }
     }
   }
   

   Para enviar a solicitação, escolha uma destas opções:

   curl

   Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict"

   PowerShell

   Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict" | Select-Object -Expand Content

   O exemplo de resposta a seguir é para uma solicitação com "sampleCount": 2. A resposta retorna dois objetos de previsão, com os bytes de imagem gerados codificados em base64.

   {
     "predictions": [
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "mimeType": "image/png",
         "bytesBase64Encoded": "BASE64_IMG_BYTES"
       }
     ]
   }
   

   Python

   Para saber como instalar o SDK da Vertex AI para Python, consulte Instalar o SDK da Vertex AI para Python. Para mais informações, consulte a documentação de referência da API Python.

   
   import vertexai
   from vertexai.preview.vision_models import Image, ImageGenerationModel
   
   # TODO(developer): Update and un-comment below lines
   # PROJECT_ID = "your-project-id"
   # input_file = "input-image.png"
   # mask_file = "mask-image.png"
   # output_file = "outpur-image.png"
   # prompt = "" # The text prompt describing the entire image.
   
   vertexai.init(project=PROJECT_ID, location="us-central1")
   
   model = ImageGenerationModel.from_pretrained("imagegeneration@006")
   base_img = Image.load_from_file(location=input_file)
   mask_img = Image.load_from_file(location=mask_file)
   
   images = model.edit_image(
       base_image=base_img,
       mask=mask_img,
       prompt=prompt,
       edit_mode="inpainting-remove",
       # Optional parameters
       # negative_prompt="", # Describes the object being removed (i.e., "person")
   )
   
   images[0].save(location=output_file, include_generation_parameters=False)
   
   # Optional. View the edited image in a notebook.
   # images[0].show()
   
   print(f"Created output image using {len(images[0]._image_bytes)} bytes")
   # Example response:
   # Created output image using 12345678 bytes
   

   Java

   Antes de testar esse exemplo, siga as instruções de configuração para Java no Guia de início rápido da Vertex AI sobre como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Vertex AI para Java.

   Para autenticar na Vertex AI, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

   Neste exemplo, você especifica o modelo como parte de um EndpointName. O EndpointName é transmitido ao método predict, que é chamado em um PredictionServiceClient. O serviço retorna uma versão editada da imagem, que é salva localmente.

   Para mais informações sobre versões e recursos do modelo, consulte Modelos do Imagen.

   
   import com.google.api.gax.rpc.ApiException;
   import com.google.cloud.aiplatform.v1.EndpointName;
   import com.google.cloud.aiplatform.v1.PredictResponse;
   import com.google.cloud.aiplatform.v1.PredictionServiceClient;
   import com.google.cloud.aiplatform.v1.PredictionServiceSettings;
   import com.google.gson.Gson;
   import com.google.protobuf.InvalidProtocolBufferException;
   import com.google.protobuf.Value;
   import com.google.protobuf.util.JsonFormat;
   import java.io.IOException;
   import java.nio.file.Files;
   import java.nio.file.Path;
   import java.nio.file.Paths;
   import java.util.Base64;
   import java.util.Collections;
   import java.util.HashMap;
   import java.util.Map;
   
   public class EditImageInpaintingRemoveMaskSample {
   
     public static void main(String[] args) throws IOException {
       // TODO(developer): Replace these variables before running the sample.
       String projectId = "my-project-id";
       String location = "us-central1";
       String inputPath = "/path/to/my-input.png";
       String maskPath = "/path/to/my-mask.png";
       String prompt = ""; // The text prompt describing the entire image.
   
       editImageInpaintingRemoveMask(projectId, location, inputPath, maskPath, prompt);
     }
   
     // Edit an image using a mask file. Inpainting can remove an object from the masked area.
     public static PredictResponse editImageInpaintingRemoveMask(
         String projectId, String location, String inputPath, String maskPath, String prompt)
         throws ApiException, IOException {
       final String endpoint = String.format("%s-aiplatform.googleapis.com:443", location);
       PredictionServiceSettings predictionServiceSettings =
           PredictionServiceSettings.newBuilder().setEndpoint(endpoint).build();
   
       // Initialize client that will be used to send requests. This client only needs to be created
       // once, and can be reused for multiple requests.
       try (PredictionServiceClient predictionServiceClient =
           PredictionServiceClient.create(predictionServiceSettings)) {
   
         final EndpointName endpointName =
             EndpointName.ofProjectLocationPublisherModelName(
                 projectId, location, "google", "imagegeneration@006");
   
         // Encode image and mask to Base64
         String imageBase64 =
             Base64.getEncoder().encodeToString(Files.readAllBytes(Paths.get(inputPath)));
         String maskBase64 =
             Base64.getEncoder().encodeToString(Files.readAllBytes(Paths.get(maskPath)));
   
         // Create the image and image mask maps
         Map<String, String> imageMap = new HashMap<>();
         imageMap.put("bytesBase64Encoded", imageBase64);
   
         Map<String, String> maskMap = new HashMap<>();
         maskMap.put("bytesBase64Encoded", maskBase64);
         Map<String, Map> imageMaskMap = new HashMap<>();
         imageMaskMap.put("image", maskMap);
   
         Map<String, Object> instancesMap = new HashMap<>();
         instancesMap.put("prompt", prompt); // [ "prompt", "<my-prompt>" ]
         instancesMap.put(
             "image", imageMap); // [ "image", [ "bytesBase64Encoded", "iVBORw0KGgo...==" ] ]
         instancesMap.put(
             "mask",
             imageMaskMap); // [ "mask", [ "image", [ "bytesBase64Encoded", "iJKDF0KGpl...==" ] ] ]
         instancesMap.put("editMode", "inpainting-remove"); // [ "editMode", "inpainting-remove" ]
         Value instances = mapToValue(instancesMap);
   
         // Optional parameters
         Map<String, Object> paramsMap = new HashMap<>();
         paramsMap.put("sampleCount", 1);
         Value parameters = mapToValue(paramsMap);
   
         PredictResponse predictResponse =
             predictionServiceClient.predict(
                 endpointName, Collections.singletonList(instances), parameters);
   
         for (Value prediction : predictResponse.getPredictionsList()) {
           Map<String, Value> fieldsMap = prediction.getStructValue().getFieldsMap();
           if (fieldsMap.containsKey("bytesBase64Encoded")) {
             String bytesBase64Encoded = fieldsMap.get("bytesBase64Encoded").getStringValue();
             Path tmpPath = Files.createTempFile("imagen-", ".png");
             Files.write(tmpPath, Base64.getDecoder().decode(bytesBase64Encoded));
             System.out.format("Image file written to: %s\n", tmpPath.toUri());
           }
         }
         return predictResponse;
       }
     }
   
     private static Value mapToValue(Map<String, Object> map) throws InvalidProtocolBufferException {
       Gson gson = new Gson();
       String json = gson.toJson(map);
       Value.Builder builder = Value.newBuilder();
       JsonFormat.parser().merge(json, builder);
       return builder.build();
     }
   }
   

   Node.js

   Antes de testar esse exemplo, siga as instruções de configuração para Node.js no Guia de início rápido da Vertex AI sobre como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Vertex AI para Node.js.

   Para autenticar na Vertex AI, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

   Neste exemplo, você chama o método predict em um PredictionServiceClient. O serviço gera imagens que são salvas localmente. Para mais informações sobre versões e recursos do modelo, consulte Modelos do Imagen.

   /**
    * TODO(developer): Update these variables before running the sample.
    */
   const projectId = process.env.CAIP_PROJECT_ID;
   const location = 'us-central1';
   const inputFile = 'resources/volleyball_game.png';
   const maskFile = 'resources/volleyball_game_inpainting_remove_mask.png';
   const prompt = 'volleyball game';
   
   const aiplatform = require('@google-cloud/aiplatform');
   
   // Imports the Google Cloud Prediction Service Client library
   const {PredictionServiceClient} = aiplatform.v1;
   
   // Import the helper module for converting arbitrary protobuf.Value objects
   const {helpers} = aiplatform;
   
   // Specifies the location of the api endpoint
   const clientOptions = {
     apiEndpoint: `${location}-aiplatform.googleapis.com`,
   };
   
   // Instantiates a client
   const predictionServiceClient = new PredictionServiceClient(clientOptions);
   
   async function editImageInpaintingRemoveMask() {
     const fs = require('fs');
     const util = require('util');
     // Configure the parent resource
     const endpoint = `projects/${projectId}/locations/${location}/publishers/google/models/imagegeneration@006`;
   
     const imageFile = fs.readFileSync(inputFile);
     // Convert the image data to a Buffer and base64 encode it.
     const encodedImage = Buffer.from(imageFile).toString('base64');
   
     const maskImageFile = fs.readFileSync(maskFile);
     // Convert the image mask data to a Buffer and base64 encode it.
     const encodedMask = Buffer.from(maskImageFile).toString('base64');
   
     const promptObj = {
       prompt: prompt, // The text prompt describing the entire image
       editMode: 'inpainting-remove',
       image: {
         bytesBase64Encoded: encodedImage,
       },
       mask: {
         image: {
           bytesBase64Encoded: encodedMask,
         },
       },
     };
     const instanceValue = helpers.toValue(promptObj);
     const instances = [instanceValue];
   
     const parameter = {
       // Optional parameters
       seed: 100,
       // Controls the strength of the prompt
       // 0-9 (low strength), 10-20 (medium strength), 21+ (high strength)
       guidanceScale: 21,
       sampleCount: 1,
     };
     const parameters = helpers.toValue(parameter);
   
     const request = {
       endpoint,
       instances,
       parameters,
     };
   
     // Predict request
     const [response] = await predictionServiceClient.predict(request);
     const predictions = response.predictions;
     if (predictions.length === 0) {
       console.log(
         'No image was generated. Check the request parameters and prompt.'
       );
     } else {
       let i = 1;
       for (const prediction of predictions) {
         const buff = Buffer.from(
           prediction.structValue.fields.bytesBase64Encoded.stringValue,
           'base64'
         );
         // Write image content to the output file
         const writeFile = util.promisify(fs.writeFile);
         const filename = `output${i}.png`;
         await writeFile(filename, buff);
         console.log(`Saved image ${filename}`);
         i++;
       }
     }
   }
   await editImageInpaintingRemoveMask();

   Remover com detecção automática de máscaras

   Use os exemplos a seguir para especificar o retoque para remover o conteúdo. Nessas amostras, você especifica uma imagem de base e um comando de texto. O Imagen detecta e cria automaticamente uma área de máscara para modificar a imagem de base.

   Imagen 3

   Use os exemplos a seguir para enviar uma solicitação de repintura usando o modelo do Imagen 3.

   Console

   1. No console do Google Cloud , acesse a página Vertex AI > Media Studio .

      Acessar o Media Studio

   2. Clique em Fazer upload. Na caixa de diálogo de arquivos exibida, selecione um arquivo para fazer upload.
   3. Clique em Pintar.
   4. No painel Parâmetros, selecione Repintura (remover).
   5. Na barra de ferramentas de edição, clique em background_replaceExtrair.

   6. Selecione uma das opções de extração de máscara:

      • Elementos de segundo plano: detecta os elementos de segundo plano e cria uma máscara em torno deles.
      • wallpaperElementos em primeiro plano: detecta os objetos em primeiro plano e cria uma máscara ao redor deles.
      • background_replacePessoas: detecta pessoas e cria uma máscara ao redor delas.
   7. Opcional: no painel Parâmetros, ajuste as seguintes opções:
      • Modelo: o modelo do Imagen a ser usado
      • Número de resultados: o número de resultados a serem gerados.
      • Comando negativo: itens a serem evitados na geração
   8. No campo de prompt, digite um novo prompt para modificar a imagem.
   9. Clique em enviarGerar.

   Python

   Instalar

   pip install --upgrade google-genai

   Para saber mais, consulte a documentação de referência do SDK.

   Defina variáveis de ambiente para usar o SDK de IA generativa com a Vertex AI:

   # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
   # with appropriate values for your project.
   export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
   export GOOGLE_CLOUD_LOCATION=us-central1
   export GOOGLE_GENAI_USE_VERTEXAI=True

   from google import genai
   from google.genai.types import (
       RawReferenceImage,
       MaskReferenceImage,
       MaskReferenceConfig,
       EditImageConfig,
   )
   
   client = genai.Client()
   
   # TODO(developer): Update and un-comment below line
   # output_file = "output-image.png"
   
   raw_ref = RawReferenceImage(
       reference_image=Image.from_file(location="test_resources/fruit.png"),
       reference_id=0,
   )
   mask_ref = MaskReferenceImage(
       reference_id=1,
       reference_image=None,
       config=MaskReferenceConfig(
           mask_mode="MASK_MODE_FOREGROUND",
       ),
   )
   
   image = client.models.edit_image(
       model="imagen-3.0-capability-001",
       prompt="",
       reference_images=[raw_ref, mask_ref],
       config=EditImageConfig(
           edit_mode="EDIT_MODE_INPAINT_REMOVAL",
       ),
   )
   
   image.generated_images[0].image.save(output_file)
   
   print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
   # Example response:
   # Created output image using 1234567 bytes
   

   REST

   Para mais informações, consulte a referência da API Editar imagens.

   Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

   • PROJECT_ID: o ID do projeto do Google Cloud .
   • LOCATION: a região do seu projeto. Por exemplo, us-central1, europe-west2 ou asia-northeast3. Para uma lista de regiões disponíveis, consulte IA generativa em locais da Vertex AI.
   • prompt: para melhores resultados, omita um comando e negativePrompt ao usar a pintura interna para remoção.
   • B64_BASE_IMAGE: a imagem de base que será editada ou aprimorada. A imagem precisa ser especificada como uma string de bytes codificada em base64. Limite de tamanho: 10 MB.
   • MASK_MODE: uma string que define o tipo de criação automática de máscara usada pelo modelo. Valores disponíveis:
     • MASK_MODE_BACKGROUND: gera automaticamente uma máscara usando a segmentação de segundo plano. Use essa configuração para modificar o conteúdo em segundo plano.
     • MASK_MODE_FOREGROUND: gera automaticamente uma máscara usando a segmentação em primeiro plano. Use essa configuração para modificar o conteúdo em primeiro plano, como remover esses objetos em primeiro plano (remoção usando pintura).
     • MASK_MODE_SEMANTIC: gera automaticamente uma máscara usando a segmentação semântica com base nas classes de segmentação especificadas na matriz maskImageConfig.maskClasses. Por exemplo:

                 "maskImageConfig": {
                   "maskMode": "MASK_MODE_SEMANTIC",
                   "maskClasses": [175, 176], // bicycle, car
                   "dilation": 0.01
                 }
               

   • MASK_DILATION: ponto flutuante. A porcentagem da largura da imagem para dilatar essa máscara. Um valor de 0.01 é recomendado para compensar máscaras de entrada imperfeitas.
   • EDIT_STEPS: número inteiro. O número de etapas de amostragem para o modelo de base. Para a remoção de inpainting, comece com 12 etapas. Aumente as etapas até o limite superior de 75 se a qualidade não atender aos seus requisitos. Aumentar as etapas também aumenta a latência da solicitação.
   • EDIT_IMAGE_COUNT: o número de imagens editadas. Valores inteiros aceitos: 1 a 4. Valor padrão: 4.

   Método HTTP e URL:

   POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

   Corpo JSON da solicitação:

   {
     "instances": [
       {
         "prompt": "",
         "referenceImages": [
           {
             "referenceType": "REFERENCE_TYPE_RAW",
             "referenceId": 1,
             "referenceImage": {
               "bytesBase64Encoded": "B64_BASE_IMAGE"
             }
           },
           {
             "referenceType": "REFERENCE_TYPE_MASK",
             "referenceId": 2,
             "maskImageConfig": {
               "maskMode": "MASK_MODE",
               "dilation": MASK_DILATION
             }
           }
         ]
       }
     ],
     "parameters": {
       "editConfig": {
         "baseSteps": EDIT_STEPS
       },
       "editMode": "EDIT_MODE_INPAINT_REMOVAL",
       "sampleCount": EDIT_IMAGE_COUNT
     }
   }
   

   Para enviar a solicitação, escolha uma destas opções:

   curl

   Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

   PowerShell

   Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content

   O exemplo de resposta a seguir é para uma solicitação com "sampleCount": 2. A resposta retorna dois objetos de previsão, com os bytes de imagem gerados codificados em base64.

   {
     "predictions": [
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "mimeType": "image/png",
         "bytesBase64Encoded": "BASE64_IMG_BYTES"
       }
     ]
   }
   

   Imagen 2

   Use os exemplos a seguir para enviar uma solicitação de pintura usando o modelo do Imagen 2.

   Console

   1. No console do Google Cloud , acesse a página Vertex AI > Media Studio .

      Acessar o Media Studio

   2. No painel inferior de tarefas, clique em editEditar imagem.

   3. Clique em Fazer upload para selecionar a imagem do produto armazenada localmente a ser editada.

   4. Na barra de ferramentas de edição, clique em background_replace Extract.

   5. Selecione uma das opções de extração de máscara:

      • Elementos de segundo plano: detecta os elementos de segundo plano e cria uma máscara em torno deles.
      • wallpaperElementos em primeiro plano: detecta os objetos em primeiro plano e cria uma máscara ao redor deles.
      • background_replace Pessoas: detecta pessoas e cria uma máscara ao redor delas.

   6. Opcional. No painel Parâmetros, ajuste o Número de resultados, o Comando negativo, a Orientação de comando de texto ou outros parâmetros.

   7. Deixe o campo de solicitação em branco.

   8. Clique em play_arrowGerar.

   REST

   Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

   • PROJECT_ID: o ID do projeto do Google Cloud .
   • LOCATION: a região do seu projeto. Por exemplo, us-central1, europe-west2 ou asia-northeast3. Para uma lista de regiões disponíveis, consulte IA generativa em locais da Vertex AI.
   • B64_BASE_IMAGE: a imagem de base que será editada ou aprimorada. A imagem precisa ser especificada como uma string de bytes codificada em base64. Limite de tamanho: 10 MB.
   • EDIT_IMAGE_COUNT: o número de imagens editadas. Valor padrão: 4.
   • MASK_TYPE: solicita que o modelo gere uma máscara em vez de você precisar fornecer uma. Consequentemente, ao fornecer esse parâmetro, você precisará omitir um objeto mask. Valores disponíveis:
     • background: gera automaticamente uma máscara para todas as regiões, exceto o objeto, a pessoa ou o assunto principal na imagem.
     • foreground: gera automaticamente uma máscara para o objeto, a pessoa ou o assunto principal na imagem.
     • semantic: use a segmentação automática para criar uma área de máscara para uma ou mais das classes de segmentação. Defina as classes de segmentação usando o parâmetro classes e os valores class_id correspondentes. É possível especificar até cinco classes. Quando você usa o tipo de máscara semântica, o objeto maskMode precisa ter a seguinte aparência:

       "maskMode": {
         "maskType": "semantic",
         "classes": [class_id1, class_id2]
       }

   Método HTTP e URL:

   POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict

   Corpo JSON da solicitação:

   {
     "instances": [
       {
         "prompt": "",
         "image": {
           "bytesBase64Encoded": "B64_BASE_IMAGE"
         }
       }
     ],
     "parameters": {
       "sampleCount": EDIT_IMAGE_COUNT,
       "editConfig": {
         "editMode": "inpainting-remove",
         "maskMode": {
           "maskType": "MASK_TYPE"
         }
       }
     }
   }
   

   Para enviar a solicitação, escolha uma destas opções:

   curl

   Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict"

   PowerShell

   Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict" | Select-Object -Expand Content

   O exemplo de resposta a seguir é para uma solicitação com "sampleCount": 2. A resposta retorna dois objetos de previsão, com os bytes de imagem gerados codificados em base64.

   {
     "predictions": [
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "mimeType": "image/png",
         "bytesBase64Encoded": "BASE64_IMG_BYTES"
       }
     ]
   }
   

   Python

   Para saber como instalar o SDK da Vertex AI para Python, consulte Instalar o SDK da Vertex AI para Python. Para mais informações, consulte a documentação de referência da API Python.

   
   import vertexai
   from vertexai.preview.vision_models import Image, ImageGenerationModel
   
   # TODO(developer): Update and un-comment below lines
   # PROJECT_ID = "your-project-id"
   # input_file = "input-image.png"
   # mask_mode = "foreground" # 'background', 'foreground', or 'semantic'
   # output_file = "output-image.png"
   # prompt = "sports car" # The text prompt describing what you want to see in the edited image.
   
   vertexai.init(project=PROJECT_ID, location="us-central1")
   
   model = ImageGenerationModel.from_pretrained("imagegeneration@006")
   base_img = Image.load_from_file(location=input_file)
   
   images = model.edit_image(
       base_image=base_img,
       mask_mode=mask_mode,
       prompt=prompt,
       edit_mode="inpainting-remove",
   )
   
   images[0].save(location=output_file, include_generation_parameters=False)
   
   # Optional. View the edited image in a notebook.
   # images[0].show()
   
   print(f"Created output image using {len(images[0]._image_bytes)} bytes")
   # Example response:
   # Created output image using 1279948 bytes
   

   Limitações

   As seções a seguir explicam as limitações do recurso de remoção de objetos da Imagen.

   Pixels modificados

   Não há garantia de que os pixels gerados pelo modelo que não estão na máscara sejam idênticos à entrada. Eles são gerados na resolução do modelo (como 1024 x 1024). Pode haver mudanças muito pequenas na imagem gerada.

   Se você quiser preservar a imagem perfeitamente, recomendamos misturar a imagem gerada com a de entrada usando a máscara. Normalmente, se a resolução da imagem de entrada for 2K ou superior, é necessário combinar a imagem gerada e a imagem de entrada.

   Limitação de remoção

   Alguns objetos pequenos adjacentes às máscaras também podem ser removidos. Como prática recomendada, recomendamos que você faça a máscara o mais precisa possível.

   Remover grandes áreas de regiões do céu em imagens externas pode resultar em artefatos indesejados. Como prática recomendada, recomendamos que você forneça um comando.

   A seguir

   Confira artigos sobre o Imagen e outras IAs generativas nos produtos da Vertex AI:

   • Guia para desenvolvedores sobre como começar a usar o Imagen 3 na Vertex AI
   • Novos modelos e ferramentas de mídia generativa criados com criadores para criadores
   • Novidades no Gemini: Gems personalizados e geração de imagens aprimorada com o Imagen 3
   • Google DeepMind: Imagen 3 — Nosso modelo de qualidade mais alta para conversão de texto em imagem
   Envie comentários