Expandir o conteúdo de uma imagem usando a outpainting

Esta página descreve a expansão de imagens. Com o desvio, você usa o Imagen para ampliar o conteúdo de uma imagem para uma área maior ou com dimensões diferentes.

Exemplo de outpainting

Outpainting é uma técnica sofisticada de edição baseada em máscaras que permite expandir o conteúdo de uma imagem de base para caber em uma tela de máscara maior ou de tamanho diferente.

Ver o card do modelo do Imagen para edição e personalização

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Enable the API

1. Configure a autenticação do ambiente.

   Select the tab for how you plan to use the samples on this page:

   Console

   When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

   Java

   Para usar os exemplos Java desta página em um ambiente de desenvolvimento local, instale e inicialize o gcloud CLI e e configure o Application Default Credentials com suas credenciais de usuário.

   1. Install the Google Cloud CLI.

   2. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

   3. To initialize the gcloud CLI, run the following command:

      gcloud init

   4. If you're using a local shell, then create local authentication credentials for your user account:

      gcloud auth application-default login

      You don't need to do this if you're using Cloud Shell.

      If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

   Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local na documentação de autenticação do Google Cloud .

   Node.js

   Para usar os exemplos Node.js desta página em um ambiente de desenvolvimento local, instale e inicialize o gcloud CLI e e configure o Application Default Credentials com suas credenciais de usuário.

   1. Install the Google Cloud CLI.

   2. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

   3. To initialize the gcloud CLI, run the following command:

      gcloud init

   4. If you're using a local shell, then create local authentication credentials for your user account:

      gcloud auth application-default login

      You don't need to do this if you're using Cloud Shell.

      If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

   Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local na documentação de autenticação do Google Cloud .

   Python

   Para usar os exemplos Python desta página em um ambiente de desenvolvimento local, instale e inicialize o gcloud CLI e e configure o Application Default Credentials com suas credenciais de usuário.

   1. Install the Google Cloud CLI.

   2. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

   3. To initialize the gcloud CLI, run the following command:

      gcloud init

   4. If you're using a local shell, then create local authentication credentials for your user account:

      gcloud auth application-default login

      You don't need to do this if you're using Cloud Shell.

      If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

   Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local na documentação de autenticação do Google Cloud .

   REST

   Para usar as amostras da API REST nesta página em um ambiente de desenvolvimento local, use as credenciais fornecidas para a CLI gcloud.

   After installing the Google Cloud CLI, initialize it by running the following command:

   gcloud init

   If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

   Para mais informações, consulte Autenticar para usar REST na documentação de autenticação do Google Cloud .

   Ampliar o conteúdo de uma imagem

   Use os exemplos de código a seguir para expandir o conteúdo de uma imagem atual.

   Imagen 3

   Use os exemplos a seguir para enviar uma solicitação de expansão usando o modelo Imagen 3.

   Console

   1. No Google Cloud console, acesse a página Vertex AI > Media Studio .

      Acessar o Media Studio

   2. Clique em Fazer upload. Na caixa de diálogo de arquivos exibida, selecione um arquivo para fazer upload.
   3. Clique em Expansão.
   4. No menu Expansão, selecione uma das proporções predefinidas para sua imagem final ou clique em Personalizar para definir dimensões personalizadas para sua imagem final.
   5. Na barra de ferramentas de edição, selecione o posicionamento da imagem:
      • Alinhar à esquerda:align_horizontal_left
      • Alinhamento horizontal ao centro: align_horizontal_center
      • Alinhar à direita:align_horizontal_right
      • Alinhamento na parte de cima: align_vertical_top
      • Alinhamento vertical ao centro: align_vertical_center
      • Alinhamento na parte de baixo: align_vertical_bottom
   6. Opcional: no painel Parâmetros, ajuste as seguintes opções:
      • Modelo: o modelo do Imagen a ser usado
      • Número de resultados: o número de resultados a serem gerados.
      • Comando negativo: itens a serem evitados na geração
   7. No campo de comando, digite um comando para modificar a imagem.
   8. Clique em play_arrowGerar.

   Python

   Instalar

   pip install --upgrade google-genai

   Para saber mais, consulte a documentação de referência do SDK.

   Defina variáveis de ambiente para usar o SDK de IA generativa com a Vertex AI:

   # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
   # with appropriate values for your project.
   export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
   export GOOGLE_CLOUD_LOCATION=us-central1
   export GOOGLE_GENAI_USE_VERTEXAI=True

   from google import genai
   from google.genai.types import RawReferenceImage, MaskReferenceImage, MaskReferenceConfig, EditImageConfig
   
   client = genai.Client()
   
   # TODO(developer): Update and un-comment below line
   # output_file = "output-image.png"
   
   raw_ref = RawReferenceImage(
       reference_image=Image.from_file(location='test_resources/living_room.png'), reference_id=0)
   mask_ref = MaskReferenceImage(
       reference_id=1,
       reference_image=Image.from_file(location='test_resources/living_room_mask.png'),
       config=MaskReferenceConfig(
           mask_mode="MASK_MODE_USER_PROVIDED",
           mask_dilation=0.03,
       ),
   )
   
   image = client.models.edit_image(
       model="imagen-3.0-capability-001",
       prompt="A chandelier hanging from the ceiling",
       reference_images=[raw_ref, mask_ref],
       config=EditImageConfig(
           edit_mode="EDIT_MODE_OUTPAINT",
       ),
   )
   
   image.generated_images[0].image.save(output_file)
   
   print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
   # Example response:
   # Created output image using 1234567 bytes
   

   REST

   Para mais informações, consulte a referência da API Editar imagens.

   Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

   • PROJECT_ID: o ID do projeto do Google Cloud .
   • LOCATION: a região do seu projeto. Por exemplo, us-central1, europe-west2 ou asia-northeast3. Para uma lista de regiões disponíveis, consulte IA generativa em locais da Vertex AI.
   • prompt: para outpainting de imagens, é possível fornecer uma string vazia para criar as imagens editadas. Se você optar por fornecer um comando, use uma descrição da área mascarada para ter os melhores resultados. Por exemplo, "um céu azul" em vez de "insira um céu azul".
   • referenceType: um ReferenceImage é uma imagem que fornece contexto adicional para edição de imagens. Uma imagem de referência bruta RGB normal (REFERENCE_TYPE_RAW) é necessária para casos de uso de edição. No máximo, uma imagem de referência bruta pode existir em uma solicitação. A imagem de saída tem a mesma altura e largura da imagem de referência bruta. Uma imagem de referência de máscara (REFERENCE_TYPE_MASK) é necessária para casos de uso de edição mascarada. Se uma imagem de referência bruta estiver presente, a imagem da máscara precisará ter a mesma altura e largura da imagem de referência bruta. Se a imagem de referência da máscara estiver vazia e maskMode não estiver definido como MASK_MODE_USER_PROVIDED, a máscara será calculada com base na imagem de referência bruta.
   • B64_BASE_IMAGE: a imagem de base que será editada ou aprimorada. A imagem precisa ser especificada como uma string de bytes codificada em base64. Limite de tamanho: 10 MB.
   • B64_OUTPAINTING_MASK: a imagem em preto e branco que você quer usar como uma camada de máscara para editar a imagem original. A máscara precisa ter a mesma resolução da imagem de entrada. A imagem de saída terá a mesma resolução da imagem de entrada. Essa imagem de máscara precisa ser especificada como uma string de bytes codificada em base64. Limite de tamanho: 10 MB.
   • MASK_DILATION: ponto flutuante. A porcentagem da largura da imagem para dilatar essa máscara. Um valor de 0.03 é recomendado para a expansão da imagem. Definir "dilation": 0.0 pode resultar em bordas óbvias no ponto de extensão ou causar um efeito de borda branca.
   • EDIT_STEPS: número inteiro. O número de etapas de amostragem para o modelo de base. Para expansão da imagem, comece com 35 etapas. Aumente as etapas se a qualidade não atender aos seus requisitos.
   • EDIT_IMAGE_COUNT: o número de imagens editadas. Valores inteiros aceitos: 1 a 4. Valor padrão: 4.

   Método HTTP e URL:

   POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

   Corpo JSON da solicitação:

   {
     "instances": [
       {
         "prompt": "",
         "referenceImages": [
           {
             "referenceType": "REFERENCE_TYPE_RAW",
             "referenceId": 1,
             "referenceImage": {
               "bytesBase64Encoded": "B64_BASE_IMAGE"
             }
           },
           {
             "referenceType": "REFERENCE_TYPE_MASK",
             "referenceId": 2,
             "referenceImage": {
               "bytesBase64Encoded": "B64_OUTPAINTING_MASK"
             },
             "maskImageConfig": {
               "maskMode": "MASK_MODE_USER_PROVIDED",
               "dilation": MASK_DILATION
             }
           }
         ]
       }
     ],
     "parameters": {
       "editConfig": {
         "baseSteps": EDIT_STEPS
       },
       "editMode": "EDIT_MODE_OUTPAINT",
       "sampleCount": EDIT_IMAGE_COUNT
     }
   }
   

   Para enviar a solicitação, escolha uma destas opções:

   curl

   Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

   PowerShell

   Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content

   O exemplo de resposta a seguir é para uma solicitação com "sampleCount": 2. A resposta retorna dois objetos de previsão, com os bytes de imagem gerados codificados em base64.

   {
     "predictions": [
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "mimeType": "image/png",
         "bytesBase64Encoded": "BASE64_IMG_BYTES"
       }
     ]
   }
   

   Imagen 2

   Use os exemplos a seguir para enviar uma solicitação de expansão usando o modelo Imagen 2.

   Console

   1. No Google Cloud console, acesse a página Vertex AI > Media Studio .

      Acessar o Media Studio

   2. No painel inferior de tarefas, clique em editEditar imagem.

   3. Clique em Fazer upload para selecionar a imagem do produto armazenada localmente a ser editada.

   4. Na barra de ferramentas de edição, clique em fit_screenRetoque.

   5. Selecione uma das proporções predefinidas para sua imagem final ou clique em Personalizar para definir dimensões personalizadas para sua imagem final.

   6. Opcional. Na barra de ferramentas de edição, selecione a posição horizontal ( align_horizontal_leftà esquerda, align_horizontal_centercentral horizontal ou align_horizontal_right à direita) e a vertical ( align_vertical_topsuperior, align_vertical_centercentral vertical ou align_vertical_bottom alinhamento inferior) da imagem original na tela da imagem a ser gerada.

   7. Opcional. No painel Parâmetros, ajuste o Número de resultados ou outros parâmetros.

   8. Clique em play_arrowGerar.

   Python

   Para saber como instalar o SDK da Vertex AI para Python, consulte Instalar o SDK da Vertex AI para Python. Para mais informações, consulte a documentação de referência da API Python.

   
   import vertexai
   from vertexai.preview.vision_models import Image, ImageGenerationModel
   
   # TODO(developer): Update and un-comment below lines
   # PROJECT_ID = "your-project-id"
   # input_file = "input-image.png"
   # mask_file = "mask-image.png"
   # output_file = "output-image.png"
   # prompt = "" # The optional text prompt describing what you want to see inserted.
   
   vertexai.init(project=PROJECT_ID, location="us-central1")
   
   model = ImageGenerationModel.from_pretrained("imagegeneration@006")
   base_img = Image.load_from_file(location=input_file)
   mask_img = Image.load_from_file(location=mask_file)
   
   images = model.edit_image(
       base_image=base_img,
       mask=mask_img,
       prompt=prompt,
       edit_mode="outpainting",
   )
   
   images[0].save(location=output_file, include_generation_parameters=False)
   
   # Optional. View the edited image in a notebook.
   # images[0].show()
   
   print(f"Created output image using {len(images[0]._image_bytes)} bytes")
   # Example response:
   # Created output image using 1234567 bytes
   

   REST

   Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

   • PROJECT_ID: o ID do projeto do Google Cloud .
   • LOCATION: a região do seu projeto. Por exemplo, us-central1, europe-west2 ou asia-northeast3. Para uma lista de regiões disponíveis, consulte IA generativa em locais da Vertex AI.
   • prompt: para outpainting de imagens, é possível fornecer uma string vazia para criar as imagens editadas.
   • B64_BASE_IMAGE: a imagem de base que será editada ou aprimorada. A imagem precisa ser especificada como uma string de bytes codificada em base64. Limite de tamanho: 10 MB.
   • B64_OUTPAINTING_MASK: a imagem em preto e branco que você quer usar como uma camada de máscara para editar a imagem original. A máscara precisa ter a mesma resolução da imagem de entrada. A imagem de saída terá a mesma resolução da imagem de entrada. Essa imagem de máscara precisa ser especificada como uma string de bytes codificada em base64. Limite de tamanho: 10 MB.
   • EDIT_IMAGE_COUNT: o número de imagens editadas. Valor padrão: 4.

   Método HTTP e URL:

   POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict

   Corpo JSON da solicitação:

   {
     "instances": [
       {
         "prompt": "",
         "image": {
             "bytesBase64Encoded": "B64_BASE_IMAGE"
         },
         "mask": {
           "image": {
             "bytesBase64Encoded": "B64_OUTPAINTING_MASK"
           }
         }
       }
     ],
     "parameters": {
       "sampleCount": EDIT_IMAGE_COUNT,
       "editConfig": {
         "editMode": "outpainting"
       }
     }
   }
   

   Para enviar a solicitação, escolha uma destas opções:

   curl

   Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict"

   PowerShell

   Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict" | Select-Object -Expand Content

   O exemplo de resposta a seguir é para uma solicitação com "sampleCount": 2. A resposta retorna dois objetos de previsão, com os bytes de imagem gerados codificados em base64.

   {
     "predictions": [
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "mimeType": "image/png",
         "bytesBase64Encoded": "BASE64_IMG_BYTES"
       }
     ]
   }
   

   Java

   Antes de testar essa amostra, siga as instruções de configuração para Java Guia de início rápido da Vertex AI: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Vertex AI para Java.

   Para autenticar na Vertex AI, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

   Neste exemplo, você especifica o modelo como parte de um EndpointName. O EndpointName é transmitido ao método predict, que é chamado em um PredictionServiceClient. O serviço retorna uma versão editada da imagem, que é salva localmente.

   
   import com.google.api.gax.rpc.ApiException;
   import com.google.cloud.aiplatform.v1.EndpointName;
   import com.google.cloud.aiplatform.v1.PredictResponse;
   import com.google.cloud.aiplatform.v1.PredictionServiceClient;
   import com.google.cloud.aiplatform.v1.PredictionServiceSettings;
   import com.google.gson.Gson;
   import com.google.protobuf.InvalidProtocolBufferException;
   import com.google.protobuf.Value;
   import com.google.protobuf.util.JsonFormat;
   import java.io.IOException;
   import java.nio.file.Files;
   import java.nio.file.Path;
   import java.nio.file.Paths;
   import java.util.Base64;
   import java.util.Collections;
   import java.util.HashMap;
   import java.util.Map;
   
   public class EditImageOutpaintingMaskSample {
   
     public static void main(String[] args) throws IOException {
       // TODO(developer): Replace these variables before running the sample.
       String projectId = "my-project-id";
       String location = "us-central1";
       String inputPath = "/path/to/my-input.png";
       String maskPath = "/path/to/my-mask.png";
       String prompt = ""; // The optional text prompt describing what you want to see inserted.
   
       editImageOutpaintingMask(projectId, location, inputPath, maskPath, prompt);
     }
   
     // Edit an image using a mask file. Outpainting lets you expand the content of a base image to fit
     // a larger or differently sized mask canvas.
     public static PredictResponse editImageOutpaintingMask(
         String projectId, String location, String inputPath, String maskPath, String prompt)
         throws ApiException, IOException {
       final String endpoint = String.format("%s-aiplatform.googleapis.com:443", location);
       PredictionServiceSettings predictionServiceSettings =
           PredictionServiceSettings.newBuilder().setEndpoint(endpoint).build();
   
       // Initialize client that will be used to send requests. This client only needs to be created
       // once, and can be reused for multiple requests.
       try (PredictionServiceClient predictionServiceClient =
           PredictionServiceClient.create(predictionServiceSettings)) {
   
         final EndpointName endpointName =
             EndpointName.ofProjectLocationPublisherModelName(
                 projectId, location, "google", "imagegeneration@006");
   
         // Encode image and mask to Base64
         String imageBase64 =
             Base64.getEncoder().encodeToString(Files.readAllBytes(Paths.get(inputPath)));
         String maskBase64 =
             Base64.getEncoder().encodeToString(Files.readAllBytes(Paths.get(maskPath)));
   
         // Create the image and image mask maps
         Map<String, String> imageMap = new HashMap<>();
         imageMap.put("bytesBase64Encoded", imageBase64);
   
         Map<String, String> maskMap = new HashMap<>();
         maskMap.put("bytesBase64Encoded", maskBase64);
         Map<String, Map> imageMaskMap = new HashMap<>();
         imageMaskMap.put("image", maskMap);
   
         Map<String, Object> instancesMap = new HashMap<>();
         instancesMap.put("prompt", prompt); // [ "prompt", "<my-prompt>" ]
         instancesMap.put(
             "image", imageMap); // [ "image", [ "bytesBase64Encoded", "iVBORw0KGgo...==" ] ]
         instancesMap.put(
             "mask",
             imageMaskMap); // [ "mask", [ "image", [ "bytesBase64Encoded", "iJKDF0KGpl...==" ] ] ]
         instancesMap.put("editMode", "outpainting"); // [ "editMode", "outpainting" ]
         Value instances = mapToValue(instancesMap);
   
         // Optional parameters
         Map<String, Object> paramsMap = new HashMap<>();
         paramsMap.put("sampleCount", 1);
         Value parameters = mapToValue(paramsMap);
   
         PredictResponse predictResponse =
             predictionServiceClient.predict(
                 endpointName, Collections.singletonList(instances), parameters);
   
         for (Value prediction : predictResponse.getPredictionsList()) {
           Map<String, Value> fieldsMap = prediction.getStructValue().getFieldsMap();
           if (fieldsMap.containsKey("bytesBase64Encoded")) {
             String bytesBase64Encoded = fieldsMap.get("bytesBase64Encoded").getStringValue();
             Path tmpPath = Files.createTempFile("imagen-", ".png");
             Files.write(tmpPath, Base64.getDecoder().decode(bytesBase64Encoded));
             System.out.format("Image file written to: %s\n", tmpPath.toUri());
           }
         }
         return predictResponse;
       }
     }
   
     private static Value mapToValue(Map<String, Object> map) throws InvalidProtocolBufferException {
       Gson gson = new Gson();
       String json = gson.toJson(map);
       Value.Builder builder = Value.newBuilder();
       JsonFormat.parser().merge(json, builder);
       return builder.build();
     }
   }
   

   Node.js

   Antes de testar esse exemplo, siga as instruções de configuração para Node.js no Guia de início rápido da Vertex AI sobre como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Vertex AI para Node.js.

   Para autenticar na Vertex AI, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

   Neste exemplo, você chama o método predict em um PredictionServiceClient. O serviço gera imagens que são salvas localmente.

   /**
    * TODO(developer): Update these variables before running the sample.
    */
   const projectId = process.env.CAIP_PROJECT_ID;
   const location = 'us-central1';
   const inputFile = 'resources/roller_skaters.png';
   const maskFile = 'resources/roller_skaters_mask.png';
   const prompt = 'city with skyscrapers';
   
   const aiplatform = require('@google-cloud/aiplatform');
   
   // Imports the Google Cloud Prediction Service Client library
   const {PredictionServiceClient} = aiplatform.v1;
   
   // Import the helper module for converting arbitrary protobuf.Value objects
   const {helpers} = aiplatform;
   
   // Specifies the location of the api endpoint
   const clientOptions = {
     apiEndpoint: `${location}-aiplatform.googleapis.com`,
   };
   
   // Instantiates a client
   const predictionServiceClient = new PredictionServiceClient(clientOptions);
   
   async function editImageOutpaintingMask() {
     const fs = require('fs');
     const util = require('util');
     // Configure the parent resource
     const endpoint = `projects/${projectId}/locations/${location}/publishers/google/models/imagegeneration@006`;
   
     const imageFile = fs.readFileSync(inputFile);
     // Convert the image data to a Buffer and base64 encode it.
     const encodedImage = Buffer.from(imageFile).toString('base64');
   
     const maskImageFile = fs.readFileSync(maskFile);
     // Convert the image mask data to a Buffer and base64 encode it.
     const encodedMask = Buffer.from(maskImageFile).toString('base64');
   
     const promptObj = {
       prompt: prompt, // The optional text prompt describing what you want to see inserted
       editMode: 'outpainting',
       image: {
         bytesBase64Encoded: encodedImage,
       },
       mask: {
         image: {
           bytesBase64Encoded: encodedMask,
         },
       },
     };
     const instanceValue = helpers.toValue(promptObj);
     const instances = [instanceValue];
   
     const parameter = {
       // Optional parameters
       seed: 100,
       // Controls the strength of the prompt
       // 0-9 (low strength), 10-20 (medium strength), 21+ (high strength)
       guidanceScale: 21,
       sampleCount: 1,
     };
     const parameters = helpers.toValue(parameter);
   
     const request = {
       endpoint,
       instances,
       parameters,
     };
   
     // Predict request
     const [response] = await predictionServiceClient.predict(request);
     const predictions = response.predictions;
     if (predictions.length === 0) {
       console.log(
         'No image was generated. Check the request parameters and prompt.'
       );
     } else {
       let i = 1;
       for (const prediction of predictions) {
         const buff = Buffer.from(
           prediction.structValue.fields.bytesBase64Encoded.stringValue,
           'base64'
         );
         // Write image content to the output file
         const writeFile = util.promisify(fs.writeFile);
         const filename = `output${i}.png`;
         await writeFile(filename, buff);
         console.log(`Saved image ${filename}`);
         i++;
       }
     }
   }
   await editImageOutpaintingMask();

   Limitações

   O modelo pode produzir detalhes distorcidos se a imagem ampliada for expandida em 200% ou mais em relação à original. Como prática recomendada, adicione uma etapa de pós-processamento para executar a fusão alfa em imagens com expansão.

   O código a seguir é um exemplo de pós-processamento:

   parameters = {
      "editConfig": {
          "outpaintingConfig": {
            "blendingMode": "alpha-blending",
            "blendingFactor": 0.01,
          },
      },
   }
   
   

   A seguir

   Confira artigos sobre o Imagen e outras IAs generativas nos produtos da Vertex AI:

   • Guia para desenvolvedores sobre como começar a usar o Imagen 3 na Vertex AI
   • Novos modelos e ferramentas de mídia generativa criados com criadores para criadores
   • Novidades no Gemini: Gems personalizados e geração de imagens aprimorada com o Imagen 3
   • Google DeepMind: Imagen 3 — Nosso modelo de qualidade mais alta para conversão de texto em imagem
   Envie comentários