Espandere il contenuto di un'immagine utilizzando Outpaint

Questa pagina descrive l'outpainting. L'outpainting ti consente di utilizzare Imagen per espandere i contenuti di un'immagine in un'area più grande o con dimensioni diverse.

Esempio di espansione dell'immagine

L'outpainting è un metodo di modifica basato su maschere che ti consente di espandere i contenuti di un'immagine di base per adattarla a un canvas maschera più grande o di dimensioni diverse.

Visualizzare la scheda del modello Imagen per la modifica e la personalizzazione

Prima di iniziare

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Enable the API

1. Configura l'autenticazione per il tuo ambiente.

   Select the tab for how you plan to use the samples on this page:

   Console

   When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

   Java

   Per utilizzare gli esempi di Java questa pagina in un ambiente di sviluppo locale, installa e inizializza gcloud CLI, quindi configura le Credenziali predefinite dell'applicazione con le tue credenziali utente.

   1. Install the Google Cloud CLI.

   2. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

   3. To initialize the gcloud CLI, run the following command:

      gcloud init

   4. If you're using a local shell, then create local authentication credentials for your user account:

      gcloud auth application-default login

      You don't need to do this if you're using Cloud Shell.

      If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

   Per saperne di più, consulta Configura ADC per un ambiente di sviluppo locale nella documentazione sull'autenticazione Google Cloud .

   Node.js

   Per utilizzare gli esempi di Node.js questa pagina in un ambiente di sviluppo locale, installa e inizializza gcloud CLI, quindi configura le Credenziali predefinite dell'applicazione con le tue credenziali utente.

   1. Install the Google Cloud CLI.

   2. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

   3. To initialize the gcloud CLI, run the following command:

      gcloud init

   4. If you're using a local shell, then create local authentication credentials for your user account:

      gcloud auth application-default login

      You don't need to do this if you're using Cloud Shell.

      If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

   Per saperne di più, consulta Configura ADC per un ambiente di sviluppo locale nella documentazione sull'autenticazione Google Cloud .

   Python

   Per utilizzare gli esempi di Python questa pagina in un ambiente di sviluppo locale, installa e inizializza gcloud CLI, quindi configura le Credenziali predefinite dell'applicazione con le tue credenziali utente.

   1. Install the Google Cloud CLI.

   2. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

   3. To initialize the gcloud CLI, run the following command:

      gcloud init

   4. If you're using a local shell, then create local authentication credentials for your user account:

      gcloud auth application-default login

      You don't need to do this if you're using Cloud Shell.

      If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

   Per saperne di più, consulta Configura ADC per un ambiente di sviluppo locale nella documentazione sull'autenticazione Google Cloud .

   REST

   Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, utilizzi le credenziali che fornisci a gcloud CLI.

   After installing the Google Cloud CLI, initialize it by running the following command:

   gcloud init

   If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

   Per saperne di più, consulta la sezione Autenticarsi per l'utilizzo di REST nella documentazione sull'autenticazione di Google Cloud .

   Espandere i contenuti di un'immagine

   Utilizza i seguenti esempi di codice per espandere il contenuto di un'immagine esistente.

   Imagen 3

   Utilizza i seguenti esempi per inviare una richiesta di outpainting utilizzando il modello Imagen 3.

   Console

   1. Nella console Google Cloud , vai alla pagina Vertex AI > Media Studio .

      Vai a Media Studio

   2. Fai clic su Carica. Nella finestra di dialogo dei file visualizzata, seleziona un file da caricare.
   3. Fai clic su Outpaint.
   4. Nel menu Outpaint, seleziona una delle proporzioni predefinite per l'immagine finale oppure fai clic su Personalizza per definire dimensioni personalizzate per l'immagine finale.
   5. Nella barra degli strumenti di modifica, seleziona il posizionamento dell'immagine:
      • Allinea a sinistra:align_horizontal_left
      • Allinea al centro orizzontalmente: align_horizontal_center
      • Allinea a destra:align_horizontal_right
      • Allinea in alto: align_vertical_top
      • Allineamento verticale al centro: align_vertical_center
      • Allinea in basso: align_vertical_bottom
   6. (Facoltativo) Nel riquadro Parametri, regola le seguenti opzioni:
      • Modello: il modello Imagen da utilizzare
      • Numero di risultati: il numero di risultati da generare
      • Prompt negativo: elementi da evitare di generare
   7. Nel campo del prompt, inserisci un prompt per modificare l'immagine.
   8. Fai clic su play_arrowGenera.

   Python

   Installa

   pip install --upgrade google-genai

   Per saperne di più, consulta la documentazione di riferimento dell'SDK.

   Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI:

   # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
   # with appropriate values for your project.
   export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
   export GOOGLE_CLOUD_LOCATION=us-central1
   export GOOGLE_GENAI_USE_VERTEXAI=True

   from google import genai
   from google.genai.types import RawReferenceImage, MaskReferenceImage, MaskReferenceConfig, EditImageConfig
   
   client = genai.Client()
   
   # TODO(developer): Update and un-comment below line
   # output_file = "output-image.png"
   
   raw_ref = RawReferenceImage(
       reference_image=Image.from_file(location='test_resources/living_room.png'), reference_id=0)
   mask_ref = MaskReferenceImage(
       reference_id=1,
       reference_image=Image.from_file(location='test_resources/living_room_mask.png'),
       config=MaskReferenceConfig(
           mask_mode="MASK_MODE_USER_PROVIDED",
           mask_dilation=0.03,
       ),
   )
   
   image = client.models.edit_image(
       model="imagen-3.0-capability-001",
       prompt="A chandelier hanging from the ceiling",
       reference_images=[raw_ref, mask_ref],
       config=EditImageConfig(
           edit_mode="EDIT_MODE_OUTPAINT",
       ),
   )
   
   image.generated_images[0].image.save(output_file)
   
   print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
   # Example response:
   # Created output image using 1234567 bytes
   

   REST

   Per ulteriori informazioni, consulta il riferimento all'API Modifica immagini.

   Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

   • PROJECT_ID: il tuo Google Cloud ID progetto.
   • LOCATION: la regione del tuo progetto. Ad esempio, us-central1, europe-west2 o asia-northeast3. Per un elenco delle regioni disponibili, consulta Località dell'AI generativa su Vertex AI.
   • prompt: Per l'espansione delle immagini, puoi fornire una stringa vuota per creare le immagini modificate. Se scegli di fornire un prompt, utilizza una descrizione dell'area mascherata per ottenere risultati ottimali. Ad esempio, "un cielo blu" anziché "inserisci un cielo blu".
   • referenceType: una ReferenceImage è un'immagine che fornisce un contesto aggiuntivo per la modifica delle immagini. Per i casi d'uso di modifica è necessaria un'immagine di riferimento RGB normale (REFERENCE_TYPE_RAW). In una richiesta può esistere al massimo un'immagine di riferimento non elaborata. L'immagine di output ha la stessa altezza e larghezza dell'immagine di riferimento non elaborata. Per i casi d'uso di modifica mascherata è necessaria un'immagine di riferimento della maschera (REFERENCE_TYPE_MASK). Se è presente un'immagine di riferimento non elaborata, l'immagine della maschera deve avere la stessa altezza e larghezza dell'immagine di riferimento non elaborata. Se l'immagine di riferimento della maschera è vuota e maskMode non è impostato su MASK_MODE_USER_PROVIDED, la maschera viene calcolata in base all'immagine di riferimento non elaborata.
   • B64_BASE_IMAGE: L'immagine di base da modificare o aumentare di risoluzione. L'immagine deve essere specificata come stringa di byte con codifica base64. Dimensioni massime: 10 MB.
   • B64_OUTPAINTING_MASK: L'immagine in bianco e nero che vuoi utilizzare come livello maschera per modificare l'immagine originale. La maschera deve avere la stessa risoluzione dell'immagine di input. L'immagine di output avrà la stessa risoluzione dell'immagine di input. Questa immagine della maschera deve essere specificata come stringa di byte con codifica base64. Dimensioni massime: 10 MB.
   • MASK_DILATION - float. La percentuale della larghezza dell'immagine in base alla quale dilatare questa maschera. Per l'espansione dell'immagine è consigliabile un valore di 0.03. L'impostazione di "dilation": 0.0 potrebbe comportare bordi evidenti nel punto di estensione o potrebbe causare un effetto bordo bianco.
   • EDIT_STEPS - numero intero. Il numero di passaggi di campionamento per il modello di base. Per l'outpainting, inizia con 35 passaggi. Aumenta i passaggi se la qualità non soddisfa i tuoi requisiti.
   • EDIT_IMAGE_COUNT: il numero di immagini modificate. Valori interi accettati: 1-4. Il valore predefinito è 4.

   Metodo HTTP e URL:

   POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

   Corpo JSON della richiesta:

   {
     "instances": [
       {
         "prompt": "",
         "referenceImages": [
           {
             "referenceType": "REFERENCE_TYPE_RAW",
             "referenceId": 1,
             "referenceImage": {
               "bytesBase64Encoded": "B64_BASE_IMAGE"
             }
           },
           {
             "referenceType": "REFERENCE_TYPE_MASK",
             "referenceId": 2,
             "referenceImage": {
               "bytesBase64Encoded": "B64_OUTPAINTING_MASK"
             },
             "maskImageConfig": {
               "maskMode": "MASK_MODE_USER_PROVIDED",
               "dilation": MASK_DILATION
             }
           }
         ]
       }
     ],
     "parameters": {
       "editConfig": {
         "baseSteps": EDIT_STEPS
       },
       "editMode": "EDIT_MODE_OUTPAINT",
       "sampleCount": EDIT_IMAGE_COUNT
     }
   }
   

   Per inviare la richiesta, scegli una di queste opzioni:

   curl

   Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

   PowerShell

   Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content

   La seguente risposta di esempio è per una richiesta con "sampleCount": 2. La risposta restituisce due oggetti di previsione, con i byte dell'immagine generata codificati in base64.

   {
     "predictions": [
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "mimeType": "image/png",
         "bytesBase64Encoded": "BASE64_IMG_BYTES"
       }
     ]
   }
   

   Imagen 2

   Utilizza i seguenti esempi per inviare una richiesta di outpainting utilizzando il modello Imagen 2.

   Console

   1. Nella console Google Cloud , vai alla pagina Vertex AI > Media Studio .

      Vai a Media Studio

   2. Nel riquadro delle attività in basso, fai clic su editModifica immagine.

   3. Fai clic su Carica per selezionare l'immagine del prodotto memorizzata localmente da modificare.

   4. Nella barra degli strumenti di modifica, fai clic su fit_screenOutpaint.

   5. Seleziona una delle proporzioni predefinite per l'immagine finale oppure fai clic su Personalizzato per definire dimensioni personalizzate per l'immagine finale.

   6. Facoltativo. Nella barra degli strumenti di modifica, seleziona il posizionamento orizzontale ( align_horizontal_leftallineamento a sinistra, align_horizontal_centercentrale orizzontale o align_horizontal_right allineamento a destra) e il posizionamento verticale ( align_vertical_topallineamento in alto, align_vertical_centercentrale verticale o align_vertical_bottom allineamento in basso) dell'immagine originale nel canvas dell'immagine da generare.

   7. Facoltativo. Nel riquadro Parametri, modifica il Numero di risultati o altri parametri.

   8. Fai clic su play_arrowGenera.

   Python

   Per scoprire come installare o aggiornare l'SDK Vertex AI Python, consulta Installare l'SDK Vertex AI Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.

   
   import vertexai
   from vertexai.preview.vision_models import Image, ImageGenerationModel
   
   # TODO(developer): Update and un-comment below lines
   # PROJECT_ID = "your-project-id"
   # input_file = "input-image.png"
   # mask_file = "mask-image.png"
   # output_file = "output-image.png"
   # prompt = "" # The optional text prompt describing what you want to see inserted.
   
   vertexai.init(project=PROJECT_ID, location="us-central1")
   
   model = ImageGenerationModel.from_pretrained("imagegeneration@006")
   base_img = Image.load_from_file(location=input_file)
   mask_img = Image.load_from_file(location=mask_file)
   
   images = model.edit_image(
       base_image=base_img,
       mask=mask_img,
       prompt=prompt,
       edit_mode="outpainting",
   )
   
   images[0].save(location=output_file, include_generation_parameters=False)
   
   # Optional. View the edited image in a notebook.
   # images[0].show()
   
   print(f"Created output image using {len(images[0]._image_bytes)} bytes")
   # Example response:
   # Created output image using 1234567 bytes
   

   REST

   Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

   • PROJECT_ID: il tuo Google Cloud ID progetto.
   • LOCATION: la regione del tuo progetto. Ad esempio, us-central1, europe-west2 o asia-northeast3. Per un elenco delle regioni disponibili, consulta Località dell'AI generativa su Vertex AI.
   • prompt: Per l'espansione delle immagini, puoi fornire una stringa vuota per creare le immagini modificate.
   • B64_BASE_IMAGE: L'immagine di base da modificare o aumentare di risoluzione. L'immagine deve essere specificata come stringa di byte con codifica base64. Dimensioni massime: 10 MB.
   • B64_OUTPAINTING_MASK: L'immagine in bianco e nero che vuoi utilizzare come livello maschera per modificare l'immagine originale. La maschera deve avere la stessa risoluzione dell'immagine di input. L'immagine di output avrà la stessa risoluzione dell'immagine di input. Questa immagine della maschera deve essere specificata come stringa di byte con codifica base64. Dimensioni massime: 10 MB.
   • EDIT_IMAGE_COUNT: il numero di immagini modificate. Valore predefinito: 4.

   Metodo HTTP e URL:

   POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict

   Corpo JSON della richiesta:

   {
     "instances": [
       {
         "prompt": "",
         "image": {
             "bytesBase64Encoded": "B64_BASE_IMAGE"
         },
         "mask": {
           "image": {
             "bytesBase64Encoded": "B64_OUTPAINTING_MASK"
           }
         }
       }
     ],
     "parameters": {
       "sampleCount": EDIT_IMAGE_COUNT,
       "editConfig": {
         "editMode": "outpainting"
       }
     }
   }
   

   Per inviare la richiesta, scegli una di queste opzioni:

   curl

   Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict"

   PowerShell

   Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict" | Select-Object -Expand Content

   La seguente risposta di esempio è per una richiesta con "sampleCount": 2. La risposta restituisce due oggetti di previsione, con i byte dell'immagine generata codificati in base64.

   {
     "predictions": [
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "mimeType": "image/png",
         "bytesBase64Encoded": "BASE64_IMG_BYTES"
       }
     ]
   }
   

   Java

   Prima di provare questo esempio, segui le istruzioni di configurazione di Java nella guida rapida di Vertex AI per l'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Vertex AI Java.

   Per autenticarti in Vertex AI, configura le Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.

   In questo esempio, specifichi il modello come parte di un EndpointName. EndpointName viene passato al metodo predict, che viene chiamato su un PredictionServiceClient. Il servizio restituisce una versione modificata dell'immagine, che viene poi salvata localmente.

   
   import com.google.api.gax.rpc.ApiException;
   import com.google.cloud.aiplatform.v1.EndpointName;
   import com.google.cloud.aiplatform.v1.PredictResponse;
   import com.google.cloud.aiplatform.v1.PredictionServiceClient;
   import com.google.cloud.aiplatform.v1.PredictionServiceSettings;
   import com.google.gson.Gson;
   import com.google.protobuf.InvalidProtocolBufferException;
   import com.google.protobuf.Value;
   import com.google.protobuf.util.JsonFormat;
   import java.io.IOException;
   import java.nio.file.Files;
   import java.nio.file.Path;
   import java.nio.file.Paths;
   import java.util.Base64;
   import java.util.Collections;
   import java.util.HashMap;
   import java.util.Map;
   
   public class EditImageOutpaintingMaskSample {
   
     public static void main(String[] args) throws IOException {
       // TODO(developer): Replace these variables before running the sample.
       String projectId = "my-project-id";
       String location = "us-central1";
       String inputPath = "/path/to/my-input.png";
       String maskPath = "/path/to/my-mask.png";
       String prompt = ""; // The optional text prompt describing what you want to see inserted.
   
       editImageOutpaintingMask(projectId, location, inputPath, maskPath, prompt);
     }
   
     // Edit an image using a mask file. Outpainting lets you expand the content of a base image to fit
     // a larger or differently sized mask canvas.
     public static PredictResponse editImageOutpaintingMask(
         String projectId, String location, String inputPath, String maskPath, String prompt)
         throws ApiException, IOException {
       final String endpoint = String.format("%s-aiplatform.googleapis.com:443", location);
       PredictionServiceSettings predictionServiceSettings =
           PredictionServiceSettings.newBuilder().setEndpoint(endpoint).build();
   
       // Initialize client that will be used to send requests. This client only needs to be created
       // once, and can be reused for multiple requests.
       try (PredictionServiceClient predictionServiceClient =
           PredictionServiceClient.create(predictionServiceSettings)) {
   
         final EndpointName endpointName =
             EndpointName.ofProjectLocationPublisherModelName(
                 projectId, location, "google", "imagegeneration@006");
   
         // Encode image and mask to Base64
         String imageBase64 =
             Base64.getEncoder().encodeToString(Files.readAllBytes(Paths.get(inputPath)));
         String maskBase64 =
             Base64.getEncoder().encodeToString(Files.readAllBytes(Paths.get(maskPath)));
   
         // Create the image and image mask maps
         Map<String, String> imageMap = new HashMap<>();
         imageMap.put("bytesBase64Encoded", imageBase64);
   
         Map<String, String> maskMap = new HashMap<>();
         maskMap.put("bytesBase64Encoded", maskBase64);
         Map<String, Map> imageMaskMap = new HashMap<>();
         imageMaskMap.put("image", maskMap);
   
         Map<String, Object> instancesMap = new HashMap<>();
         instancesMap.put("prompt", prompt); // [ "prompt", "<my-prompt>" ]
         instancesMap.put(
             "image", imageMap); // [ "image", [ "bytesBase64Encoded", "iVBORw0KGgo...==" ] ]
         instancesMap.put(
             "mask",
             imageMaskMap); // [ "mask", [ "image", [ "bytesBase64Encoded", "iJKDF0KGpl...==" ] ] ]
         instancesMap.put("editMode", "outpainting"); // [ "editMode", "outpainting" ]
         Value instances = mapToValue(instancesMap);
   
         // Optional parameters
         Map<String, Object> paramsMap = new HashMap<>();
         paramsMap.put("sampleCount", 1);
         Value parameters = mapToValue(paramsMap);
   
         PredictResponse predictResponse =
             predictionServiceClient.predict(
                 endpointName, Collections.singletonList(instances), parameters);
   
         for (Value prediction : predictResponse.getPredictionsList()) {
           Map<String, Value> fieldsMap = prediction.getStructValue().getFieldsMap();
           if (fieldsMap.containsKey("bytesBase64Encoded")) {
             String bytesBase64Encoded = fieldsMap.get("bytesBase64Encoded").getStringValue();
             Path tmpPath = Files.createTempFile("imagen-", ".png");
             Files.write(tmpPath, Base64.getDecoder().decode(bytesBase64Encoded));
             System.out.format("Image file written to: %s\n", tmpPath.toUri());
           }
         }
         return predictResponse;
       }
     }
   
     private static Value mapToValue(Map<String, Object> map) throws InvalidProtocolBufferException {
       Gson gson = new Gson();
       String json = gson.toJson(map);
       Value.Builder builder = Value.newBuilder();
       JsonFormat.parser().merge(json, builder);
       return builder.build();
     }
   }
   

   Node.js

   Prima di provare questo esempio, segui le istruzioni di configurazione di Node.js nella guida rapida di Vertex AI per l'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Vertex AI Node.js.

   Per autenticarti in Vertex AI, configura le Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.

   In questo esempio, chiami il metodo predict su un PredictionServiceClient. Il servizio genera immagini che vengono poi salvate localmente.

   /**
    * TODO(developer): Update these variables before running the sample.
    */
   const projectId = process.env.CAIP_PROJECT_ID;
   const location = 'us-central1';
   const inputFile = 'resources/roller_skaters.png';
   const maskFile = 'resources/roller_skaters_mask.png';
   const prompt = 'city with skyscrapers';
   
   const aiplatform = require('@google-cloud/aiplatform');
   
   // Imports the Google Cloud Prediction Service Client library
   const {PredictionServiceClient} = aiplatform.v1;
   
   // Import the helper module for converting arbitrary protobuf.Value objects
   const {helpers} = aiplatform;
   
   // Specifies the location of the api endpoint
   const clientOptions = {
     apiEndpoint: `${location}-aiplatform.googleapis.com`,
   };
   
   // Instantiates a client
   const predictionServiceClient = new PredictionServiceClient(clientOptions);
   
   async function editImageOutpaintingMask() {
     const fs = require('fs');
     const util = require('util');
     // Configure the parent resource
     const endpoint = `projects/${projectId}/locations/${location}/publishers/google/models/imagegeneration@006`;
   
     const imageFile = fs.readFileSync(inputFile);
     // Convert the image data to a Buffer and base64 encode it.
     const encodedImage = Buffer.from(imageFile).toString('base64');
   
     const maskImageFile = fs.readFileSync(maskFile);
     // Convert the image mask data to a Buffer and base64 encode it.
     const encodedMask = Buffer.from(maskImageFile).toString('base64');
   
     const promptObj = {
       prompt: prompt, // The optional text prompt describing what you want to see inserted
       editMode: 'outpainting',
       image: {
         bytesBase64Encoded: encodedImage,
       },
       mask: {
         image: {
           bytesBase64Encoded: encodedMask,
         },
       },
     };
     const instanceValue = helpers.toValue(promptObj);
     const instances = [instanceValue];
   
     const parameter = {
       // Optional parameters
       seed: 100,
       // Controls the strength of the prompt
       // 0-9 (low strength), 10-20 (medium strength), 21+ (high strength)
       guidanceScale: 21,
       sampleCount: 1,
     };
     const parameters = helpers.toValue(parameter);
   
     const request = {
       endpoint,
       instances,
       parameters,
     };
   
     // Predict request
     const [response] = await predictionServiceClient.predict(request);
     const predictions = response.predictions;
     if (predictions.length === 0) {
       console.log(
         'No image was generated. Check the request parameters and prompt.'
       );
     } else {
       let i = 1;
       for (const prediction of predictions) {
         const buff = Buffer.from(
           prediction.structValue.fields.bytesBase64Encoded.stringValue,
           'base64'
         );
         // Write image content to the output file
         const writeFile = util.promisify(fs.writeFile);
         const filename = `output${i}.png`;
         await writeFile(filename, buff);
         console.log(`Saved image ${filename}`);
         i++;
       }
     }
   }
   await editImageOutpaintingMask();

   Limitazioni

   Il modello potrebbe produrre dettagli distorti se l'immagine inpainting viene espansa del 200% o più rispetto all'immagine originale. Come best practice, ti consigliamo di aggiungere un passaggio di post-elaborazione per eseguire la fusione alfa sulle immagini create con l'outpainting.

   Il seguente codice è un esempio di post-elaborazione:

   parameters = {
      "editConfig": {
          "outpaintingConfig": {
            "blendingMode": "alpha-blending",
            "blendingFactor": 0.01,
          },
      },
   }
   
   

   Passaggi successivi

   Leggi gli articoli su Imagen e altri prodotti di AI generativa su Vertex AI:

   • Guida per gli sviluppatori per iniziare a utilizzare Imagen 3 su Vertex AI
   • Nuovi modelli e strumenti di media generativi, creati con e per i creator
   • Novità di Gemini: Custom Gem e generazione di immagini migliorata con Imagen 3
   • Google DeepMind: Imagen 3, il nostro modello di conversione da testo a immagine di altissima qualità
   Invia feedback