Sostituire lo sfondo di un'immagine

Questa pagina descrive la sostituzione dello sfondo di un'immagine. Imagen su Vertex AI ti consente di utilizzare la segmentazione automatica degli oggetti per mantenere i contenuti durante la modifica di altri contenuti dell'immagine. Con Imagen 3 puoi anche fornire la tua area di maschera per un maggiore controllo durante la modifica.

Visualizzare la scheda del modello Imagen per la modifica e la personalizzazione

Esempio di modifica dell'immagine prodotto

Il seguente caso d'uso mette in evidenza il miglioramento di un'immagine prodotto modificando lo sfondo di un'immagine, ma preservando l'aspetto di un prodotto all'interno dell'immagine.

Esempio di immagine generata nella console
Immagine generata con la funzionalità di modifica delle immagini prodotto di Imagen dal prompt: su un tavolo in una boutique. Fonte dell'immagine originale: Irene Kredenets su Unsplash.

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI API.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Vertex AI API.

    Enable the API

    8.

  8. Configura l'autenticazione per il tuo ambiente.

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    Python

    Per utilizzare gli esempi di Python questa pagina in un ambiente di sviluppo locale, installa e inizializza gcloud CLI, quindi configura le Credenziali predefinite dell'applicazione con le tue credenziali utente.

    1. Install the Google Cloud CLI.

    2. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

    3. To initialize the gcloud CLI, run the following command: 

      gcloud init

    4. If you're using a local shell, then create local authentication credentials for your user account: 

      gcloud auth application-default login

      You don't need to do this if you're using Cloud Shell.

      If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

    Per saperne di più, consulta Configura ADC per un ambiente di sviluppo locale nella documentazione sull'autenticazione Google Cloud .

    REST

    Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, utilizzi le credenziali che fornisci a gcloud CLI.

      After installing the Google Cloud CLI, initialize it by running the following command: 

      gcloud init

      If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

    Per saperne di più, consulta la sezione Autenticarsi per l'utilizzo di REST nella documentazione sull'autenticazione di Google Cloud .

    Modificare con una maschera di sfondo rilevata automaticamente

    Imagen ti consente di modificare le immagini prodotto con il rilevamento automatico dello sfondo. Questa funzionalità può essere utile se devi modificare lo sfondo di un'immagine prodotto, ma preservare l'aspetto del prodotto. La modifica delle immagini dei prodotti utilizza l'offerta Google Product Studio (GPS). Puoi utilizzare la funzionalità GPS come parte di Imagen utilizzando la console o l'API.

    Esempio di immagine generata nella console
    Immagine generata con la funzionalità di modifica delle immagini prodotto di Imagen dal prompt: su un tavolo in una boutique. Fonte dell'immagine originale: Irene Kredenets su Unsplash.

    Segui le istruzioni riportate di seguito per attivare e utilizzare la modifica delle immagini prodotto con il rilevamento automatico dello sfondo.

    Imagen 3

    Utilizza gli esempi seguenti per inviare una richiesta di modifica dell'immagine del prodotto utilizzando il modello Imagen 3.

    Console

    1. Nella console Google Cloud , vai alla pagina Vertex AI > Media Studio .

      Vai a Media Studio

    2. Fai clic su Carica. Nella finestra di dialogo dei file visualizzata, seleziona un file da caricare.
    3. Fai clic su Inpaint.
    4. Nel riquadro Parametri, fai clic su Sfondo prodotto.
    5. Nella barra degli strumenti di modifica, fai clic su background_replaceEstrai.

    6. Seleziona una delle opzioni di estrazione della maschera:

      • Elementi di sfondo: rileva gli elementi di sfondo e crea una maschera intorno a loro.
      • Elementi in primo piano: rileva gli oggetti in primo piano e crea una maschera intorno a loro.
      • background_replacePersone: rileva le persone e crea una maschera intorno a loro.
    7. (Facoltativo) Nel riquadro laterale Parametri, regola le seguenti opzioni:
      • Modello: il modello Imagen da utilizzare
      • Numero di risultati: il numero di risultati da generare
      • Prompt negativo: elementi da evitare di generare
    8. Nel campo del prompt, inserisci un prompt per modificare l'immagine.
    9. Fai clic su InviaGenera.

    Python

    Installa

    pip install --upgrade google-genai

    Per saperne di più, consulta la documentazione di riferimento dell'SDK.

    Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI: 

    # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=us-central1
export GOOGLE_GENAI_USE_VERTEXAI=True
     

    from google import genai
from google.genai.types import RawReferenceImage, MaskReferenceImage, MaskReferenceConfig, EditImageConfig

client = genai.Client()

# TODO(developer): Update and un-comment below line
# output_file = "output-image.png"

raw_ref = RawReferenceImage(
    reference_image=Image.from_file(location='test_resources/suitcase.png'), reference_id=0)
mask_ref = MaskReferenceImage(
    reference_id=1,
    reference_image=None,
    config=MaskReferenceConfig(
        mask_mode="MASK_MODE_BACKGROUND",
    ),
)

image = client.models.edit_image(
    model="imagen-3.0-capability-001",
    prompt="A light blue suitcase in front of a window in an airport",
    reference_images=[raw_ref, mask_ref],
    config=EditImageConfig(
        edit_mode="EDIT_MODE_BGSWAP",
    ),
)

image.generated_images[0].image.save(output_file)

print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
# Example response:
# Created output image using 1234567 bytes

    REST

    Per ulteriori informazioni, consulta il riferimento all'API Modifica immagini.

    Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

    • PROJECT_ID: il tuo Google Cloud ID progetto.
    • LOCATION: la regione del tuo progetto. Ad esempio, us-central1, europe-west2 o asia-northeast3. Per un elenco delle regioni disponibili, consulta Località dell'AI generativa su Vertex AI.
    • TEXT_PROMPT: Il prompt di testo che guida le immagini generate dal modello. Questo campo è obbligatorio sia per la generazione che per la modifica.
    • referenceType: una ReferenceImage è un'immagine che fornisce un contesto aggiuntivo per la modifica delle immagini. Per i casi d'uso di modifica è necessaria un'immagine di riferimento RGB normale (REFERENCE_TYPE_RAW). In una richiesta può esistere al massimo un'immagine di riferimento non elaborata. L'immagine di output ha la stessa altezza e larghezza dell'immagine di riferimento non elaborata. Per i casi d'uso di modifica mascherata è necessaria un'immagine di riferimento della maschera (REFERENCE_TYPE_MASK).
    • referenceId: L'ID intero dell'immagine di riferimento. In questo esempio, i due oggetti immagine di riferimento sono di tipi diversi, quindi hanno valori referenceId distinti (1 e 2).
    • B64_BASE_IMAGE: L'immagine di base da modificare o aumentare di risoluzione. L'immagine deve essere specificata come stringa di byte con codifica base64. Dimensioni massime: 10 MB.
    • maskImageConfig.maskMode: La modalità maschera per la modifica delle maschere. MASK_MODE_BACKGROUND viene utilizzato per mascherare automaticamente lo sfondo senza una maschera fornita dall'utente.
    • MASK_DILATION - float. La percentuale della larghezza dell'immagine in base alla quale dilatare questa maschera. Per evitare di estendere il prodotto in primo piano, è consigliabile un valore di 0.00. Minimo: 0, massimo: 1. Valore predefinito: 0,03.
    • EDIT_STEPS - numero intero. Il numero di passaggi di campionamento per il modello di base. Per la modifica delle immagini prodotto, inizia dai passaggi 75.
    • EDIT_IMAGE_COUNT: il numero di immagini modificate. Valori interi accettati: 1-4. Il valore predefinito è 4.

    Metodo HTTP e URL: 

    POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

    Corpo JSON della richiesta: 

    {
  "instances": [
    {
      "prompt": "TEXT_PROMPT",
      "referenceImages": [
        {
          "referenceType": "REFERENCE_TYPE_RAW",
          "referenceId": 1,
          "referenceImage": {
            "bytesBase64Encoded": "B64_BASE_IMAGE"
          }
        },
        {
          "referenceType": "REFERENCE_TYPE_MASK",
          "referenceId": 2,
          "maskImageConfig": {
            "maskMode": "MASK_MODE_BACKGROUND",
            "dilation": MASK_DILATION
          }
        }
      ]
    }
  ],
  "parameters": {
    "editConfig": {
      "baseSteps": EDIT_STEPS
    },
    "editMode": "EDIT_MODE_BGSWAP",
    "sampleCount": EDIT_IMAGE_COUNT
  }
}

    Per inviare la richiesta, scegli una di queste opzioni:

    curl

    Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

    curl -X POST \
         -H "Authorization: Bearer $(gcloud auth print-access-token)" \
         -H "Content-Type: application/json; charset=utf-8" \
         -d @request.json \
         "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

    PowerShell

    Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

    $cred = gcloud auth print-access-token
    $headers = @{ "Authorization" = "Bearer $cred" }

    Invoke-WebRequest `
        -Method POST `
        -Headers $headers `
        -ContentType: "application/json; charset=utf-8" `
        -InFile request.json `
        -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content
    La seguente risposta di esempio riguarda una richiesta di modifica dello sfondo di un prodotto. La risposta restituisce quattro oggetti di previsione, con i byte dell'immagine generata codificati in base64. 
    {
  "predictions": [
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "BASE64_IMG_BYTES"
    },
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    },
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    }
  ]
}

    Imagen 2

    Utilizza gli esempi seguenti per inviare una richiesta di modifica dell'immagine di un prodotto utilizzando il modello Imagen 2 o Imagen.

    Console

    1. Nella console Google Cloud , vai alla pagina Vertex AI > Media Studio .

      Vai a Media Studio

    2. Nel riquadro delle attività in basso, fai clic su Modifica immagine.

    3. Fai clic su Carica per selezionare l'immagine del prodotto memorizzata localmente da modificare.

    4. Nel riquadro Parametri, seleziona Attiva la modifica delle immagini di stile del prodotto.

    5. Nel campo Prompt (Scrivi il tuo prompt qui), inserisci il prompt.

    6. Fai clic su Genera.

    Python

    Per scoprire come installare o aggiornare l'SDK Vertex AI Python, consulta Installare l'SDK Vertex AI Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python. 

    
import vertexai
from vertexai.preview.vision_models import Image, ImageGenerationModel

# TODO(developer): Update and un-comment below lines
# PROJECT_ID = "your-project-id"
# input_file = "input-image.png"
# output_file = "output-image.png"
# prompt = "" # The text prompt describing what you want to see in the background.

vertexai.init(project=PROJECT_ID, location="us-central1")

model = ImageGenerationModel.from_pretrained("imagegeneration@006")
base_img = Image.load_from_file(location=input_file)

images = model.edit_image(
    base_image=base_img,
    prompt=prompt,
    edit_mode="product-image",
)

images[0].save(location=output_file, include_generation_parameters=False)

# Optional. View the edited image in a notebook.
# images[0].show()

print(f"Created output image using {len(images[0]._image_bytes)} bytes")
# Example response:
# Created output image using 1234567 bytes

    REST

    Per ulteriori informazioni sulle richieste del modello imagegeneration, consulta il riferimento API del modello imagegeneration.

    Per attivare la modifica delle immagini dei prodotti utilizzando il modello 006 della versione 2 di Imagen (imagegeneration@006), includi il seguente campo nell'oggetto "editConfig": {}: "editMode": "product-image". Questa richiesta restituisce sempre 4 immagini.

    Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

    • PROJECT_ID: il tuo Google Cloud ID progetto.
    • LOCATION: la regione del tuo progetto. Ad esempio, us-central1, europe-west2 o asia-northeast3. Per un elenco delle regioni disponibili, consulta Località dell'AI generativa su Vertex AI.
    • TEXT_PROMPT: Il prompt di testo che guida le immagini generate dal modello. Questo campo è obbligatorio sia per la generazione che per la modifica.
    • B64_BASE_IMAGE: L'immagine di base da modificare o aumentare di risoluzione. L'immagine deve essere specificata come stringa di byte con codifica base64. Dimensioni massime: 10 MB.
    • PRODUCT_POSITION: (Facoltativo). Un'impostazione per mantenere il posizionamento originale del prodotto o dell'oggetto rilevato oppure per consentire al modello di riposizionarlo. Valori disponibili: reposition (valore predefinito), che consente il riposizionamento, o fixed, che mantiene la posizione del prodotto. Per le immagini di input non quadrate, il comportamento della posizione del prodotto è sempre "riposiziona", anche se è impostato "fissa".

    Metodo HTTP e URL: 

    POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict

    Corpo JSON della richiesta: 

    {
  "instances": [
    {
      "prompt": "TEXT_PROMPT",
      "image": {
          "bytesBase64Encoded": "B64_BASE_IMAGE"
      },
    }
  ],
  "parameters": {
    "editConfig": {
      "editMode": "product-image",
      "productPosition": "PRODUCT_POSITION",
    }
  }
}

    Per inviare la richiesta, scegli una di queste opzioni:

    curl

    Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

    curl -X POST \
         -H "Authorization: Bearer $(gcloud auth print-access-token)" \
         -H "Content-Type: application/json; charset=utf-8" \
         -d @request.json \
         "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict"

    PowerShell

    Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

    $cred = gcloud auth print-access-token
    $headers = @{ "Authorization" = "Bearer $cred" }

    Invoke-WebRequest `
        -Method POST `
        -Headers $headers `
        -ContentType: "application/json; charset=utf-8" `
        -InFile request.json `
        -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict" | Select-Object -Expand Content
    La seguente risposta di esempio riguarda una richiesta di modifica dello sfondo di un prodotto. La risposta restituisce quattro oggetti di previsione, con i byte dell'immagine generata codificati in base64. 
    {
  "predictions": [
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "BASE64_IMG_BYTES"
    },
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    },
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    }
  ]
}

    Modificare con un'area mascherata definita

    Puoi scegliere di mascherare l'area sostituita, anziché lasciare che Imagen rilevi automaticamente la maschera.

    Console

    1. Nella console Google Cloud , vai alla pagina Vertex AI > Media Studio .

      Vai a Media Studio

    2. Fai clic su Carica. Nella finestra di dialogo dei file visualizzata, seleziona un file da caricare.
    3. Fai clic su Inpaint.
    4. Nel riquadro Parametri, fai clic su Sfondo prodotto.

    5. Esegui una di queste operazioni:

      • Caricare la propria maschera:
        1. Crea una maschera sul computer.
        2. Fai clic su Carica maschera. Nella finestra di dialogo visualizzata, seleziona una maschera da caricare.
      • Definisci la tua maschera:nella barra degli strumenti di modifica, utilizza gli strumenti maschera (casella, pennello o masked_transitionsinversione ) per specificare l'area o le aree a cui aggiungere contenuti.
    6. (Facoltativo) Nel riquadro Parametri, regola le seguenti opzioni:
      • Modello: il modello Imagen da utilizzare
      • Numero di risultati: il numero di risultati da generare
      • Prompt negativo: elementi da evitare di generare
    7. Nel campo del prompt, inserisci un prompt per modificare l'immagine.
    8. Fai clic su Genera.

    Python

    Installa

    pip install --upgrade google-genai

    Per saperne di più, consulta la documentazione di riferimento dell'SDK.

    Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI: 

    # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=us-central1
export GOOGLE_GENAI_USE_VERTEXAI=True
     

    from google import genai
from google.genai.types import RawReferenceImage, MaskReferenceImage, MaskReferenceConfig, EditImageConfig

client = genai.Client()

# TODO(developer): Update and un-comment below line
# output_file = "output-image.png"

raw_ref = RawReferenceImage(
    reference_image=Image.from_file(location='test_resources/suitcase.png'), reference_id=0)
mask_ref = MaskReferenceImage(
    reference_id=1,
    reference_image=Image.from_file(location='test_resources/suitcase_mask.png'),
    config=MaskReferenceConfig(
        mask_mode="MASK_MODE_USER_PROVIDED",
        mask_dilation=0.0,
    ),
)

image = client.models.edit_image(
    model="imagen-3.0-capability-001",
    prompt="A light blue suitcase in an airport",
    reference_images=[raw_ref, mask_ref],
    config=EditImageConfig(
        edit_mode="EDIT_MODE_BGSWAP",
    ),
)

image.generated_images[0].image.save(output_file)

print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
# Example response:
# Created output image using 1234567 bytes

    REST

    Per ulteriori informazioni, consulta il riferimento all'API Modifica immagini.

    Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

    • PROJECT_ID: il tuo Google Cloud ID progetto.
    • LOCATION: la regione del tuo progetto. Ad esempio, us-central1, europe-west2 o asia-northeast3. Per un elenco delle regioni disponibili, consulta Località dell'AI generativa su Vertex AI.
    • TEXT_PROMPT: Il prompt di testo che guida le immagini generate dal modello. Questo campo è obbligatorio sia per la generazione che per la modifica.
    • referenceId: L'ID intero dell'immagine di riferimento. In questo esempio, i due oggetti immagine di riferimento sono di tipi diversi, quindi hanno valori referenceId distinti (1 e 2).
    • B64_BASE_IMAGE: L'immagine di base da modificare o aumentare di risoluzione. L'immagine deve essere specificata come stringa di byte con codifica base64. Dimensioni massime: 10 MB.
    • B64_MASK_IMAGE: L'immagine in bianco e nero che vuoi utilizzare come livello maschera per modificare l'immagine originale. L'immagine deve essere specificata come stringa di byte con codifica base64. Dimensioni massime: 10 MB.
    • MASK_DILATION - float. La percentuale della larghezza dell'immagine in base alla quale dilatare questa maschera. Per evitare di estendere il prodotto in primo piano, è consigliabile un valore di 0.00. Minimo: 0, massimo: 1. Valore predefinito: 0,03.
    • EDIT_STEPS - numero intero. Il numero di passaggi di campionamento per il modello di base. Per la modifica delle immagini prodotto, inizia dai passaggi 75.
    • EDIT_IMAGE_COUNT: il numero di immagini modificate. Valori interi accettati: 1-4. Il valore predefinito è 4.

    Metodo HTTP e URL: 

    POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

    Corpo JSON della richiesta: 

    {
  "instances": [
    {
      "prompt": "TEXT_PROMPT": [
        {
          "referenceType": "REFERENCE_TYPE_RAW",
          "referenceId": 1,
          "referenceImage": {
            "bytesBase64Encoded": "B64_BASE_IMAGE"
          }
        },
        {
          "referenceType": "REFERENCE_TYPE_MASK",
          "referenceId": 2,
          "referenceImage": {
            "bytesBase64Encoded": "B64_MASK_IMAGE"
          },
          "maskImageConfig": {
            "maskMode": "MASK_MODE_USER_PROVIDED",
            "dilation": MASK_DILATION
          }
        }
      ]
    }
  ],
  "parameters": {
    "editConfig": {
      "baseSteps": EDIT_STEPS
    },
    "editMode": "EDIT_MODE_BGSWAP",
    "sampleCount": EDIT_IMAGE_COUNT
  }
}

    Per inviare la richiesta, scegli una di queste opzioni:

    curl

    Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

    curl -X POST \
         -H "Authorization: Bearer $(gcloud auth print-access-token)" \
         -H "Content-Type: application/json; charset=utf-8" \
         -d @request.json \
         "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

    PowerShell

    Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

    $cred = gcloud auth print-access-token
    $headers = @{ "Authorization" = "Bearer $cred" }

    Invoke-WebRequest `
        -Method POST `
        -Headers $headers `
        -ContentType: "application/json; charset=utf-8" `
        -InFile request.json `
        -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content
    La seguente risposta di esempio riguarda una richiesta di modifica dello sfondo di un prodotto. 
    {
  "predictions": [
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "BASE64_IMG_BYTES"
    },
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    },
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    }
  ]
}

    Limitazioni

    Poiché a volte le maschere sono incomplete, il modello potrebbe tentare di completare l'oggetto in primo piano quando mancano parti estremamente piccole al confine. Come effetto collaterale raro, quando l'oggetto in primo piano è già completo, il modello potrebbe creare piccole estensioni.

    Una soluzione alternativa consiste nel segmentare l'output del modello e poi combinarlo. Di seguito è riportato un esempio di snippet Python che mostra una soluzione alternativa:

    blended = Image.composite(out_images[0].resize(image_expanded.size), image_expanded, mask_expanded)

    Passaggi successivi

    Leggi gli articoli su Imagen e altri prodotti di AI generativa su Vertex AI: