Remplacer l'arrière-plan d'une image

Cette page explique comment remplacer l'arrière-plan d'une image. Imagen sur Vertex AI vous permet d'utiliser la segmentation automatique d'objets pour conserver ce contenu tout en modifiant le reste de l'image. Avec Imagen 3, vous pouvez également fournir votre propre zone de masque pour un meilleur contrôle lors de la modification.

Afficher la fiche de modèle Imagen pour la modification et la personnalisation

Exemple de modification d'image de produit

Le cas d'utilisation suivant met en évidence l'amélioration d'une image de produit en modifiant l'arrière-plan d'une image, tout en conservant l'apparence du produit dans l'image.

Exemple d'image générée dans la console
Image générée avec la fonctionnalité Imagen de modification d'images de produits à partir du prompt : sur une table dans une boutique. Source de l'image d'origine : Irene Kredenets sur Unsplash.

Avant de commencer

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI API.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Vertex AI API.

    Enable the API

  8. Configurez l'authentification pour votre environnement.

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    Python

    Pour utiliser les exemples Python de cette page dans un environnement de développement local, installez et initialisez gcloud CLI, puis configurez le service Identifiants par défaut de l'application à l'aide de vos identifiants utilisateur.

    1. Install the Google Cloud CLI.

    2. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

    3. To initialize the gcloud CLI, run the following command:

      gcloud init
    4. If you're using a local shell, then create local authentication credentials for your user account:

      gcloud auth application-default login

      You don't need to do this if you're using Cloud Shell.

      If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

    Pour en savoir plus, consultez Configurer les ADC pour un environnement de développement local dans la documentation sur l'authentification Google Cloud .

    REST

    Pour utiliser les exemples d'API REST de cette page dans un environnement de développement local, vous devez utiliser les identifiants que vous fournissez à gcloud CLI.

      After installing the Google Cloud CLI, initialize it by running the following command:

      gcloud init

      If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

    Pour en savoir plus, consultez la section S'authentifier pour utiliser REST dans la documentation sur l'authentification Google Cloud .

    Modifier avec un masque d'arrière-plan détecté automatiquement

    Imagen vous permet de modifier les images de produits grâce à la détection automatique de l'arrière-plan. Cela peut être utile si vous devez modifier l'arrière-plan d'une image de produit, tout en préservant l'apparence du produit. La modification d'images de produits utilise l'offre Google Product Studio (GPS). Vous pouvez utiliser la fonctionnalité GPS dans Imagen à l'aide de la console ou de l'API.

    Exemple d'image générée dans la console
    Image générée avec la fonctionnalité Imagen de modification d'images de produits à partir du prompt : sur une table dans une boutique. Source de l'image d'origine : Irene Kredenets sur Unsplash.

    Suivez les instructions ci-dessous pour activer et utiliser la modification d'images de produits avec détection automatique de l'arrière-plan.

    Imagen 3

    Utilisez les exemples suivants pour envoyer une requête de modification d'image de produit à l'aide du modèle Imagen 3.

    Console

    1. Dans la console Google Cloud , accédez à la page Vertex AI>Media Studio .

      Accéder à Media Studio

    2. Cliquez sur Importer. Dans la boîte de dialogue de sélection de fichier qui s'affiche, sélectionnez un fichier à importer.
    3. Cliquez sur Inpaint.
    4. Dans le panneau Paramètres, cliquez sur Arrière-plan du produit.
    5. Dans la barre d'outils de modification, cliquez sur background_replaceExtraire.
    6. Sélectionnez l'une des options d'extraction de masque :

      • Éléments d'arrière-plan : détecte les éléments d'arrière-plan et crée un masque autour de ces éléments.
      • Éléments de premier plan : détecte les objets au premier plan et crée un masque autour d'eux.
      • background_replacePersonnes : détecte les personnes et crée un masque autour d'elles.
    7. Facultatif : Dans le panneau latéral Paramètres, ajustez les options suivantes :
      • Modèle : modèle Imagen à utiliser
      • Nombre de résultats : nombre de résultats à générer
      • Requête négative : éléments à ne pas générer
    8. Dans le champ de requête, saisissez une requête pour modifier l'image.
    9. Cliquez sur sendGénérer.

    Python

    Installer

    pip install --upgrade google-genai

    Pour en savoir plus, lisez la documentation de référence du SDK.

    Définissez les variables d'environnement pour utiliser le SDK Gen AI avec Vertex AI :

    # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
    # with appropriate values for your project.
    export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
    export GOOGLE_CLOUD_LOCATION=us-central1
    export GOOGLE_GENAI_USE_VERTEXAI=True

    from google import genai
    from google.genai.types import RawReferenceImage, MaskReferenceImage, MaskReferenceConfig, EditImageConfig
    
    client = genai.Client()
    
    # TODO(developer): Update and un-comment below line
    # output_file = "output-image.png"
    
    raw_ref = RawReferenceImage(
        reference_image=Image.from_file(location='test_resources/suitcase.png'), reference_id=0)
    mask_ref = MaskReferenceImage(
        reference_id=1,
        reference_image=None,
        config=MaskReferenceConfig(
            mask_mode="MASK_MODE_BACKGROUND",
        ),
    )
    
    image = client.models.edit_image(
        model="imagen-3.0-capability-001",
        prompt="A light blue suitcase in front of a window in an airport",
        reference_images=[raw_ref, mask_ref],
        config=EditImageConfig(
            edit_mode="EDIT_MODE_BGSWAP",
        ),
    )
    
    image.generated_images[0].image.save(output_file)
    
    print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
    # Example response:
    # Created output image using 1234567 bytes
    

    REST

    Pour en savoir plus, consultez la documentation de référence de l'API Modifier des images.

    Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :

    • PROJECT_ID : ID de votre projet Google Cloud .
    • LOCATION : région de votre projet (us-central1, europe-west2 ou asia-northeast3, par exemple). Pour obtenir la liste des régions disponibles, consultez IA générative sur les emplacements Vertex AI.
    • TEXT_PROMPT : prompt textuel qui guide le modèle pour la génération d'images. Ce champ est obligatoire pour la génération et la modification.
    • referenceType : ReferenceImage correspond à une image qui fournit un contexte supplémentaire pour la modification d'images. Une image de référence brute RVB normale (REFERENCE_TYPE_RAW) est requise pour les cas d'utilisation de modification. Une seule image de référence brute peut exister dans une requête. L'image de sortie a la même hauteur et la même largeur que l'image de référence brute. Une image de référence de masque (REFERENCE_TYPE_MASK) est requise pour les cas d'utilisation de modification de masque.
    • referenceId : entier représentant l'ID de l'image de référence. Dans cet exemple, les deux objets d'image de référence sont de types différents. Ils ont donc des valeurs referenceId distinctes (1 et 2).
    • B64_BASE_IMAGE : image de base à modifier ou à améliorer. L'image doit être spécifiée en tant que chaîne d'octets encodés en base64. Limite de taille : 10 Mo.
    • maskImageConfig.maskMode : mode de masque pour la modification du masque. MASK_MODE_BACKGROUND permet de masquer automatiquement l'arrière-plan sans que l'utilisateur fournisse de masque.
    • MASK_DILATION : float. Pourcentage de la largeur de l'image à utiliser pour dilater ce masque. Nous vous recommandons de définir 0.00 comme valeur pour éviter d'étendre le produit au premier plan. Minimum : 0, maximum : 1. Par défaut : 0.03.
    • EDIT_STEPS : entier. Nombre d'étapes d'échantillonnage pour le modèle de base. Pour modifier l'image d'un produit, commencez avec 75 étapes.
    • EDIT_IMAGE_COUNT : nombre d'images modifiées. Valeurs entières acceptées : 1 à 4. Valeur par défaut : 4.

    Méthode HTTP et URL :

    POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

    Corps JSON de la requête :

    {
      "instances": [
        {
          "prompt": "TEXT_PROMPT",
          "referenceImages": [
            {
              "referenceType": "REFERENCE_TYPE_RAW",
              "referenceId": 1,
              "referenceImage": {
                "bytesBase64Encoded": "B64_BASE_IMAGE"
              }
            },
            {
              "referenceType": "REFERENCE_TYPE_MASK",
              "referenceId": 2,
              "maskImageConfig": {
                "maskMode": "MASK_MODE_BACKGROUND",
                "dilation": MASK_DILATION
              }
            }
          ]
        }
      ],
      "parameters": {
        "editConfig": {
          "baseSteps": EDIT_STEPS
        },
        "editMode": "EDIT_MODE_BGSWAP",
        "sampleCount": EDIT_IMAGE_COUNT
      }
    }
    

    Pour envoyer votre requête, choisissez l'une des options suivantes :

    curl

    Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

    PowerShell

    Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

    $cred = gcloud auth print-access-token
    $headers = @{ "Authorization" = "Bearer $cred" }

    Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content
    L'exemple suivant représente une réponse à une requête de modification d'arrière-plan de produit. La réponse renvoie quatre objets de prédiction, avec les octets de l'image générée encodés en base64.
    {
      "predictions": [
        {
          "bytesBase64Encoded": "BASE64_IMG_BYTES",
          "mimeType": "image/png"
        },
        {
          "mimeType": "image/png",
          "bytesBase64Encoded": "BASE64_IMG_BYTES"
        },
        {
          "bytesBase64Encoded": "BASE64_IMG_BYTES",
          "mimeType": "image/png"
        },
        {
          "bytesBase64Encoded": "BASE64_IMG_BYTES",
          "mimeType": "image/png"
        }
      ]
    }
    

    Imagen 2

    Utilisez les exemples suivants pour envoyer une requête de modification d'image de produit à l'aide du modèle Imagen 2 ou Imagen.

    Console

    1. Dans la console Google Cloud , accédez à la page Vertex AI>Media Studio .

      Accéder à Media Studio

    2. Dans le panneau de tâches en bas, cliquez sur  Modifier l'image.

    3. Cliquez sur Importer pour sélectionner l'image de produit stockée localement à modifier.

    4. Dans le panneau Paramètres, sélectionnez Activer la modification d'images de produits.

    5. Dans le champ Prompt (Saisissez votre prompt ici), rédigez votre prompt.

    6. Cliquez sur Générer.

    Python

    Pour savoir comment installer ou mettre à jour le SDK Vertex AI pour Python, consultez la section Installer le SDK Vertex AI pour Python. Pour en savoir plus, consultez la documentation de référence de l'API Python.

    
    import vertexai
    from vertexai.preview.vision_models import Image, ImageGenerationModel
    
    # TODO(developer): Update and un-comment below lines
    # PROJECT_ID = "your-project-id"
    # input_file = "input-image.png"
    # output_file = "output-image.png"
    # prompt = "" # The text prompt describing what you want to see in the background.
    
    vertexai.init(project=PROJECT_ID, location="us-central1")
    
    model = ImageGenerationModel.from_pretrained("imagegeneration@006")
    base_img = Image.load_from_file(location=input_file)
    
    images = model.edit_image(
        base_image=base_img,
        prompt=prompt,
        edit_mode="product-image",
    )
    
    images[0].save(location=output_file, include_generation_parameters=False)
    
    # Optional. View the edited image in a notebook.
    # images[0].show()
    
    print(f"Created output image using {len(images[0]._image_bytes)} bytes")
    # Example response:
    # Created output image using 1234567 bytes
    

    REST

    Pour en savoir plus sur les requêtes envoyées au modèle imagegeneration, consultez la documentation de référence de l'API du modèle imagegeneration.

    Pour activer la modification d'images de produits avec le modèle Imagen 2 version 006 (imagegeneration@006), incluez le champ suivant dans l'objet "editConfig": {} : "editMode": "product-image". Cette requête renvoie toujours quatre images.

    Avant d'utiliser les données de requête, effectuez les remplacements suivants :

    • PROJECT_ID : ID de votre projet Google Cloud .
    • LOCATION : région de votre projet (us-central1, europe-west2 ou asia-northeast3, par exemple). Pour obtenir la liste des régions disponibles, consultez IA générative sur les emplacements Vertex AI.
    • TEXT_PROMPT : prompt textuel qui guide le modèle pour la génération d'images. Ce champ est obligatoire pour la génération et la modification.
    • B64_BASE_IMAGE : image de base à modifier ou à améliorer. L'image doit être spécifiée en tant que chaîne d'octets encodés en base64. Limite de taille : 10 Mo.
    • PRODUCT_POSITION : facultatif. Paramètre permettant de conserver le positionnement d'origine du produit ou de l'objet détecté, ou d'autoriser le modèle à le repositionner. Valeurs disponibles : reposition (valeur par défaut), qui permet de repositionner le produit, ou fixed, qui conserve la position du produit. Pour les images d'entrée non carrées, le comportement de positionnement du produit est toujours "reposition" (replacer), même si "fixed" (fixe) est défini.

    Méthode HTTP et URL :

    POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict

    Corps JSON de la requête :

    {
      "instances": [
        {
          "prompt": "TEXT_PROMPT",
          "image": {
              "bytesBase64Encoded": "B64_BASE_IMAGE"
          },
        }
      ],
      "parameters": {
        "editConfig": {
          "editMode": "product-image",
          "productPosition": "PRODUCT_POSITION",
        }
      }
    }
    
    

    Pour envoyer votre requête, choisissez l'une des options suivantes :

    curl

    Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict"

    PowerShell

    Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

    $cred = gcloud auth print-access-token
    $headers = @{ "Authorization" = "Bearer $cred" }

    Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagegeneration@006:predict" | Select-Object -Expand Content
    L'exemple suivant représente une réponse à une requête de modification d'arrière-plan de produit. La réponse renvoie quatre objets de prédiction, avec les octets de l'image générée encodés en base64.
    {
      "predictions": [
        {
          "bytesBase64Encoded": "BASE64_IMG_BYTES",
          "mimeType": "image/png"
        },
        {
          "mimeType": "image/png",
          "bytesBase64Encoded": "BASE64_IMG_BYTES"
        },
        {
          "bytesBase64Encoded": "BASE64_IMG_BYTES",
          "mimeType": "image/png"
        },
        {
          "bytesBase64Encoded": "BASE64_IMG_BYTES",
          "mimeType": "image/png"
        }
      ]
    }
    

    Modifier avec une zone de masque définie

    Vous pouvez choisir de masquer la zone à remplacer au lieu de laisser Imagen détecter le masque automatiquement.

    Console

    1. Dans la console Google Cloud , accédez à la page Vertex AI>Media Studio .

      Accéder à Media Studio

    2. Cliquez sur Importer. Dans la boîte de dialogue de sélection de fichier qui s'affiche, sélectionnez un fichier à importer.
    3. Cliquez sur Inpaint.
    4. Dans le panneau Paramètres, cliquez sur Arrière-plan du produit.
    5. Effectuez l'une des opérations suivantes :

      • Importer votre propre masque :
        1. Créez un masque sur votre ordinateur.
        2. Cliquez sur Importer un masque. Dans la boîte de dialogue qui s'affiche, sélectionnez un masque à importer.
      • Définissez votre propre masque : dans la barre d'outils de modification, utilisez les outils de masque ( Zone,  Pinceau ou masked_transitions Inversion) pour spécifier la ou les zones dans lesquelles vous souhaitez ajouter du contenu.
    6. Facultatif : Dans le panneau Paramètres, ajustez les options suivantes :
      • Modèle : modèle Imagen à utiliser
      • Nombre de résultats : nombre de résultats à générer
      • Requête négative : éléments à ne pas générer
    7. Dans le champ de requête, saisissez une requête pour modifier l'image.
    8. Cliquez sur Générer.

    Python

    Installer

    pip install --upgrade google-genai

    Pour en savoir plus, lisez la documentation de référence du SDK.

    Définissez les variables d'environnement pour utiliser le SDK Gen AI avec Vertex AI :

    # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
    # with appropriate values for your project.
    export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
    export GOOGLE_CLOUD_LOCATION=us-central1
    export GOOGLE_GENAI_USE_VERTEXAI=True

    from google import genai
    from google.genai.types import RawReferenceImage, MaskReferenceImage, MaskReferenceConfig, EditImageConfig
    
    client = genai.Client()
    
    # TODO(developer): Update and un-comment below line
    # output_file = "output-image.png"
    
    raw_ref = RawReferenceImage(
        reference_image=Image.from_file(location='test_resources/suitcase.png'), reference_id=0)
    mask_ref = MaskReferenceImage(
        reference_id=1,
        reference_image=Image.from_file(location='test_resources/suitcase_mask.png'),
        config=MaskReferenceConfig(
            mask_mode="MASK_MODE_USER_PROVIDED",
            mask_dilation=0.0,
        ),
    )
    
    image = client.models.edit_image(
        model="imagen-3.0-capability-001",
        prompt="A light blue suitcase in an airport",
        reference_images=[raw_ref, mask_ref],
        config=EditImageConfig(
            edit_mode="EDIT_MODE_BGSWAP",
        ),
    )
    
    image.generated_images[0].image.save(output_file)
    
    print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
    # Example response:
    # Created output image using 1234567 bytes
    

    REST

    Pour en savoir plus, consultez la documentation de référence de l'API Modifier des images.

    Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :

    • PROJECT_ID : ID de votre projet Google Cloud .
    • LOCATION : région de votre projet (us-central1, europe-west2 ou asia-northeast3, par exemple). Pour obtenir la liste des régions disponibles, consultez IA générative sur les emplacements Vertex AI.
    • TEXT_PROMPT : prompt textuel qui guide le modèle pour la génération d'images. Ce champ est obligatoire pour la génération et la modification.
    • referenceId : entier représentant l'ID de l'image de référence. Dans cet exemple, les deux objets d'image de référence sont de types différents. Ils ont donc des valeurs referenceId distinctes (1 et 2).
    • B64_BASE_IMAGE : image de base à modifier ou à améliorer. L'image doit être spécifiée en tant que chaîne d'octets encodés en base64. Limite de taille : 10 Mo.
    • B64_MASK_IMAGE : image en noir et blanc que vous souhaitez utiliser comme calque de masque pour modifier l'image d'origine. L'image doit être spécifiée en tant que chaîne d'octets encodés en base64. Limite de taille : 10 Mo.
    • MASK_DILATION : float. Pourcentage de la largeur de l'image à utiliser pour dilater ce masque. Nous vous recommandons de définir 0.00 comme valeur pour éviter d'étendre le produit au premier plan. Minimum : 0, maximum : 1. Par défaut : 0.03.
    • EDIT_STEPS : entier. Nombre d'étapes d'échantillonnage pour le modèle de base. Pour modifier l'image d'un produit, commencez avec 75 étapes.
    • EDIT_IMAGE_COUNT : nombre d'images modifiées. Valeurs entières acceptées : 1 à 4. Valeur par défaut : 4.

    Méthode HTTP et URL :

    POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

    Corps JSON de la requête :

    {
      "instances": [
        {
          "prompt": "TEXT_PROMPT": [
            {
              "referenceType": "REFERENCE_TYPE_RAW",
              "referenceId": 1,
              "referenceImage": {
                "bytesBase64Encoded": "B64_BASE_IMAGE"
              }
            },
            {
              "referenceType": "REFERENCE_TYPE_MASK",
              "referenceId": 2,
              "referenceImage": {
                "bytesBase64Encoded": "B64_MASK_IMAGE"
              },
              "maskImageConfig": {
                "maskMode": "MASK_MODE_USER_PROVIDED",
                "dilation": MASK_DILATION
              }
            }
          ]
        }
      ],
      "parameters": {
        "editConfig": {
          "baseSteps": EDIT_STEPS
        },
        "editMode": "EDIT_MODE_BGSWAP",
        "sampleCount": EDIT_IMAGE_COUNT
      }
    }
    

    Pour envoyer votre requête, choisissez l'une des options suivantes :

    curl

    Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

    PowerShell

    Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

    $cred = gcloud auth print-access-token
    $headers = @{ "Authorization" = "Bearer $cred" }

    Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content
    L'exemple suivant représente une réponse à une requête de modification d'arrière-plan de produit.
    {
      "predictions": [
        {
          "bytesBase64Encoded": "BASE64_IMG_BYTES",
          "mimeType": "image/png"
        },
        {
          "mimeType": "image/png",
          "bytesBase64Encoded": "BASE64_IMG_BYTES"
        },
        {
          "bytesBase64Encoded": "BASE64_IMG_BYTES",
          "mimeType": "image/png"
        },
        {
          "bytesBase64Encoded": "BASE64_IMG_BYTES",
          "mimeType": "image/png"
        }
      ]
    }
    

    Limites

    Étant donné que les masques sont parfois incomplets, le modèle peut essayer de compléter l'objet au premier plan lorsque de très petits éléments manquent à la limite. Dans de rares cas, lorsque l'objet au premier plan est déjà complet, le modèle peut créer de légères extensions.

    Pour contourner ce problème, segmentez la sortie du modèle, puis effectuez un blending. Voici un exemple d'extrait de code Python illustrant une solution de contournement :

    blended = Image.composite(out_images[0].resize(image_expanded.size), image_expanded, mask_expanded)
    

    Étapes suivantes

    Consultez des articles concernant Imagen et d'autres produits d'IA générative sur Vertex AI :