IA responsabile e linee guida per l'utilizzo di Imagen

Imagen su Vertex AI offre agli sviluppatori di applicazioni le funzionalità di AI generativa all'avanguardia di Google. Essendo una tecnologia ancora in fase iniziale, le capacità e gli utilizzi in evoluzione di Imagen su Vertex AI generano un potenziale di applicazioni errate, usi impropri e conseguenze non volute o impreviste. Ad esempio, Imagen su Vertex AI potrebbe generare output inaspettati, come immagini offensive, insensibili o contestualmente errate.

Considerati questi rischi e queste complessità, Imagen su Vertex AI è progettato tenendo conto dei principi di Google AI. Tuttavia, è importante che gli sviluppatori comprendano e testino i propri modelli per eseguirne il deployment in modo sicuro e responsabile. Per aiutare gli sviluppatori, Imagen su Vertex AI dispone di filtri di sicurezza integrati per aiutare i clienti a bloccare output potenzialmente dannosi all'interno del loro caso d'uso. Per saperne di più, consulta la sezione Filtri di sicurezza.

Quando Imagen su Vertex AI è integrato nel caso d'uso e nel contesto unici di un cliente, potrebbero essere necessarie ulteriori considerazioni sull'AI responsabile e limitazioni del modello. Invitiamo i clienti a utilizzare le best practice per equità, interpretabilità, privacy e sicurezza.

Visualizza la scheda del modello Imagen for Generation

Visualizzare la scheda del modello Imagen per la modifica e la personalizzazione

Linee guida per l'utilizzo di Imagen

Leggi i seguenti attributi generali del prodotto e considerazioni legali prima di utilizzare Imagen su Vertex AI.

  • Filtri e output di immagini e testo: le immagini (generate o caricate) tramite Imagen su Vertex AI vengono valutate in base ai filtri di sicurezza. Imagen mira a filtrare le immagini (generate o caricate) che violano le nostre norme di utilizzo accettabile o le ulteriori limitazioni dei prodotti di AI generativa. Inoltre, i nostri modelli di immagini generative hanno lo scopo di generare contenuti originali e non di replicare contenuti esistenti. Abbiamo progettato i nostri sistemi in modo da limitare le probabilità che ciò accada e continueremo a migliorarne il funzionamento. Come tutti i fornitori di servizi cloud, Google mantiene una Norme di utilizzo accettabile che vieta ai clienti di utilizzare i nostri servizi in modi che violano i diritti di proprietà intellettuale di terze parti.
  • Soglie dei filtri di sicurezza configurabili: Google blocca le risposte del modello che superano i punteggi di confidenza designati per determinati attributi di sicurezza. Per richiedere la possibilità di modificare una soglia di sicurezza, contatta il team dedicato al tuo accountGoogle Cloud .
  • Aggiunta di testo supportata su determinate versioni del modello: Imagen non supporta l'aggiunta di testo alle immagini (caricate o generate) utilizzando un prompt di testo quando si utilizzano le versioni del modello imagegeneration@004 o inferiori.
  • Segnala un abuso sospetto: Puoi segnalare un abuso sospetto di Imagen su Vertex AI o qualsiasi output generato che contenga materiale inappropriato o informazioni imprecise utilizzando il modulo Segnala un abuso sospetto su Google Cloud .
  • Ritiro dal programma Trusted Tester: se in precedenza hai acconsentito a consentire a Google di utilizzare i tuoi dati per migliorare i servizi AI/ML pre-GA nell'ambito dei termini del programma Trusted Tester, puoi ritirarti utilizzando il modulo di richiesta di ritiro dal programma Trusted Tester.

Filtri di sicurezza

I prompt di testo forniti come input e le immagini (generate o caricate) tramite Imagen su Vertex AI vengono valutati in base a un elenco di filtri di sicurezza, che includono "categorie dannose" (ad esempio violence, sexual, derogatory, e toxic). Questi filtri di sicurezza mirano a filtrare i contenuti (generati o caricati) che violano le nostre Norme di utilizzo accettabile, le nostre Norme di utilizzo vietato dell'AI generativa o i nostri Principi di AI.

Se il modello risponde a una richiesta con un messaggio di errore come "La richiesta non è stato possibile inviarla" o"potrebbe violare le nostre norme ", l'input attiva un filtro di sicurezza. Se vengono restituite meno immagini di quelle richieste, significa che alcuni output generati sono bloccati perché non soddisfano i requisiti di sicurezza.

Puoi scegliere il livello di aggressività con cui filtrare i contenuti sensibili modificando il parametro safetySetting.

Attributi di sicurezza

Gli attributi di sicurezza e i filtri di sicurezza non hanno una relazione di mapping one-to-one. Gli attributi di sicurezza sono l'insieme di attributi che restituiamo all'utente quando è impostato includeSafetyAttributes. I filtri di sicurezza sono l'insieme di filtri che utilizziamo per filtrare i contenuti. Non filtriamo tutte le categorie di attributi di sicurezza. Ad esempio, per la categoria di attributi di sicurezza "Salute", non filtriamo i contenuti in base al punteggio di confidenza per la salute. Inoltre, non mostriamo i punteggi di confidenza per alcuni dei nostri filtri di sicurezza sensibili interni.

Configurare i filtri di sicurezza

Esistono diversi parametri di filtraggio sicuro che puoi utilizzare con i modelli di generazione di immagini. Ad esempio, puoi consentire al modello di segnalare i codici del filtro di sicurezza per i contenuti bloccati, disattivare la generazione di persone o volti, regolare la sensibilità del filtro dei contenuti o restituire punteggi di sicurezza arrotondati di un elenco di attributi di sicurezza per input e output. Per informazioni più tecniche sui singoli campi, consulta la documentazione di riferimento dell'API del modello di generazione di immagini.

La risposta varia a seconda dei parametri impostati; alcuni parametri influenzano i contenuti prodotti, mentre altri influiscono sul filtraggio dei contenuti e sul modo in cui il filtraggio ti viene comunicato. Inoltre, il formato di output dipende dal fatto che i dati di input siano filtrati o che l'output dell'immagine generata sia filtrato.

Parametri che filtrano i contenuti

I seguenti parametri facoltativi influiscono sul filtraggio dei contenuti o sulla modalità di segnalazione del filtraggio:

  • safetySetting: consente di impostare l'aggressività del filtro per i contenuti di output potenzialmente sensibili.
  • includeRaiReason: fornisce informazioni più dettagliate sull'output filtrato.
  • personGeneration: un'impostazione che ti consente di avere un maggiore controllo sulla generazione di persone, volti e bambini.
  • disablePersonFace - Deprecato. Una scelta per consentire o meno la generazione di persone e volti. Gli utenti devono impostare personGeneration.
  • includeSafetyAttributes: fornisce informazioni complete sugli attributi di sicurezza per il testo di input, l'immagine di input (per la modifica) e tutte le immagini generate. Queste informazioni includono la categoria di sicurezza (ad esempio "Firearms & Weapons", "Illicit Drugs" o "Violence") e i punteggi di confidenza.

Input filtrato

Se il testo inserito o l'immagine inserita (per la modifica) viene filtrato, riceverai una risposta con il codice di errore 400. Una richiesta con input filtrato da RAI restituisce questo formato di output se imposti includeRaiReason o includeSafetyAttributes.

L'output dipende dalla versione del modello che utilizzi. Di seguito è riportato l'output quando l'input viene filtrato per diverse versioni del modello:

Modello

{
  "error": {
    "code": 400,
    "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback."
    "status": "INVALID_ARGUMENT",
    "details": [
      {
        "@type": "type.googleapis.com/google.rpc.DebugInfo",
        "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. Support codes: 42876398\" }"
      }
    ]
  }
}

Modelli

{
  "error": {
    "code": 400,
    "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.",
    "status": "INVALID_ARGUMENT",
    "details": [
      {
        "@type": "type.googleapis.com/google.rpc.DebugInfo",
        "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
      }
    ]
  }
}

Output filtrato

I contenuti dell'output filtrato variano a seconda del parametro RAI impostato. I seguenti esempi di output mostrano il risultato dell'utilizzo dei parametri includeRaiReason e includeSafetyAttributes.

Output filtrato utilizzando includeRaiReason

Se non aggiungi includeRaiReason o non imposti includeRaiReason: false, la tua risposta include solo gli oggetti immagine generati che non vengono filtrati. Gli oggetti immagine filtrati vengono omessi dall'array "predictions": []. Ad esempio, di seguito è riportata una risposta a una richiesta con "sampleCount": 4, ma due delle immagini sono filtrate e di conseguenza omesse:

{
  "predictions": [
    {
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
    }
  ],
  "deployedModelId": "MODEL_ID"
}

Se imposti includeRaiReason: true e vengono filtrate diverse immagini di output, la risposta include oggetti immagine generati e oggetti raiFilteredReason per le immagini di output filtrate. Ad esempio, di seguito è riportata una risposta a una richiesta con "sampleCount": 4 e includeRaiReason: true, ma due delle immagini sono filtrate. Di conseguenza, due oggetti includono informazioni sull'immagine generata e l'altro oggetto include un messaggio di errore.

Modello

{
  "predictions": [
    {
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
    },
    {
      "raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback."
    },
  ],
  "deployedModelId": "MODEL_ID"
}

Modelli

{
  "predictions": [
    {
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
    },
    { 
      "raiFilteredReason": "56562880"
    },
    { 
      "raiFilteredReason": "56562880"
    }
  ],
  "deployedModelId": "MODEL_ID"
}
Output filtrato utilizzando includeSafetyAttributes

Se imposti "includeSafetyAttributes": true, l'array "predictions": [] della risposta include i punteggi RAI (arrotondati a una cifra decimale) degli attributi di sicurezza del testo del prompt positivo. Gli attributi di sicurezza delle immagini vengono aggiunti anche a ogni output senza filtri. Se un'immagine di output viene filtrata, i relativi attributi di sicurezza non vengono restituiti. Ad esempio, di seguito è riportata una risposta a una richiesta non filtrata e viene restituita un'immagine:

{
  "predictions": [
    {
      "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
      "mimeType": "image/png", 
      "safetyAttributes": {
        "categories": [
          "Porn",
          "Violence"
        ],
        "scores": [
          0.1,
          0.2
        ]
      } 
    }, 
    {
      "contentType": "Positive Prompt",
      "safetyAttributes": {
        "categories": [
          "Death, Harm & Tragedy",
          "Firearms & Weapons",
          "Hate",
          "Health",
          "Illicit Drugs",
          "Politics",
          "Porn",
          "Religion & Belief",
          "Toxic",
          "Violence",
          "Vulgarity",
          "War & Conflict"
        ],
        "scores": [
          0,
          0,
          0,
          0,
          0,
          0,
          0.2,
          0,
          0.1,
          0,
          0.1,
          0
        ]
      }
    }, 
  ],
  "deployedModelId": "MODEL_ID"
}

Categorie di codici del filtro di sicurezza

A seconda dei filtri di sicurezza che configuri, l'output potrebbe contenere un codice motivo di sicurezza simile al seguente:

    {
      "raiFilteredReason": "ERROR_MESSAGE. Support codes: 56562880""
    }

Il codice elencato corrisponde a una categoria dannosa specifica. Queste mappature codice-categoria sono le seguenti:

Codice di errore Categoria di sicurezza Descrizione Contenuti filtrati: input del prompt o output dell'immagine
58061214
17301594
Figlio Rileva i contenuti per bambini e ragazzi nei casi in cui non sono consentiti a causa delle impostazioni di richiesta API o dell'inserimento nella lista consentita. input (prompt): 58061214
output (immagine): 17301594
29310472
15236754
Celebrity Rileva una rappresentazione fotorealistica di una celebrità nella richiesta. input (prompt): 29310472
output (immagine): 15236754
62263041 Contenuti pericolosi Rileva contenuti potenzialmente pericolosi. input (prompt)
57734940
22137204
Incitamento all'odio Rileva argomenti o contenuti correlati all'odio. input (prompt): 57734940
output (immagine): 22137204
74803281
29578790
42876398
Altro Rileva altri problemi di sicurezza vari con la richiesta input (prompt): 42876398, output (immagine): 29578790, 74803281
39322892 Persone/Volto Rileva una persona o un volto quando non è consentito a causa delle impostazioni di sicurezza della richiesta. output (immagine)
92201652 Informazioni personali Rileva informazioni che consentono l'identificazione personale (PII) nel testo, ad esempio la menzione di un numero di carta di credito, indirizzi di casa o altre informazioni simili. input (prompt)
89371032
49114662
72817394
Contenuti vietati Rileva la richiesta di contenuti vietati nella richiesta. input (prompt): 89371032
output (immagine): 49114662, 72817394
90789179
63429089
43188360
Contenuti di natura sessuale Rileva contenuti di natura sessuale. input (prompt): 90789179
output (immagine): 63429089, 43188360
78610348 Contenuti tossici Rileva argomenti o contenuti dannosi nel testo. input (prompt)
61493863
56562880
Violenza Rileva contenuti correlati alla violenza dall'immagine o dal testo. input (prompt): 61493863
output (immagine): 56562880
32635315 Volgare Rileva argomenti o contenuti volgari dal testo. input (prompt)

Limitazioni

Ai diversi compiti si applicano i seguenti limiti:

Limitazioni relative alla generazione e alla modifica di immagini

  • Amplificazione dei bias: sebbene Imagen su Vertex AI possa generare immagini di alta qualità, potrebbero esserci potenziali bias nei contenuti generati. Le immagini generate si basano sui dati di addestramento del prodotto, che possono includere involontariamente bias che possono perpetuare stereotipi o discriminare determinati gruppi. Un monitoraggio e una valutazione attenti sono necessari per garantire che gli output siano in linea con le Norme di utilizzo accettabile di Google e con il tuo caso d'uso.
  • Trasparenza e divulgazione: per gli utenti può essere difficile distinguere le immagini generate dall'AI da quelle non generate dall'AI. Quando utilizzi immagini generate dall'AI nel tuo caso d'uso, è importante comunicare chiaramente agli utenti che le immagini sono state generate da un sistema di AI per garantire la trasparenza e mantenere la fiducia nel processo. Abbiamo applicato l'etichettatura dei metadati alle immagini create con l'AI per contribuire a contrastare il rischio di disinformazione e nell'ambito del nostro approccio responsabile all'AI.
  • Contesto insufficiente: Imagen su Vertex AI potrebbe non avere la comprensione contestuale necessaria per generare immagini adatte a tutte le situazioni o i segmenti di pubblico all'interno del tuo caso d'uso. Assicurati che le immagini generate siano in linea con il contesto, lo scopo e il pubblico di destinazione che hai scelto.
  • Rappresentazione ingannevole e autenticità: la modifica delle immagini utilizzando Imagen su Vertex AI può comportare una rappresentazione ingannevole o una manipolazione delle immagini, con la conseguente creazione di contenuti ingannevoli o fuorvianti. È importante assicurarsi che la procedura di modifica venga utilizzata in modo responsabile, senza compromettere l'autenticità e la veridicità delle immagini modificate. Abbiamo applicato l'etichettatura dei metadati alle immagini modificate con l'AI per contribuire a contrastare il rischio di disinformazione e nell'ambito del nostro approccio responsabile all'AI.
  • Rappresentazione ingannevole e autenticità: fai attenzione quando modifichi le immagini di adulti o bambini, poiché la modifica delle immagini utilizzando Imagen su Vertex AI potrebbe comportare una rappresentazione ingannevole o una manipolazione delle immagini. Ciò può potenzialmente portare alla creazione di contenuti ingannevoli o fuorvianti. È importante assicurarsi che la procedura di editing venga utilizzata in modo responsabile, senza compromettere l'autenticità e la veridicità delle immagini modificate. Abbiamo applicato l'etichettatura dei metadati alle immagini modificate con l'AI per contribuire a contrastare il rischio di disinformazione e nell'ambito del nostro approccio responsabile all'AI.

Limitazioni delle didascalie visive

  • Accuratezza e sensibilità al contesto: la sottotitolazione visiva potrebbe incontrare difficoltà nel descrivere con precisione immagini complesse o ambigue. Le descrizioni generate potrebbero non cogliere sempre il contesto completo o le sfumature dei contenuti visivi. È importante riconoscere che i sistemi di sottotitolaggio automatico hanno dei limiti nella comprensione delle immagini con diversi livelli di complessità e che le loro descrizioni devono essere utilizzate con cautela, in particolare in contesti critici o sensibili.
  • Ambiguità e interpretazioni soggettive: le immagini possono spesso essere soggette a molteplici interpretazioni e i sottotitoli codificati generati potrebbero non essere sempre in linea con la comprensione o le aspettative umane. Persone diverse possono percepire e descrivere le immagini in modo diverso in base alle loro esperienze soggettive e al loro background culturale. È fondamentale considerare il potenziale di ambiguità e soggettività nelle descrizioni delle immagini e fornire contesto aggiuntivo o interpretazioni alternative, se necessario.
  • Considerazioni sull'accessibilità: sebbene le didascalie automatiche delle immagini possano supportare l'accessibilità fornendo descrizioni per le persone con disabilità visiva, è importante riconoscere che potrebbero non sostituire completamente il testo alternativo o le descrizioni generate da persone e personalizzate in base a esigenze di accessibilità specifiche. I sottotitoli codificati automatici potrebbero non avere il livello di dettaglio o la comprensione contestuale necessari per determinati casi d'uso di accessibilità.

Limitazioni di Visual Question Answering (VQA)

  • Eccessiva sicurezza e incertezza: i modelli VQA a volte possono fornire risposte con una sicurezza ingiustificata, anche quando la risposta corretta è incerta o ambigua. È essenziale comunicare l'incertezza del modello e fornire punteggi di confidenza appropriati o risposte alternative in caso di ambiguità, anziché trasmettere una falsa sensazione di certezza.

Per utilizzare questa tecnologia in modo sicuro e responsabile, è importante anche considerare altri rischi specifici per il tuo caso d'uso, i tuoi utenti e il tuo contesto aziendale oltre alle protezioni tecniche integrate.

Ti consigliamo di procedere nel seguente modo:

  1. Valuta i rischi per la sicurezza della tua applicazione.
  2. Valuta la possibilità di apportare modifiche per ridurre i rischi per la sicurezza.
  3. Esegui test di sicurezza appropriati al tuo caso d'uso.
  4. Richiedi il feedback degli utenti e monitora i contenuti.

Altre risorse per l'AI responsabile

Inviare un feedback su Imagen su Vertex AI

Se ricevi un output o una risposta imprecisa o che ritieni non sicura, puoi comunicarcelo inviando un feedback. Il tuo feedback può contribuire a migliorare Imagen su Vertex AI e l'impegno di Google nel campo dell'AI.

Poiché il feedback potrebbe essere letto da una persona, non inviare dati contenenti informazioni personali, riservate o sensibili.