Imagen su Vertex AI offre agli sviluppatori di applicazioni le funzionalità di AI generativa all'avanguardia di Google. Essendo una tecnologia ancora in fase iniziale, le capacità e gli utilizzi in evoluzione di Imagen su Vertex AI generano un potenziale di applicazioni errate, usi impropri e conseguenze non volute o impreviste. Ad esempio, Imagen su Vertex AI potrebbe generare output inaspettati, come immagini offensive, insensibili o contestualmente errate.
Considerati questi rischi e queste complessità, Imagen su Vertex AI è progettato tenendo conto dei principi di Google AI. Tuttavia, è importante che gli sviluppatori comprendano e testino i propri modelli per eseguirne il deployment in modo sicuro e responsabile. Per aiutare gli sviluppatori, Imagen su Vertex AI dispone di filtri di sicurezza integrati per aiutare i clienti a bloccare output potenzialmente dannosi all'interno del loro caso d'uso. Per saperne di più, consulta la sezione Filtri di sicurezza.
Quando Imagen su Vertex AI è integrato nel caso d'uso e nel contesto unici di un cliente, potrebbero essere necessarie ulteriori considerazioni sull'AI responsabile e limitazioni del modello. Invitiamo i clienti a utilizzare le best practice per equità, interpretabilità, privacy e sicurezza.
Visualizza la scheda del modello Imagen for Generation
Visualizzare la scheda del modello Imagen per la modifica e la personalizzazione
Linee guida per l'utilizzo di Imagen
Leggi i seguenti attributi generali del prodotto e considerazioni legali prima di utilizzare Imagen su Vertex AI.
- Filtri e output di immagini e testo: le immagini (generate o caricate) tramite Imagen su Vertex AI vengono valutate in base ai filtri di sicurezza. Imagen mira a filtrare le immagini (generate o caricate) che violano le nostre norme di utilizzo accettabile o le ulteriori limitazioni dei prodotti di AI generativa. Inoltre, i nostri modelli di immagini generative hanno lo scopo di generare contenuti originali e non di replicare contenuti esistenti. Abbiamo progettato i nostri sistemi in modo da limitare le probabilità che ciò accada e continueremo a migliorarne il funzionamento. Come tutti i fornitori di servizi cloud, Google mantiene una Norme di utilizzo accettabile che vieta ai clienti di utilizzare i nostri servizi in modi che violano i diritti di proprietà intellettuale di terze parti.
- Soglie dei filtri di sicurezza configurabili: Google blocca le risposte del modello che superano i punteggi di confidenza designati per determinati attributi di sicurezza. Per richiedere la possibilità di modificare una soglia di sicurezza, contatta il team dedicato al tuo accountGoogle Cloud .
- Aggiunta di testo supportata su determinate versioni del modello:
Imagen non supporta l'aggiunta di testo alle immagini (caricate
o generate) utilizzando un prompt di testo quando si utilizzano le versioni del modello
imagegeneration@004
o inferiori. - Segnala un abuso sospetto: Puoi segnalare un abuso sospetto di Imagen su Vertex AI o qualsiasi output generato che contenga materiale inappropriato o informazioni imprecise utilizzando il modulo Segnala un abuso sospetto su Google Cloud .
- Ritiro dal programma Trusted Tester: se in precedenza hai acconsentito a consentire a Google di utilizzare i tuoi dati per migliorare i servizi AI/ML pre-GA nell'ambito dei termini del programma Trusted Tester, puoi ritirarti utilizzando il modulo di richiesta di ritiro dal programma Trusted Tester.
Filtri di sicurezza
I prompt di testo forniti come input e le immagini (generate o caricate) tramite
Imagen su Vertex AI vengono valutati in base a un elenco di filtri di sicurezza, che
includono "categorie dannose" (ad esempio violence
, sexual
, derogatory
,
e toxic
).
Questi filtri di sicurezza mirano a filtrare i contenuti (generati o caricati) che
violano le nostre Norme di utilizzo accettabile,
le nostre Norme di utilizzo vietato dell'AI generativa o i nostri
Principi di AI.
Se il modello risponde a una richiesta con un messaggio di errore come "La richiesta non è stato possibile inviarla" o"potrebbe violare le nostre norme ", l'input attiva un filtro di sicurezza. Se vengono restituite meno immagini di quelle richieste, significa che alcuni output generati sono bloccati perché non soddisfano i requisiti di sicurezza.
Puoi scegliere il livello di aggressività con cui filtrare i contenuti sensibili modificando il parametro
safetySetting
.
Attributi di sicurezza
Gli attributi di sicurezza e i filtri di sicurezza non hanno una relazione di mapping one-to-one. Gli attributi di sicurezza sono l'insieme di attributi che restituiamo all'utente
quando è impostato includeSafetyAttributes
. I filtri di sicurezza sono l'insieme di filtri che
utilizziamo per filtrare i contenuti. Non filtriamo tutte le categorie di attributi di sicurezza. Ad esempio, per la categoria di attributi di sicurezza "Salute", non filtriamo i contenuti in base al punteggio di confidenza per la salute. Inoltre, non mostriamo i punteggi di confidenza
per alcuni dei nostri filtri di sicurezza sensibili interni.
Configurare i filtri di sicurezza
Esistono diversi parametri di filtraggio sicuro che puoi utilizzare con i modelli di generazione di immagini. Ad esempio, puoi consentire al modello di segnalare i codici del filtro di sicurezza per i contenuti bloccati, disattivare la generazione di persone o volti, regolare la sensibilità del filtro dei contenuti o restituire punteggi di sicurezza arrotondati di un elenco di attributi di sicurezza per input e output. Per informazioni più tecniche sui singoli campi, consulta la documentazione di riferimento dell'API del modello di generazione di immagini.
La risposta varia a seconda dei parametri impostati; alcuni parametri influenzano i contenuti prodotti, mentre altri influiscono sul filtraggio dei contenuti e sul modo in cui il filtraggio ti viene comunicato. Inoltre, il formato di output dipende dal fatto che i dati di input siano filtrati o che l'output dell'immagine generata sia filtrato.
Parametri che filtrano i contenuti
I seguenti parametri facoltativi influiscono sul filtraggio dei contenuti o sulla modalità di segnalazione del filtraggio:
safetySetting
: consente di impostare l'aggressività del filtro per i contenuti di output potenzialmente sensibili.includeRaiReason
: fornisce informazioni più dettagliate sull'output filtrato.personGeneration
: un'impostazione che ti consente di avere un maggiore controllo sulla generazione di persone, volti e bambini.disablePersonFace
- Deprecato. Una scelta per consentire o meno la generazione di persone e volti. Gli utenti devono impostarepersonGeneration
.includeSafetyAttributes
: fornisce informazioni complete sugli attributi di sicurezza per il testo di input, l'immagine di input (per la modifica) e tutte le immagini generate. Queste informazioni includono la categoria di sicurezza (ad esempio"Firearms & Weapons"
,"Illicit Drugs"
o"Violence"
) e i punteggi di confidenza.
Input filtrato
Se il testo inserito o l'immagine inserita (per la modifica) viene filtrato, riceverai una risposta
con il codice di errore 400
. Una richiesta con input filtrato da RAI restituisce questo formato di output se imposti includeRaiReason
o includeSafetyAttributes
.
L'output dipende dalla versione del modello che utilizzi. Di seguito è riportato l'output quando l'input viene filtrato per diverse versioni del modello:
Modello
{ "error": { "code": 400, "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback." "status": "INVALID_ARGUMENT", "details": [ { "@type": "type.googleapis.com/google.rpc.DebugInfo", "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. Support codes: 42876398\" }" } ] } }
Modelli
{ "error": { "code": 400, "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.", "status": "INVALID_ARGUMENT", "details": [ { "@type": "type.googleapis.com/google.rpc.DebugInfo", "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }" } ] } }
Output filtrato
I contenuti dell'output filtrato variano a seconda del parametro RAI impostato.
I seguenti esempi di output mostrano il risultato dell'utilizzo dei parametri includeRaiReason
e includeSafetyAttributes
.
Output filtrato utilizzando includeRaiReason
Se non aggiungi includeRaiReason
o non imposti includeRaiReason: false
, la tua
risposta include solo gli oggetti immagine generati che non vengono filtrati. Gli oggetti immagine filtrati vengono omessi dall'array "predictions": []
. Ad esempio, di seguito è riportata una risposta a una richiesta con "sampleCount": 4
, ma due delle immagini sono filtrate e di conseguenza omesse:
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" } ], "deployedModelId": "MODEL_ID" }
Se imposti includeRaiReason: true
e vengono filtrate diverse immagini di output, la risposta include oggetti immagine generati e oggetti raiFilteredReason
per le immagini di output filtrate. Ad esempio, di seguito è riportata una risposta a una richiesta con "sampleCount": 4
e includeRaiReason: true
, ma due delle immagini sono filtrate. Di conseguenza, due oggetti includono informazioni sull'immagine generata
e l'altro oggetto include un messaggio di errore.
Modello
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" }, { "raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback." }, ], "deployedModelId": "MODEL_ID" }
Modelli
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" }, { "raiFilteredReason": "56562880" }, { "raiFilteredReason": "56562880" } ], "deployedModelId": "MODEL_ID" }
Output filtrato utilizzando includeSafetyAttributes
Se imposti "includeSafetyAttributes": true
, l'array "predictions": []
della risposta include i punteggi RAI (arrotondati a una cifra decimale) degli attributi
di sicurezza del testo del prompt positivo. Gli attributi di sicurezza delle immagini vengono aggiunti anche a ogni output senza filtri. Se un'immagine di output viene
filtrata, i relativi attributi di sicurezza non vengono restituiti. Ad esempio, di seguito è riportata una
risposta a una richiesta non filtrata e viene restituita un'immagine:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png",
"safetyAttributes": {
"categories": [
"Porn",
"Violence"
],
"scores": [
0.1,
0.2
]
}
},
{
"contentType": "Positive Prompt",
"safetyAttributes": {
"categories": [
"Death, Harm & Tragedy",
"Firearms & Weapons",
"Hate",
"Health",
"Illicit Drugs",
"Politics",
"Porn",
"Religion & Belief",
"Toxic",
"Violence",
"Vulgarity",
"War & Conflict"
],
"scores": [
0,
0,
0,
0,
0,
0,
0.2,
0,
0.1,
0,
0.1,
0
]
}
},
],
"deployedModelId": "MODEL_ID"
}
Categorie di codici del filtro di sicurezza
A seconda dei filtri di sicurezza che configuri, l'output potrebbe contenere un codice motivo di sicurezza simile al seguente:
{ "raiFilteredReason": "ERROR_MESSAGE. Support codes: 56562880"" }
Il codice elencato corrisponde a una categoria dannosa specifica. Queste mappature codice-categoria sono le seguenti:
Codice di errore | Categoria di sicurezza | Descrizione | Contenuti filtrati: input del prompt o output dell'immagine |
---|---|---|---|
58061214 17301594 |
Figlio | Rileva i contenuti per bambini e ragazzi nei casi in cui non sono consentiti a causa delle impostazioni di richiesta API o dell'inserimento nella lista consentita. | input (prompt): 58061214 output (immagine): 17301594 |
29310472 15236754 |
Celebrity | Rileva una rappresentazione fotorealistica di una celebrità nella richiesta. | input (prompt): 29310472 output (immagine): 15236754 |
62263041 | Contenuti pericolosi | Rileva contenuti potenzialmente pericolosi. | input (prompt) |
57734940 22137204 |
Incitamento all'odio | Rileva argomenti o contenuti correlati all'odio. | input (prompt): 57734940 output (immagine): 22137204 |
74803281 29578790 42876398 |
Altro | Rileva altri problemi di sicurezza vari con la richiesta | input (prompt): 42876398, output (immagine): 29578790, 74803281 |
39322892 | Persone/Volto | Rileva una persona o un volto quando non è consentito a causa delle impostazioni di sicurezza della richiesta. | output (immagine) |
92201652 | Informazioni personali | Rileva informazioni che consentono l'identificazione personale (PII) nel testo, ad esempio la menzione di un numero di carta di credito, indirizzi di casa o altre informazioni simili. | input (prompt) |
89371032 49114662 72817394 |
Contenuti vietati | Rileva la richiesta di contenuti vietati nella richiesta. | input (prompt): 89371032 output (immagine): 49114662, 72817394 |
90789179 63429089 43188360 |
Contenuti di natura sessuale | Rileva contenuti di natura sessuale. | input (prompt): 90789179 output (immagine): 63429089, 43188360 |
78610348 | Contenuti tossici | Rileva argomenti o contenuti dannosi nel testo. | input (prompt) |
61493863 56562880 |
Violenza | Rileva contenuti correlati alla violenza dall'immagine o dal testo. | input (prompt): 61493863 output (immagine): 56562880 |
32635315 | Volgare | Rileva argomenti o contenuti volgari dal testo. | input (prompt) |
Limitazioni
Ai diversi compiti si applicano i seguenti limiti:
Limitazioni relative alla generazione e alla modifica di immagini
- Amplificazione dei bias: sebbene Imagen su Vertex AI possa generare immagini di alta qualità, potrebbero esserci potenziali bias nei contenuti generati. Le immagini generate si basano sui dati di addestramento del prodotto, che possono includere involontariamente bias che possono perpetuare stereotipi o discriminare determinati gruppi. Un monitoraggio e una valutazione attenti sono necessari per garantire che gli output siano in linea con le Norme di utilizzo accettabile di Google e con il tuo caso d'uso.
- Trasparenza e divulgazione: per gli utenti può essere difficile distinguere le immagini generate dall'AI da quelle non generate dall'AI. Quando utilizzi immagini generate dall'AI nel tuo caso d'uso, è importante comunicare chiaramente agli utenti che le immagini sono state generate da un sistema di AI per garantire la trasparenza e mantenere la fiducia nel processo. Abbiamo applicato l'etichettatura dei metadati alle immagini create con l'AI per contribuire a contrastare il rischio di disinformazione e nell'ambito del nostro approccio responsabile all'AI.
- Contesto insufficiente: Imagen su Vertex AI potrebbe non avere la comprensione contestuale necessaria per generare immagini adatte a tutte le situazioni o i segmenti di pubblico all'interno del tuo caso d'uso. Assicurati che le immagini generate siano in linea con il contesto, lo scopo e il pubblico di destinazione che hai scelto.
- Rappresentazione ingannevole e autenticità: la modifica delle immagini utilizzando Imagen su Vertex AI può comportare una rappresentazione ingannevole o una manipolazione delle immagini, con la conseguente creazione di contenuti ingannevoli o fuorvianti. È importante assicurarsi che la procedura di modifica venga utilizzata in modo responsabile, senza compromettere l'autenticità e la veridicità delle immagini modificate. Abbiamo applicato l'etichettatura dei metadati alle immagini modificate con l'AI per contribuire a contrastare il rischio di disinformazione e nell'ambito del nostro approccio responsabile all'AI.
- Rappresentazione ingannevole e autenticità: fai attenzione quando modifichi le immagini di adulti o bambini, poiché la modifica delle immagini utilizzando Imagen su Vertex AI potrebbe comportare una rappresentazione ingannevole o una manipolazione delle immagini. Ciò può potenzialmente portare alla creazione di contenuti ingannevoli o fuorvianti. È importante assicurarsi che la procedura di editing venga utilizzata in modo responsabile, senza compromettere l'autenticità e la veridicità delle immagini modificate. Abbiamo applicato l'etichettatura dei metadati alle immagini modificate con l'AI per contribuire a contrastare il rischio di disinformazione e nell'ambito del nostro approccio responsabile all'AI.
Limitazioni delle didascalie visive
- Accuratezza e sensibilità al contesto: la sottotitolazione visiva potrebbe incontrare difficoltà nel descrivere con precisione immagini complesse o ambigue. Le descrizioni generate potrebbero non cogliere sempre il contesto completo o le sfumature dei contenuti visivi. È importante riconoscere che i sistemi di sottotitolaggio automatico hanno dei limiti nella comprensione delle immagini con diversi livelli di complessità e che le loro descrizioni devono essere utilizzate con cautela, in particolare in contesti critici o sensibili.
- Ambiguità e interpretazioni soggettive: le immagini possono spesso essere soggette a molteplici interpretazioni e i sottotitoli codificati generati potrebbero non essere sempre in linea con la comprensione o le aspettative umane. Persone diverse possono percepire e descrivere le immagini in modo diverso in base alle loro esperienze soggettive e al loro background culturale. È fondamentale considerare il potenziale di ambiguità e soggettività nelle descrizioni delle immagini e fornire contesto aggiuntivo o interpretazioni alternative, se necessario.
- Considerazioni sull'accessibilità: sebbene le didascalie automatiche delle immagini possano supportare l'accessibilità fornendo descrizioni per le persone con disabilità visiva, è importante riconoscere che potrebbero non sostituire completamente il testo alternativo o le descrizioni generate da persone e personalizzate in base a esigenze di accessibilità specifiche. I sottotitoli codificati automatici potrebbero non avere il livello di dettaglio o la comprensione contestuale necessari per determinati casi d'uso di accessibilità.
Limitazioni di Visual Question Answering (VQA)
- Eccessiva sicurezza e incertezza: i modelli VQA a volte possono fornire risposte con una sicurezza ingiustificata, anche quando la risposta corretta è incerta o ambigua. È essenziale comunicare l'incertezza del modello e fornire punteggi di confidenza appropriati o risposte alternative in caso di ambiguità, anziché trasmettere una falsa sensazione di certezza.
Pratiche consigliate
Per utilizzare questa tecnologia in modo sicuro e responsabile, è importante anche considerare altri rischi specifici per il tuo caso d'uso, i tuoi utenti e il tuo contesto aziendale oltre alle protezioni tecniche integrate.
Ti consigliamo di procedere nel seguente modo:
- Valuta i rischi per la sicurezza della tua applicazione.
- Valuta la possibilità di apportare modifiche per ridurre i rischi per la sicurezza.
- Esegui test di sicurezza appropriati al tuo caso d'uso.
- Richiedi il feedback degli utenti e monitora i contenuti.
Altre risorse per l'AI responsabile
- Scopri di più sull'AI responsabile per i modelli linguistici di grandi dimensioni (LLM).
- Scopri di più sui consigli di Google per le pratiche di AI responsabile.
- Leggi il nostro blog Un programma condiviso per il progresso dell'AI responsabile
Inviare un feedback su Imagen su Vertex AI
Se ricevi un output o una risposta imprecisa o che ritieni non sicura, puoi comunicarcelo inviando un feedback. Il tuo feedback può contribuire a migliorare Imagen su Vertex AI e l'impegno di Google nel campo dell'AI.
Poiché il feedback potrebbe essere letto da una persona, non inviare dati contenenti informazioni personali, riservate o sensibili.