Vertex AI 기반 Imagen은 Google 최고의 생성형 AI 기능을 애플리케이션 개발자에게 제공합니다. 아직 초기 단계에 있는 Vertex AI 기반 Imagen은 개발 중인 기술 및 사용으로 인해 잘못 적용되거나, 오용되거나, 의도하지 않았거나 예측하지 않은 결과로 이어질 위험이 있습니다. 예를 들어 Vertex AI 기반 Imagen은 불편을 초래하거나, 상황에 둔감하거나, 문맥에 올바르지 않은 이미지와 같이 기대치 않은 출력을 생성할 수 있습니다.
이러한 위험성과 복잡성을 고려해서 Vertex AI 기반 Imagen은 Google의 AI 원칙을 염두에 두고 설계되었습니다. 그러나 개발자가 이를 이해하고 안전하고 책임감 있는 배포를 위해 모델을 테스트하는 것이 중요합니다. 개발자 지원을 위해 Vertex AI 기반 Imagen에는 사용 사례 내에서 고객이 잠재적으로 유해한 출력을 차단할 수 있도록 안전 필터가 내장되어 있습니다. 자세한 내용은 안전 필터 섹션을 참고하세요.
Vertex AI 기반 Imagen이 고객의 고유한 사용 사례 및 컨텍스트에 통합된 경우 추가적인 책임감 있는 AI 고려사항과 모델 제한사항을 고려해야 할 수 있습니다. 공정성, 해석 가능성, 개인 정보 보호 및 보안 권장 지침을 사용하는 것이 좋습니다.
Imagen 사용 가이드라인
Vertex AI에서 Imagen을 사용하기 전에 다음과 같은 일반적인 제품 속성 및 법적 고려사항을 읽어보세요.
- 이미지 및 텍스트 필터 및 출력: Vertex AI의 Imagen을 통한 이미지 (생성 또는 업로드됨)는 안전 필터에 따라 평가됩니다. Imagen은 서비스이용 정책 (AUP) 또는 추가 생성형 AI 제품 제한사항을 위반하는 항목을 필터링 (생성 또는 업로드)하는 것을 목표로 합니다. 또한 생성형 이미지 모델은 기존 콘텐츠를 복제하지 않고 원본 콘텐츠를 생성하기 위한 것입니다. Google에서는 이러한 일이 발생할 가능성을 제한하도록 시스템을 설계했으며, 앞으로도 지속적으로 시스템 작동 방식을 개선할 예정입니다. 모든 클라우드 서비스 제공업체와 마찬가지로 Google은 제3자 IP 권리를 침해하는 방식으로 고객이 Google 서비스를 사용하는 것을 금지하는 서비스이용 정책을 유지합니다.
- 이제 인물 생성 지원: 이 기능을 사용하면 사실적인 합성 얼굴을 생성할 수 있지만 유명인을 생성하는 것은 지원되지 않습니다. 경우에 따라 합성 얼굴이 특정인과 유사하게 보일 수 있으니 유의하세요. 이 기능이 잘못된 출력 결과를 생성한다고 생각되면 Vertex AI의 생성형 AI 개요에 언급된 악용 보고 메커니즘을 사용해서 이를 신고하세요.
- 아동 생성: 이 기능을 사용하면 승인된 일부 사용자가 아동의 사실적인 합성 얼굴을 생성할 수 있습니다. 이 기능을 사용할 수 있는 권한을 요청하려면 Google Cloud 계정팀에 문의하세요.
- 구성 가능한 안전 필터 기준점: Google은 특정 안전 속성에 지정된 신뢰도 점수를 초과하는 모델 응답을 차단합니다. 안전 기준점을 수정하는 기능을 요청하려면 Google Cloud 계정팀에 문의하세요.
- 특정 모델 버전에서 지원되는 텍스트 추가:
Imagen은
imagegeneration@004이하 모델 버전을 사용할 때 텍스트 프롬프트를 사용하여 업로드 또는 생성된 이미지에 텍스트 추가를 지원하지 않습니다. - 의심되는 악용사례 신고: Google Cloud에서 의심되는 악용사례 신고 양식을 사용하여 Vertex AI에서 의심되는 Imagen의 악용사례 또는 부적절한 자료나 부정확한 정보가 포함된 생성된 출력을 신고할 수 있습니다.
- 신뢰할 수 있는 테스터 프로그램 선택 해제: 이전에 Google에서 신뢰할 수 있는 테스터 프로그램 약관의 일부로 GA 이전 AI/ML 서비스를 개선하기 위해 사용자의 데이터를 사용하도록 허용한 경우 신뢰할 수 있는 테스터 프로그램 - 선택 해제 요청 양식을 사용하여 선택 해제할 수 있습니다.
안전 필터
Vertex AI의 Imagen을 통해 입력으로 제공된 텍스트 프롬프트와 생성되거나 업로드된 이미지는 '유해 카테고리'(예: violence, sexual, derogatory, toxic)가 포함된 안전 필터 목록에 따라 평가됩니다. 이러한 안전 필터는 용인 사용 정책(AUP), 생성형 AI 금지 사용 정책 또는 AI 원칙을 위반하는 생성되거나 업로드된 콘텐츠를 필터링하는 것을 목표로 합니다.
모델이 '프롬프트를 제출할 수 없음' 또는 'Google 정책을 위반할 수 있음'과 같은 오류 메시지로 요청에 응답하는 경우 입력으로 인해 안전 필터가 트리거된 것입니다. 요청한 것보다 적은 수의 이미지가 반환되면 안전 요구사항을 충족하지 않아 생성된 일부 출력이 차단됩니다.
safetySetting 매개변수를 조정하여 민감한 콘텐츠를 얼마나 공격적으로 필터링할지 선택할 수 있습니다.
안전 속성
안전 속성과 안전 필터는 일대일 매핑 관계가 없습니다. 안전 속성은 includeSafetyAttributes가 설정될 때 사용자에게 반환되는 속성 집합입니다. 안전 필터는 콘텐츠를 필터링하는 데 사용하는 필터 모음입니다. YouTube에서는 일부 안전 속성 카테고리만 필터링합니다. 예를 들어 안전 속성 카테고리 '건강'의 경우 건강 신뢰도 점수를 기반으로 콘텐츠를 필터링하지 않습니다. 또한 일부 내부 민감한 안전 필터의 신뢰 점수는 노출되지 않습니다.
안전 필터 구성
이미지 생성 모델에는 여러 가지 안전 필터링 매개변수를 사용할 수 있습니다. 예를 들어 모델에서 차단된 콘텐츠의 안전 필터 코드를 보고하거나 사람 또는 얼굴 생성을 중지하거나 콘텐츠 필터링 민감도를 조정하거나 입력과 출력에 대한 안전 속성 목록의 반올림된 안전 점수를 반환할 수 있습니다. 개별 필드에 대한 자세한 기술 정보는 이미지 생성 모델 API 참조를 확인하세요.
응답은 설정한 매개변수에 따라 달라집니다. 일부 매개변수는 생성되는 콘텐츠에 영향을 미치는 반면 다른 매개변수는 콘텐츠 필터링과 필터링이 보고되는 방식에 영향을 미칩니다. 또한 출력 형식은 입력 데이터가 필터링되었는지 또는 생성된 이미지 출력이 필터링되었는지에 따라 달라집니다.
콘텐츠를 필터링하는 매개변수
다음 선택적 매개변수는 콘텐츠 필터링이나 필터링이 보고되는 방식에 영향을 미칩니다.
safetySetting* - 잠재적으로 민감한 출력 콘텐츠를 적극적으로 필터링하는 정도를 설정할 수 있습니다.includeRaiReason- 필터링된 출력에 대해 보다 자세한 정보를 제공합니다.personGeneration- 사람, 얼굴, 어린이의 생성을 더욱 세밀하게 제어할 수 있는 설정입니다.disablePersonFace- 지원 중단되었습니다. 사람 및 얼굴 생성 허용 여부를 선택합니다. 사용자는 대신personGeneration을 설정해야 합니다.includeSafetyAttributes- 입력 텍스트, 입력 이미지(수정용), 생성된 모든 이미지에 대한 완전한 안전 속성 정보를 제공합니다. 이 정보에는 안전 카테고리(예:"Firearms & Weapons","Illicit Drugs","Violence")와 신뢰도 점수가 포함됩니다.
* imagegeneration@006 모델에만 사용할 수 있습니다.
필터링된 입력
텍스트 입력이나 입력 이미지(수정용)가 필터링되면 400 오류 코드가 포함된 응답이 표시됩니다. includeRaiReason 또는 includeSafetyAttributes를 설정한 경우 RAI 필터링 입력이 있는 요청에서 이 출력 형식을 반환합니다.
출력은 사용하는 모델 버전에 따라 다릅니다. 다음에서는 입력이 다른 모델 버전에 대해 필터링될 때의 출력을 보여줍니다.
모델
{ "error": { "code": 400, "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback." "status": "INVALID_ARGUMENT", "details": [ { "@type": "type.googleapis.com/google.rpc.DebugInfo", "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. Support codes: 42876398\" }" } ] } }
모델
{ "error": { "code": 400, "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.", "status": "INVALID_ARGUMENT", "details": [ { "@type": "type.googleapis.com/google.rpc.DebugInfo", "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }" } ] } }
필터링된 출력
필터링된 출력 콘텐츠는 설정한 RAI 매개변수에 따라 다릅니다.
다음 출력 예시에서는 includeRaiReason 및 includeSafetyAttributes 매개변수 사용 결과를 보여줍니다.
includeRaiReason을 통해 필터링된 출력
includeRaiReason을 추가하거나 includeRaiReason: false를 설정하지 않으면 응답에는 필터링되지 않은 생성된 이미지 객체만 포함됩니다. 필터링된 이미지 객체는 "predictions": [] 배열에서 생략됩니다. 예를 들어 다음은 "sampleCount": 4가 포함된 요청에 대한 응답이지만 두 이미지가 필터링되어 생략됩니다.
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" } ], "deployedModelId": "MODEL_ID" }
includeRaiReason: true를 설정하고 여러 출력 이미지가 필터링되면 응답에는 생성된 이미지 객체와 필터링된 출력 이미지의 raiFilteredReason 객체가 포함됩니다. 예를 들어 다음은 "sampleCount": 4 및 includeRaiReason: true가 포함된 요청에 대한 응답이지만 두 이미지가 필터링됩니다. 따라서 두 객체에는 생성된 이미지 정보가 포함되고 다른 객체에는 오류 메시지가 포함됩니다.
모델
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" }, { "raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback." }, ], "deployedModelId": "MODEL_ID" }
모델
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" }, { "raiFilteredReason": "56562880" }, { "raiFilteredReason": "56562880" } ], "deployedModelId": "MODEL_ID" }
includeSafetyAttributes를 통해 필터링된 출력
"includeSafetyAttributes": true를 설정하면 응답 "predictions": [] 배열에는 긍정 프롬프트의 텍스트 안전 속성에 대한 RAI 점수(반올림하여 소수점 한 자리 수)가 포함됩니다. 필터링되지 않은 각 출력에는 이미지 안전 속성도 추가됩니다. 출력 이미지가 필터링되면 안전 속성이 반환되지 않습니다. 예를 들어 다음은 필터링되지 않은 요청에 대한 응답이며 이미지 한 개가 반환됩니다.
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png",
"safetyAttributes": {
"categories": [
"Porn",
"Violence"
],
"scores": [
0.1,
0.2
]
}
},
{
"contentType": "Positive Prompt",
"safetyAttributes": {
"categories": [
"Death, Harm & Tragedy",
"Firearms & Weapons",
"Hate",
"Health",
"Illicit Drugs",
"Politics",
"Porn",
"Religion & Belief",
"Toxic",
"Violence",
"Vulgarity",
"War & Conflict"
],
"scores": [
0,
0,
0,
0,
0,
0,
0.2,
0,
0.1,
0,
0.1,
0
]
}
},
],
"deployedModelId": "MODEL_ID"
}
안전 필터 코드 카테고리
구성하는 안전 필터에 따라 출력에 다음과 비슷한 안전 이유 코드가 포함될 수 있습니다.
{
"raiFilteredReason": "ERROR_MESSAGE. Support codes: 56562880""
}표시된 코드는 특정 유해한 카테고리에 해당합니다. 이러한 코드와 카테고리 간의 매핑은 다음과 같습니다.
| 오류 코드 | 안전 카테고리 | 설명 | 필터링 콘텐츠: 프롬프트 입력 또는 이미지 출력 |
|---|---|---|---|
| 58061214 17301594 |
자녀 | API 요청 설정 또는 허용 목록 작성에 따라 허용되지 않는 어린이 콘텐츠를 감지합니다. | 입력(프롬프트): 58061214 출력(이미지): 17301594 |
| 29310472 15236754 |
유명인 | 요청에서 유명인의 사진 표현을 감지합니다. | 입력(프롬프트): 29310472 출력(이미지): 15236754 |
| 62263041 | 위험한 콘텐츠 | 잠재적으로 위험할 수 있는 콘텐츠를 감지합니다. | 입력(프롬프트) |
| 57734940 22137204 |
혐오 | 혐오 관련 주제 또는 콘텐츠를 감지합니다. | 입력(프롬프트): 57734940 출력(이미지): 22137204 |
| 74803281 29578790 42876398 |
기타 | 요청에서 기타 안전 문제를 감지합니다. | 입력(프롬프트): 42876398, 출력(이미지): 29578790, 74803281 |
| 39322892 | 사람/얼굴 | 요청 안전 설정으로 인해 허용되지 않는 경우 사람 또는 얼굴을 감지합니다. | 출력(이미지) |
| 92201652 | 개인정보 | 신용카드 번호, 집 주소, 기타 관련 정보의 언급과 같이 텍스트에 포함된 개인 식별 정보(PII)를 감지합니다. | 입력(프롬프트) |
| 89371032 49114662 72817394 |
금지된 콘텐츠 | 요청에서 금지된 콘텐츠 요청을 감지합니다. | 입력(프롬프트): 89371032 출력(이미지): 49114662, 72817394 |
| 90789179 63429089 43188360 |
성 | 본질적으로 성적 콘텐츠를 감지합니다. | 입력(프롬프트): 90789179 출력(이미지): 63429089, 43188360 |
| 78610348 | 유해 | 텍스트에서 유해한 주제 또는 콘텐츠를 감지합니다. | 입력(프롬프트) |
| 61493863 56562880 |
폭력 | 이미지 또는 텍스트에서 폭력 관련 콘텐츠를 감지합니다. | 입력(프롬프트): 61493863 출력(이미지): 56562880 |
| 32635315 | 저속함 | 텍스트에서 저속한 주제 또는 콘텐츠를 감지합니다. | 입력(프롬프트) |
제한사항
다음 한도는 다양한 태스크에 적용됩니다.
이미지 생성 제한사항
- 편향 증폭: Vertex AI 기반 Imagen이 고품질 이미지를 생성할 수 있지만 생성된 콘텐츠에 편향이 발생할 가능성이 있습니다. 생성된 이미지는 제품의 학습 데이터에 의존하며, 의도치 않게 고정관념을 영구화하거나 특정 그룹을 차별할 수 있는 편견을 포함할 수 있습니다. 출력이 Google의 서비스이용 정책 및 사용 사례와 일치하도록 하려면 신중한 모니터링과 평가가 필요합니다.
- 투명성과 정보 공개: 사용자가 AI로 생성된 이미지와 AI로 생성되지 않은 이미지를 구분하는 것이 어려울 수 있습니다. 사용 사례 내에서 AI로 생성된 이미지를 사용할 때는 투명성을 보장하고 프로세스 중간의 신뢰도 유지를 위해 해당 이미지가 AI 시스템에서 생성되었음을 사용자에게 명백하게 공개하는 것이 중요합니다. Google은 잘못된 정보 위험을 대처하고 AI에 대한 책임감 있는 접근 방식의 일환으로 AI로 생성된 이미지에 메타데이터 라벨링을 적용했습니다.
- 컨텍스트 부족: Vertex AI 기반 Imagen은 사용 사례 내에서 모든 상황 또는 대상에 적합한 이미지를 생성하는 데 필요한 상황적 이해가 부족할 수 있습니다. 생성된 이미지가 선택한 컨텍스트, 목적, 의도한 대상에 적합한지 확인해야 합니다.
이미지 수정 제한사항
- 허위 진술 및 진위성: Vertex AI 기반 Imagen을 사용하여 이미지를 수정하면 이미지의 허위 진술 또는 조작이 발생하여 허위 또는 혼동을 야기하는 콘텐츠 생성으로 이어질 수 있습니다. 수정된 이미지의 진위성 및 진실성을 훼손하지 않으면서 수정 프로세스가 책임감 있게 사용되도록 보장하는 것이 중요합니다. Google은 잘못된 정보 위험을 대처하고 AI에 대한 책임감 있는 접근 방식의 일환으로 AI로 수정된 이미지에 메타데이터 라벨링을 적용했습니다.
시각적 자막 제한사항
- 정확도 및 컨텍스트 민감도: 시각적 자막을 생성할 때는 복잡하거나 모호한 이미지를 정확하게 기술하는 데 어려움을 겪을 수 있습니다. 생성된 설명이 항상 전체 컨텍스트 또는 시각적 콘텐츠의 느낌을 포착하지 못할 수 있습니다. 자동 자막 시스템은 다양한 복잡성 수준에 따라 이미지를 이해하는 데 제한이 있다는 것을 인정하고 중요하거나 민감한 컨텍스트에서는 이러한 설명을 주의해서 사용해야 합니다.
- 모호성과 주관적 해석: 이미지는 여러 방식으로 해석될 가능성이 있는 경우가 많으며, 생성된 자막이 항상 인간의 이해 또는 기대 수준과 일치하지 않을 수 있습니다. 주관적 경험과 문화적 배경에 따라 사람마다 이미지를 다르게 인식하고 기술할 수 있습니다. 이미지 설명에서 잠재적 모호성과 주관성을 고려하고 필요한 경우 추가적인 컨텍스트 및 대체 해석을 제공하는 것이 중요합니다.
- 접근성 고려사항: 자동 이미지 자막은 시각장애인을 위한 설명을 제공하여 접근성을 지원할 수 있지만 특정 접근성 요구에 맞게 인간이 생성한 대체 텍스트 또는 설명을 완전히 대체하지 못할 수 있다는 것을 인식하는 것이 중요합니다. 자동 자막은 특정 접근성 사용 사례에 필요한 디테일 또는 상황별 이해 수준이 부족할 수 있습니다.
시각적 질문 답변(VQA) 제한사항
- 과도한 신뢰성 및 불확실성: VQA 모델은 올바른 답변이 명확하지 않거나 모호한 상황에서도 신뢰도를 보장할 수 없는 답변을 제공할 수 있습니다. 모호성이 있을 때는 허위로 사실인 느낌을 전달하기 보다는 모델의 불명확성을 알리고 적합한 신뢰도 점수 또는 대체 답변을 제공하는 것이 중요합니다.
권장사항
이 기술을 안전하고 책임감 있게 사용하려면 또한 내장된 기술적 보호 장치 외에도 사용 사례, 사용자, 비즈니스 컨텍스트에 따라 기타 위험 요소를 고려하는 것이 중요합니다.
다음 조치를 취하는 것이 좋습니다.
- 애플리케이션의 보안 위험을 평가합니다.
- 안전 위험을 완화할 수 있는 조정을 고려합니다.
- 사용 사례에 적합한 안전 테스트를 수행합니다.
- 사용자 피드백을 요청하고 콘텐츠를 모니터링합니다.
책임감 있는 AI에 관한 추가 리소스
- 대규모 언어 모델(LLM)에 대한 책임감 있는 AI 알아보기
- 책임감 있는 AI 관행에 대한 Google 권장사항 알아보기
- 책임감 있는 AI 진행 상황에 대한 공유 아젠다 블로그 읽기
Vertex AI 기반 Imagen에 대한 피드백 제공
부정확하거나 안전하지 않다고 여겨지는 출력 또는 응답이 수신되면 피드백을 제출하여 이를 Google에 알릴 수 있습니다. 사용자 피드백은 Vertex AI 기반 Imagen의 발전과 AI 부문의 포괄적인 Google 노력에 도움이 될 수 있습니다.
피드백은 사람이 읽을 수 있으므로 개인 정보, 기밀 정보 또는 민감한 정보가 포함된 데이터를 제출하지 마세요.