PaLM API에 대한 안전 설정 구성

구성 가능한 안전 필터

안전 속성 신뢰도 및 심각도 점수

Vertex AI PaLM API를 통해 처리된 콘텐츠는 '유해한 카테고리'와 민감하다고 간주될 수 있는 주제가 포함된 안전 속성 목록에 대해 평가됩니다.

각 안전 속성에는 0.0~1.0(소수점 1자리 반올림) 사이의 지정된 신뢰도 점수가 있으며 이 점수로 특정 카테고리에 속하는 입력이나 응답이 발생할 가능성을 나타냅니다.

이러한 4가지 안전 속성(괴롭힘, 증오심 표현, 위험한 콘텐츠, 음란물)에는 안전성 평점(심각도 수준)과 0.0~1.0 사이의 심각도 점수(소수점 한 자리로 반올림)가 할당됩니다. 이러한 평점과 점수는 특정 카테고리에 속하는 콘텐츠의 예측 심각도를 나타냅니다.

샘플 응답

{
  "predictions": [
    {
      "safetyAttributes": {
        "categories": [
          "Derogatory",
          "Toxic",
          "Violent",
          "Sexual",
          "Insult",
          "Profanity",
          "Death, Harm & Tragedy",
          "Firearms & Weapons",
          "Public Safety",
          "Health",
          "Religion & Belief",
          "Illicit Drugs",
          "War & Conflict",
          "Politics",
          "Finance",
          "Legal"
        ],
        "scores": [
          0.1,
          0.1,
          0.1,
          0.1,
          0.1,
          0.1,
          0.1,
          0.1,
          0.1,
          0.1,
          0.1,
          0.1,
          0.1,
          0.1,
          0.1,
          0.1
        ],
       "safetyRatings": [
          {"category": "Hate Speech", "severity": "NEGLIGIBLE", "severityScore": 0.0,"probabilityScore": 0.1},
          {"category": "Dangerous Content", "severity": "LOW", "severityScore": 0.3, "probabilityScore": 0.1},
          {"category": "Harassment", "severity": "MEDIUM", "severityScore": 0.6, "probabilityScore": 0.1},
          {"category": "Sexually Explicit", "severity": "HIGH", "severityScore": 0.9, "probabilityScore": 0.1}
       ],
        "blocked": false
      },
      "content": "<>"
    }
  ]
}

참고: 점수가 0.0으로 반올림된 카테고리는 응답에서 생략됩니다. 이 샘플 응답은 설명을 위한 것입니다.

차단 시 샘플 응답

{
  "predictions": [
    {
      "safetyAttributes": {
        "blocked": true,
        "errors": [
          150,
          152,
          250
        ]
      },
      "content": ""
    }
  ]
}

안전 속성 설명

안전 평점이 포함된 안전 속성

안전 기준점

다음과 같은 안전 속성에 안전 기준이 적용됩니다.

• 증오심 표현
• 괴롭힘
• 음란물
• 위험한 콘텐츠

Google은 이러한 안전 속성에 지정된 심각도 점수를 초과하는 모델 응답을 차단합니다. 안전 기준을 수정하는 기능을 요청하려면 Google Cloud 계정팀에 문의하세요.

신뢰도 및 심각도 기준 테스트

Google의 안전 필터를 테스트하고 비즈니스에 맞는 신뢰도 기준을 정의할 수 있습니다. 이러한 기준을 사용하면 Google의 사용 정책 또는 서비스 약관을 위반하는 콘텐츠를 감지하고 적절한 조치를 취할 수 있습니다.

신뢰도 점수는 예측일 뿐이므로 신뢰성 또는 정확성 점수를 의존해서는 안 됩니다. Google은 비즈니스 결정을 위해 이러한 점수를 해석하거나 사용할 책임이 없습니다.

중요: 확률 및 심각도

안전 평점이 있는 안전 속성 4개를 제외하고 PaLM API 안전 필터 신뢰도 점수는 콘텐츠의 심각도가 아닌 안전하지 않을 확률을 기준으로 합니다. 일부 콘텐츠는 심각도의 유해성이 높더라도 안전하지 않을 가능성이 낮을 수 있으므로 이를 고려하는 것이 중요합니다. 예를 들어 다음 문장을 비교해보겠습니다.

1. 로봇이 나를 때렸습니다.
2. 로봇이 나를 베었습니다.

문장 1은 안전하지 않을 가능성이 더 높을 수 있지만 폭력 측면에서는 문장 2가 더 심각하다고 생각할 수 있습니다.

따라서 최종 사용자에게 해를 주지 않으면서 주요 사용 사례를 지원하는 데 필요한 적절한 수준의 차단이 무엇인지 신중하게 고려하고 테스트해야 합니다.

Vertex AI Studio의 안전 설정

조정 가능한 안전 필터 기준을 사용하면 유해할 수 있는 응답이 표시될 가능성을 조정할 수 있습니다. 모델 응답은 괴롭힘, 증오심 표현, 위험한 콘텐츠 또는 음란물을 포함할 확률에 따라 차단됩니다. 안전 필터 설정은 Vertex AI Studio의 프롬프트 필드 오른쪽에 있습니다. block most, block some, block few 등 3가지 옵션 중에서 선택할 수 있습니다.

인용 필터

Google의 생성형 코드 기능은 기존 콘텐츠를 길게 복제하는 것이 아니라 오리지널 콘텐츠를 만들기 위한 것입니다. Google은 이 발생 가능성을 제한하고 이러한 시스템의 작동 방식을 지속적으로 개선하도록 시스템을 설계했습니다. 이러한 기능이 웹페이지에서 직접 길게 인용할 경우 해당 페이지를 인용으로 표시합니다.

여러 웹페이지에서 같은 콘텐츠가 발견되어 인기 있는 소스로 안내하려는 경우가 있습니다. 코드 저장소에 대한 인용의 경우 관련 오픈소스 라이선스를 언급할 수도 있습니다. 라이선스 요구사항 준수는 사용자 책임입니다.

인용 필터의 메타데이터에 대해 알아보려면 인용 API 참조를 참조하세요.

안전 오류

안전 오류 코드는 프롬프트나 응답이 차단된 이유를 나타내는 3자리 코드입니다. 1번째 자릿수는 코드가 프롬프트나 응답에 적용되는지 여부를 나타내는 프리픽스이며 나머지 자릿수는 프롬프트나 응답이 차단된 이유를 식별합니다. 예를 들어 251 오류 코드는 모델의 응답에 증오감 표현 콘텐츠 문제로 인해 응답이 차단되었음을 나타냅니다.

단일 응답에서 여러 오류 코드가 반환될 수 있습니다.

모델의 응답 콘텐츠를 차단하는 오류가 발생하면(프리픽스 = 2(예: 250)) 요청에서 temperature 설정을 조정합니다. 이렇게 하면 차단 가능성이 줄어드는 다양한 응답 집합을 생성할 수 있습니다.

오류 코드 프리픽스

오류 코드 프리픽스는 오류 코드의 1번째 자릿수입니다.

오류 코드 이유

오류 코드 이유는 오류 코드의 2번째 및 3번째 자릿수입니다.

3 또는 4로 시작하는 오류 코드 이유는 안전 속성 위반의 신뢰도 기준이 충족되었기 때문에 차단된 프롬프트나 응답을 나타냅니다.

5로 시작하는 오류 코드 이유는 안전하지 않은 콘텐츠가 발견된 프롬프트나 응답을 나타냅니다.

다음 단계

• 책임 있는 AI에 대해 자세히 알아보기
• 데이터 거버넌스 알아보기