SanitizeModelResponse 정책

이 페이지는 Apigee 및 Apigee Hybrid에 적용됩니다.

Apigee Edge 문서 보기

SanitizeModelResponse 정책은 생성형 AI 모델의 응답을 정리하여 유해하거나 불쾌감을 주는 콘텐츠로부터 AI 클라이언트를 보호합니다. 이 정책은 Model Armor를 사용하여 유해하거나 불쾌감을 주는 콘텐츠에 대한 모델 응답을 평가하여 Apigee를 사용하는 AI 클라이언트와 워크로드에 네이티브 보호 기능을 사용 설정합니다. Model Armor는 대규모 언어 모델 (LLM)과 관련된 위험을 완화하기 위한 AI 보안 및 안전 조치를 제공하는 Google Cloud 서비스입니다.

이 정책은 SanitizeModelResponse 정책과 함께 사용됩니다.

이 정책은 확장 가능한 정책이며, 이 정책을 사용하면 Apigee 라이선스에 따라 비용 또는 사용률이 영향을 받을 수 있습니다. 정책 유형 및 사용 영향에 대한 자세한 내용은 정책 유형을 참조하세요.

시작하기 전에

SanitizeModelResponse 정책을 사용하려면 먼저 다음 작업을 완료해야 합니다.

• Model Armor 템플릿을 만듭니다. SanitizeModelResponse 정책을 만들기 전에 이 단계를 완료해야 합니다.
• Model Armor 서비스의 API 엔드포인트를 설정합니다.

필요한 역할

SanitizeModelResponse 정책을 적용하고 사용하는 데 필요한 권한을 얻으려면 관리자에게 Apigee 프록시를 배포하는 데 사용하는 서비스 계정에 다음 IAM 역할을 부여해 달라고 요청하세요.

• Model Armor 사용자 (roles/modelarmor.user)
• Model Armor 뷰어 (roles/modelarmor.viewer)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

API 사용 설정

Enable the Model Armor APIs.

Enable the APIs

<SanitizeModelResponse> 요소

SanitizeModelResponse 정책을 정의합니다.

<SanitizeModelResponse> 요소는 다음 문법을 사용합니다.

<SanitizeModelResponse async="false" continueOnError="false" enabled="true" name="sanitize-response">
  <IgnoreUnresolvedVariables>true</IgnoreUnresolvedVariables>
  <DisplayName>sanitize-response-sample</DisplayName>
  <ModelArmor>
    <TemplateName>projects/{project}/locations/{location}/templates/{template-name}</TemplateName>
  </ModelArmor>
  <UserPromptSource>{jsonPath('$.contents[-1].parts[-1].text',request.content,true)}</UserPromptSource>
  <LLMResponseSource>{jsonPath($.candidates[-1].content.parts,response.content,true)}</LLMResponseSource>
</SanitizeModelResponse>

<SanitizeModelResponse async="false" continueOnError="false" enabled="true" name="sanitize-response">
  <IgnoreUnresolvedVariables>true</IgnoreUnresolvedVariables>
  <DisplayName>sanitize-response-sample</DisplayName>
  <ModelArmor>
    <TemplateName>projects/{project}/locations/{location}/templates/{template-name}</TemplateName>
  </ModelArmor>
  <UserPromptSource>{jsonPath('$.contents[-1].parts[-1].text',request.content,true)}</UserPromptSource>
  <LLMResponseSource>{jsonPath($.candidates[-1].content.parts,response.content,true)}</LLMResponseSource>
</SanitizeModelResponse>

이 요소에는 다음과 같이 모든 정책에 공통된 속성이 있습니다.

다음 표에서는 <SanitizeModelResponse>의 하위 요소에 대한 대략적인 설명을 제공합니다.

projects/{organization.name}/locations/{system.region.name}/templates/{id}

{jsonpath('$.contents[-1].parts[-1].text',request.content,false)}

{jsonpath('$.input.prompt.text',request.content,false)}

하위 요소 참조

이 섹션에서는 <SanitizeModelResponse>의 하위 요소를 설명합니다.

<DisplayName>

name 속성 외에 이 요소를 사용하여 관리 UI 프록시 편집기에서 자연스러운 다른 이름으로 정책의 라벨을 지정합니다.

<DisplayName> 요소는 모든 정책에 공통으로 적용됩니다.

<DisplayName> 요소는 다음 문법을 사용합니다.

<PolicyElement>
  <DisplayName>POLICY_DISPLAY_NAME</DisplayName>
  ...
</PolicyElement>

<PolicyElement>
  <DisplayName>My Validation Policy</DisplayName>
</PolicyElement>

<DisplayName> 요소에 속성 또는 하위 요소가 없습니다.

<IgnoreUnresolvedVariables>

변수가 확인되지 않은 경우 처리를 중지할지 여부를 결정합니다. 확인되지 않은 변수를 무시하고 계속 처리하려면 true로 설정합니다.

<TemplateName>

Model Armor 템플릿

<TemplateName> 요소는 다음 구문을 사용합니다.

<ModelArmor>
  <TemplateName>projects/{project}/locations/{location}/templates/{template-name}</TemplateName>
</ModelArmor>

<ModelArmor>
  <TemplateName>projects/{organization.name}/locations/{system.region.name}/templates/{id}</TemplateName>
</ModelArmor>

<UserPromptSource>

사용자 메시지 텍스트를 추출할 페이로드의 위치입니다. 문자열 텍스트 값만 지원됩니다.

이 필드는 변수 또는 JSON 경로 함수 사용을 비롯한 Apigee 메시지 템플릿 문법을 지원합니다. 예를 들면 다음과 같습니다.

{jsonpath('$.input.prompt.text',request.content,false)}

<LLMResponseSource>

추출할 LLM 응답의 페이로드 위치입니다. 문자열 텍스트 값만 지원됩니다.

이 필드는 변수 또는 JSON 경로 함수 사용을 비롯한 Apigee 메시지 템플릿 문법을 지원합니다. 예를 들면 다음과 같습니다.

{jsonpath('$.input.prompt.text',request.content,false)}

흐름 변수

흐름 변수를 사용하면 HTTP 헤더, 메시지 콘텐츠 또는 흐름에서 사용 가능한 컨텍스트를 기준으로 정책 및 흐름의 동적 런타임 동작을 구성할 수 있습니다. 흐름 변수에 관한 자세한 내용은 흐름 변수 참조를 참고하세요.

정책은 실행 중에 이러한 읽기 전용 변수를 설정할 수 있습니다.

오류 참조

이 섹션에서는 반환되는 오류 코드 및 오류 메시지와 <SanitizeModelResponse> 정책과 관련해서 Apigee에서 설정된 오류 변수에 대해 설명합니다. 오류를 처리하기 위해 오류 규칙을 개발 중인 경우, 이 정보는 중요합니다. 자세한 내용은 정책 오류에 대해 알아야 할 사항 및 오류 처리를 참고하세요.

런타임 오류

배포 오류

이 오류는 이 정책이 포함된 프록시를 배포할 때 발생할 수 있습니다.

오류 변수

이러한 변수는 이 정책이 런타임 시 오류를 트리거할 때 설정됩니다. 자세한 내용은 정책 오류에 대해 알아야 할 사항을 참조하세요.

오류 응답 예시

{
  "fault": {
    "faultstring": "SanitizeModelResponse[sanitize-response]: unable to resolve variable [variable_name]",
    "detail": {
      "errorcode": "steps.sanitizemodelresponse.UnresolvedVariable"
    }
  }
}

오류 규칙 예시

<FaultRule name="SanitizeModelResponse Faults">
    <Step>
        <Name>SMR-CustomSetVariableErrorResponse</Name>
        <Condition>(fault.name = "SetVariableFailed")</Condition>
    </Step>
    <Condition>(sanitizemodelresponse.failed = true)</Condition>
</FaultRule>

Model Armor 템플릿 오류 코드 및 오류 메시지

Model Armor 템플릿은 SanitizeModelResponse 정책의 API 요청에서 발생하는 오류 코드 및 오류 메시지 재정의를 지원합니다. 사용자가 재정의를 설정하면 모델 아머 오류 코드와 오류 메시지가 흐름 변수를 채웁니다.

예를 들어 모델 아머 오류 코드와 메시지가 포함된 응답은 다음과 같이 표시될 수 있습니다.

{
"sanitizationResult": {
  "filterMatchState": "MATCH_FOUND",
  "filterResults": {...},
  "sanitizationMetadata": {
    "errorCode": "890",
    "errorMessage": "get out"
  },
  "invocationResult": "SUCCESS"
  }
}

스키마

각 정책 유형은 XML 스키마(.xsd)로 정의됩니다. 참고로 GitHub에서 정책 스키마를 사용할 수 있습니다.