Kebijakan SanitizeModelResponse

Halaman ini berlaku untuk Apigee dan Apigee hybrid.

Lihat dokumentasi Apigee Edge.

Kebijakan SanitizeModelResponse melindungi klien AI dari konten berbahaya atau menyinggung dengan membersihkan respons dari model AI generatif. Kebijakan ini menggunakan Model Armor untuk mengevaluasi respons model terhadap konten yang berbahaya atau menyinggung, sehingga memungkinkan perlindungan native untuk klien dan beban kerja AI yang menggunakan Apigee. Model Armor adalah Google Cloud layanan yang menawarkan langkah-langkah keamanan dan keselamatan AI untuk mengurangi risiko yang terkait dengan model bahasa besar (LLM).

Kebijakan ini digunakan bersama dengan kebijakan SanitizeModelResponse.

Kebijakan ini adalah Kebijakan yang dapat diperluas dan penggunaan kebijakan ini mungkin memiliki implikasi biaya atau penggunaan, bergantung pada lisensi Apigee Anda. Untuk informasi tentang jenis kebijakan dan implikasi penggunaan, lihat Jenis kebijakan.

Sebelum memulai

Sebelum menggunakan kebijakan SanitizeModelResponse, Anda harus menyelesaikan tugas-tugas berikut:

• Buat template Model Armor. Langkah ini harus diselesaikan sebelum Anda membuat kebijakan SanitizeModelResponse.
• Tetapkan endpoint API untuk layanan Model Armor.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk menerapkan dan menggunakan kebijakan SanitizeModelResponse, minta administrator untuk memberi Anda peran IAM berikut di akun layanan yang Anda gunakan untuk men-deploy proxy Apigee:

• Model Armor User (roles/modelarmor.user)
• Model Armor Viewer (roles/modelarmor.viewer)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Mengaktifkan API

Enable the Model Armor APIs.

Enable the APIs

Elemen <SanitizeModelResponse>

Menentukan kebijakan SanitizeModelResponse.

Elemen <SanitizeModelResponse> menggunakan sintaksis berikut:

<SanitizeModelResponse async="false" continueOnError="false" enabled="true" name="sanitize-response">
  <IgnoreUnresolvedVariables>true</IgnoreUnresolvedVariables>
  <DisplayName>sanitize-response-sample</DisplayName>
  <ModelArmor>
    <TemplateName>projects/{project}/locations/{location}/templates/{template-name}</TemplateName>
  </ModelArmor>
  <UserPromptSource>{jsonPath('$.contents[-1].parts[-1].text',request.content,true)}</UserPromptSource>
  <LLMResponseSource>{jsonPath($.candidates[-1].content.parts,response.content,true)}</LLMResponseSource>
</SanitizeModelResponse>

<SanitizeModelResponse async="false" continueOnError="false" enabled="true" name="sanitize-response">
  <IgnoreUnresolvedVariables>true</IgnoreUnresolvedVariables>
  <DisplayName>sanitize-response-sample</DisplayName>
  <ModelArmor>
    <TemplateName>projects/{project}/locations/{location}/templates/{template-name}</TemplateName>
  </ModelArmor>
  <UserPromptSource>{jsonPath('$.contents[-1].parts[-1].text',request.content,true)}</UserPromptSource>
  <LLMResponseSource>{jsonPath($.candidates[-1].content.parts,response.content,true)}</LLMResponseSource>
</SanitizeModelResponse>

Elemen ini memiliki atribut berikut yang umum untuk semua kebijakan:

Tabel berikut memberikan deskripsi tingkat tinggi tentang elemen turunan <SanitizeModelResponse>:

projects/{organization.name}/locations/{system.region.name}/templates/{id}

{jsonpath('$.contents[-1].parts[-1].text',request.content,false)}

{jsonpath('$.input.prompt.text',request.content,false)}

Referensi elemen turunan

Bagian ini menjelaskan elemen turunan <SanitizeModelResponse>.

<DisplayName>

Gunakan selain atribut name untuk memberi label pada kebijakan di editor proxy UI pengelolaan dengan nama yang berbeda dan lebih terdengar alami.

Elemen <DisplayName> umum untuk semua kebijakan.

Elemen <DisplayName> menggunakan sintaksis berikut:

<PolicyElement>
  <DisplayName>POLICY_DISPLAY_NAME</DisplayName>
  ...
</PolicyElement>

<PolicyElement>
  <DisplayName>My Validation Policy</DisplayName>
</PolicyElement>

Elemen <DisplayName> tidak memiliki atribut atau elemen turunan.

<IgnoreUnresolvedVariables>

Menentukan apakah pemrosesan berhenti saat variabel tidak terselesaikan. Tetapkan ke true untuk mengabaikan variabel yang belum terselesaikan dan melanjutkan pemrosesan.

<TemplateName>

Template Model Armor.

Elemen <TemplateName> menggunakan sintaksis berikut:

<ModelArmor>
  <TemplateName>projects/{project}/locations/{location}/templates/{template-name}</TemplateName>
</ModelArmor>

<ModelArmor>
  <TemplateName>projects/{organization.name}/locations/{system.region.name}/templates/{id}</TemplateName>
</ModelArmor>

<UserPromptSource>

Lokasi payload untuk teks perintah pengguna yang akan diekstrak. Hanya nilai teks string yang didukung.

Kolom ini mendukung sintaksis template pesan Apigee, termasuk penggunaan variabel atau fungsi Jalur JSON. Contoh:

{jsonpath('$.input.prompt.text',request.content,false)}

<LLMResponseSource>

Lokasi payload untuk respons LLM yang akan diekstrak. Hanya nilai teks string yang didukung.

Kolom ini mendukung sintaksis template pesan Apigee, termasuk penggunaan variabel atau fungsi Jalur JSON. Contoh:

{jsonpath('$.input.prompt.text',request.content,false)}

Variabel alur

Variabel alur dapat digunakan untuk mengonfigurasi perilaku runtime dinamis untuk kebijakan dan alur, berdasarkan header HTTP atau konten pesan, atau konteks yang tersedia di Alur. Untuk mengetahui informasi selengkapnya tentang variabel alur, lihat Referensi variabel alur.

Kebijakan ini dapat menetapkan variabel hanya baca ini selama eksekusi.

Referensi error

Bagian ini menjelaskan kode error dan pesan error yang ditampilkan serta variabel error yang ditetapkan oleh Apigee khusus untuk kebijakan <SanitizeModelResponse>. Informasi ini penting untuk diketahui jika Anda mengembangkan aturan error untuk menangani error. Untuk mempelajari lebih lanjut, lihat Yang perlu Anda ketahui tentang error kebijakan dan Menangani error.

Error runtime

Error saat deployment

Error ini dapat terjadi saat Anda men-deploy proxy yang berisi kebijakan ini.

Variabel error

Variabel ini ditetapkan saat kebijakan ini memicu error saat runtime. Untuk mengetahui informasi selengkapnya, lihat Yang perlu Anda ketahui tentang error kebijakan.

Contoh respons error

{
  "fault": {
    "faultstring": "SanitizeModelResponse[sanitize-response]: unable to resolve variable [variable_name]",
    "detail": {
      "errorcode": "steps.sanitizemodelresponse.UnresolvedVariable"
    }
  }
}

Contoh aturan error

<FaultRule name="SanitizeModelResponse Faults">
    <Step>
        <Name>SMR-CustomSetVariableErrorResponse</Name>
        <Condition>(fault.name = "SetVariableFailed")</Condition>
    </Step>
    <Condition>(sanitizemodelresponse.failed = true)</Condition>
</FaultRule>

Kode error dan pesan error template Model Armor

Template Model Armor mendukung penggantian kode error dan pesan error yang ditampilkan oleh permintaan API kebijakan SanitizeModelResponse. Jika pengguna menetapkan penggantian, kode error dan pesan error Model Armor akan mengisi variabel alur.

Misalnya, respons dengan kode dan pesan error Model Armor dapat terlihat seperti berikut:

{
"sanitizationResult": {
  "filterMatchState": "MATCH_FOUND",
  "filterResults": {...},
  "sanitizationMetadata": {
    "errorCode": "890",
    "errorMessage": "get out"
  },
  "invocationResult": "SUCCESS"
  }
}

Skema

Setiap jenis kebijakan ditentukan oleh skema XML (.xsd). Sebagai referensi, skema kebijakan tersedia di GitHub.