Você usa modelos do Model Armor para configurar a triagem de comandos e respostas dos seus aplicativos de IA. Os modelos oferecem filtros e limites personalizados para várias categorias de segurança. Este documento explica como criar e gerenciar modelos do Model Armor. Para mais informações, consulte Modelos do Model Armor.
Antes de começar
Antes de começar, conclua as seguintes tarefas.
Receber as permissões necessárias
Para receber as permissões necessárias para gerenciar modelos do Model Armor,
peça ao administrador para conceder a você o
papel do IAM de Administrador do Model Armor (roles/modelarmor.admin)
nos modelos do Model Armor.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Ativar APIs
É necessário ativar as APIs do Model Armor antes de usar o Model Armor.
Console
Enable the Model Armor API.
Selecione o projeto em que você quer ativar o Model Armor.
gcloud
Antes de começar, siga estas etapas usando a Google Cloud CLI com a API Model Armor:
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Execute o seguinte comando para definir o endpoint de API para o serviço Model Armor.
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
Substitua
LOCATIONpela região em que você quer usar o Model Armor.No console Google Cloud , acesse a página Model Armor.
Verifique se você está visualizando o projeto em que ativou o Model Armor.
Na página Model Armor, clique em Criar modelo. A página Criar modelo é exibida.
Especifique o ID do modelo. O ID do modelo pode ter letras, dígitos ou hifens. Não pode exceder 63 caracteres, conter espaços ou começar com um hífen.
Selecione uma região em que os modelos do Model Armor serão executados. Não é possível mudar a região depois.
Opcional: adicione rótulos. Rótulos são pares de chave-valor que você pode usar para agrupar modelos relacionados.
Na seção Detecções, configure as configurações de detecção.
Opcional: se você selecionar a detecção da Proteção de Dados Sensíveis, será necessário configurar as opções da Proteção de Dados Sensíveis.
Na seção IA responsável, defina o nível de confiança de cada filtro de conteúdo.
Opcional: na seção Configurar geração de registros, selecione as operações para as quais você quer configurar a geração de registros.
Opcional: selecione Ativar suporte para vários idiomas para usar as configurações de detecção de vários idiomas.
Clique em Criar.
LOCATION: o local do modelo.TEMPLATE_ID: o ID do modelo.PROJECT_ID: o ID do projeto a que o modelo pertence.FILTER_CONFIG: a configuração de filtro do modelo.PROJECT_ID: o ID do projeto a que o modelo pertence.TEMPLATE_ID: o ID do modelo a ser criado.LOCATION: o local do modelo.Detecção de URL malicioso: identifica endereços da Web (URLs) criados para prejudicar usuários ou sistemas. Esses URLs podem levar a sites de phishing, downloads de malware ou outros ataques cibernéticos. Para mais informações, consulte Detecção de URL malicioso.
Detecção de jailbreak e injeção de comando: detecta conteúdo malicioso e tentativas de jailbreak em um comando. Para uma aplicação mais rigorosa, defina o nível de confiança como Baixo e acima para detectar a maior parte dos conteúdos que podem consistir em uma injeção de comando e tentativa de jailbreak. Para mais informações, consulte Detecção de jailbreak e injeção de comando.
Proteção de dados sensíveis: detecta dados sensíveis e ajuda a evitar a exposição acidental a ataques como injeção de comandos. Para mais informações, consulte Proteção de Dados Sensíveis.
Básico: uma abordagem mais simples que usa InfoTypes predefinidos para detectar dados sensíveis. Para mais informações sobre o infoType predefinido, consulte Configuração básica da Proteção de Dados Sensíveis.
Avançada: uma opção mais configurável que usa um modelo de inspeção definido no serviço da Proteção de dados sensíveis como uma única fonte para InfoTypes de dados sensíveis.
Modelo de inspeção: modelos para salvar informações de configuração para jobs de verificação de inspeção, incluindo quais detectores predefinidos ou personalizados serão usados. Insira o nome do modelo no seguinte formato:
projects/projectName/locations/locationID/inspectTemplates/templateNameOpcional: Modelo de desidentificação: modelos para salvar informações de configuração para jobs de desidentificação, incluindo transformações de infoType e de conjunto de dados estruturados. Insira um identificador para o modelo de desidentificação no seguinte formato:
projects/projectName/locations/locationID/deidentifyTemplates/templateName- Nenhum: nenhum tipo de conteúdo é detectado.
- Baixa e acima: o conteúdo é detectado com um nível de confiança baixo, médio ou alto.
- Médio e acima: o conteúdo é detectado com um nível de confiança médio ou alto.
- Alto: o conteúdo é detectado com um alto nível de confiança.
No console Google Cloud , acesse a página Model Armor.
Verifique se você está visualizando o projeto em que ativou o Model Armor. A página Model Armor é exibida com os modelos criados para seu projeto.
Clique em qualquer modelo da lista para conferir os detalhes.
LOCATION: o local do modelo.TEMPLATE_ID: o ID do modelo.PROJECT_ID: o ID do projeto a que o modelo pertence.PROJECT_ID: o ID do projeto a que o modelo pertence.TEMPLATE_ID: o ID do modelo a ser visualizado.LOCATION: o local do modelo.No console Google Cloud , acesse a página Model Armor.
Verifique se você está visualizando o projeto em que ativou o Model Armor. A página Model Armor é exibida com a lista de modelos criados para sua organização.
Clique no modelo que você quer atualizar na lista. A página Detalhes do modelo é exibida.
Clique em Editar.
Atualize os parâmetros obrigatórios e clique em Salvar.
LOCATION: o local do modelo.TEMPLATE_ID: o ID do modelo.PROJECT_ID: o ID do projeto a que o modelo pertence.PROJECT_ID: o ID do projeto a que o modelo pertence.LOCATION: o local do modelo.TEMPLATE_ID: o ID do modelo.FILTER_CONFIG: a representação JSON da configuração do filtro.No console Google Cloud , acesse a página Model Armor.
Verifique se você está visualizando o projeto em que ativou o Model Armor. A página Model Armor é exibida com a lista de modelos criados para sua organização.
Clique no modelo que você quer excluir na lista. A página Detalhes do modelo é exibida.
Clique em Excluir. Uma caixa de diálogo de confirmação é exibida.
Insira o nome do modelo para confirmar a exclusão e clique em Excluir.
LOCATION: o local do modelo.TEMPLATE_ID: o ID do modelo.PROJECT_ID: o ID do projeto a que o modelo pertence.PROJECT_ID: o ID do projeto a que o modelo pertence.LOCATION: o local do modelo.TEMPLATE_ID: o ID do modelo.INSPECT_ONLY: inspeciona solicitações que violam as configurações definidas, mas não as bloqueia.INSPECT_AND_BLOCK: ele bloqueia solicitações que violam as configurações definidas.- Saiba mais sobre a visão geral do Model Armor.
- Saiba mais sobre as configurações mínimas do Model Armor.
- Limpe comandos e respostas.
- Resolver problemas do Model Armor.
Execute o comando a seguir para ativar o Model Armor.
gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
Substitua PROJECT_ID pelo ID do projeto.
Criar um modelo do Model Armor
Os modelos do Model Armor definem os filtros e limites específicos que ele usa para examinar comandos e respostas em busca de riscos de segurança. Para criar um modelo do Model Armor, siga estas etapas:
Console
gcloud
Execute este comando:
gcloud model-armor templates create TEMPLATE_ID --project=PROJECT_ID --location=LOCATION \
--rai-settings-filters='[{ "filterType": "HATE_SPEECH", "confidenceLevel": "MEDIUM_AND_ABOVE" },{ "filterType": "HARASSMENT", "confidenceLevel": "MEDIUM_AND_ABOVE" },{ "filterType": "SEXUALLY_EXPLICIT", "confidenceLevel": "MEDIUM_AND_ABOVE" }]' \
--basic-config-filter-enforcement=enabled \
--pi-and-jailbreak-filter-settings-enforcement=enabled \
--pi-and-jailbreak-filter-settings-confidence-level=LOW_AND_ABOVE \
--malicious-uri-filter-settings-enforcement=enabled \
--template-metadata-custom-llm-response-safety-error-code=798 \
--template-metadata-custom-llm-response-safety-error-message="test template llm response evaluation failed" \
--template-metadata-custom-prompt-safety-error-code=799 \
--template-metadata-custom-prompt-safety-error-message="test template prompt evaluation failed" \
--template-metadata-ignore-partial-invocation-failures \
--template-metadata-log-operations \
--template-metadata-log-sanitize-operations
Substitua:
REST
Use o comando a seguir para criar um modelo do Model Armor.
curl -X POST \
-d "{'FILTER_CONFIG': {} }" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates?template_id=TEMPLATE_ID"
Substitua:
O exemplo a seguir mostra a configuração do modelo do Model Armor. Neste exemplo, os filtros de IA responsável estão configurados para discurso de ódio, assédio, conteúdo perigoso e conteúdo sexualmente explícito com diferentes níveis de confiança.
O filtro de detecção de jailbreak e injeção de comando está ativado com um nível de confiança LOW_AND_ABOVE, o que significa que qualquer conteúdo com probabilidade baixa, média ou alta será sinalizado. O filtro de URI malicioso está ativado.
export FILTER_CONFIG='{
"filterConfig": {
"raiSettings": {
"raiFilters": [{
"filterType": "HATE_SPEECH",
"confidenceLevel": "MEDIUM_AND_ABOVE"
}, {
"filterType": "HARASSMENT",
"confidenceLevel": "HIGH"
}, {
"filterType": "DANGEROUS",
"confidenceLevel": "MEDIUM_AND_ABOVE"
},{
"filterType": "SEXUALLY_EXPLICIT",
"confidenceLevel": "MEDIUM_AND_ABOVE"
}]
},
"piAndJailbreakFilterSettings": {
"filterEnforcement": "ENABLED",
"confidenceLevel": "LOW_AND_ABOVE"
},
"maliciousUriFilterSettings": {
"filterEnforcement": "ENABLED"
}
}
}'
curl -X POST \
-d "$FILTER_CONFIG" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/templates?template_id=TEMPLATE_ID"
Para criar um modelo do Model Armor com a detecção de vários idiomas ativada, transmita o parâmetro TEMPLATE_CONFIG no comando.
Esse parâmetro define a configuração das configurações de detecção de idioma.
Use o comando a seguir para criar um modelo do Model Armor com a detecção multilíngue ativada.
curl -X POST \
-d "{'TEMPLATE_CONFIG': {} }" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates?template_id=TEMPLATE_ID"
O exemplo a seguir mostra a configuração do modelo do Model Armor com a detecção multilíngue ativada.
export TEMPLATE_CONFIG='{
"filterConfig": {
"raiSettings": {
"raiFilters": [{
"filterType": "HATE_SPEECH",
"confidenceLevel": "MEDIUM_AND_ABOVE"
}, {
"filterType": "HARASSMENT",
"confidenceLevel": "HIGH"
}, {
"filterType": "DANGEROUS",
"confidenceLevel": "MEDIUM_AND_ABOVE"
},{
"filterType": "SEXUALLY_EXPLICIT",
"confidenceLevel": "MEDIUM_AND_ABOVE"
}]
},
"piAndJailbreakFilterSettings": {
"filterEnforcement": "ENABLED",
"confidenceLevel": "LOW_AND_ABOVE"
},
"maliciousUriFilterSettings": {
"filterEnforcement": "ENABLED"
}
},
"templateMetadata": {
"multiLanguageDetectionMetadata": {
"enableMultiLanguageDetection": true
}
}
}'
curl -X POST \
-d "$TEMPLATE_CONFIG" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/templates?template_id=TEMPLATE_ID"
Go
Java
Node.js
PHP
Python
Para executar esse código, primeiro configure um ambiente de desenvolvimento Python e instale o SDK do Model Armor para Python.
Configurar detecções
As detecções são as verificações específicas que o Model Armor realiza em comandos e respostas. O Model Armor oferece um sistema flexível para configurar detecções, permitindo que você personalize o nível de proteção dos seus aplicativos de IA. Você configura as detecções ao criar modelos. O Model Armor realiza as seguintes verificações de detecção em comandos e respostas:
Definir as configurações da proteção de dados sensíveis
O Model Armor usa a Proteção de dados sensíveis para identificar e evitar a exposição de informações sensíveis nas suas interações com LLMs. Para mais informações, consulte Proteção de dados sensíveis.
O Model Armor oferece dois modos para configurar a Proteção de Dados Sensíveis:
Se você selecionar o modo Avançado, especifique os seguintes parâmetros:
Verifique se o modelo de inspeção e o modelo de desidentificação existem na Proteção de dados sensíveis. Se o modelo estiver em um projeto diferente, o agente de serviço do Model Armor precisará receber o papel de usuário da DLP (roles/dlp.user) e o papel de leitor da DLP (roles/dlp.reader) para esse projeto.
Definir nível de confiança
O nível de confiança representa a probabilidade de que as descobertas correspondam a um tipo de filtro de conteúdo. É possível definir o nível de confiança para cada filtro de conteúdo. Os valores possíveis são:
Para uma aplicação mais rigorosa, defina o nível de confiança como Baixo e acima para detectar a maioria dos conteúdos que se enquadram em um tipo de filtro de conteúdo. Você também pode selecionar o nível de confiança
Para ativar o registro abrangente em um modelo, consulte Registro de auditoria e da plataforma do Model Armor.
Ver um modelo do Model Armor
Confira os modelos atuais para entender quais configurações estão disponíveis e para resolver problemas com solicitações e respostas de triagem.
Console
gcloud
Execute este comando:
gcloud model-armor templates describe TEMPLATE_ID --project=PROJECT_ID --location=LOCATION
Substitua:
REST
Execute este comando:
curl -X GET \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ "https://modelarmor.LOCATION_ID.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates/TEMPLATE_ID"
Substitua:
Go
Java
Node.js
PHP
Python
Para executar esse código, primeiro configure um ambiente de desenvolvimento Python e instale o SDK do Model Armor para Python.
Atualizar um modelo do Model Armor
Atualize seus modelos regularmente para manter uma postura de segurança robusta e eficaz para seus aplicativos de IA.
Console
gcloud
Execute este comando:
gcloud model-armor templates update TEMPLATE_ID --project=PROJECT_ID --location=LOCATION
Substitua:
REST
Execute este comando:
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "$FILTER_CONFIG" \ "https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates/TEMPLATE_ID?updateMask=FILTER_CONFIG"
Substitua:
Todos os outros campos são imutáveis. As tentativas de atualizar outros campos (por exemplo, o nome do modelo) resultam em um erro.
Go
Java
Node.js
PHP
Python
Para executar esse código, primeiro configure um ambiente de desenvolvimento Python e instale o SDK do Model Armor para Python.
Excluir um modelo do Model Armor
Exclua um modelo quando ele não estiver mais em uso, for substituído por um novo modelo ou quando as políticas de segurança mudarem.
Console
gcloud
Execute este comando:
gcloud model-armor templates delete TEMPLATE_ID --project=PROJECT_ID --location=LOCATION
Substitua:
REST
Execute este comando:
curl -X DELETE \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ "https://modelarmor.LOCATION_ID.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates/TEMPLATE_ID"
Substitua:
Go
Java
Node.js
PHP
Python
Para executar esse código, primeiro configure um ambiente de desenvolvimento Python e instale o SDK do Model Armor para Python.
Metadados de modelos
Os metadados do modelo do Model Armor ajudam a configurar o comportamento dele, incluindo o processamento de verificações de segurança, o tratamento de erros e o comportamento de geração de registros.
Os metadados do modelo do Model Armor incluem os seguintes campos:
| Metadados | Tipo | Descrição |
|---|---|---|
| multiLanguageDetection | Booleano | Ativa a detecção de vários idiomas. |
| enforcement_type | Enum |
Define o tipo de aplicação. Use um dos seguintes valores: |
| log_template_operations | Booleano | Ativa a geração de registros de operações de modelo. |
| log_sanitize_operations | Booleano | Ativa o registro de operações de limpeza. |
A seguir
Exceto em caso de indicação contrária, o conteúdo desta página é licenciado de acordo com a Licença de atribuição 4.0 do Creative Commons, e as amostras de código são licenciadas de acordo com a Licença Apache 2.0. Para mais detalhes, consulte as políticas do site do Google Developers. Java é uma marca registrada da Oracle e/ou afiliadas.
Última atualização 2025-08-13 UTC.