Perspectiva de IA e ML: segurança

Neste documento da perspectiva Framework bem arquitetado: IA e ML, apresentamos uma visão geral dos princípios e recomendações para garantir que as implantações de IA e ML atendam aos requisitos de segurança e conformidade da organização. As recomendações neste documento estão alinhadas ao pilar de segurança do Google Cloud framework bem arquitetado.

A implantação segura de cargas de trabalho de IA e ML é um requisito essencial, principalmente em ambientes corporativos. Para atender a esse requisito, é preciso adotar uma abordagem de segurança holística que comece com a conceituação inicial das soluções de IA e ML e se estenda até o desenvolvimento, a implantação e as operações contínuas.O Google Cloud oferece ferramentas e serviços robustos projetados para proteger suas cargas de trabalho de IA e ML.

Definir metas e requisitos claros

É mais fácil integrar os controles de segurança e conformidade necessários no início do processo de design e desenvolvimento do que adicionar os controles após o desenvolvimento. Desde o início do processo de design e desenvolvimento, tome decisões apropriadas para seu ambiente de risco específico e suas prioridades específicas de negócios.

Considere as seguintes recomendações:

  • Identifique possíveis vetores de ataque e adote uma perspectiva de segurança e conformidade desde o início. À medida que você projeta e evolui seus sistemas de IA, monitore a superfície de ataque, os possíveis riscos e as obrigações que você pode enfrentar.
  • Alinhe seus esforços de segurança de IA e ML às metas de negócios e garanta que a segurança seja parte integrante da sua estratégia geral. Entenda os efeitos das suas escolhas de segurança nas principais metas de negócios.

Mantenha os dados seguros e evite perdas ou maus usos

Os dados são recursos sensíveis e valiosos que precisam ser mantidos em segurança. A segurança de dados ajuda você a manter a confiança dos usuários, apoiar seus objetivos de negócios e atender aos requisitos de conformidade.

Considere as seguintes recomendações:

  • Não colete, mantenha ou use dados que não sejam estritamente necessários para suas metas de negócios. Se possível, use dados sintéticos ou totalmente anônimos.
  • Monitorar a coleta, o armazenamento e a transformação de dados. Mantenha registros para todas as atividades de acesso e manipulação de dados. Eles ajudam a auditar o acesso a dados, detectar tentativas de acesso não autorizado e impedir acessos indesejados.
  • Implemente diferentes níveis de acesso (por exemplo, sem acesso, somente leitura ou gravação) com base nos papéis do usuário. Certifique-se de que as permissões sejam atribuídas com base no princípio de privilégio mínimo. Os usuários precisam ter apenas as permissões mínimas necessárias para realizar as atividades da função.
  • Implemente medidas como criptografia, perímetros seguros e restrições na movimentação de dados. Essas medidas ajudam a evitar a exfiltração e a perda de dados.
  • Proteja seus sistemas de treinamento de ML contra envenenamento de dados.

Manter os pipelines de IA seguros e robustos contra adulteração

Os códigos de IA e ML e os pipelines definidos por código são recursos essenciais. O código não protegido pode ser adulterado, o que pode levar a vazamentos de dados, falha de conformidade e interrupção de atividades comerciais críticas. Manter seu código de IA e ML seguros ajuda a garantir a integridade e o valor dos modelos e dos resultados deles.

Considere as seguintes recomendações:

  • Use práticas de programação seguras, como gerenciamento de dependências ou validação e limpeza de entrada, durante o desenvolvimento do modelo para evitar vulnerabilidades.
  • Proteja o código do pipeline e os artefatos do modelo, como arquivos, pesos de modelo e especificações de implantação, contra acesso não autorizado. Implemente diferentes níveis de acesso para cada artefato com base nos papéis do usuário e necessidades.
  • Aplique a linhagem e o rastreamento de recursos e execuções de pipelines. Essa aplicação ajuda a atender aos requisitos de conformidade e a evitar comprometer os sistemas de produção.

Implante em sistemas seguros com ferramentas e artefatos seguros

Verifique se o código e os modelos são executados em um ambiente seguro que tem um sistema robusto de controle de acesso com garantias de segurança para as ferramentas e os artefatos implantados no ambiente.

Considere as seguintes recomendações:

  • Treine e implante seus modelos em um ambiente seguro com controles de acesso e proteção adequados contra uso ou manipulação não autorizado.
  • Siga as diretrizes padrão de Níveis de cadeia de fornecimento para artefatos de software (SLSA) para seus artefatos específicos de IA, como modelos e pacotes de software.
  • Prefira usar imagens de contêiner pré-criadas validadas projetadas especificamente para cargas de trabalho de IA.

Proteger e monitorar entradas

Os sistemas de IA precisam de entradas para fazer previsões, gerar conteúdo ou automatizar ações. Algumas entradas podem representar riscos ou ser usadas como vetores de ataque que precisam ser detectados e higienizados. Detectar possíveis entradas maliciosas com antecedência ajuda a manter os sistemas de IA seguros e funcionando conforme o esperado.

Considere as seguintes recomendações:

  • Implemente práticas seguras para desenvolver e gerenciar comandos para sistemas de IA generativa e garantir que os comandos sejam filtrados quanto a intenções nocivas.
  • Monitore entradas em sistemas preditivos ou generativos para evitar problemas como endpoints sobrecarregados ou comandos que os sistemas não foram projetados para processar.
  • Garanta que apenas os usuários pretendidos de um sistema implantado possam usá-lo.

Monitorar, avaliar e se preparar para responder aos resultados

Os sistemas de IA agregam valor porque produzem saídas que aumentam, otimizam ou automatizam a tomada de decisão humana. Para manter a integridade e a confiabilidade dos sistemas e aplicativos de IA, é preciso garantir que as saídas sejam seguras e estejam dentro dos parâmetros esperados. Você também precisa de um plano para responder a incidentes.

Considere as seguintes recomendações:

  • Monitore as saídas dos modelos de IA e ML em produção e identifique problemas de desempenho, segurança e conformidade.
  • Avalie o desempenho do modelo implementando métricas e medidas de segurança robustas, como a identificação de respostas generativas fora do escopo ou saídas extremas em modelos preditivos. Coletar feedback dos usuários sobre o desempenho do modelo.
  • Implemente procedimentos robustos de alerta e resposta a incidentes para resolver possíveis problemas.

Colaboradores

Autores:

Outros colaboradores: