Limitações da IA explicável

Ao considerar as explicações retornadas pelo serviço, você precisa ter em mente essas limitações avançadas. Para uma explicação detalhada, consulte o Whitepaper sobre a AI Explanations (em inglês).

Significado e escopo das concessões de atributos

Considere o seguinte ao analisar atribuições de recurso fornecidas pela Vertex Explainable AI:

  • Cada concessão mostra apenas quanto o atributo afetou a previsão do exemplo em questão. Uma única concessão pode não refletir o comportamento geral do modelo. Para entender o comportamento aproximado do modelo em um conjunto de dados completo, inclua concessões em todo o conjunto.
  • As concessões dependem totalmente do modelo e dos dados usados para treiná-lo. Elas informam apenas os padrões que o modelo encontrou nos dados e não detectam relações fundamentais neles. A presença ou a falta de uma forte concessão de um determinado atributo não significa que há uma relação entre esse atributo e o objetivo. A concessão apenas mostra se o modelo está usando o atributo nas previsões.
  • Só as concessões não informam se o modelo é justo, imparcial ou de qualidade. Avalie cuidadosamente seus dados de treinamento e métricas de avaliação, além das atribuições.

Como aprimorar as concessões de atributos

Ao trabalhar com modelos treinados personalizados, é possível configurar parâmetros específicos para melhorar suas explicações. Esta seção não se aplica aos modelos do AutoML.

Os fatores a seguir têm o maior impacto nas concessões de atributos:

  • Os métodos de concessão são similares ao valor de Shapley. É possível aumentar a precisão da proximidade fazendo o seguinte:

    • Aumentando o número de etapas integrais para os métodos de gradientes integrados ou XRAI.
    • Aumentando o número de caminhos integrais para o método amostrado de Shapley.

    Isso pode mudar bastante as concessões.

  • As concessões expressam apenas o quanto o atributo afetou a alteração no valor de previsão, em relação ao valor de referência. Escolha um valor de referência significativo, relevante para a pergunta que você está fazendo sobre o modelo. Os valores de concessão e a interpretação deles podem mudar bastante quando você alterna os valores de referência.

  • Para gradientes integrados e XRAI, o uso de valores de referência pode melhorar seus resultados. Por exemplo, é possível especificar valores de referência que representem uma imagem inteiramente preta e uma imagem totalmente branca.

Leia mais sobre como melhorar as atribuições de recursos.

Limitações para dados de imagem

Os dois métodos de atribuição compatíveis com dados de imagem são gradientes integrados e XRAI.

Os gradientes integrados são um método de atribuição com base em pixels que destaca áreas importantes da imagem, independentemente do contraste, tornando esse método ideal para imagens não naturais, como raio X. No entanto, a saída granular pode dificultar a avaliação da importância relativa das áreas. A saída padrão destaca áreas na imagem que têm atribuições positivas altas desenhando contornos, mas esses contornos não são classificados e podem abranger objetos.

O XRAI funciona melhor em imagens naturais de alto contraste que contêm vários objetos. Como esse método produz atribuições com base na região, um mapa de calor mais suave e legível das regiões mais relevantes é produzido para uma determinada classificação de imagem.

O XRAI não funciona bem com os seguintes tipos de entrada de imagem:

  • Imagens de baixo contraste que são todas de uma tonalidade, como raios-X.
  • Imagens muito altas ou muito largas, como panoramas.
  • Imagens muito grandes, o que pode atrasar o tempo de execução geral.