Configurar um mecanismo

Nesta página, abordamos brevemente os conceitos relacionados à configuração de um mecanismo.

Origens compatíveis com hiperparâmetros

Ao configurar um mecanismo, é possível selecionar a origem dos hiperparâmetros usados para criar um modelo. As fontes a seguir são suportado:

  • Ajuste automático: a IA AML ajusta hiperparâmetros quando você cria um recurso EngineConfig (comportamento padrão).
  • Herdar: herdar hiperparâmetros de uma configuração de mecanismo anterior que foi criada com uma versão anterior do mecanismo na mesma versão de ajuste. Esta configuração permite evitar um novo ajuste sempre que você adota um novo mecanismo de modelo para a versão anterior.

Quando ajustar ou herdar

As seções a seguir descrevem quando você deve selecionar o ajuste automático e quando precisa herdar hiperparâmetros de uma configuração de mecanismo anterior.

Quando ajustar

Você tem a opção de ajustar cada nova configuração do mecanismo e, em caso de dúvida, sempre é preciso ajustar para alcançar os melhores resultados de desempenho. Consulte a seção Como ajustar um mecanismo para mais informações.

Para ter o melhor desempenho, considere o ajuste do mecanismo quando ocorrer uma das seguintes situações:

  • Você faz mudanças significativas na lógica do conjunto de dados. Por exemplo, quando qualquer um seguinte alteração:
    • A lógica de preenchimento dos campos
    • A seleção de campos RECOMENDADOS que são preenchidos
    • A lógica ou seleção de dados fornecida no Tabela PartySupplementaryData
  • Você vai treinar um modelo para uma nova região.
.

Quando herdar hiperparâmetros

Para poupar tempo e custos ao adotar uma nova versão do mecanismo, você pode hiperparâmetros de um mecanismo anterior usando a mesma versão de ajuste. Consulte a seção Como adotar uma versão do mecanismo sem novo ajuste.

versões do mecanismo com a versão de ajuste v003 e versões do mecanismo lançadas antes 22/02/2024, não dão suporte à herança de hiperparâmetros, mas estas versões pode ser usado como fonte de hiperparâmetros.

Como ajustar um mecanismo

Para acionar o ajuste, consulte Criar e gerenciar configurações do mecanismo.

Mais especificamente, você precisa selecionar o seguinte:

  • Os dados usados para o ajuste do mecanismo:

    Especifique um conjunto de dados e um horário de término dentro do período do conjunto de dados.

    O ajuste do mecanismo usa rótulos e recursos com base nos meses completos do calendário no mês da hora de término selecionada, mas não incluindo. Para mais informações, consulte Intervalos de tempo do conjunto de dados.

  • A versão do mecanismo a ser usada para o ajuste:

    Selecione uma versão do mecanismo que corresponda à linha de negócios (varejo ou comercial) em que você vai usar os modelos associados.

  • O volume de investigações que você espera com base nos modelos:

    Especifique partyInvestigationsPerPeriodHint. Isso é usado pelo ajuste do mecanismo, treinamento e backtesting para garantir que a IA de AML ofereça performance no seu volume de investigação mensal.

Saída de ajuste do motor

O ajuste do mecanismo gera um recurso EngineConfig, que pode ser usado para criar um recurso Model;

Os metadados de configuração do mecanismo contêm as seguintes métricas. Especificamente, essas métricas mostram o seguinte:

  • Ganho de desempenho esperado com o ajuste do mecanismo em comparação com o uso dos hiperparâmetros padrão

  • Medidas que podem ser usadas para avaliar a consistência do conjunto de dados (por exemplo, comparando os valores de ausência de famílias de elementos de diferentes operações)

Nome da métrica Descrição da métrica Exemplo de valor de métrica
ExpectedRecallPreTuning Métrica de recuperação medida em um conjunto de teste ao usar hiperparâmetros padrão da versão do mecanismo.

Essa medição de recuperação pressupõe o número de investigações por mês especificado em partyInvestigationsPerPeriodHint. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.72,
      "scoreThreshold": 0.42,
    },
  ],
}
ExpectedRecallPostTuning Métrica de recall medida em um conjunto de teste com o uso hiperparâmetros ajustados.

Essa medição de recall considera o número de investigações por mês especificado em partyInvestigationsPerPeriodHint. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.43,
    },
  ],
}
Ausência

Porcentagem de valores ausentes em todos os recursos de cada família de recursos.

O ideal é que todas as famílias de recursos de IA de AML tenham uma falta próxima de 0. Pode haver exceções quando os dados essas famílias de recursos não estão disponíveis para integração.

Uma mudança significativa nesse valor para qualquer família de atributos entre o ajuste, treinamento, avaliação e previsão podem indicar inconsistências dos conjuntos de dados usados. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}

Como adotar uma versão do mecanismo sem reajuste

Para reutilizar hiperparâmetros de uma configuração de mecanismo anterior, consulte a seção Criar uma configuração de mecanismo que herda hiperparâmetros (na página Criar e gerenciar configurações de mecanismo). Em particular, você precisa selecionar o seguinte:

  • Tipo de origem do hiperparâmetro: selecione INHERITED como hyperparameterSourceType. Se você não especificar o tipo de origem, a o tipo de origem do hiperparâmetro está definido como TUNING para permitir a reversão compatibilidade.
  • Origem do hiperparâmetro:especifique o nome completo do recurso da origem configuração do mecanismo de pesquisa no objeto hyperparameterSource. As saídas da configuração do mecanismo de origem são usadas para a nova configuração do mecanismo. O mecanismo de origem a configuração precisa ter sido criada com uma versão anterior do mecanismo no mesmo ajuste de versão do mecanismo que você está usando.
  • Versão do mecanismo a ser usada na configuração do mecanismo: Selecione uma versão do mecanismo que corresponda à linha de negócios (varejo ou comercial) para os modelos que você quer usar. Se você herdar hiperparâmetros, a linha de negócios precisa corresponder à usada na fonte de hiperparâmetro.

Saída e linhagem ao herdar

A herança de hiperparâmetros de outra versão do mecanismo cria um recurso EngineConfig, que pode ser usado para criar um recurso de modelo usando os hiperparâmetros da configuração do mecanismo de origem.

Para a linhagem, os seguintes campos do recurso EngineConfig são definidos como segue ao herdar hiperparâmetros de outra configuração de mecanismo:

  • hyperparameterSourceType: INHERITED
  • hyperparameterSource: a configuração do mecanismo usada como a fonte do hiperparâmetro
  • tuning: objeto tuning original, incluindo a referência ao usado para o ajuste do mecanismo original (primaryDataset) e o hora mais recente a partir da qual os dados foram usados para gerar atributos para treinamento (endTime)
  • performanceTarget: objeto performanceTarget original, incluindo o volume de investigações esperado com base nos modelos especificados (partyInvestigationsPerPeriodHint)
  • Metadados de configuração do mecanismo do ajuste do mecanismo original