Treine e teste modelos projetados para detectar lavagem de dinheiro

Criar uma instância

Esta seção descreve como criar uma instância. A IA antilavagem de dinheiro da instância fica na raiz de todos os outros recursos da IA antilavagem de dinheiro. Cada requer uma única chave de criptografia gerenciada pelo cliente (CMEK) associada usada para criptografar dados criados pela IA antilavagem de dinheiro.

Crie um keyring

Para criar um keyring, use o projects.locations.keyRings.create .

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d "" \
     "https://cloudkms.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/keyRings?key_ring_id=my-key-ring"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -Uri "https://cloudkms.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/keyRings?key_ring_id=my-key-ring" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/locations/LOCATION/keyRings/my-key-ring",
  "createTime": CREATE_TIME
}

gcloud kms keyrings create my-key-ring \
  --location LOCATION

gcloud kms keyrings create my-key-ring `
  --location LOCATION

gcloud kms keyrings create my-key-ring ^
  --location LOCATION

$

Crie uma chave

Para criar uma chave, use o método projects.locations.keyRings.cryptoKeys.

{
  "purpose": "ENCRYPT_DECRYPT"
}

cat > request.json << 'EOF'
{
  "purpose": "ENCRYPT_DECRYPT"
}
EOF

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://cloudkms.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/keyRings/my-key-ring/cryptoKeys?crypto_key_id=my-key"

@'
{
  "purpose": "ENCRYPT_DECRYPT"
}
'@  | Out-File -FilePath request.json -Encoding utf8

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://cloudkms.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/keyRings/my-key-ring/cryptoKeys?crypto_key_id=my-key" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/locations/LOCATION/keyRings/my-key-ring/cryptoKeys/my-key",
  "primary": {
    "name": "projects/PROJECT_ID/locations/LOCATION/keyRings/my-key-ring/cryptoKeys/my-key/cryptoKeyVersions/1",
    "state": "ENABLED",
    "createTime": CREATE_TIME,
    "protectionLevel": "SOFTWARE",
    "algorithm": "GOOGLE_SYMMETRIC_ENCRYPTION",
    "generateTime": GENERATE_TIME
  },
  "purpose": "ENCRYPT_DECRYPT",
  "createTime": CREATE_TIME,
  "versionTemplate": {
    "protectionLevel": "SOFTWARE",
    "algorithm": "GOOGLE_SYMMETRIC_ENCRYPTION"
  },
  "destroyScheduledDuration": "86400s"
}

gcloud kms keys create my-key \
  --keyring my-key-ring \
  --location LOCATION \
  --purpose "encryption"

gcloud kms keys create my-key `
  --keyring my-key-ring `
  --location LOCATION `
  --purpose "encryption"

gcloud kms keys create my-key ^
  --keyring my-key-ring ^
  --location LOCATION ^
  --purpose "encryption"

$

Criar a instância usando a API

Para criar uma instância, use o método projects.locations.instances.create.

Corpo JSON da solicitação:

{
  "kmsKey": "projects/PROJECT_ID/locations/LOCATION/keyRings/my-key-ring/cryptoKeys/my-key"
}

Para enviar a solicitação, escolha uma destas opções:

cat > request.json << 'EOF'
{
  "kmsKey": "projects/PROJECT_ID/locations/LOCATION/keyRings/my-key-ring/cryptoKeys/my-key"
}
EOF

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instance_id=my-instance"

@'
{
  "kmsKey": "projects/PROJECT_ID/locations/LOCATION/keyRings/my-key-ring/cryptoKeys/my-key"
}
'@  | Out-File -FilePath request.json -Encoding utf8

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instance_id=my-instance" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Se a solicitação for bem-sucedida, o corpo da resposta conterá uma operação de longa duração que contém um ID que pode ser usado para extrair o status em andamento da operação assíncrona. Copie o OPERATION_ID retornado para usar na próxima seção.

Confira o resultado

Use o projects.locations.operations.get para verificar se a instância foi criada. Se a resposta contiver "done": false, repita o comando até que ela contenha "done": true.

As operações neste guia podem levar de alguns minutos a várias horas para serem concluídas. Aguarde a conclusão de uma operação antes de prosseguir neste guia porque a API usa a saída de alguns métodos como entrada para outros.

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

• OPERATION_ID: o identificador da operação

Para enviar a solicitação, escolha uma destas opções:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "endTime": END_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.Instance",
    "name": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance",
    "createTime": CREATE_TIME,
    "updateTime": UPDATE_TIME,
    "kmsKey": "projects/KMS_PROJECT_ID/locations/LOCATION/keyRings/my-key-ring/cryptoKeys/my-key",
    "state": "ACTIVE"
  }
}

Conceder acesso à chave CMEK

A API cria automaticamente uma conta de serviço no projeto. A conta de serviço precisa ter acesso à chave CMEK para usá-la na criptografia e na descriptografia dos dados. Conceda acesso à chave.

gcloud kms keys add-iam-policy-binding "projects/PROJECT_ID/locations/LOCATION/keyRings/my-key-ring/cryptoKeys/my-key" \
  --keyring "projects/PROJECT_ID/locations/LOCATION/keyRings/my-key-ring" \
  --location "LOCATION" \
  --member "serviceAccount:service-PROJECT_NUMBER@gcp-sa-financialservices.iam.gserviceaccount.com" \
  --role="roles/cloudkms.cryptoKeyEncrypterDecrypter" \
  --project="PROJECT_ID"

Criar conjuntos de dados do BigQuery

Nesta seção, descrevemos como criar registros de entrada e saída do BigQuery conjuntos de dados e copiar os dados bancários de amostra para o conjunto de dados de entrada.

crie um conjunto de dados de saída

Crie um conjunto de dados para enviar as saídas do pipeline de AML.

bq mk \
  --location=LOCATION \
  --project_id=PROJECT_ID \
  my_bq_output_dataset

bq mk `
  --location=LOCATION `
  --project_id=PROJECT_ID `
  my_bq_output_dataset

Criar um conjunto de dados de entrada

Crie um conjunto de dados para onde copiar as tabelas bancárias de amostra.

bq mk \
  --location=LOCATION \
  --project_id=PROJECT_ID \
  my_bq_input_dataset

bq mk `
  --location=LOCATION `
  --project_id=PROJECT_ID `
  my_bq_input_dataset

Copie o conjunto de dados de amostra

Os dados bancários de amostra são fornecidos como um conjunto de dados do BigQuery no projeto de conjunto de dados compartilhado do Google. Você precisa ter acesso à API AML AI para que esse conjunto de dados seja acessível. Chave deste conjunto de dados incluem o seguinte:

• 100.000 partes
• Um período principal de 1º de janeiro de 2020 a 1º de janeiro de 2023 e mais 24 meses de dados anteriores
• 300 casos de risco negativo e 20 casos de risco positivo por mês
• Casos de risco com os seguintes atributos:
  • Metade dos casos de risco positivo são referentes a atividades de estruturação que ocorreram nos dois meses anteriores ao evento AML_PROCESS_START
  • A outra metade abrange partes com o maior valor de dinheiro recebido nos dois meses anteriores ao evento AML_PROCESS_START
  • Casos negativos são gerados aleatoriamente
  • Uma chance de 0,1% de o caso de risco ser gerado no estado contrário (por exemplo, uma parte aleatória que é positiva ou uma parte que tem atividade de estruturação ou a maior receita e é informada como negativa)
• O esquema AML é definido no modelo de dados de entrada antilavagem de dinheiro.

1. Copie os dados bancários de amostra no conjunto de dados de entrada que você criou.

   Bash

   bq mk --transfer_config \
     --project_id=PROJECT_ID \
     --data_source=cross_region_copy \
     --target_dataset="my_bq_input_dataset" \
     --display_name="Copy the AML sample dataset." \
     --schedule=None \
     --params='{
       "source_project_id":"bigquery-public-data",
       "source_dataset_id":"aml_ai_input_dataset",
       "overwrite_destination_table":"true"
     }'
   

   PowerShell

   bq mk --transfer_config `
   --project_id=PROJECT_ID `
   --data_source=cross_region_copy `
   --target_dataset="my_bq_input_dataset" `
   --display_name="Copy the AML sample dataset." `
   --schedule=None `
   --params='{\"source_project_id\":\"bigquery-public-data\",\"source_dataset_id\":\"aml_ai_input_dataset\",\"overwrite_destination_table\":\"true\"}'
   

2. Monitore o job de transferência de dados.

   Bash

   bq ls --transfer_config \
   --transfer_location=LOCATION \
   --project_id=PROJECT_ID \
   --filter="dataSourceIds:cross_region_copy"
   

   PowerShell

   bq ls --transfer_config `
   --transfer_location=LOCATION `
   --project_id=PROJECT_ID `
   --filter="dataSourceIds:cross_region_copy"
   

   Após a conclusão da transferência, um job de transferência de dados com o nome de exibição Copy the AML sample dataset foi criado.

   Você também pode conferir o status da transferência usando o console do Google Cloud.

Conceder acesso aos conjuntos de dados do BigQuery

A API cria automaticamente uma conta de serviço no projeto. O serviço precisa de acesso aos conjuntos de dados de entrada e saída do BigQuery.

1. Conceda acesso de leitura ao conjunto de dados de entrada e às tabelas dele.

   Bash

   bq query --use_legacy_sql=false \
     'GRANT `roles/bigquery.dataViewer` ON SCHEMA `PROJECT_ID.my_bq_input_dataset` TO "serviceAccount:service-PROJECT_NUMBER@gcp-sa-financialservices.iam.gserviceaccount.com"'
   

   PowerShell

   bq query --use_legacy_sql=false "GRANT ``roles/bigquery.dataViewer`` ON SCHEMA ``PROJECT_ID.my_bq_input_dataset`` TO 'serviceAccount:service-PROJECT_NUMBER@gcp-sa-financialservices.iam.gserviceaccount.com'"
   

2. Conceda acesso de gravação ao conjunto de dados de saída.

   Bash

   bq query --use_legacy_sql=false \
     'GRANT `roles/bigquery.dataEditor` ON SCHEMA `PROJECT_ID.my_bq_output_dataset` TO "serviceAccount:service-PROJECT_NUMBER@gcp-sa-financialservices.iam.gserviceaccount.com"'
   

   PowerShell

   bq query --use_legacy_sql=false "GRANT ``roles/bigquery.dataEditor`` ON SCHEMA ``PROJECT_ID.my_bq_output_dataset`` TO 'serviceAccount:service-PROJECT_NUMBER@gcp-sa-financialservices.iam.gserviceaccount.com'"
   

Criar um conjunto de dados da IA antilavagem de dinheiro

Criar um conjunto de dados da IA antilavagem de dinheiro para especificar a entrada Tabelas do conjunto de dados do BigQuery e o período a ser usado.

Para criar um conjunto de dados, use o projects.locations.instances.datasets.create .

Corpo JSON da solicitação:

{
  "tableSpecs": {
    "party": "bq://PROJECT_ID.my_bq_input_dataset.party",
    "account_party_link": "bq://PROJECT_ID.my_bq_input_dataset.account_party_link",
    "transaction": "bq://PROJECT_ID.my_bq_input_dataset.transaction",
    "risk_case_event": "bq://PROJECT_ID.my_bq_input_dataset.risk_case_event",
    "party_supplementary_data": "bq://PROJECT_ID.my_bq_input_dataset.party_supplementary_data"
  },
  "dateRange": {
    "startTime": "2020-01-01T00:00:0.00Z",
    "endTime": "2023-01-01T00:00:0.00Z"
  },
  "timeZone": {
    "id": "UTC"
  }
}

Para enviar a solicitação, escolha uma destas opções:

cat > request.json << 'EOF'
{
  "tableSpecs": {
    "party": "bq://PROJECT_ID.my_bq_input_dataset.party",
    "account_party_link": "bq://PROJECT_ID.my_bq_input_dataset.account_party_link",
    "transaction": "bq://PROJECT_ID.my_bq_input_dataset.transaction",
    "risk_case_event": "bq://PROJECT_ID.my_bq_input_dataset.risk_case_event",
    "party_supplementary_data": "bq://PROJECT_ID.my_bq_input_dataset.party_supplementary_data"
  },
  "dateRange": {
    "startTime": "2020-01-01T00:00:0.00Z",
    "endTime": "2023-01-01T00:00:0.00Z"
  },
  "timeZone": {
    "id": "UTC"
  }
}
EOF

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets?dataset_id=my-dataset"

@'
{
  "tableSpecs": {
    "party": "bq://PROJECT_ID.my_bq_input_dataset.party",
    "account_party_link": "bq://PROJECT_ID.my_bq_input_dataset.account_party_link",
    "transaction": "bq://PROJECT_ID.my_bq_input_dataset.transaction",
    "risk_case_event": "bq://PROJECT_ID.my_bq_input_dataset.risk_case_event",
    "party_supplementary_data": "bq://PROJECT_ID.my_bq_input_dataset.party_supplementary_data"
  },
  "dateRange": {
    "startTime": "2020-01-01T00:00:0.00Z",
    "endTime": "2023-01-01T00:00:0.00Z"
  },
  "timeZone": {
    "id": "UTC"
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets?dataset_id=my-dataset" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets/my-dataset",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

É possível verificar o resultado da operação usando a nova ID da operação. Você pode fazer isso para as solicitações de API restantes usadas no guide.)

Criar uma configuração de mecanismo

Criar uma configuração de mecanismo da IA antilavagem de dinheiro para ajustar automaticamente os hiperparâmetros com base em uma determinada versão do mecanismo e nos dados fornecidos. As versões do Engine são lançadas periodicamente e correspondem a diferentes lógica (por exemplo, segmentar uma linha de negócios de varejo versus uma um).

Para criar uma configuração de mecanismo, use o projects.locations.instances.engineConfigs.create .

Essa etapa envolve o ajuste de hiperparâmetros, que pode levar algum tempo para ser processado. Se os dados não mudarem muito, essa etapa pode ser usada para criar e testar vários modelos.

Corpo JSON da solicitação:

{
  "engineVersion": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/engineVersions/aml-commercial.default.v004.000.202312-000",
  "tuning": {
    "primaryDataset": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets/my-dataset",
    "endTime": "2021-07-01T00:00:00Z"
  },
  "performanceTarget": {
    "partyInvestigationsPerPeriodHint": "30"
  }
}

Para enviar a solicitação, escolha uma destas opções:

cat > request.json << 'EOF'
{
  "engineVersion": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/engineVersions/aml-commercial.default.v004.000.202312-000",
  "tuning": {
    "primaryDataset": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets/my-dataset",
    "endTime": "2021-07-01T00:00:00Z"
  },
  "performanceTarget": {
    "partyInvestigationsPerPeriodHint": "30"
  }
}
EOF

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance/engineConfigs?engine_config_id=my-engine-config"

@'
{
  "engineVersion": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/engineVersions/aml-commercial.default.v004.000.202312-000",
  "tuning": {
    "primaryDataset": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets/my-dataset",
    "endTime": "2021-07-01T00:00:00Z"
  },
  "performanceTarget": {
    "partyInvestigationsPerPeriodHint": "30"
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance/engineConfigs?engine_config_id=my-engine-config" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/engineConfigs/my-engine-config",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Criar um modelo

Nesta etapa, você vai treinar um modelo de IA antilavagem de dinheiro usando 12 meses de até 01/07/2021.

Para criar um modelo, use o método projects.locations.instances.models.create.

Corpo JSON da solicitação:

{
    "engineConfig": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/engineConfigs/my-engine-config",
    "primaryDataset": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets/my-dataset",
    "endTime": "2021-07-01T00:00:00Z"
}

Para enviar a solicitação, escolha uma destas opções:

cat > request.json << 'EOF'
{
    "engineConfig": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/engineConfigs/my-engine-config",
    "primaryDataset": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets/my-dataset",
    "endTime": "2021-07-01T00:00:00Z"
}
EOF

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance/models?model_id=my-model"

@'
{
    "engineConfig": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/engineConfigs/my-engine-config",
    "primaryDataset": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets/my-dataset",
    "endTime": "2021-07-01T00:00:00Z"
}
'@  | Out-File -FilePath request.json -Encoding utf8

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance/models?model_id=my-model" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/models/my-model",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Criar um resultado de backtest

A previsão de teste retrospectivo usa o modelo treinado nos dados históricos atuais. Crie um o resultado do backtest referente aos 12 meses de dados anteriores a janeiro de 2023, que foram que não são usadas no treinamento. Esses meses são usados para determinar quantos casos podemos precisavam funcionar se usássemos o modelo treinado em julho de 2021 na produção durante Janeiro a dezembro de 2022.

Para criar um resultado de backtest, use o método projects.locations.instances.backtestResults.create.

Corpo JSON da solicitação:

{
    "model": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/models/my-model",
    "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets/my-dataset",
    "endTime": "2023-01-01T00:00:00Z",
    "backtestPeriods": 12,
    "performanceTarget": {
      "partyInvestigationsPerPeriodHint": "150"
    }
}

Para enviar a solicitação, escolha uma destas opções:

cat > request.json << 'EOF'
{
    "model": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/models/my-model",
    "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets/my-dataset",
    "endTime": "2023-01-01T00:00:00Z",
    "backtestPeriods": 12,
    "performanceTarget": {
      "partyInvestigationsPerPeriodHint": "150"
    }
}
EOF

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance/backtestResults?backtest_result_id=my-backtest-results"

@'
{
    "model": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/models/my-model",
    "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets/my-dataset",
    "endTime": "2023-01-01T00:00:00Z",
    "backtestPeriods": 12,
    "performanceTarget": {
      "partyInvestigationsPerPeriodHint": "150"
    }
}
'@  | Out-File -FilePath request.json -Encoding utf8

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance/backtestResults?backtest_result_id=my-backtest-results" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/backtestResults/my-backtest-results",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Exportar metadados de resultados de backtest

Depois que um backtest é executado, você precisa exportar os resultados para o BigQuery para visualizá-las. Para exportar metadados do resultado do backtest, use o método projects.locations.instances.backtestResults.exportMetadata.

Corpo JSON da solicitação:

{
  "structuredMetadataDestination": {
    "tableUri": "bq://PROJECT_ID.my_bq_output_dataset.my_backtest_results_metadata",
    "writeDisposition": "WRITE_TRUNCATE"
  }
}

Para enviar a solicitação, escolha uma destas opções:

cat > request.json << 'EOF'
{
  "structuredMetadataDestination": {
    "tableUri": "bq://PROJECT_ID.my_bq_output_dataset.my_backtest_results_metadata",
    "writeDisposition": "WRITE_TRUNCATE"
  }
}
EOF

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance/backtestResults/my-backtest-results:exportMetadata"

@'
{
  "structuredMetadataDestination": {
    "tableUri": "bq://PROJECT_ID.my_bq_output_dataset.my_backtest_results_metadata",
    "writeDisposition": "WRITE_TRUNCATE"
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance/backtestResults/my-backtest-results:exportMetadata" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/backtestResults/my-backtest-results",
    "verb": "exportMetadata",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Depois que a operação for concluída, faça o seguinte:

1. Abra o BigQuery no console do Google Cloud.

   Ir o console do Google Cloud

2. Encontre e expanda o conjunto de dados gerado no painel Explorer.

3. Selecione a tabela e clique em Visualizar.

4. Encontre a linha com o nome ObservedRecallValues.

   

5. Suponha que sua capacidade de investigações seja de 120 por mês. Encontre a opção objeto de valor de recall com "partyInvestigationsPerPeriod": "120"`. Para o seguindo valores de amostra, se você limitar as investigações a partes com risco pontuações superiores a 0,53, então você pode esperar investigar 120 novos partes interessadas todos os meses. No período de backtesting, em 2022, você identificar 86% dos casos que o sistema anterior identificou (e possivelmente outras, que não foram identificadas pelos seus processos atuais).

   {
     "recallValues": [
       ...
       {
         "partyInvestigationsPerPeriod": "105",
         "recallValue": 0.8142077,
         "scoreThreshold": 0.6071321
       },
       {
         "partyInvestigationsPerPeriod": "120",
         "recallValue": 0.863388,
         "scoreThreshold": 0.5339603
       },
       {
         "partyInvestigationsPerPeriod": "135",
         "recallValue": 0.89071035,
         "scoreThreshold": 0.4739899
       },
       ...
     ]
   }
   

Saiba mais sobre os outros campos nos resultados do backtest.

Ao mudar o campo partyInvestigationsPerPeriodHint, é possível modificar a número de investigações produzidas por um backtest. Para obter pontuações para investigar, registrar partes e produzir previsões contra elas.

Importar partes registradas

Antes de criar resultados de previsão, é preciso importar registros partes interessadas (ou seja, clientes do conjunto de dados).

Para importar partes registradas, use o projects.locations.instances.importRegisteredParties .

Corpo JSON da solicitação:

{
  "partyTables": [
     "bq://PROJECT_ID.my_bq_input_dataset.party_registration"
  ],
  "mode": "REPLACE",
  "lineOfBusiness": "COMMERCIAL"
}

Para enviar a solicitação, escolha uma destas opções:

cat > request.json << 'EOF'
{
  "partyTables": [
     "bq://PROJECT_ID.my_bq_input_dataset.party_registration"
  ],
  "mode": "REPLACE",
  "lineOfBusiness": "COMMERCIAL"
}
EOF

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance:importRegisteredParties"

@'
{
  "partyTables": [
     "bq://PROJECT_ID.my_bq_input_dataset.party_registration"
  ],
  "mode": "REPLACE",
  "lineOfBusiness": "COMMERCIAL"
}
'@  | Out-File -FilePath request.json -Encoding utf8

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance:importRegisteredParties" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance",
    "verb": "importRegisteredParties",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Quando a operação for concluída, você verá que 100.000 partes foram registrados.

Criar um resultado de previsão

criar um resultado de previsão sobre os últimos 12 meses no conjunto de dados; estes meses não foram usadas durante o treinamento. Criar resultados de previsão cria pontuações para para cada parte em cada mês em todos os períodos de previsão.

Para criar um resultado de previsão, use o método projects.locations.instances.predictionResults.create.

Corpo JSON da solicitação:

{
    "model": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/models/my-model",
    "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets/my-dataset",
    "endTime": "2023-01-01T00:00:00Z",
    "predictionPeriods": "12",
    "outputs": {
      "predictionDestination": {
        "tableUri": "bq://PROJECT_ID.my_bq_output_dataset.my_prediction_results",
        "writeDisposition": "WRITE_TRUNCATE"
      },
      "explainabilityDestination": {
        "tableUri": "bq://PROJECT_ID.my_bq_output_dataset.my_prediction_results_explainability",
        "writeDisposition": "WRITE_TRUNCATE"
      }
    }
}

Para enviar a solicitação, escolha uma destas opções:

cat > request.json << 'EOF'
{
    "model": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/models/my-model",
    "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets/my-dataset",
    "endTime": "2023-01-01T00:00:00Z",
    "predictionPeriods": "12",
    "outputs": {
      "predictionDestination": {
        "tableUri": "bq://PROJECT_ID.my_bq_output_dataset.my_prediction_results",
        "writeDisposition": "WRITE_TRUNCATE"
      },
      "explainabilityDestination": {
        "tableUri": "bq://PROJECT_ID.my_bq_output_dataset.my_prediction_results_explainability",
        "writeDisposition": "WRITE_TRUNCATE"
      }
    }
}
EOF

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance/predictionResults?prediction_result_id=my-prediction-results"

@'
{
    "model": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/models/my-model",
    "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/datasets/my-dataset",
    "endTime": "2023-01-01T00:00:00Z",
    "predictionPeriods": "12",
    "outputs": {
      "predictionDestination": {
        "tableUri": "bq://PROJECT_ID.my_bq_output_dataset.my_prediction_results",
        "writeDisposition": "WRITE_TRUNCATE"
      },
      "explainabilityDestination": {
        "tableUri": "bq://PROJECT_ID.my_bq_output_dataset.my_prediction_results_explainability",
        "writeDisposition": "WRITE_TRUNCATE"
      }
    }
}
'@  | Out-File -FilePath request.json -Encoding utf8

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/my-instance/predictionResults?prediction_result_id=my-prediction-results" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/my-instance/predictionResults/my-prediction-results",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Analisar um único caso de estruturação no console do Google Cloud

1. Abra o BigQuery no console do Google Cloud. Verifique se o SQL Workspace está selecionado.

   Ir o console do Google Cloud

2. A página BigQuery tem três seções principais:

   • Menu de navegação do BigQuery
   • O painel Explorer
   • O painel de detalhes

   No painel de detalhes, clique em Escrever nova consulta para abrir o editor de consultas.

   

3. Copie a instrução SQL abaixo no editor e clique em Executar.

   SELECT *
   FROM `PROJECT_ID.my_bq_input_dataset.transaction`
   WHERE account_id = '1E60OAUNKP84WDKB' AND DATE_TRUNC(book_time, MONTH) = "2022-08-01"
   ORDER by book_time
   

   Este extrato verifica o ID da conta 1E60OAUNKP84WDKB em agosto de 2022. Isso está vinculada ao ID da parte EGS4NJD38JZ8NTL8. Encontre o ID da parte para um determinado ID de conta usando a tabela AccountPartyLink.

   Os dados de transação mostram transações circulares frequentes direcionadas a um para uma única conta logo após grandes depósitos de dinheiro, o que parece suspeito. Essas transações podem indicar smurfing (isto é, dividir um grande transação de dinheiro em valores de transação menores) ou estruturação.

   

4. Copie a instrução SQL abaixo no editor e clique em Executar.

   SELECT *
   FROM `PROJECT_ID.my_bq_input_dataset.risk_case_event`
   WHERE party_id = 'EGS4NJD38JZ8NTL8'
   

   Esta declaração mostra que houve um caso de risco que levou à saída deste festa. O caso de risco começou dois meses após a atividade suspeita.

   

5. Copie a instrução SQL a seguir no editor e clique em Executar.

   SELECT *
   FROM `PROJECT_ID.my_bq_output_dataset.my_prediction_results`
   WHERE party_id = 'EGS4NJD38JZ8NTL8'
   ORDER BY risk_period_end_time
   

   Ao verificar os resultados da previsão, é possível ver que a pontuação de risco da parte aumenta de quase zero (observe o valor do expoente) para valores altos nos meses seguintes à atividade suspeita. Os resultados podem ser diferentes dos resultados mostrados.

   

   A pontuação de risco não é uma probabilidade. Uma pontuação de risco sempre deve ser avaliado em relação a outras pontuações de risco. Por exemplo, um valor aparentemente pequeno pode ser considerada positiva nos casos em que as outras pontuações de risco são menores.

6. Copie a instrução SQL abaixo no editor e clique em Executar.

   SELECT *
   FROM `PROJECT_ID.my_bq_output_dataset.my_prediction_results_explainability`
   WHERE party_id = 'EGS4NJD38JZ8NTL8'
   AND risk_period_end_time = '2022-10-01'
   

   Ao verificar os resultados da explicabilidade, é possível ver que o atributo correto as famílias pontuam os valores mais altos.