Utilizzare i log della piattaforma

Questa pagina descrive come utilizzare i log della piattaforma generati dall'AI AML nell'ambito di Cloud Logging. L'AI AML utilizza il nome servizio dell'API Logging financialservices.googleapis.com per registrare l'attività di:

  • Creazione della configurazione del motore (ottimizzazione)
  • Creazione del modello (addestramento)
  • Operazioni di backtest
  • Operazioni di previsione

Prima di iniziare

Per visualizzare e gestire i log, assicurati di disporre delle autorizzazioni e dei ruoli IAM corretti.

Stato di attivazione del logging della piattaforma

I log della piattaforma per l'IA AML sono sempre attivi (non possono essere disattivati).

Configurazione gravità

Le voci di log dell'AI AML utilizzano tre livelli di gravità:

  • NOTICE per le voci inviate quando le operazioni iniziano o riescono
  • ERROR per le voci relative alla fine delle operazioni non riuscite
  • INFO per le voci relative all'avanzamento dell'operazione

Visualizza i log della piattaforma

Per visualizzare i log della piattaforma:

Console

Per visualizzare i log della piattaforma nella console Google Cloud:

  1. Vai a Esplora log:

    Vai a Esplora log

  2. Seleziona il progetto Google Cloud appropriato.

  3. Nel campo Query, inserisci il seguente comando di query:

    logName=("projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fbacktest" OR 
    "projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fengine_config_creation" OR 
    "projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fmodel_creation" OR 
    "projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fprediction")
    

    dove:

    PROJECT_ID è l'ID del progetto di cui vuoi eseguire il debug o il monitoraggio. Ad esempio, my-project.

  4. Fai clic su Esegui query.

Per ulteriori informazioni su Esplora log, consulta Panoramica di Esplora log e Utilizzo di Esplora log.

gcloud

Lo strumento a riga di comando gcloud fornisce un'interfaccia a riga di comando per Cloud Logging.

Per visualizzare i log del progetto, esegui il seguente comando:

gcloud logging read 'logName=("projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fbacktest" OR 
"projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fengine_config_creation" OR 
"projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fmodel_creation" OR 
"projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fprediction")' --project=PROJECT_ID

dove PROJECT_ID è l'ID del tuo progetto Google Cloud.

Per ulteriori informazioni sull'utilizzo dello strumento gcloud con Cloud Logging, consulta gcloud logging.

Informazioni sui log della piattaforma

Questa sezione descrive come interpretare i log della piattaforma specifici per l'IA AML.

Log START

I log con eventKind=START vengono generati quando l'operazione inizia la sua esecuzione.

Di seguito è riportato un esempio di log dell'avvio di un'esecuzione di previsione.

jsonPayload:
  '@type': type.googleapis.com/google.cloud.financialservices.logging.v1.PredictionLog
  engineVersion: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineVersions/ENGINE_VERSION_ID
  eventKind: START
  predictionResult:
    dataset: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/datasets/DATASET_ID
    endTime: '2023-05-31T00:00:00Z'
    model: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/models/MODEL_ID
    outputs:
      explainabilityDestination:
        tableUri: bq://PROJECT_ID.DATASET_ID.EXPLAINABILITY_TABLE_ID
        writeDisposition: WRITE_EMPTY
      predictionDestination:
        tableUri: bq://PROJECT_ID.DATASET_ID.PREDICTION_TABLE_ID
        writeDisposition: WRITE_EMPTY
logName: projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fprediction
operation:
  first: true
  id: projects/PROJECT_NUMBER/locations/REGION_ID/operations/OPERATION_ID
  producer: financialservices.googleapis.com
receiveTimestamp: '2023-06-07T12:30:48.417285528Z'
resource:
  labels:
    instance_id: INSTANCE_ID
    location: REGION_ID
    prediction_result_id: PREDICTION_ID
    resource_container: projects/PROJECT_NUMBER
  type: financialservices.googleapis.com/PredictionResult

Puoi aggiungere altri comandi nel campo Query di Esplora log per restringere i log visualizzati.

Aggiungi il seguente comando per visualizzare tutte le esecuzioni di previsione avviate su un set di dati selezionato:

logName="projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fprediction" AND
jsonPayload.predictionResult.dataset="projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/datasets/DATASET_ID" AND
jsonPayload.eventKind="START"

Log PROGRESS

I log con eventKind=PROGRESS forniscono informazioni sull'avanzamento di un'operazione.

Di seguito è riportato un esempio di log della creazione di un modello. Il valore completedTaskCount rispetto a taskCount può essere utilizzato per stimare i progressi compiuti nell'addestramento del modello.

jsonPayload:
  '@type': type.googleapis.com/google.cloud.financialservices.logging.v1.ModelCreationLog
  completedTaskCount: 11
  engineVersion: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineVersions/ENGINE_VERSION_ID
  eventKind: PROGRESS
  model:
    endTime: '2023-05-31T00:00:00Z'
    engineConfig: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineConfigs/ENGINE_CONFIG_ID
    engineVersion: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineVersions/ENGINE_VERSION_ID
    lineOfBusiness: RETAIL
    primaryDataset: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/datasets/DATASET_ID
    state: CREATING
  partyCount: '9246'
  taskCount: 16
logName: projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fmodel_creation
operation:
  id: projects/PROJECT_NUMBER/locations/REGION_ID/operations/OPERATION_ID
  producer: financialservices.googleapis.com
receiveTimestamp: '2023-06-07T13:57:00.454668648Z'
resource:
  labels:
    instance_id: INSTANCE_ID
    location: REGION_ID
    model_id: MODEL_ID
    resource_container: projects/PROJECT_NUMBER
  type: financialservices.googleapis.com/Model
severity: INFO
timestamp: '2023-06-07T13:56:59.772973055Z'

Log END

I log con eventKind=END vengono generati al termine dell'operazione.

Di seguito è riportato un esempio di log di una creazione di configurazione dell'engine non riuscita. Contiene l'errore relativo ai dati errati nel set di dati fornito.

jsonPayload:
  '@type': type.googleapis.com/google.cloud.financialservices.logging.v1.EngineConfigCreationLog
  completedTaskCount: 3
  engineConfig:
    engineVersion: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineVersions/ENGINE_VERSION_ID
    lineOfBusiness: RETAIL
    performanceTarget:
      partyInvestigationsPerPeriodHint: '100'
    state: CREATING
    tuning:
      endTime: '2019-04-30T00:00:00Z'
      primaryDataset: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/datasets/DATASET_ID
  eventKind: END
  operationStatus:
    code: 9
    details:
    - '@type': type.googleapis.com/google.rpc.ErrorInfo
      domain: financialservices.googleapis.com
      metadata:
        count: '15'
        data_field: party_id, validity_start_time
        data_table: party
        description: There is a duplicate primary key value in the database resulting
          in unique key violation. Note that for tables with validity_start_time,
          the primary key includes validity_start_time
        test: GROUP BY party_id, validity_start_time HAVING count(1) > 1
      reason: DUPLICATE_PRIMARY_KEY
    message: Dataset validation failed with 1 error. See error details for individual
      violations.
  partyCount: '9246'
  taskCount: 16
logName: projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fengine_config_creation
operation:
  id: projects/PROJECT_NUMBER/locations/REGION_ID/operations/OPERATION_ID
  last: true
  producer: financialservices.googleapis.com
receiveTimestamp: '2023-06-07T14:26:30.214382295Z'
resource:
  labels:
    engine_config_id: ENGINE_CONFIG_ID
    instance_id: INSTANCE_ID
    location: REGION_ID
    resource_container: projects/PROJECT_NUMBER
  type: financialservices.googleapis.com/EngineConfig
severity: ERROR
timestamp: '2023-06-07T14:26:29.670913895Z'

Per visualizzare tutti i log di errore di configurazione del motore di creazione, utilizza il filtro riportato di seguito:

logName="projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fengine_config_creation" AND
severity>=ERROR