Informazioni sui costi di esecuzione della pipeline

Puoi esaminare il costo delle esecuzioni della pipeline utilizzando l'esportazione della fatturazione Cloud in BigQuery.

Puoi anche utilizzare l'ID fatturazione univoco dell'esecuzione della pipeline per esaminare i costi delle risorse create dall'esecuzione della pipeline, come segue:

1. Vertex AI Pipelines associa automaticamente l'etichetta vertex-ai-pipelines-run-billing-id all'esecuzione della pipeline. Il valore di questa etichetta è l'ID fatturazione univoco dell'esecuzione della pipeline.

2. Vertex AI Pipelines propaga questa etichetta alle risorse generate dai componenti della pipeline durante l'esecuzione della pipeline. Google Cloud Tieni presente che per alcuni componenti e risorse devi eseguire l'upgrade dell'SDK Google Cloud Pipeline Components o aggiornare il codice del componente per propagare le etichette. Per ulteriori informazioni sull'assegnazione di etichette alle risorse Google Cloud , consulta Assegnazione di etichette alle risorse da parte di Vertex AI Pipelines.

3. L'etichetta vertex-ai-pipelines-run-billing-id collega l'utilizzo delle risorse Google Cloud generate dall'esecuzione della pipeline nei report di fatturazione. Utilizzando il valore di questa etichetta, puoi esaminare il costo dell'utilizzo delle risorse nell'esecuzione della pipeline con l'esportazione della fatturazione Cloud in BigQuery.

Questa pagina mostra come:

• Elenca le dieci esecuzioni della pipeline più costose

• Utilizzare un ID fatturazione dell'esecuzione della pipeline per individuare un'esecuzione della pipeline

• Esegui query sui costi delle risorse Google Cloud in un'esecuzione della pipeline da fatturazione Cloud

Prima di iniziare

Prima di utilizzare fatturazione Cloud per comprendere il costo di un'esecuzione della pipeline, segui queste istruzioni per configurare il tuo progetto Google Cloud e l'ambiente di sviluppo:

• Configura l'esportazione dei dati di fatturazione Cloud in BigQuery.

• Installa la versione 1.0.31 o successive dell' Google Cloud SDK Pipeline Components

Per ulteriori informazioni sullo schema dei dati relativi al costo di utilizzo standard della fatturazione Cloud, consulta Schema dei dati relativi al costo di utilizzo standard.

Elenca le dieci esecuzioni di pipeline più costose

Esegui la seguente query per visualizzare un elenco delle dieci esecuzioni della pipeline più costose in un periodo di tempo specificato:

SQL standard

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

Sostituisci quanto segue:

• START_DATE: data di inizio del periodo di tempo.

• END_DATE: data di fine del periodo di tempo.

Nei risultati della query dovresti vedere le seguenti colonne:

• project_id

• region

• pipeline_run_billing_id

• total_cost

Ora puoi utilizzare l'ID fatturazione univoco dell'esecuzione della pipeline dalla colonna pipeline_run_billing_id dei risultati della query per:

• Individuare o recuperare un'esecuzione della pipeline

• Visualizzare i costi delle risorse Google Cloud in un'esecuzione della pipeline

Utilizzare l'ID fatturazione per individuare un'esecuzione della pipeline

Puoi utilizzare l'ID fatturazione univoco dell'esecuzione della pipeline dai risultati della query in Elenca le dieci esecuzioni della pipeline più costose per individuare un'esecuzione della pipeline.

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

Visualizzare i costi delle risorse Google Cloud in un'esecuzione della pipeline

Puoi utilizzare l'ID fatturazione univoco dell'esecuzione della pipeline dai risultati della query in Elenca le dieci esecuzioni della pipeline più costose per visualizzare i costi delle risorse generate dall'esecuzione della pipeline. Google Cloud

Esegui la seguente query per visualizzare l'elenco delle risorse Google Cloud generate in un'esecuzione della pipeline, insieme al costo di ciascuna risorsa:

SQL standard

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

Sostituisci quanto segue:

• START_DATE: data di inizio del periodo di tempo.

• END_DATE: data di fine del periodo di tempo.

• PIPELINE_RUN_BILLING_ID: ID fatturazione univoco dell'esecuzione della pipeline dai risultati della query in Elenca le dieci esecuzioni della pipeline più costose.

Nei risultati della query dovresti vedere le seguenti colonne:

• service.id

• service.description

• sku.id

• sku_description

• cost

La colonna cost rappresenta il costo di una risorsa corrispondente a sku.id nell'esecuzione della pipeline.