Questo documento fornisce una panoramica della pipeline e dei componenti del Workflow tabulare per la previsione. Per scoprire come addestrare un modello, consulta Addestrare un modello con il flussi di lavoro tabulare per le previsioni .
Il flusso di lavoro tabulare per la previsione è la pipeline completa per le attività di previsione. È simile all'API AutoML, ma ti consente di scegliere cosa controllare e cosa automatizzare. Invece di avere controlli per l'intera pipeline, hai controlli per ogni passaggio della pipeline. Questi controlli della pipeline includono:
- Suddivisione dei dati
- Feature engineering
- Ricerca dell'architettura
- Addestramento del modello
- Ensemble di modelli
Vantaggi
Di seguito sono riportati alcuni vantaggi del flusso di lavoro tabulare per la previsione :
- Supporta set di dati di grandi dimensioni fino a 1 TB e con un massimo di 200 colonne.
- Ti consente di migliorare la stabilità e ridurre i tempi di addestramento limitando lo spazio di ricerca dei tipi di architettura o saltando la ricerca dell'architettura.
- Ti consente di migliorare la velocità di addestramento selezionando manualmente l'hardware utilizzato per l'addestramento e la ricerca dell'architettura.
- Per alcuni metodi di addestramento del modello, consente di ridurre le dimensioni del modello e migliorare la latenza modificando le dimensioni dell'ensemble.
- Ogni componente può essere esaminato in un'efficace interfaccia di grafici delle pipeline che consente di visualizzare le tabelle di dati trasformati, le architetture dei modelli valutate e molti altri dettagli.
- Ogni componente offre flessibilità e trasparenza estese, ad esempio la possibilità di personalizzare parametri, hardware, visualizzare lo stato del processo, i log e altro ancora.
Previsione in Vertex AI Pipelines
Il flusso di lavoro tabulare per le previsioni è un'istanza gestita di Vertex AI Pipelines.
Vertex AI Pipelines è un servizio serverless che esegue le pipeline Kubeflow. Puoi utilizzare le pipeline per automatizzare e monitorare le attività di machine learning e preparazione dei dati. Ogni passaggio di una pipeline esegue parte del flusso di lavoro della pipeline. Ad esempio, una pipeline può includere passaggi per suddividere i dati, trasformare i tipi di dati e addestrare un modello. Poiché i passaggi sono istanze di componenti della pipeline, hanno input, output e un'immagine container. Gli input dei passaggi possono essere impostati dagli input della pipeline o possono dipendere dall'output di altri passaggi all'interno di questa pipeline. Queste dipendenze definiscono il flusso di lavoro della pipeline come grafo diretto aciclico.
Panoramica della pipeline e dei componenti
Il seguente diagramma mostra la pipeline di creazione del modello per il flusso di lavoro tabulare per le previsioni :
I componenti della pipeline sono:
- feature-transform-engine: esegui il feature engineering. Per maggiori dettagli, consulta Feature Transform Engine.
training-configurator-and-validator: convalida la configurazione dell'addestramento e genera i metadati dell'addestramento.
Input:
instance_schema: schema dell'istanza nella specifica OpenAPI, che descrive i tipi di dati dei dati di previsione.dataset_stats: statistiche che descrivono il set di dati non elaborato. Ad esempio,dataset_statsrestituisce il numero di righe nel set di dati.training_schema: schema dei dati di addestramento nella specifica OpenAPI, che descrive i tipi di dati di addestramento.
split-materialized-data: suddividi i dati materializzati in un set di addestramento, un set di valutazione e un set di test.
Input:
materialized_data: dati materializzati.
Output:
materialized_train_split: suddivisione dell'addestramento materializzato.materialized_eval_split: suddivisione della valutazione materializzata.materialized_test_split: set di test materializzato.
calculate-training-parameters-2: calcola la durata del runtime prevista per automl-forecasting-stage-1-tuner.
get-hyperparameter-tuning-results - Facoltativo: se hai configurato la pipeline in modo da saltare la ricerca dell'architettura, carica i risultati dell'ottimizzazione degli iperparametri da un'esecuzione precedente della pipeline.
Esegui la ricerca dell'architettura del modello e ottimizza gli iperparametri (automl-forecasting-stage-1-tuner) o utilizza i risultati dell'ottimizzazione degli iperparametri da un'esecuzione precedente della pipeline (automl-forecasting-stage-2-tuner).
- Un'architettura è definita da un insieme di iperparametri.
- Gli iperparametri includono il tipo di modello e i relativi parametri.
- I tipi di modelli considerati sono reti neurali e alberi con boosting.
- Viene addestrato un modello per ogni architettura considerata.
Input:
materialized_train_split: suddivisione dell'addestramento materializzato.materialized_eval_split: suddivisione della valutazione materializzata.artifact: i risultati dell'ottimizzazione degli iperparametri di un'esecuzione precedente della pipeline. Questo elemento è un input solo se hai configurato la pipeline in modo da saltare la ricerca dell'architettura.
Output:
tuning_result_output: output dell'ottimizzazione.
get-prediction-image-uri-2: genera l'URI immagine di previsione corretto in base al tipo di modello.
automl-forecasting-ensemble-2: combina le migliori architetture per produrre un modello finale.
Input:
tuning_result_output: output dell'ottimizzazione.
Output:
unmanaged_container_model: modello di output.
model-upload-2: carica il modello.
Input:
unmanaged_container_model: modello di output.
Output:
model: modello Vertex AI.
should_run_model_evaluation - Facoltativo: utilizza il set di test per calcolare le metriche di valutazione.