Pre-elaborazione manuale delle funzionalità

Puoi utilizzare la clausola TRANSFORM dell'istruzione CREATE MODEL in combinazione con le funzioni di preelaborazione manuale per definire la preelaborazione personalizzata dei dati. Puoi utilizzare queste funzioni di pre-elaborazione manuale anche al di fuori della clausola TRANSFORM.

Se vuoi separare il pretrattamento dei dati dall'addestramento del modello, puoi creare un modello solo di trasformazione che esegue solo le trasformazioni dei dati utilizzando la clausola TRANSFORM.

Puoi utilizzare la funzione ML.TRANSFORM per aumentare la trasparenza della pre-elaborazione delle caratteristiche. Questa funzione ti consente di restituire i dati preelaborati dalla clausola TRANSFORM di un modello, in modo da poter visualizzare i dati di addestramento effettivi che vengono inseriti nell'addestramento del modello, nonché i dati di previsione effettivi che vengono inseriti nella pubblicazione del modello.

Per informazioni sul supporto della pre-elaborazione delle funzionalità in BigQuery ML, vedi Panoramica della pre-elaborazione delle funzionalità.

Tipi di funzioni di pre-elaborazione

Esistono diversi tipi di funzioni di pre-elaborazione manuale:

• Le funzioni scalari operano su una singola riga. Ad esempio, ML.BUCKETIZE.
• Le funzioni con valori di tabella operano su tutte le righe e restituiscono una tabella. Ad esempio, ML.FEATURES_AT_TIME.

• Le funzioni analitiche operano su tutte le righe e restituiscono il risultato per ogni riga in base alle statistiche raccolte in tutte le righe. Ad esempio, ML.QUANTILE_BUCKETIZE.

  Devi sempre utilizzare una clausola OVER() vuota con le funzioni di analisi ML.

  Quando utilizzi le funzioni di analisi ML all'interno della clausola TRANSFORM durante l'addestramento, le stesse statistiche vengono applicate automaticamente all'input nella previsione.

Le sezioni seguenti descrivono le funzioni di preelaborazione disponibili.

Funzioni generali

Utilizza la seguente funzione su espressioni numeriche o stringa per eseguire la pulizia dei dati:

• ML.IMPUTER

Funzioni numeriche

Utilizza le seguenti funzioni sulle espressioni numeriche per regolarizzare i dati:

• ML.BUCKETIZE
• ML.MAX_ABS_SCALER
• ML.MIN_MAX_SCALER
• ML.NORMALIZER
• ML.POLYNOMIAL_EXPAND
• ML.QUANTILE_BUCKETIZE
• ML.ROBUST_SCALER
• ML.STANDARD_SCALER

Funzioni categoriche

Utilizza le seguenti funzioni per classificare i dati:

• ML.FEATURE_CROSS
• ML.HASH_BUCKETIZE
• ML.LABEL_ENCODER
• ML.MULTI_HOT_ENCODER
• ML.ONE_HOT_ENCODER

Funzioni di testo

Utilizza le seguenti funzioni nelle espressioni di stringhe di testo:

• ML.NGRAMS
• ML.BAG_OF_WORDS
• ML.TF_IDF

Funzioni immagine

Utilizza le seguenti funzioni sui dati delle immagini:

• ML.CONVERT_COLOR_SPACE
• ML.CONVERT_IMAGE_TYPE
• ML.DECODE_IMAGE
• ML.RESIZE_IMAGE

Limitazioni note

• BigQuery ML supporta sia la pre-elaborazione automatica sia quella manuale nell'esportazione del modello. Consulta i tipi di dati supportati e le funzioni per l'esportazione di modelli addestrati con la clausola BigQuery ML TRANSFORM.

Passaggi successivi

Per ulteriori informazioni sulle istruzioni e sulle funzioni SQL supportate per i modelli che supportano il pre-elaborazione manuale delle funzionalità, consulta i seguenti documenti:

• Percorsi utente end-to-end per i modelli ML
• Percorso dell'utente per l'analisi del contributo