Introduzione all'algoritmo di Linear Learner integrato

Console

Prima di avviare il job di addestramento, devi copiare i dati dal nostro bucket Cloud Storage pubblico al tuo bucket Cloud Storage.

Copia i dati di esempio nel bucket Cloud Storage

1. Innanzitutto, scarica i dati di addestramento e test dal nostro pubblico bucket Cloud Storage.

   1. Vai al nostro bucket Cloud Storage pubblico:

      Ottieni i dati di esempio

   2. Scarica sia test.csv che train.csv:

      1. Fai clic sul nome del file.

      2. Nella pagina Dettagli oggetto, fai clic su Scarica. Questi file vengono scaricati nel tuo ambiente locale come ai-platform_census_algorithms_data_test.csv e ai-platform_census_algorithms_data_train.csv rispettivamente.

2. Poi carica i dati di addestramento e test nel tuo bucket Cloud Storage.

   1. Vai alla pagina Browser per il tuo bucket Cloud Storage. Seleziona il progetto dall'elenco a discesa Seleziona un progetto o apri una nuova scheda:

      Pagina Browser Cloud Storage

   2. Fai clic sul nome del bucket che vuoi utilizzare o creane uno nuovo se non ne hai uno. Se crei un nuovo bucket, assicurati che sia un bucket regionale e seleziona la stessa regione in cui stai eseguendo il job di addestramento di AI Platform Training.

   3. (Facoltativo) Fai clic su Crea cartella per creare una cartella per i file che carichi. Inserisci un nome per la cartella (ad es. "data") e fai clic su Crea. Poi, vai alla nuova cartella facendo clic sul nome della cartella.

   4. Fai clic su Carica file per caricare i file di addestramento e di test ai-platform_census_algorithms_data_train.csv e ai-platform_census_algorithms_data_test.csv nel bucket.

Ora che i dati sono stati copiati nel bucket, puoi avviare un job di addestramento selezionando il tipo di algoritmo che vuoi utilizzare.

Selezionare l'algoritmo

1. Vai alla pagina Job di addestramento della piattaforma AI nella console Google Cloud:

   Pagina Lavori di AI Platform Training

2. Fai clic sul pulsante Nuovo job di addestramento. Dalle opzioni visualizzate di seguito, fai clic su Addestramento con algoritmi integrati. Viene visualizzata la pagina Crea un nuovo job di addestramento.

3. La creazione del job di addestramento è suddivisa in quattro passaggi. Il primo passaggio è Algoritmo di addestramento. Seleziona Apprendente lineare e fai clic su Avanti.

gcloud

Configura le variabili di ambiente per l'ID progetto, il bucket Cloud Storage, il percorso Cloud Storage per i dati di addestramento e la selezione dell'algoritmo.

Gli algoritmi integrati di AI Platform Training si trovano in container Docker ospitati in Container Registry.

PROJECT_ID=YOUR_PROJECT_ID
BUCKET_NAME=YOUR_BUCKET_NAME
REGION="us-central1"
gcloud config set project $PROJECT_ID
gcloud config set compute/region $REGION

# Copy the training data into your Cloud Storage bucket, and set the path
# to your copy of the training data.
TRAINING_DATA_SOURCE=gs://cloud-samples-data/ai-platform/census/algorithms/data/train.csv
TRAINING_DATA_PATH=gs://$BUCKET_NAME/algorithms-demo/data/train.csv
gcloud storage cp $TRAINING_DATA_SOURCE $TRAINING_DATA_PATH

# Specify the Docker container URI specific to the algorithm.
IMAGE_URI="gcr.io/cloud-ml-algos/linear_learner_cpu:latest"

Console

1. Lascia selezionata l'opzione Abilita pre-elaborazione automatica dei dati.

2. In Percorso dei dati di addestramento, fai clic su Sfoglia. Nel riquadro a destra, fai clic sul nome del bucket in cui hai caricato i dati di addestramento e vai al file ai-platform_census_algorithms_data_train.csv.

3. Lascia i campi per i dati di convalida e i dati di test con le impostazioni predefinite.

4. In Directory di output, inserisci il percorso del tuo bucket Cloud Storage in cui vuoi che AI Platform Training archivi gli output del tuo job di addestramento. Puoi inserire direttamente il percorso del bucket Cloud Storage o fare clic sul pulsante Sfoglia per selezionarlo.

   Per mantenere tutto in ordine, crea una nuova directory all'interno del tuo bucket Cloud Storage per questo job di addestramento. Puoi farlo nel riquadro Sfoglia.

   Fai clic su Avanti.

5. Per Tipo di modello, seleziona Classificazione.

6. Lascia invariate le impostazioni predefinite di tutti gli altri campi e fai clic su Avanti.

7. Nella pagina Impostazioni job:

   1. Inserisci un ID job univoco (ad esempio "linear_example").
   2. Inserisci una regione disponibile (ad esempio "us-central1").
   3. Seleziona "BASE" per il livello della scala.

   Fai clic su Fine per inviare il job di addestramento.

gcloud

1. Configura tutti gli argomenti per il job di addestramento e l'algoritmo, prima di utilizzare gcloud per inviare il job:

   DATASET_NAME="census"
   ALGORITHM="linear"
   MODEL_TYPE="classification"
   MODEL_NAME="${DATASET_NAME}_${ALGORITHM}_${MODEL_TYPE}"
   
   # Give a unique name to your training job.
   DATE="$(date '+%Y%m%d_%H%M%S')"
   JOB_ID="${MODEL_NAME}_${DATE}"
   
   # Make sure you have access to this Cloud Storage bucket.
   JOB_DIR="gs://${BUCKET_NAME}/algorithms_training/${MODEL_NAME}/${DATE}"
   

2. Invia il job:

   gcloud ai-platform jobs submit training $JOB_ID \
     --master-image-uri=$IMAGE_URI --scale-tier=BASIC --job-dir=$JOB_DIR \
     -- \
     --preprocess --model_type=$MODEL_TYPE --batch_size=250 \
     --learning_rate=0.1 --max_steps=1000 --training_data_path=$TRAINING_DATA_PATH

3. Dopo che il job è stato inviato correttamente, puoi visualizzare i log utilizzando i seguenti comandi gcloud:

   gcloud ai-platform jobs describe $JOB_ID
   gcloud ai-platform jobs stream-logs $JOB_ID
   

Console

1. Nella pagina Job puoi trovare un elenco di tutti i tuoi job di addestramento. Fai clic sul nome del job di addestramento che hai appena inviato ("linear_example" o il nome del job che hai utilizzato).

2. Nella pagina Dettagli job, puoi visualizzare l'avanzamento generale del job o fare clic su Visualizza log per una visualizzazione più dettagliata dell'avanzamento.

3. Se il job ha esito positivo, nella parte superiore viene visualizzato il pulsante Esegui il deployment del modello. Fai clic su Esegui il deployment del modello.

4. Seleziona "Esegui il deployment come nuovo modello" e inserisci un nome del modello, ad esempio "modello_lineare". Poi, fai clic su Conferma.

5. Nella pagina Crea versione, inserisci un nome per la versione, ad esempio "v1", e lascia invariate le impostazioni predefinite di tutti gli altri campi. Fai clic su Salva.

6. Nella pagina Dettagli modello viene visualizzato il nome della versione. La creazione della versione richiede alcuni minuti. Quando la versione è pronta, accanto al nome viene visualizzata un'icona con un segno di spunta.

7. Fai clic sul nome della versione ("v1") per accedere alla pagina Dettagli della versione. Nel passaggio successivo di questo tutorial, invia una richiesta di previsione

gcloud

Il processo di addestramento con l'algoritmo di Linear Learner integrato produce un file, deployment_config.yaml, che semplifica il deployment del modello su AI Platform Prediction per le previsioni.

1. Copia il file nella tua directory locale e visualizzane i contenuti:

   gcloud storage cp $JOB_DIR/model/deployment_config.yaml .
   cat deployment_config.yaml
   

   Il file deployment_config.yaml dovrebbe avere il seguente aspetto:

   deploymentUri: gs://YOUR_BUCKET_NAME/algorithms_training/census_linear_classification/20190227060114/model
   framework: TENSORFLOW
   labels:
     global_step: '1000'
     job_id: census_linear_classification_20190227060114
     accuracy: '86'
   runtimeVersion: '1.14'
   pythonVersion: '2.7'
   

2. Crea il modello e la versione in AI Platform Training:

   MODEL_NAME="${DATASET_NAME}_${ALGORITHM}_${MODEL_TYPE}"
   gcloud ai-platform models create $MODEL_NAME --regions $REGION
   
   # Create a model and a version using the file above.
   VERSION_NAME="v_${DATE}"
   
   gcloud ai-platform versions create $VERSION_NAME \
     --model $MODEL_NAME \
     --config deployment_config.yaml
   

   La creazione della versione richiede alcuni minuti.

Console

1. Nella pagina Dettagli versione per "v1", la versione appena creata, puoi inviare una richiesta di previsione di esempio.

   Seleziona la scheda Testa e utilizza.

2. Copia il seguente esempio nel campo di immissione:

    {
      "instances": [
        {"csv_row": "44, Private, 160323, Some-college, 10, Married-civ-spouse, Machine-op-inspct, Husband, Black, Male, 7688, 0, 40, United-States", "key": "dummy-key"}
      ]
    }
   

3. Fai clic su Test.

   Il risultato della previsione di esempio ha diversi campi. L'elenco classes mostra la classe prevista >50K':

   {
      "predictions": [
        {
          ...
          "classes": [
            ">50K"
          ],
          ...
        }
      ]
    }
   

   In questo caso, il modello di cui è stato eseguito il deployment prevede che la persona di cui hai fornito le informazioni guadagni uno stipendio superiore a 50.000 $. Poiché l'addestramento non è deterministico, il modello potrebbe essere diverso.

gcloud

1. Esamina le ultime righe di metadata.json:

   gcloud storage cat $JOB_DIR/artifacts/metadata.json | tail
   

   L'oggetto target_column.mapping mostra come verranno visualizzate le classi previste nei risultati della previsione:

       "target_algorithm": "TensorFlow",
       "target_column": {
         "mapping": {
           "0": "<=50K",
           "1": ">50K"
         },
       "num_category": 2,
       "type": "classification"
     }
   }
   

2. Prepara l'input di previsione per un'istanza di dati. Tieni presente che devi fornire ogni istanza di dati come oggetto JSON con i seguenti campi:

   • csv_row, una stringa contenente una riga di funzionalità separate da virgole nello stesso formato delle istanze utilizzate durante l'addestramento.

   • key, un identificatore di stringa univoco per ogni istanza. Questa operazione funge da chiave istanza che viene visualizzata nell'output della previsione, in modo da poter associare ogni previsione all'istanza di input corrispondente.

     Questo è necessario per le previsioni batch, perché le previsioni batch elaborano l'input e salvano l'output in un ordine imprevedibile.

     Per la previsione online, che produce output nello stesso ordine dell'input fornito, le chiavi di istanza sono meno importanti. Questo esempio esegue la previsione solo su una singola istanza, pertanto il valore della chiave dell'istanza non è importante.

   Per inviare una richiesta di previsione online utilizzando Google Cloud CLI, come in questo esempio, scrivi ogni istanza in una riga di un file JSON delimitato da interruzioni di riga.

   Esegui i seguenti comandi nel terminale per creare un input per una singola istanza che puoi inviare ad AI Platform Prediction:

    # A sample record from census dataset. Ground truth is >50K
   RAW_DATA_POINT='44, Private, 160323, Some-college, 10, Married-civ-spouse, Machine-op-inspct, Husband, Black, Male, 7688, 0, 40, United-States'
   
    # Create a prediction request file
   echo "{\"csv_row\": \"$RAW_DATA_POINT\", \"key\": \"dummy-key\"}" > sample_input.json
   
   # Check the prediction request file.
   cat sample_input.json
   

3. Invia la richiesta di previsione:

   gcloud ai-platform predict \
     --model $MODEL_NAME \
     --version $VERSION_NAME \
     --json-instances sample_input.json \
     --format "value(predictions[0].classes[0])" \
     --signature-name "predict"
   

   L'output di questa previsione viene filtrato per mostrare solo la classe prevista:

   >50K
   

Molto probabilmente, l'output della previsione è >50K. Il modello di cui è stato eseguito il deployment prevede che la persona di cui hai fornito le informazioni guadagni uno stipendio superiore a 50.000 $. Poiché l'addestramento non è deterministico, il modello potrebbe essere diverso.