Ottenere previsioni ML dai modelli scikit-learn o XGBoost

macOS

1. Verifica l'installazione di Python
   Verifica di avere installato Python e, se necessario, installalo.

   python -V

2. Verifica l'installazione di pip
pip è il gestore dei pacchetti di Python, incluso nelle versioni attuali di Python. Per verificare se pip è già installato, esegui pip --version. In caso contrario, scopri come installare pip.

   Puoi eseguire l'upgrade di pip utilizzando il seguente comando:

   pip install -U pip

   Per ulteriori dettagli, consulta la documentazione di pip.

3. Installa virtualenv
virtualenv è uno strumento per creare ambienti Python isolati. Per verificare se hai già installato virtualenv, esegui virtualenv --version. In caso contrario, installa virtualenv:

   pip install --user --upgrade virtualenv

   Per creare un ambiente di sviluppo isolato per questa guida, crea un nuovo ambiente virtuale in virtualenv. Ad esempio, il seguente comando attiva un ambiente denominato aip-env:

   virtualenv aip-env
   source aip-env/bin/activate

4. Ai fini di questo tutorial, esegui il resto dei comandi all'interno del tuo ambiente virtuale.

   Consulta ulteriori informazioni sull'utilizzo di virtualenv. Per uscire da virtualenv, esegui deactivate.

Cloud Shell

1. Apri la console Google Cloud.

   Console Google Cloud

2. Fai clic sul pulsante Attiva Google Cloud Shell nella parte superiore della finestra della console.

   

   All'interno di un nuovo frame nella parte inferiore della console si apre una sessione di Cloud Shell e viene visualizzato un prompt della riga di comando. Potrebbe essere necessario attendere qualche secondo per l'inizializzazione della sessione della shell.

   

   La sessione Cloud Shell è pronta per l'uso.

3. Configura lo strumento a riga di comando gcloud in modo da utilizzare il progetto selezionato.

   gcloud config set project [selected-project-id]

   dove [selected-project-id] è l'ID progetto. (Ometti le parentesi graffe di chiusura.)

macOS

Nell'ambiente virtuale, esegui il seguente comando per installare le versioni di scikit-learn, XGBoost e pandas utilizzate in AI Platform Prediction con versione del runtime 2.11:

(aip-env)$ pip install scikit-learn==1.0.2 xgboost==1.6.2 pandas==1.3.5

Fornendo i numeri di versione nel comando precedente, ti assicuri che le dipendenze nel tuo ambiente virtuale corrispondano a quelle nella versione di runtime. In questo modo, puoi evitare comportamenti imprevisti quando il codice viene eseguito su AI Platform Prediction.

Per ulteriori dettagli, opzioni di installazione e informazioni sulla risoluzione dei problemi, consulta le istruzioni di installazione per ciascun framework:

• Istruzioni di installazione di scikit-learn
• Istruzioni di installazione di XGBoost
• Istruzioni di installazione di pandas

Cloud Shell

Esegui il seguente comando per installare scikit-learn, XGBoost e pandas:

pip install --user scikit-learn xgboost pandas

Per ulteriori dettagli, opzioni di installazione e informazioni sulla risoluzione dei problemi, consulta le istruzioni di installazione per ciascun framework:

• Istruzioni di installazione di scikit-learn
• Istruzioni di installazione di XGBoost
• Istruzioni di installazione di pandas

scikit-learn

Seguendo l'esempio di scikit-learn sulla persistenza dei modelli, puoi addestrare ed esportare un modello come mostrato di seguito:

from sklearn.externals import joblib
from sklearn import datasets
from sklearn import svm

# Load the Iris dataset
iris = datasets.load_iris()

# Train a classifier
classifier = svm.SVC()
classifier.fit(iris.data, iris.target)

# Export the classifier to a file
joblib.dump(classifier, 'model.joblib')

Per esportare il modello, puoi anche utilizzare la libreria pickle come segue:

import pickle
with open('model.pkl', 'wb') as model_file:
  pickle.dump(classifier, model_file)

XGBoost

Puoi esportare il modello utilizzando il metodo "save_model" dell'oggetto Booster.

Ai fini di questo tutorial, scikit-learn viene utilizzato con XGBoost solo per importare il set di dati Iris.

from sklearn import datasets
import xgboost as xgb

# Load the Iris dataset
iris = datasets.load_iris()

# Load data into DMatrix object
dtrain = xgb.DMatrix(iris.data, label=iris.target)

# Train XGBoost model
bst = xgb.train({}, dtrain, 20)

# Export the classifier to a file
bst.save_model('./model.bst')

Per esportare il modello, puoi anche utilizzare la libreria pickle come segue:

import pickle
with open('model.pkl', 'wb') as model_file:
  pickle.dump(bst, model_file)

scikit-learn

XGBoost

gcloud

Crea un file input.json con ogni istanza di input in una riga separata:

[6.8,  2.8,  4.8,  1.4]
[6.0,  3.4,  4.5,  1.6]

Tieni presente che il formato delle istanze di input deve corrispondere a quello previsto dal modello. In questo esempio, il modello Iris richiede 4 funzionalità, pertanto l'input deve essere una matrice di forma (num_instances, 4).

API REST

Crea un file input.json formattato come un semplice elenco di valori float, con ogni istanza di input su una riga separata:

{
  "instances": [

    [6.8,  2.8,  4.8,  1.4],
    [6.0,  3.4,  4.5,  1.6]

  ]
}

Tieni presente che il formato delle istanze di input deve corrispondere a quello previsto dal modello. In questo esempio, il modello Iris richiede 4 funzionalità, pertanto l'input deve essere una matrice di forma (num_instances, 4).

console

1. Apri la pagina Modelli di AI Platform Prediction nella console Google Cloud:

   Vai alla pagina Modelli

2. Fai clic sul pulsante Nuovo modello nella parte superiore della pagina Modelli. Viene visualizzata la pagina Crea modello.

3. Inserisci un nome univoco per il modello nel campo Nome modello.

4. Quando la casella di controllo Usa endpoint a livello di regione è selezionata, AI Platform Prediction utilizza un endpoint a livello di regione. Per utilizzare invece l'endpoint globale, deseleziona la casella di controllo Utilizza endpoint a livello di regione.

5. Dall'elenco a discesa Regione, seleziona una posizione per i nodi di previsione. Le regioni disponibili variano a seconda che tu utilizzi un endpoint regionale o globale.

6. Fai clic su Crea.

7. Verifica di aver fatto ritorno alla pagina Modelli e che il nuovo modello sia presente nell'elenco.

gcloud

gcloud ai-platform models create MODEL_NAME \
  --region=REGION

gcloud ai-platform models create MODEL_NAME \
  --regions=REGION

API REST

console

1. Apri la pagina Modelli di AI Platform Prediction nella console Google Cloud:

   Vai alla pagina Modelli

2. Nella pagina Modelli, seleziona il nome della risorsa modello che vuoi utilizzare per creare la versione. Viene visualizzata la pagina Dettagli modello.

3. Fai clic sul pulsante Nuova versione nella parte superiore della pagina Dettagli del modello. Viene visualizzata la pagina Crea versione.

4. Inserisci il nome della versione nel campo Nome. Se vuoi, inserisci una descrizione della versione nel campo Descrizione.

5. Inserisci le seguenti informazioni su come hai addestrato il modello nelle caselle a discesa corrispondenti:

   • Seleziona la versione di Python utilizzata per addestrare il modello.
   • Seleziona il Framework e la versione del framework.
   • Seleziona la versione del runtime ML. Scopri di più sulle versioni di runtime di AI Platform Prediction.

6. Seleziona un tipo di macchina per eseguire la previsione online.

7. Nel campo URI modello, inserisci la posizione del bucket Cloud Storage in cui hai caricato il file del modello. Puoi utilizzare il pulsante Sfoglia per trovare il percorso corretto.

   Assicurati di specificare il percorso della directory contenente il file, non il percorso del file del modello stesso. Ad esempio, utilizza gs://your_bucket_name/model-dir/ anziché gs://your_bucket_name/model-dir/saved_model.pb o gs://your_bucket_name/model-dir/model.pkl.

8. Seleziona un'opzione di scalabilità per il deployment della previsione online:

   • Se selezioni "Scalabilità automatica", viene visualizzato il campo facoltativo Numero minimo di nodi. Quando il servizio è stato ridotto, puoi inserire il numero minimo di nodi da mantenere in esecuzione in qualsiasi momento.

   • Se selezioni "Scalabilità manuale", devi inserire il numero di nodi che vuoi mantenere in esecuzione in ogni momento.

   Scopri in che modo le opzioni di scalabilità variano in base al tipo di macchina.

   Scopri di più sulla determinazione del prezzo per i costi di previsione.

9. Per completare la creazione della versione del modello, fai clic su Salva.

gcloud

1. Imposta le variabili di ambiente per memorizzare il percorso della directory Cloud Storage in cui si trova il file binario del modello, il nome del modello, il nome della versione e il framework scelto.

   Quando crei una versione con gcloud CLI, puoi fornire il nome del framework in lettere maiuscole con trattini bassi (ad es.SCIKIT_LEARN) o in lettere minuscole con trattini (ad es.scikit-learn). Entrambe le opzioni hanno lo stesso comportamento.

   Sostituisci [VALUES_IN_BRACKETS] con i valori appropriati:

   MODEL_DIR="gs://your_bucket_name/"
   VERSION_NAME="[YOUR-VERSION-NAME]"
   MODEL_NAME="[YOUR-MODEL-NAME]"
   FRAMEWORK="[YOUR-FRAMEWORK_NAME]"
   

2. Crea la versione:

   gcloud ai-platform versions create $VERSION_NAME \
     --model=$MODEL_NAME \
     --origin=$MODEL_DIR \
     --runtime-version=2.11 \
     --framework=$FRAMEWORK \
     --python-version=3.7 \
     --region=REGION \
     --machine-type=MACHINE_TYPE
   

   Sostituisci quanto segue:

   • REGION: la regione dell'endpoint regionale su cui hai creato il modello. Se hai creato il modello sull'endpoint globale, ometti il flag --region.

   • MACHINE_TYPE: un tipo di macchina che determina le risorse di calcolo disponibili per i nodi di previsione.

   La creazione della versione richiede alcuni minuti. Quando è tutto pronto, dovresti vedere il seguente output:

   Creating version (this might take a few minutes)......done.

3. Ricevi informazioni sulla nuova versione:

   gcloud ai-platform versions describe $VERSION_NAME \
     --model=$MODEL_NAME
   

   Dovresti visualizzare un output simile al seguente:

   createTime: '2018-02-28T16:30:45Z'
   deploymentUri: gs://your_bucket_name
   framework: [YOUR-FRAMEWORK-NAME]
   machineType: mls1-c1-m2
   name: projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions/[YOUR-VERSION-NAME]
   pythonVersion: '3.7'
   runtimeVersion: '2.11'
   state: READY

API REST

1. Formatta il corpo della richiesta in modo che contenga l'oggetto version. Questo esempio specifica le versioni name, deploymentUri, runtimeVersion, framework e machineType. Sostituisci [VALUES_IN_BRACKETS] con i valori appropriati:

   {
     "name": "[YOUR-VERSION-NAME]",
     "deploymentUri": "gs://your_bucket_name/",
     "runtimeVersion": "2.11",
     "framework": "[YOUR_FRAMEWORK_NAME]",
     "pythonVersion": "3.7",
     "machineType": "[YOUR_MACHINE_TYPE]"
   }
   

2. Esegui la chiamata all'API REST al seguente percorso, sostituendo [VALUES_IN_BRACKETS] con i valori appropriati:

   POST https://REGION-ml.googleapis.com/v1/projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions
   

   Sostituisci REGION con la regione dell'endpoint regionale in cui hai creato il tuo modello. Se hai creato il modello sull'endpoint globale, utilizzaml.googleapis.com.

   Ad esempio, puoi effettuare la seguente richiesta utilizzando il comando curl:

   curl -X POST -H "Content-Type: application/json" \
     -d '{"name": "[YOUR-VERSION-NAME]", "deploymentUri": "gs://your_bucket_name/", "runtimeVersion": "2.11", "framework": "[YOUR_FRAMEWORK_NAME]", "pythonVersion": "3.7", "machineType": "[YOUR_MACHINE_TYPE]"}' \
     -H "Authorization: Bearer `gcloud auth print-access-token`" \
     "https://REGION-ml.googleapis.com/v1/projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions"
   

   La creazione della versione richiede alcuni minuti. Al termine, dovresti vedere un output simile al seguente:

   {
     "name": "projects/[YOUR-PROJECT-ID]/operations/create_[YOUR-MODEL-NAME]_[YOUR-VERSION-NAME]-[TIMESTAMP]",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.ml.v1.OperationMetadata",
       "createTime": "2018-07-07T02:51:50Z",
       "operationType": "CREATE_VERSION",
       "modelName": "projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]",
       "version": {
         "name": "projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions/[YOUR-VERSION-NAME]",
         "deploymentUri": "gs://your_bucket_name",
         "createTime": "2018-07-07T02:51:49Z",
         "runtimeVersion": "2.11",
         "framework": "[YOUR_FRAMEWORK_NAME]",
         "machineType": "[YOUR_MACHINE_TYPE]",
         "pythonVersion": "3.7"
       }
     }
   }
   

gcloud

1. Imposta le variabili di ambiente per il nome del modello, il nome della versione e il nome del file di input:

   MODEL_NAME="iris"
   VERSION_NAME="v1"
   INPUT_FILE="input.json"
   

2. Invia la richiesta di previsione:

   gcloud ai-platform predict --model $MODEL_NAME --version \
     $VERSION_NAME --json-instances $INPUT_FILE
   

Python

Questo esempio presuppone che tu conosca la libreria client Google Cloud per Python. Se non la conosci, consulta Utilizzo della libreria client Python.

import googleapiclient.discovery

def predict_json(project, model, instances, version=None):
    """Send json data to a deployed model for prediction.
    Args:
        project (str): project where the AI Platform Prediction Model is deployed.
        model (str): model name.
        instances ([[float]]): List of input instances, where each input
           instance is a list of floats.
        version: str, version of the model to target.
    Returns:
        Mapping[str: any]: dictionary of prediction results defined by the
            model.
    """
    # Create the AI Platform Prediction service object.
    # To authenticate set the environment variable
    # GOOGLE_APPLICATION_CREDENTIALS=<path_to_service_account_file>
    service = googleapiclient.discovery.build('ml', 'v1')
    name = 'projects/{}/models/{}'.format(project, model)

    if version is not None:
        name += '/versions/{}'.format(version)

    response = service.projects().predict(
        name=name,
        body={'instances': instances}
    ).execute()

    if 'error' in response:
        raise RuntimeError(response['error'])

    return response['predictions']