Erste Schritte mit dem integrierten Linear-Learner-Algorithmus

Console

Bevor Sie mit dem Trainingsjob beginnen, müssen Sie die Daten aus unserem öffentlichen Cloud Storage-Bucket in Ihren Cloud Storage-Bucket kopieren.

Beispieldaten in Ihren Cloud Storage-Bucket kopieren

1. Laden Sie zuerst die Trainings- und Testdaten aus unserem öffentlichen Cloud Storage-Bucket herunter.

   1. Rufen Sie unseren öffentlichen Cloud Storage-Bucket auf:

      Beispieldaten abrufen

   2. Laden Sie sowohl test.csv als auch train.csv herunter:

      1. Klicken Sie auf den Dateinamen.

      2. Klicken Sie auf der Seite Objektdetails auf Herunterladen. Diese Dateien werden in Ihre lokale Umgebung als ai-platform_census_algorithms_data_test.csv oder ai-platform_census_algorithms_data_train.csv heruntergeladen.

2. Laden Sie anschließend die Trainings- und Testdaten in Ihren Cloud Storage-Bucket hoch.

   1. Rufen Sie die Browserseite für Ihren Cloud Storage-Bucket auf. Wählen Sie Ihr Projekt in der Drop-down-Liste Projekt auswählen aus oder öffnen Sie es in einem neuen Tab:

      Cloud Storage-Browserseite

   2. Klicken Sie auf den Namen des Buckets, den Sie verwenden möchten, oder erstellen Sie einen neuen Bucket. Wenn Sie einen neuen erstellen, muss es sich um einen regionalen Bucket handeln. Wählen Sie die Region aus, in der Sie den AI Platform Training-Trainingsjob ausführen.

   3. (Optional) Klicken Sie auf Ordner erstellen, um einen Ordner für die hochgeladenen Dateien zu erstellen. Geben Sie einen Namen für den Ordner ein (z. B. "Daten") und klicken Sie auf Erstellen. Klicken Sie anschließend auf den Namen des neuen Ordners, um ihn zu öffnen.

   4. Klicken Sie auf Dateien hochladen, um sowohl die Trainings- als auch die Testdateien hochzuladen und ai-platform_census_algorithms_data_train.csv sowie ai-platform_census_algorithms_data_test.csv zu Ihrem Bucket hinzuzufügen.

Nachdem die Daten in Ihren Bucket kopiert wurden, können Sie einen Trainingsjob starten. Wählen Sie dazu den gewünschten Algorithmustyp aus.

Algorithmus auswählen

1. Rufen Sie in der Google Cloud Console die AI Platform Training-Seite „Jobs” auf:

   Zur Seite AI Platform Training-Jobs

2. Klicken Sie auf die Schaltfläche Neuer Trainingsjob. Klicken Sie in den darunter angezeigten Optionen auf Integriertes Algorithmustraining. Anschließend wird die Seite Neuen Trainingsjob erstellen aufgerufen.

3. Das Erstellen eines Trainingsjobs gliedert sich in vier Schritte. Der erste Schritt lautet Trainingsalgorithmus. Wählen Sie Linear Learner aus und klicken Sie auf Weiter.

gcloud

Richten Sie Umgebungsvariablen für Ihre Projekt-ID, Ihren Cloud Storage-Bucket, den Cloud Storage-Pfad zu den Trainingsdaten und den ausgewählten Algorithmus ein.

Die integrierten Algorithmen von AI Platform Training befinden sich in Docker-Containern, die in Container Registry gehostet werden.

PROJECT_ID=YOUR_PROJECT_ID
BUCKET_NAME=YOUR_BUCKET_NAME
REGION="us-central1"
gcloud config set project $PROJECT_ID
gcloud config set compute/region $REGION

# Copy the training data into your Cloud Storage bucket, and set the path
# to your copy of the training data.
TRAINING_DATA_SOURCE=gs://cloud-samples-data/ai-platform/census/algorithms/data/train.csv
TRAINING_DATA_PATH=gs://$BUCKET_NAME/algorithms-demo/data/train.csv
gcloud storage cp $TRAINING_DATA_SOURCE $TRAINING_DATA_PATH

# Specify the Docker container URI specific to the algorithm.
IMAGE_URI="gcr.io/cloud-ml-algos/linear_learner_cpu:latest"

Console

1. Lassen Sie das Kästchen Automatische Datenvorverarbeitung aktivieren angeklickt.

2. Klicken Sie für Trainingsdatenpfad auf Durchsuchen. Klicken Sie im rechten Bereich auf den Namen des Buckets, in den Sie die Trainingsdaten hochgeladen haben, und wechseln Sie zur Datei ai-platform_census_algorithms_data_train.csv.

3. Übernehmen Sie für die Felder Validierungsdaten und Testdaten die Standardeinstellungen.

4. Geben Sie unter Ausgabeverzeichnis den Pfad zu Ihrem Cloud Storage-Bucket ein, in dem AI Platform Training die Ausgaben Ihres Trainingsjobs speichern soll. Sie können den Pfad zu Ihrem Cloud Storage-Bucket direkt eingeben oder auf die Schaltfläche Durchsuchen klicken und ihn auswählen.

   Erstellen Sie in Ihrem Cloud Storage-Bucket zur besseren Übersichtlichkeit ein neues Verzeichnis für diesen Trainingsjob. Dazu können Sie das Feld Durchsuchen verwenden.

   Klicken Sie auf Weiter.

5. Wählen Sie für Modelltyp die Option Klassifizierung aus.

6. Übernehmen Sie für alle anderen Felder die Standardeinstellungen und klicken Sie auf Weiter.

7. Gehen Sie auf der Seite Jobeinstellungen so vor:

   1. Geben Sie eine eindeutige Job-ID ein, z. B. "linear_example".
   2. Geben Sie eine verfügbare Region ein, z. B. "us-central1".
   3. Wählen Sie "BASIC" als Skalierungsstufe aus.

   Klicken Sie auf Fertig, um den Trainingsjob zu senden.

gcloud

1. Richten Sie alle Argumente für den Trainingsjob und den Algorithmus ein, bevor Sie den Job mit gcloud senden:

   DATASET_NAME="census"
   ALGORITHM="linear"
   MODEL_TYPE="classification"
   MODEL_NAME="${DATASET_NAME}_${ALGORITHM}_${MODEL_TYPE}"
   
   # Give a unique name to your training job.
   DATE="$(date '+%Y%m%d_%H%M%S')"
   JOB_ID="${MODEL_NAME}_${DATE}"
   
   # Make sure you have access to this Cloud Storage bucket.
   JOB_DIR="gs://${BUCKET_NAME}/algorithms_training/${MODEL_NAME}/${DATE}"
   

2. Senden Sie den Job:

   gcloud ai-platform jobs submit training $JOB_ID \
     --master-image-uri=$IMAGE_URI --scale-tier=BASIC --job-dir=$JOB_DIR \
     -- \
     --preprocess --model_type=$MODEL_TYPE --batch_size=250 \
     --learning_rate=0.1 --max_steps=1000 --training_data_path=$TRAINING_DATA_PATH

3. Nachdem der Job erfolgreich gesendet wurde, können Sie die Logs mit folgenden gcloud-Befehlen aufrufen:

   gcloud ai-platform jobs describe $JOB_ID
   gcloud ai-platform jobs stream-logs $JOB_ID
   

Console

1. Auf der Seite Jobs sind alle Trainingsjobs aufgelistet. Klicken Sie auf den Namen des gerade gesendeten Trainingsjobs ("linear_example" oder den von Ihnen verwendeten Jobnamen).

2. Auf der Seite Jobdetails sehen Sie den allgemeinen Fortschritt Ihres Jobs. Sie können auch auf Logs ansehen klicken, um eine detailliertere Ansicht des Fortschritts aufzurufen.

3. Wenn die Jobausführung erfolgreich war, wird oben die Schaltfläche Modell bereitstellen eingeblendet. Klicken Sie auf Modell bereitstellen.

4. Wählen Sie "Als neues Modell bereitstellen" aus und geben Sie einen Modellnamen wie "linear_model" ein. Klicken Sie anschließend auf Bestätigen.

5. Geben Sie auf der Seite Version erstellen einen Versionsnamen wie "v1" ein und übernehmen Sie für alle anderen Felder die Standardeinstellungen. Klicken Sie auf Speichern.

6. Auf der Seite Modelldetails wird der Versionsname angezeigt. Es dauert einige Minuten, bis die Version erstellt ist. Wenn die Version fertig ist, wird neben dem Versionsnamen ein Häkchen angezeigt.

7. Klicken Sie auf den Versionsnamen ("v1"), um die Seite Versionsdetails aufzurufen. Im nächsten Schritt dieser Anleitung senden Sie eine Vorhersageanfrage.

gcloud

Der Trainingsprozess mit dem eingebundenen XGBoost-Algorithmus erzeugt die Datei deployment_config.yaml, die die Bereitstellung Ihres Modells in AI Platform Prediction für Vorhersagen erleichtert.

1. Kopieren Sie die Datei in Ihr lokales Verzeichnis und rufen Sie ihren Inhalt auf:

   gcloud storage cp $JOB_DIR/model/deployment_config.yaml .
   cat deployment_config.yaml
   

   Ihre deployment_config.yaml-Datei sollte in etwa so aussehen:

   deploymentUri: gs://YOUR_BUCKET_NAME/algorithms_training/census_linear_classification/20190227060114/model
   framework: TENSORFLOW
   labels:
     global_step: '1000'
     job_id: census_linear_classification_20190227060114
     accuracy: '86'
   runtimeVersion: '1.14'
   pythonVersion: '2.7'
   

2. Erstellen Sie das Modell und die Version in AI Platform Training:

   MODEL_NAME="${DATASET_NAME}_${ALGORITHM}_${MODEL_TYPE}"
   gcloud ai-platform models create $MODEL_NAME --regions $REGION
   
   # Create a model and a version using the file above.
   VERSION_NAME="v_${DATE}"
   
   gcloud ai-platform versions create $VERSION_NAME \
     --model $MODEL_NAME \
     --config deployment_config.yaml
   

   Das Erstellen der Version dauert einige Minuten.

Console

1. Auf der Seite Versionsdetails für die gerade erstellte Version "v1" können Sie eine Beispielvorhersageanfrage senden.

   Wählen Sie den Tab Test und Nutzung aus.

2. Kopieren Sie das folgende Beispiel in das Eingabefeld:

    {
      "instances": [
        {"csv_row": "44, Private, 160323, Some-college, 10, Married-civ-spouse, Machine-op-inspct, Husband, Black, Male, 7688, 0, 40, United-States", "key": "dummy-key"}
      ]
    }
   

3. Klicken Sie auf Test.

   Das Ergebnis der Beispielvorhersage enthält mehrere Felder. Die Liste classes enthält die vorhergesagte Klasse >50K':

   {
      "predictions": [
        {
          ...
          "classes": [
            ">50K"
          ],
          ...
        }
      ]
    }
   

   In diesem Fall prognostiziert das bereitgestellte Modell für die Person, deren Informationen Sie angegeben haben, ein Gehalt von mehr als 50.000 $. (Da das Training nicht deterministisch ist, kann Ihr Modell abweichen.)

gcloud

1. Schauen Sie sich die letzten Zeilen von metadata.json an:

   gcloud storage cat $JOB_DIR/artifacts/metadata.json | tail
   

   Das Objekt target_column.mapping zeigt, wie die vorhergesagten Klassen in den Vorhersageergebnissen angezeigt werden:

       "target_algorithm": "TensorFlow",
       "target_column": {
         "mapping": {
           "0": "<=50K",
           "1": ">50K"
         },
       "num_category": 2,
       "type": "classification"
     }
   }
   

2. Bereiten Sie die Vorhersageeingabe für eine Dateninstanz vor: Beachten Sie, dass Sie jede Dateninstanz als JSON-Objekt mit den folgenden Feldern angeben müssen:

   • csv_row: ein String mit einer durch Kommas getrennten Reihe von Merkmalen im gleichen Format wie die Instanzen, die während des Trainings verwendet werden.

   • key: eine String-ID, die für jede Instanz eindeutig ist. Diese dient als Instanzschlüssel, der als Teil der Vorhersageausgabe angezeigt wird. Damit können Sie jede Vorhersage der entsprechenden Eingabeinstanz zuordnen.

     Dies ist für Batchvorhersagen erforderlich, da eine Batchvorhersage in einer zufälligen Reihenfolge die Eingabe verarbeitet und die Ausgabe speichert.

     Bei Onlinevorhersagen, bei denen die Ausgabe in der gleichen Reihenfolge wie in der bereitgestellten Eingabe erfolgt, sind Instanzschlüssel weniger wichtig. In diesem Beispiel wird nur eine Vorhersage für eine einzelne Instanz ausgeführt, sodass der Wert des Instanzschlüssels keine Rolle spielt.

   Zum Senden einer Onlinevorhersageanfrage mit Google Cloud CLI, wie in diesem Beispiel, schreiben Sie jede Instanz in eine eigene Zeile in einer durch Zeilenumbruch getrennten JSON-Datei.

   Führen Sie die folgenden Befehle in Ihrem Terminal aus, um eine Eingabe für eine einzelne Instanz zu erstellen, die Sie an AI Platform Prediction senden können:

    # A sample record from census dataset. Ground truth is >50K
   RAW_DATA_POINT='44, Private, 160323, Some-college, 10, Married-civ-spouse, Machine-op-inspct, Husband, Black, Male, 7688, 0, 40, United-States'
   
    # Create a prediction request file
   echo "{\"csv_row\": \"$RAW_DATA_POINT\", \"key\": \"dummy-key\"}" > sample_input.json
   
   # Check the prediction request file.
   cat sample_input.json
   

3. Senden Sie die Vorhersageanfrage:

   gcloud ai-platform predict \
     --model $MODEL_NAME \
     --version $VERSION_NAME \
     --json-instances sample_input.json \
     --format "value(predictions[0].classes[0])" \
     --signature-name "predict"
   

   Diese Vorhersageausgabe wird so gefiltert, dass nur die vorhergesagte Klasse angezeigt wird:

   >50K
   

Höchstwahrscheinlich ist die Vorhersageausgabe >50K. Das bereitgestellte Modell prognostiziert für die Person, deren Informationen Sie angegeben haben, ein Gehalt von mehr als 50.000 $. (Da das Training nicht deterministisch ist, kann Ihr Modell abweichen.)