Mit Cloud Storage arbeiten

AI Platform Prediction liest Daten aus Cloud Storage-Speicherorten, für die Sie Ihrem AI Platform Prediction-Projekt Zugriff gewährt haben. Diese Seite enthält eine Kurzanleitung zur Verwendung von Cloud Storage mit AI Platform Prediction.

Übersicht

Bei folgenden Aspekten der AI Platform Prediction-Dienste wird die Verwendung von Cloud Storage empfohlen oder ist sogar erforderlich:

Onlinevorhersage

Batchvorhersage

  • Speicherung Ihrer Eingabedateien für die Batchvorhersage.
  • Speicherung Ihrer Batchvorhersageausgabe.
  • Speicherung Ihres Modells, wenn Sie die Batchvorhersage verwenden, ohne das Modell zuerst in AI Platform Prediction bereitzustellen.

Hinweise zu Regionen

Wenn Sie einen Cloud Storage-Bucket für AI Platform Prediction erstellen, sollten Sie Folgendes tun:

  • Weisen Sie diesen Bucket einer bestimmten Berechnungsregion zu und verwenden Sie keinen Mehrfachregionenwert.
  • Verwenden Sie dieselbe Region, in der Sie Ihre Trainingsjobs ausführen.

Weitere Informationen zu den verfügbaren AI Platform Prediction-Regionen

Cloud Storage-Buckets einrichten

In diesem Abschnitt erfahren Sie, wie Sie einen neuen Bucket erstellen. Sie können auch einen vorhandenen Bucket verwenden. Dieser muss sich aber in der Region befinden, in der Sie AI Platform-Jobs ausführen. Hinzu kommt: Wenn der Bucket nicht zu dem Projekt gehört, das Sie für die Ausführung von AI Platform Prediction verwenden, müssen Sie den AI Platform Prediction-Dienstkonten explizit Zugriff gewähren.

  1. Geben Sie einen Namen für den neuen Bucket an. Der Name muss sich von allen anderen Bucket-Namen in Cloud Storage unterscheiden:

    BUCKET_NAME="YOUR_BUCKET_NAME"

    Beispielsweise verwenden Sie den Projektnamen mit angehängtem -aiplatform:

    PROJECT_ID=$(gcloud config list project --format "value(core.project)")
BUCKET_NAME=${PROJECT_ID}-aiplatform

  2. Prüfen Sie den erstellten Bucketnamen.

    echo $BUCKET_NAME

  3. Wählen Sie eine Region für den Bucket aus und legen Sie eine Umgebungsvariable REGION fest.

    Verwenden Sie die Region, in der Sie auch AI Platform Prediction-Jobs ausführen möchten. Hier finden Sie die verfügbaren Regionen für AI Platform Prediction-Dienste.

    Mit dem folgenden Code wird beispielsweise REGION erstellt und dafür us-central1 festgelegt:

    REGION=us-central1

  4. Erstellen Sie den neuen Bucket:

    gcloud storage buckets create gs://$BUCKET_NAME --location=$REGION

Modelle in Buckets organisieren

Organisieren Sie die Ordnerstruktur in Ihrem Bucket so, dass viele Iterationen Ihres Modells möglich sind.

  • Platzieren Sie innerhalb des Buckets jedes gespeicherte Modell in einem separaten Verzeichnis.
  • Verwenden Sie Zeitstempel, um die Verzeichnisse in Ihrem Bucket zu benennen.

Sie können Ihr erstes Modell beispielsweise so wie in gs://your-bucket/your-model-DATE1/your-saved-model-file strukturieren. Verwenden Sie einen aktualisierten Zeitstempel (gs://your-bucket/your-model-DATE2/your-saved-model-file und so weiter), um die Verzeichnisse für jede nachfolgende Iteration des Modells zu benennen.

Während der Vorhersage auf Cloud Storage zugreifen

Wenn Sie eine benutzerdefinierte Vorhersageroutine (Beta) oder eine scikit-learn-Pipeline mit benutzerdefiniertem Code (Beta) bereitstellen, kann die Modellversion während der Verarbeitung von Vorhersagen aus jedem Cloud Storage-Bucket im selben Projekt lesen.

Verwenden Sie in Ihrem benutzerdefinierten Vorhersagecode ein Python-Modul, das aus Cloud Storage lesen kann, z. B. den Python-Client für Google Cloud Storage, das Modul tf.io.gfile.GFile von TensorFlow oder pandas ab Version 0.24.0. Die Authentifizierung erfolgt über AI Platform Prediction.

Sie können auch ein Dienstkonto angeben, wenn Sie Ihre benutzerdefinierte Vorhersageroutine bereitstellen. Damit können Sie anpassen, auf welche Cloud Storage-Ressourcen die Bereitstellung zugreifen kann.

Cloud Storage-Bucket aus einem anderen Projekt verwenden

In diesem Abschnitt wird beschrieben, wie Cloud Storage-Buckets außerhalb Ihres Projekts konfiguriert werden, sodass AI Platform Prediction auf sie zugreifen kann.

Wenn Sie Ihren Cloud Storage-Bucket im selben Projekt einrichten, in dem Sie AI Platform Prediction verwenden, haben Ihre AI Platform Prediction-Dienstkonten bereits die erforderlichen Berechtigungen für den Zugriff auf den Cloud Storage-Bucket.

Diese Anleitungen beziehen sich auf folgende Fälle:

  • Sie können keinen Bucket aus Ihrem Projekt nutzen, z. B. wenn ein großes Dataset von mehreren Projekten verwendet wird.
  • Wenn Sie mehrere Buckets mit AI Platform Prediction verwenden, müssen Sie jedem einzelnen Zugriff auf die AI Platform Prediction-Dienstkonten gewähren.

Schritt 1: Erforderliche Informationen aus Ihrem Cloudprojekt abrufen

Console

  1. Öffnen Sie in der Google Cloud Console die Seite IAM.

    Seite "IAM" öffnen

  2. Die Seite „IAM“ zeigt eine Liste aller Hauptkonten an, die Zugriff auf Ihr Projekt haben, sowie die zugehörigen Rollen. Ihr AI Platform Prediction-Projekt hat mehrere Dienstkonten. Suchen Sie in der Liste das Dienstkonto mit der Rolle Cloud ML-Dienst-Agent und kopieren Sie die entsprechende Dienstkonto-ID, die in etwa folgendermaßen aussieht:

    „service-111111111111@cloud-ml.google.com.iam.gserviceaccount.com“

    Sie müssen diese Dienstkonto-ID bei den nächsten Schritten in eine andere Seite der Google Cloud Console einfügen.

Befehlszeile

In den in diesem Abschnitt beschriebenen Schritten erhalten Sie Informationen zu Ihrem Google Cloud-Projekt, die Sie benötigen, um die Zugriffssteuerung für das AI Platform Prediction-Dienstkonto Ihres Projekts zu ändern. Sie müssen die Werte für eine spätere Verwendung in Umgebungsvariablen speichern.

  1. Rufen Sie Ihre Projekt-ID ab, indem Sie die Google Cloud CLI verwenden und Ihr Projekt auswählen:

    PROJECT_ID=$(gcloud config list project --format "value(core.project)")

  2. Rufen Sie mithilfe von gcloud das Zugriffstoken für Ihr Projekt ab:

    AUTH_TOKEN=$(gcloud auth print-access-token)

  3. Rufen Sie die Dienstkontoinformationen ab, indem Sie vom REST-Dienst die Projektkonfiguration anfordern:

    SVC_ACCOUNT=$(curl -X GET -H "Content-Type: application/json" \
    -H "Authorization: Bearer $AUTH_TOKEN" \
    https://ml.googleapis.com/v1/projects/${PROJECT_ID}:getConfig \
    | python3 -c "import json; import sys; response = json.load(sys.stdin); \
    print(response['serviceAccount'])")

Schritt 2: Zugriff auf Ihren Cloud Storage-Bucket konfigurieren

Console

  1. Öffnen Sie in der Google Cloud Console die Seite „Speicher”.

    Seite "Storage" öffnen

  2. Wählen Sie den Cloud Storage-Bucket aus, den Sie zum Bereitstellen von Modellen verwenden, indem Sie das Kästchen links neben dem Bucket-Namen anklicken.

  3. Klicken Sie oben rechts auf Infofeld anzeigen, um den Tab "Berechtigungen" aufzurufen.

  4. Fügen Sie in das Feld Hauptkonten hinzufügen die Dienstkonto-ID ein. Wählen Sie rechts neben diesem Feld die gewünschte(n) Rolle(n) aus, z. B. "Leser alter Storage-Buckets".

    Wenn noch nicht klar ist, welche Rollen verwendet werden sollen, können Sie mehrere Rollen auswählen, damit sie unter dem Feld Hauptkonten hinzufügen angezeigt werden. Dabei enthält jede Rolle eine kurze Beschreibung ihrer Berechtigungen.

  5. Klicken Sie rechts neben dem Feld Hauptkonten hinzufügen auf Hinzufügen, um dem Dienstkonto die gewünschte(n) Rolle(n) zuzuweisen.

Befehlszeile

Nachdem Ihnen jetzt die Projekt- und Dienstkontoinformationen vorliegen, müssen Sie die Zugriffsberechtigungen für den Cloud Storage-Bucket aktualisieren. In den folgenden Schritten werden die gleichen Variablennamen wie im vorherigen Abschnitt verwendet.

  1. Geben Sie den Namen Ihres Buckets in einer Umgebungsvariable namens BUCKET_NAME an:

    BUCKET_NAME="your_bucket_name"

  2. Gewähren Sie dem Dienstkonto Lesezugriff auf Objekte in Ihrem Cloud Storage-Bucket:

    gcloud storage buckets add-iam-policy-binding gs://$BUCKET_NAME --member=user:$SVC_ACCOUNT --role=roles/storage.legacyObjectReader

  3. Weisen Sie einen Schreibzugriff zu:

    gcloud storage buckets add-iam-policy-binding gs://$BUCKET_NAME --member=user:$SVC_ACCOUNT --role=roles/storage.legacyObjectWriter

Informationen zum Auswählen einer Rolle für Ihr AI Platform Prediction-Dienstkonto finden Sie unter Cloud Storage-IAM-Rollen. Allgemeine Informationen zum Aktualisieren von IAM-Rollen in Cloud Storage erhalten Sie unter Dienstkonto Zugriff auf eine Ressource gewähren.

Nächste Schritte