Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Verbindung mit Cloud Storage-Buckets herstellen
Auf dieser Seite wird Cloud Storage als eine Option zum Speichern Ihrer Daten für das maschinelle Lernen und von Trainingseingaben vorgestellt. Außerdem wird beschrieben, wie Sie Ihrer Cloud TPU Zugriff auf die Datenobjekte in Cloud Storage gewähren.
Hinweise
Sie benötigen ein Cloud TPU-Dienstkonto, um auf einen Cloud Storage-Bucket zugreifen zu können.
Erstellen Sie ein Cloud TPU-Dienstkonto für Ihr Projekt.
Folgen Sie der Anleitung in den Cloud TPU-Schnellstartanleitungen oder im Hilfeartikel TPUs verwalten, um Ihr Google Cloud -Projekt zu konfigurieren und Ihre Cloud TPU-VM und TPU-Ressourcen zu erstellen.
Daten in Cloud Storage schreiben
Console
Rufen Sie in der Console die Seite „Cloud Storage“ auf. Google Cloud
Erstellen Sie durch die Angabe der folgenden Optionen einen neuen Bucket:
Eindeutiger Name Ihrer Wahl
Standard-Speicherklasse: Standard
Speicherort: Die Region, in der Sie die Cloud TPU erstellt haben. Weitere Informationen zu Regionen und zur TPU-Verfügbarkeit finden Sie unter TPU-Regionen und ‑Zonen.
Befehlszeile
Verwenden Sie den Befehl gcloud storage buckets create, um einen Cloud Storage-Bucket zu erstellen:
region ist die Region, in der Sie die Cloud TPU erstellt haben.
Weitere Informationen zu Regionen und zur TPU-Verfügbarkeit finden Sie unter TPU-Regionen und ‑Zonen.
bucket-name ist der Name des Buckets, den Sie erstellen möchten.
Verwenden Sie den Befehl gcloud storage cp, um Dateien in den Cloud Storage-Bucket zu schreiben:
gcloudstoragecp-rlocal-data-dirgs://bucket-name
Dabei ist local-data-dir ein lokaler Pfad zu Ihren Daten.
Beispiel: $HOME/your-data
Cloud TPU Zugriff auf Cloud Storage gewähren
Ihre Cloud TPU benötigt Lese- und Schreibzugriff auf Ihre Cloud Storage-Objekte. Dazu müssen Sie den erforderlichen Zugriff auf das Cloud TPU-Dienstkonto gewähren, das von der Cloud TPU verwendet wird.
In den folgenden Abschnitten erfahren Sie, wie Sie das Cloud TPU-Dienstkonto suchen und den erforderlichen Zugriff gewähren.
Wählen Sie den Bucket aus, dessen ACL Sie ändern möchten.
Wählen Sie den Tab Berechtigungen aus.
Wählen Sie Zugriff gewähren aus, um eine neue Berechtigung hinzuzufügen, und geben Sie den vollständigen Dienstkontonamen in das Bearbeitungsfeld Neue Hauptkonten ein.
Wenn Sie Daten aus diesem Bucket lesen, müssen Sie das TPU-Dienstkonto zum Lesen von Daten aus der Ressource autorisieren. Gewähren Sie dem Dienstkonto dazu die Rolle Storage Legacy > Storage Legacy Bucket Reader.
Wenn Sie Daten in diesen Bucket schreiben, müssen Sie das TPU-Dienstkonto zum Schreiben von Daten in die Ressource autorisieren. Gewähren Sie dem Dienstkonto dazu die Rolle Storage Legacy > Storage Legacy Bucket Writer.
Befehlszeile
Wenn Sie Daten aus diesem Bucket lesen, müssen Sie dem Cloud TPU-Dienstkonto die Leseberechtigung erteilen:
IAM-Berechtigungen für Cloud TPU verwenden (Alternative)
Wenn Sie umfassendere Berechtigungen als den Zugriff auf die weiße Liste für jeden Bucket gewähren möchten, können Sie dem Cloud TPU-Dienstkonto die Rolle des Identity Access Management (IAM) Storage-Administrators zuweisen.
Klicken Sie auf die Schaltfläche Zugriff gewähren, um dem Projekt Hauptkonten hinzuzufügen.
Geben Sie die Namen des Cloud TPU-Dienstkontos in das Textfeld Hauptkonten ein.
Klicken Sie auf die Drop-down-Liste Rollen.
Aktivieren Sie die folgenden Rollen:
Projekt > Betrachter
Storage > Storage-Administrator
Cloud Storage FUSE
Mit Cloud Storage FUSE können Sie Cloud Storage-Buckets als lokale Dateisysteme bereitstellen und darauf zugreifen. So können Anwendungen Objekte in Ihrem Bucket mit der Standardsemantik des Dateisystems lesen und schreiben.
In der Cloud Storage FUSE-Dokumentation finden Sie weitere Informationen zur Funktionsweise von Cloud Storage FUSE und eine Beschreibung der Zuordnung von Cloud Storage FUSE-Vorgängen zu Cloud Storage-Vorgängen. Weitere Informationen zur Verwendung von Cloud Storage FUSE, z. B. zur Installation der gcsfuse-Befehlszeile und zum Bereitstellen von Buckets, finden Sie auf GitHub.
Bereinigen
Trennen Sie die Verbindung zur Cloud TPU, sofern noch nicht geschehen:
(vm)$exit
Löschen Sie die Cloud TPU in Cloud Shell:
gcloudcomputetpustpu-vmdeletetpu-name--zone=zone
Prüfen Sie, ob die VM gelöscht wurde. Führen Sie dazu gcloud compute tpus tpu-vm list aus. Der Löschvorgang kann einige Minuten dauern.
gcloudcomputetpustpu-vmlist--zone=zone
Eine Antwort wie die folgende gibt an, dass Ihre Instanzen erfolgreich gelöscht wurden.
Listed0items
Führen Sie den folgenden Befehl aus, um den Cloud Storage-Bucket und seinen Inhalt zu löschen. Ersetzen Sie dabei bucket-name durch den Namen des von Ihnen erstellten Buckets:
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-08-18 (UTC)."],[],[],null,["# Connecting to Cloud Storage Buckets\n===================================\n\nThis page introduces [Cloud Storage](/storage/docs) as an option for storing your\nmachine learning data and training output, and describes how to give your\nCloud TPU access to the data objects on Cloud Storage.\n\nBefore you begin\n----------------\n\nYou need a Cloud TPU [service account](/iam/docs/service-accounts)\nin order to access a Cloud Storage\nbucket.\n| **Note:** Once you set up a service account for your project, it stays set while the project is active; you don't have to set up the service account every time you run a training workload in the same project.\n\n1. Create a Cloud TPU service account for your project.\n\n ```bash\n gcloud beta services identity create --service tpu.googleapis.com --project project-id\n ```\n\n The command returns a Cloud TPU service account with following format: \n\n ```\n service-project-number@cloud-tpu.iam.gserviceaccount.com\n ```\n | **Important:** This command creates a [service agent](/iam/docs/service-agents), a special type of Google-managed service account which is not listed in your Service accounts page in the Google Cloud console.\n2. Follow the instructions found in either the\n [Cloud TPU quickstart guides](/tpu/docs/quickstart) or\n [Manage TPUs](/tpu/docs/managing-tpus-tpu-vm)\n to configure your Google Cloud project and create your Cloud TPU\n VM and TPU resources.\n\nWrite data to Cloud Storage\n---------------------------\n\n**Note:** Set up the Cloud Storage bucket in the same location (region) that you set up the Cloud TPU. See [Create buckets](/storage/docs/creating-buckets) for all options available for managing storage buckets. \n\n### Console\n\n1. Go to the Cloud Storage page on the Google Cloud console.\n\n [Go to the Cloud Storage page](https://console.cloud.google.com/storage/browser)\n2. Create a new bucket, specifying the following options:\n\n - A unique name of your choosing.\n - Default storage class: `Standard`\n - Location: The region where you created the Cloud TPU. For more information about regions and TPU availability, see [TPU regions and zones](/tpu/docs/regions-zones).\n\n### CLI\n\n1. Use the `gcloud storage buckets create` command to create a Cloud Storage bucket:\n\n ```bash\n gcloud storage buckets create gs://bucket-name --location region\n ```\n\n where:\n - \u003cvar translate=\"no\"\u003eregion\u003c/var\u003e is the region where you created the Cloud TPU.\n For more information about regions and TPU availability, see\n [TPU regions and zones](/tpu/docs/regions-zones).\n\n - \u003cvar translate=\"no\"\u003ebucket-name\u003c/var\u003e is the name of the bucket you want to create.\n\n2. Use the `gcloud storage cp` command to write files to the Cloud Storage bucket:\n\n ```bash\n gcloud storage cp -r local-data-dir gs://bucket-name\n ```\n\n where \u003cvar translate=\"no\"\u003elocal-data-dir\u003c/var\u003e is a local path to your data.\n For example:`$HOME/your-data`\n\nGive your Cloud TPU access to Cloud Storage\n-------------------------------------------\n\nYou need to give your Cloud TPU read and write access to your\nCloud Storage objects. To do that, you must grant the required access to\nthe Cloud TPU service account used by the Cloud TPU.\nThe following sections show how to find the Cloud TPU service account and\ngrant the necessary access.\n\n### Authorize the Cloud TPU service account\n\nThe recommended way to authorize the Cloud TPU service account is by using\n[fine-grained access control lists (ACLs)](#fine-grained-acl). You can also grant\nbroader permissions using [IAM permissions](#iam-permissions).\n\n#### Using fine-grained ACLs for Cloud TPU (Recommended)\n\nIf you store training data on Cloud Storage, the Cloud TPU\nservice account needs read and write permission on the bucket. \n\n### Console\n\n1. Go to the Cloud Storage browser page to view the buckets you own.\n\n [Go to the Cloud Storage browser](https://console.cloud.google.com/storage/browser)\n\n \u003cbr /\u003e\n\n2. Select the bucket whose ACL you want to modify.\n\n3. Select the **Permissions** tab.\n\n4. Select **Grant access** to add a new permission and type the complete service account\n name in the **New principals** edit box.\n\n5. If you are *reading* from this bucket, you must authorize the TPU Service\n Account to read from the resource. Do this by granting the Service\n Account the `Storage Legacy \u003e Storage Legacy Bucket Reader` role.\n\n6. If you are *writing* to this bucket, you must authorize the TPU Service\n Account to write to the resource. Do this by granting the Service\n Account the `Storage Legacy \u003e Storage Legacy Bucket Writer` role.\n\n### CLI\n\n1. If you are *reading* from this bucket, grant read permission for\n the Cloud TPU service account:\n\n \u003cbr /\u003e\n\n ```bash\n gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectViewer\n \n ```\n\n \u003cbr /\u003e\n\n2. If you are *writing* to this bucket, grant write permission for\n the Cloud TPU service account:\n\n \u003cbr /\u003e\n\n ```bash\n gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectCreator\n ```\n\n \u003cbr /\u003e\n\n#### Using IAM permissions for Cloud TPU (Alternative)\n\nIf you want to grant broader permissions instead of granting access to each\nbucket explicitly, you can grant the Identity Access Management (IAM) Storage\nAdmin role to the Cloud TPU service account.\n\n1. [Go to IAM](https://console.cloud.google.com/iam-admin/iam)\n\n2. Click the **Grant access** button to add principals to the project.\n\n3. Enter the names of the Cloud TPU service account in the\n **Principals** text box.\n\n4. Click the **Roles** dropdown list.\n\n5. Enable the following roles:\n\n - **Project \\\u003e Viewer**\n\n - **Storage \\\u003e Storage Admin**\n\n### Cloud Storage FUSE\n\nCloud Storage FUSE allows you to\nmount and access Cloud Storage buckets as local file systems. This allows\napplications to read and write objects in your bucket using standard\nfile system semantics.\n\nSee the [Cloud Storage FUSE documentation](/storage/docs/gcs-fuse)\nfor details about how Cloud Storage FUSE works and a description of how\nCloud Storage FUSE operations map to Cloud Storage operations. You can find\nadditional information about how to use Cloud Storage FUSE, such as how to\ninstall the gcsfuse CLI and mounting buckets on\n[GitHub.](https://github.com/GoogleCloudPlatform/gcsfuse/tree/master/docs)\n\nClean up\n--------\n\n1. Disconnect from the Cloud TPU, if you have not already done so:\n\n ```bash\n (vm)$ exit\n ```\n2. In your Cloud Shell, delete the Cloud TPU:\n\n ```bash\n gcloud compute tpus tpu-vm delete tpu-name --zone=zone\n ```\n3. Verify the VM has been deleted by running `gcloud compute tpus tpu-vm list`. The\n deletion might take several minutes.\n\n ```bash\n gcloud compute tpus tpu-vm list --zone=zone\n ```\n\n A response like the following indicates your instances have been\n successfully deleted. \n\n Listed 0 items\n\n4. Run the following command to delete the Cloud Storage bucket and its\n contents, replacing \u003cvar translate=\"no\"\u003ebucket-name\u003c/var\u003e with the name of the bucket you\n created:\n\n ```bash\n gcloud storage rm --recursive gs://bucket-name\n ```\n\nWhat's next\n-----------\n\n- For more information about creating Cloud Storage buckets and writing data to those buckets, see the [Cloud Storage create buckets\n documentation](/storage/docs/creating-buckets).\n- For more information about service accounts, see the [authentication overview](/docs/authentication)."]]
