Nextflow ausführen

Console

1. Rufen Sie in der Google Cloud Console die Seite Cloud Storage-Browser auf:

   Browser aufrufen

2. Klicken Sie auf Bucket erstellen.

3. Geben Sie auf der Seite Bucket erstellen die Bucket-Informationen ein.

4. Klicken Sie auf Erstellen.

gcloud

1. Öffnen Sie Cloud Shell:

   Zu Cloud Shell

2. Führen Sie den Befehl gcloud storage buckets create aus:

   gcloud storage buckets create gs://BUCKET_NAME
   

   Ersetzen Sie BUCKET_NAME durch den Namen, den Sie Ihrem Bucket geben möchten. Beachten Sie dabei die Benennungsanforderungen. Beispiel: my-bucket

   Wenn die Anfrage erfolgreich ist, gibt der Befehl die folgende Meldung zurück:

   Creating gs://BUCKET_NAME/...
   

Console

So erstellen Sie ein Dienstkonto mit der Google Cloud Console:

1. Rufen Sie in der Google Cloud Console die Seite Dienstkonten auf.

   Zur Seite "Dienstkonten"

2. Klicken Sie auf Dienstkonto erstellen.

3. Geben Sie im Feld Name des Dienstkontos den Wert nextflow-service-account ein und klicken Sie auf Erstellen.

4. Fügen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen aus der Drop-down-Liste Rolle auswählen hinzu:

   • Cloud Life Sciences-Workflows-Ausführer
   • Dienstkontonutzer
   • Service Usage-Nutzer
   • Storage-Objekt-Administrator

5. Klicken Sie auf Weiter und dann auf Fertig.

6. Suchen Sie auf der Seite Dienstkonten das von Ihnen erstellte Dienstkonto. Klicken Sie in der Zeile des Dienstkontos auf die Schaltfläche Mehr more_vert und anschließend auf Schlüssel verwalten.

7. Klicken Sie auf der Seite Schlüssel auf Schlüssel hinzufügen und dann auf Neuen Schlüssel erstellen.

8. Wählen Sie als Schlüsseltyp JSON aus und klicken Sie auf Erstellen.

   Eine JSON-Datei mit Ihrem Schlüssel wird auf Ihren Computer heruntergeladen.

gcloud

Führen Sie die folgenden Schritte mit Cloud Shell aus:

1. Cloud Shell öffnen

   Zu Cloud Shell

2. Legen Sie die Variablen fest, die beim Erstellen des Dienstkontos verwendet werden sollen. Ersetzen Sie dabei PROJECT_ID durch Ihre Projekt-ID.

   export PROJECT=PROJECT_ID
   export SERVICE_ACCOUNT_NAME=nextflow-service-account
   export SERVICE_ACCOUNT_ADDRESS=${SERVICE_ACCOUNT_NAME}@${PROJECT}.iam.gserviceaccount.com

3. Erstellen Sie das Dienstkonto.

   gcloud iam service-accounts create ${SERVICE_ACCOUNT_NAME}

4. Das Dienstkonto muss die folgenden IAM-Rollen enthalten:

   • roles/lifesciences.workflowsRunner
   • roles/iam.serviceAccountUser
   • roles/serviceusage.serviceUsageConsumer
   • roles/storage.objectAdmin

   Weisen Sie diese Rollen durch Ausführen folgender Befehle in Cloud Shell zu:

   gcloud projects add-iam-policy-binding ${PROJECT} \
       --member serviceAccount:${SERVICE_ACCOUNT_ADDRESS} \
       --role roles/lifesciences.workflowsRunner
   
   gcloud projects add-iam-policy-binding ${PROJECT} \
       --member serviceAccount:${SERVICE_ACCOUNT_ADDRESS} \
       --role roles/iam.serviceAccountUser
   
   gcloud projects add-iam-policy-binding ${PROJECT} \
       --member serviceAccount:${SERVICE_ACCOUNT_ADDRESS} \
       --role roles/serviceusage.serviceUsageConsumer
   
   gcloud projects add-iam-policy-binding ${PROJECT} \
       --member serviceAccount:${SERVICE_ACCOUNT_ADDRESS} \
       --role roles/storage.objectAdmin

Console

1. Cloud Shell öffnen

   Zu Cloud Shell

2. Wählen Sie im Cloud Shell-Menü Mehrmore_vert die Option Datei hochladen und dann die JSON-Schlüsseldatei aus, die Sie erstellt haben. Die Datei wird in das Basisverzeichnis der Cloud Shell-Instanz hochgeladen.

3. Bestätigen Sie, dass sich die hochgeladene Datei in Ihrem aktuellen Verzeichnis befindet, und bestätigen Sie den Dateinamen. Führen Sie dafür den folgenden Befehl aus:

   ls

4. Legen Sie die Anmeldedaten fest und ersetzen Sie dabei KEY_FILENAME.json durch den Namen Ihrer Schlüsseldatei.

   export GOOGLE_APPLICATION_CREDENTIALS=${PWD}/KEY_FILENAME.json

gcloud

Führen Sie die folgenden Schritte mit Cloud Shell aus:

1. Cloud Shell öffnen

   Zu Cloud Shell

2. Wählen Sie im Cloud Shell-Menü Mehrmore_vert die Option Datei hochladen und dann die JSON-Schlüsseldatei aus, die Sie erstellt haben. Die Datei wird in das Basisverzeichnis der Cloud Shell-Instanz hochgeladen.

3. Bestätigen Sie, dass sich die hochgeladene Datei in Ihrem aktuellen Verzeichnis befindet, und bestätigen Sie den Dateinamen. Führen Sie dafür den folgenden Befehl aus:

   ls

4. Legen Sie die Datei mit dem privaten Schlüssel auf die Umgebungsvariable GOOGLE_APPLICATION_CREDENTIALS fest:

   export SERVICE_ACCOUNT_KEY=${SERVICE_ACCOUNT_NAME}-private-key.json
   gcloud iam service-accounts keys create \
     --iam-account=${SERVICE_ACCOUNT_ADDRESS} \
     --key-file-type=json ${SERVICE_ACCOUNT_KEY}
   export SERVICE_ACCOUNT_KEY_FILE=${PWD}/${SERVICE_ACCOUNT_KEY}
   export GOOGLE_APPLICATION_CREDENTIALS=${PWD}/${SERVICE_ACCOUNT_KEY}

Console

1. Öffnen Sie in der Cloud Storage-Konsole die Seite Storage-Browser:

   Zum Cloud Storage Browser

2. Rufen Sie BUCKET auf und gehen Sie zum WORK_DIR, das in der Datei nextflow.config angegeben ist.

3. Für jede Aufgabe, die in der Pipeline ausgeführt wurde, gibt es einen Ordner.

4. Der Ordner enthält die ausgeführten Befehle, die Ausgabedateien und die temporären Dateien, die während des Workflows verwendet wurden.

gcloud

1. Öffnen Sie Cloud Shell, um die Ausgabedateien in Cloud Shell anzuzeigen:

   Zu Cloud Shell

2. Führen Sie den folgenden Befehl aus, um die Ausgaben in Ihrem Cloud Storage-Bucket aufzulisten. Aktualisieren Sie BUCKET und WORK_DIR in die in der Datei nextflow.config angegebenen Variablen.

   gcloud storage ls gs://BUCKET/WORK_DIR

3. In der Ausgabe wird für jede ausgeführte Aufgabe ein Ordner angezeigt. Listen Sie auch den Inhalt der nachfolgenden Unterverzeichnisse auf, damit Sie alle von der Pipeline erstellten Dateien sehen können. Aktualisieren Sie TASK_FOLDER, einen der Aufgabenordner, die aus dem vorherigen Befehl aufgelistet wurden.

   gcloud storage ls gs://BUCKET/WORK_DIR/FOLDER/TASK_FOLDER