Benutzerdefinierte Einschränkungen mit Pipelines verwenden

Auf dieser Seite erfahren Sie, wie Sie benutzerdefinierte Beschränkungen des Organisationsrichtliniendienstes verwenden, um bestimmte Vorgänge für die folgenden Google Cloud -Ressourcen einzuschränken:

  • aiplatform.googleapis.com/PipelineJob

Weitere Informationen zu Organisationsrichtlinien finden Sie unter Benutzerdefinierte Organisationsrichtlinien.

Informationen zu Organisationsrichtlinien und Beschränkungen

Mit dem Google Cloud -Organisationsrichtliniendienst können Sie die Ressourcen Ihrer Organisation zentral und programmatisch steuern. Als Administrator für Organisationsrichtlinien können Sie eine Organisationsrichtlinie definieren, also eine Reihe von Beschränkungen, die fürGoogle Cloud -Ressourcen und nachfolgende Elemente dieser Ressourcen in der Google Cloud -Ressourcenhierarchie gelten. Sie können Organisationsrichtlinien auf Organisations-, Ordner- oder Projektebene erzwingen.

Die Organisationsrichtlinie bietet integrierte verwaltete Beschränkungen für verschiedene Google Cloud -Dienste. Wenn Sie jedoch eine detailliertere, anpassbare Steuerung der spezifischen Felder wünschen, die in Ihren Organisationsrichtlinien beschränkt werden, können Sie auch benutzerdefinierte Beschränkungen erstellen und diese benutzerdefinierten Beschränkungen in einer Organisationsrichtlinie verwenden.

Übernahme von Richtlinien

Standardmäßig werden Organisationsrichtlinien von den Nachfolgerelementen der Ressourcen übernommen, für die Sie die Richtlinie erzwingen. Wenn Sie beispielsweise eine Richtlinie für einen Ordner erzwingen, erzwingt Google Cloud die Richtlinie für alle Projekte in dem Ordner. Weitere Informationen zu diesem Verhalten und zu dessen Änderung finden Sie unter Regeln für die Bewertung der Hierarchie.

Vorteile

Mit einer benutzerdefinierten Organisationsrichtlinie können Sie bestimmte Vorgänge für Vertex AI Pipelines-Ressourcen zulassen oder ablehnen. Wenn beispielsweise der zum Erstellen einer PipelineJob-Ressource angegebene Vorlagen-URI die benutzerdefinierte Beschränkungsvalidierung, die durch Ihre Organisationsrichtlinie festgelegt wurde, nicht erfüllt, schlägt die Anfrage fehl und dem Aufrufer wird ein Fehler zurückgegeben.

Beschränkungen

Benutzerdefinierte Organisationsrichtlinien werden nicht für Pipeline-Ausführungen erzwungen, die mit der Scheduler API geplant wurden.

Hinweise

1. Projekt einrichten
  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI, Compute Engine, and Cloud Storage APIs.

    Enable the APIs

  5. Install the Google Cloud CLI.

  6. Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

  7. Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

    gcloud init
  8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  9. Verify that billing is enabled for your Google Cloud project.

  10. Enable the Vertex AI, Compute Engine, and Cloud Storage APIs.

    Enable the APIs

  11. Install the Google Cloud CLI.

  12. Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

  13. Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

    gcloud init
  14. Rufen Sie die ID Ihrer Organisationsressource ab.
  15. Definieren und kompilieren Sie eine Pipeline, mit der Sie die benutzerdefinierte Beschränkung testen können.
  16. Erforderliche Rollen

    Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwaltung von Organisationsrichtlinien benötigen:

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

    Benutzerdefinierte Beschränkung erstellen

    Eine benutzerdefinierte Beschränkung wird in einer YAML-Datei durch die Ressourcen, Methoden, Bedingungen und Aktionen definiert, die von dem Dienst unterstützt werden, für den Sie die Organisationsrichtlinie erzwingen. Bedingungen für Ihre benutzerdefinierten Beschränkungen werden mithilfe der Common Expression Language (CEL) definiert. Weitere Informationen zum Erstellen von Bedingungen in benutzerdefinierten Beschränkungen mit CEL finden Sie im Abschnitt CEL unter Benutzerdefinierte Beschränkungen erstellen und verwalten.

    Zum Erstellen einer benutzerdefinierten Beschränkung erstellen Sie eine YAML-Datei im folgenden Format:

    name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
    resourceTypes:
    - RESOURCE_NAME
    methodTypes:
    - CREATE
    condition: "CONDITION"
    actionType: ACTION
    displayName: DISPLAY_NAME
    description: DESCRIPTION
    

    Ersetzen Sie Folgendes:

    • ORGANIZATION_ID: Ihre Organisations-ID, z. B. 123456789.

    • CONSTRAINT_NAME: Name, den Sie für Ihre neue benutzerdefinierte Beschränkung verwenden möchten. Eine benutzerdefinierte Beschränkung muss mit custom. beginnen und darf nur Großbuchstaben, Kleinbuchstaben oder Ziffern enthalten. Beispiel: custom.denyPipelineTemplate. Die maximale Länge dieses Feldes beträgt 70 Zeichen.

    • RESOURCE_NAME: Der vollständig qualifizierte Name derGoogle Cloud -Ressource, die das Objekt und das Feld enthält, das Sie beschränken möchten. Beispiel: aiplatform.googleapis.com/PipelineJob/resource.templateUri

    • CONDITION: eine CEL-Bedingung, die für eine Darstellung einer unterstützten Dienstressource geschrieben wird. Dieses Feld hat eine maximale Länge von 1.000 Zeichen. Weitere Informationen zu den verfügbaren Ressourcen, auf die Bedingungen geschrieben werden können, finden Sie unter Unterstützte Ressourcen. Beispiel: "resource.templateUri.contains("test")".

    • ACTION: Aktion, die ausgeführt werden soll, wenn condition erfüllt ist. Mögliche Werte sind ALLOW und DENY.

    • DISPLAY_NAME: Ein nutzerfreundlicher Name für die Beschränkung. Dieses Feld hat eine maximale Länge von 200 Zeichen.

    • DESCRIPTION: Eine nutzerfreundliche Beschreibung der Beschränkung, die als Fehlermeldung angezeigt werden soll, wenn die Richtlinie verletzt wird. Dieses Feld hat eine maximale Länge von 2.000 Zeichen.

    Weitere Informationen zum Erstellen einer benutzerdefinierten Beschränkung finden Sie unter Benutzerdefinierte Beschränkungen definieren.

    Benutzerdefinierte Beschränkung einrichten

    Nachdem Sie die YAML-Datei für eine neue benutzerdefinierte Beschränkung erstellt haben, müssen Sie sie einrichten, um sie für Organisationsrichtlinien in Ihrer Organisation verfügbar zu machen. Verwenden Sie zum Einrichten einer benutzerdefinierten Beschränkung den Befehl gcloud org-policies set-custom-constraint:
    gcloud org-policies set-custom-constraint CONSTRAINT_PATH
    Ersetzen Sie CONSTRAINT_PATH durch den vollständigen Pfad zu Ihrer benutzerdefinierten Beschränkungsdatei. Beispiel: /home/user/customconstraint.yaml Nach Abschluss des Vorgangs sind Ihre benutzerdefinierten Beschränkungen als Organisationsrichtlinien in der Liste der Google Cloud -Organisationsrichtlinien verfügbar. Prüfen Sie mit dem Befehl gcloud org-policies list-custom-constraints, ob die benutzerdefinierte Beschränkung vorhanden ist:
    gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
    Ersetzen Sie ORGANIZATION_ID durch die ID Ihrer Organisationsressource. Weitere Informationen finden Sie unter Organisationsrichtlinien aufrufen.

    Benutzerdefinierte Organisationsrichtlinie erzwingen

    Sie können eine Beschränkung erzwingen, indem Sie eine Organisationsrichtlinie erstellen, die darauf verweist, und diese Organisationsrichtlinie dann auf eine Google Cloud -Ressource anwenden.

    Console

    1. Wechseln Sie in der Google Cloud Console zur Seite Organisationsrichtlinien.

      Zu den Organisationsrichtlinien

    2. Wählen Sie in der Projektauswahl das Projekt aus, für das Sie die Organisationsrichtlinie festlegen möchten.
    3. Wählen Sie auf der Seite Organisationsrichtlinien die gewünschte Beschränkung aus, um die Seite Richtliniendetails aufzurufen.
    4. Zum Konfigurieren der Organisationsrichtlinie für diese Ressource klicken Sie auf Richtlinie verwalten.
    5. Wählen Sie auf der Seite Richtlinie bearbeiten die Option Richtlinie der übergeordneten Ressource überschreiben aus.
    6. Klicken Sie auf Regel hinzufügen.
    7. Wählen Sie im Abschnitt Erzwingung aus, ob die Erzwingung dieser Organisationsrichtlinie aktiviert oder deaktiviert werden soll.
    8. Klicken Sie optional auf Bedingung hinzufügen, um die Organisationsrichtlinie von einem Tag abhängig zu machen. Wenn Sie einer Organisationsrichtlinie eine bedingte Regel hinzufügen, müssen Sie mindestens eine unbedingte Regel hinzufügen, da die Richtlinie sonst nicht gespeichert werden kann. Weitere Informationen finden Sie unter Organisationsrichtlinie mit Tags festlegen.
    9. Klicken Sie auf Änderungen testen, um die Auswirkungen der Organisationsrichtlinie zu simulieren. Die Richtliniensimulation ist für veraltete verwaltete Beschränkungen nicht verfügbar. Weitere Informationen finden Sie unter Änderungen an Organisationsrichtlinien mit dem Policy Simulator testen.
    10. Klicken Sie auf Richtlinie festlegen, um den Vorgang abzuschließen und die Organisationsrichtlinie anzuwenden. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.

    gcloud

    Wenn Sie eine Organisationsrichtlinie mit booleschen Regeln erstellen möchten, erstellen Sie eine YAML-Richtliniendatei, die auf die Beschränkung verweist:

          name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
          spec:
            rules:
            - enforce: true
        

    Ersetzen Sie Folgendes:

    • PROJECT_ID: das Projekt, für das Sie die Beschränkung erzwingen möchten.
    • CONSTRAINT_NAME: der Name, den Sie für Ihre benutzerdefinierte Beschränkung definiert haben. Beispiel: custom.denyPipelineTemplate.

    Führen Sie den folgenden Befehl aus, um die Organisationsrichtlinie mit der Beschränkung zu erzwingen:

        gcloud org-policies set-policy POLICY_PATH
        

    Ersetzen Sie POLICY_PATH durch den vollständigen Pfad zur YAML-Datei Ihrer Organisationsrichtlinie. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.

    Benutzerdefinierte Organisationsrichtlinie testen

    Im folgenden Beispiel werden eine benutzerdefinierte Einschränkung und eine Richtlinie erstellt, die das Erstellen von Pipelineausführungen durch Angabe eines Vorlagen-URI, der „test“ enthält, nicht zulassen.

    Bevor Sie beginnen, müssen Sie Folgendes wissen:

    • Ihre Organisations-ID.
    • Eine Projekt-ID.

    Einschränkung erstellen

    1. Speichern Sie die folgende Datei als constraint-validate-pipeline-template-uri.yaml:

      name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPipelineTemplate
      resourceTypes:
      - resource.templateUri
      methodTypes:
        - CREATE
        condition: "resource.templateUri.contains("test")"
        actionType: DENY
        displayName: Deny pipeline runs if the template URI contains 'test'
        description: Deny the creation of a new pipeline run if it's based on a template URI containing 'test'
      

      Dadurch wird eine Einschränkung definiert, bei der der URI der Pipelinevorlage test nicht enthalten darf.

      1. Wenden Sie die Einschränkung an:

        gcloud org-policies set-custom-constraint ~/constraint-validate-pipeline-template-uri.yaml
        
      2. Prüfen Sie, ob die Einschränkung vorhanden ist:

        gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
        

        Die Ausgabe sieht in etwa so aus:

        CUSTOM_CONSTRAINT                          ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES          DISPLAY_NAME
        custom.denyPipelineTemplate                DENY         CREATE         resource.templateUri    Deny pipeline runs if the template URI contains 'test'
        ...
        

    Richtlinie erstellen

    1. Speichern Sie die folgende Datei als policy-validate-pipeline-template-uri.yaml:

        name: projects/PROJECT_ID/policies/custom.denyPipelineTemplate
        spec:
          rules:
          - enforce: true
      

      Ersetzen Sie PROJECT_ID durch Ihre Projekt-ID.

    2. Wenden Sie die Richtlinie an:

        gcloud org-policies set-policy ~/policy-validate-pipeline-template-uri.yaml
      
    3. Prüfen Sie, ob die Richtlinie vorhanden ist:

        gcloud org-policies list --project=PROJECT_ID
      

      Die Ausgabe sieht etwa so aus:

        CONSTRAINT                    LIST_POLICY    BOOLEAN_POLICY    ETAG
        custom.denyPipelineTemplate   -              SET               COCsm5QGENiXi2E=
      

      Warten Sie nach dem Anwenden der Richtlinie etwa zwei Minuten, bis Google Cloud die Richtlinie durchgesetzt hat.

    Richtlinie testen

    Versuchen Sie, eine ML-Pipeline mit dem Vorlagen-URI zu erstellen, der test enthält.

    REST

    Senden Sie zum Erstellen einer PipelineJob-Ressource eine POST-Anfrage mit der Methode pipelineJobs/create.

    Ersetzen Sie diese Werte in den folgenden Anfragedaten:

    • LOCATION: Die Region, in der Sie den Pipelinelauf erstellen möchten. Weitere Informationen zu den Regionen, in denen Vertex AI Pipelines verfügbar ist, finden Sie im Leitfaden zu Vertex AI Pipelines-Standorten.
    • PROJECT_ID: Das Google Cloud Projekt, in dem Sie den Pipelinelauf erstellen möchten.
    • DISPLAY_NAME: Der Name des Pipeline-Laufs. Dies wird in der Google Cloud Console angezeigt.

    HTTP-Methode und URL:

    POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs

    JSON-Text der Anfrage:

    {
      "displayName":"DISPLAY_NAME",
      "templateUri":"test_pipeline_template.json"
    }
    
    

    Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

    curl

    Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs"

    PowerShell

    Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

    $cred = gcloud auth print-access-token
    $headers = @{ "Authorization" = "Bearer $cred" }

    Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs" | Select-Object -Expand Content

    Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

    {
      "error": {
        "code": 400,
        "message": "Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': [\"customConstraints/custom.denyPipelineTemplate\": \"Deny the creation of a new pipeline run if it's based on a template URI containing 'test'\"]",
        "status": "FAILED_PRECONDITION",
        "details": [
          {
            "@type": "type.googleapis.com/google.rpc.ErrorInfo",
            "reason": "CUSTOM_ORG_POLICY_VIOLATION",
            "domain": "googleapis.com",
            "metadata": {
              "service": "aiplatform.googleapis.com",
              "customConstraints": "customConstraints/custom.denyPipelineTemplate"
            }
          }
        ]
      }
    }
    

    Von Vertex AI Pipelines unterstützte Ressourcen

    In der folgenden Tabelle sind die Vertex AI Pipelines-Ressourcen aufgeführt, auf die Sie in benutzerdefinierten Beschränkungen verweisen können.

    Ressource Feld
    aiplatform.googleapis.com/PipelineJob resource.displayName
    resource.encryptionSpec.kmsKeyName
    resource.network
    resource.pipelineSpec
    resource.preflightValidations
    resource.pscInterfaceConfig.networkAttachment
    resource.reservedIpRanges
    resource.runtimeConfig.failurePolicy
    resource.runtimeConfig.gcsOutputDirectory
    resource.runtimeConfig.inputArtifacts[*].artifactId
    resource.runtimeConfig.parameterValues[*].boolValue
    resource.runtimeConfig.parameterValues[*].listValue.values
    resource.runtimeConfig.parameterValues[*].nullValue
    resource.runtimeConfig.parameterValues[*].numberValue
    resource.runtimeConfig.parameterValues[*].stringValue
    resource.runtimeConfig.parameterValues[*].structValue
    resource.serviceAccount
    resource.templateUri

    Nächste Schritte