Dataproc-Ressourcen mit benutzerdefinierten Einschränkungen verwalten

Mit der Google Cloud-Organisationsrichtlinie können Sie die Ressourcen Ihrer Organisation zentral steuern. Als Administrator für Organisationsrichtlinien können Sie Folgendes definieren: Organisationsrichtlinie, wobei es sich um eine Reihe von Einschränkungen handelt, die für Google Cloud-Ressourcen und untergeordnete Elemente dieser Ressourcen in der Google Cloud-Ressourcenhierarchie gelten. Sie können Organisationsrichtlinien auf Organisations-, Ordner- oder Projektebene erzwingen.

Die Organisationsrichtlinie bietet vordefinierte Einschränkungen für verschiedene Google Cloud-Dienste. Wenn Sie jedoch eine detailliertere, anpassbare Steuerung der spezifischen Felder wünschen, die in Ihren Organisationsrichtlinien eingeschränkt werden, können Sie auch benutzerdefinierte Einschränkungen erstellen und diese benutzerdefinierten Einschränkungen in einer benutzerdefinierten Organisationsrichtlinie verwenden.

Vorteile

Mit einer benutzerdefinierten Organisationsrichtlinie können Sie bestimmte Vorgänge auf Dataproc-Clustern zulassen oder verweigern. Wenn beispielsweise eine Anfrage zum Erstellen oder Aktualisieren eines Clusters die benutzerdefinierte Einschränkungsüberprüfung gemäß Ihrer Organisationsrichtlinie nicht erfüllt, schlägt die Anfrage fehl und der Aufrufer erhält einen Fehler.

Übernahme von Richtlinien

Standardmäßig werden Organisationsrichtlinien von den Nachfolgerelementen der Ressourcen übernommen, für die Sie die Richtlinie erzwingen. Wenn Sie beispielsweise eine Richtlinie für einen Ordner erzwingen, erzwingt Google Cloud die Richtlinie für alle Projekte in dem Ordner. Weitere Informationen zu diesem Verhalten und zu dessen Änderung finden Sie unter Regeln für die Evaluierung der Hierarchie.

Preise

Der Organisationsrichtliniendienst, einschließlich vordefinierter und benutzerdefinierter Organisationsrichtlinien, wird kostenlos angeboten.

Hinweise

1. Projekt einrichten
   1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

   2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

   3. Make sure that billing is enabled for your Google Cloud project.

   4. Enable the Dataproc API.

      Enable the API

   5. Install the Google Cloud CLI.

   6. To initialize the gcloud CLI, run the following command:

      gcloud init

   7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

   8. Make sure that billing is enabled for your Google Cloud project.

   9. Enable the Dataproc API.

      Enable the API

   10. Install the Google Cloud CLI.

   11. To initialize the gcloud CLI, run the following command:

       gcloud init

   12. Sie müssen Ihre Organisations-ID kennen.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwaltung von Organisationsrichtlinien benötigen:

• Administrator für Organisationsrichtlinien (roles/orgpolicy.policyAdmin) für die Organisationsressource
• So erstellen oder aktualisieren Sie einen Dataproc-Cluster: Dataproc-Administrator oder Dataproc-Bearbeiter (roles/dataproc.admin oder roles/dataproc.editor) für die Projektressource

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Verwalten von Organisationsrichtlinien erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Benutzerdefinierte Einschränkung erstellen

Eine benutzerdefinierte Einschränkung wird in einer YAML-Datei durch die Ressourcen, Methoden, Bedingungen und Aktionen definiert, auf die sie angewendet wird. Dataproc unterstützt benutzerdefinierte Einschränkungen, die auf die CREATE- und UPDATE-Methoden der CLUSTER-Ressource angewendet werden (siehe Dataproc-Einschränkungen für Ressourcen und Vorgänge).

So erstellen Sie eine YAML-Datei für eine benutzerdefinierte Dataproc-Einschränkung:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes: 
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Ersetzen Sie Folgendes:

• ORGANIZATION_ID: Ihre Organisations-ID, z. B. 123456789.

• CONSTRAINT_NAME: Name, den Sie für Ihre neue benutzerdefinierte Einschränkung verwenden möchten. Eine benutzerdefinierte Einschränkung muss mit custom. beginnen und darf nur Großbuchstaben, Kleinbuchstaben oder Ziffern enthalten, z. B. custom.dataprocEnableComponentGateway. Die maximale Länge dieses Feldes beträgt 70 Zeichen, das Präfix wird nicht gezählt (zum Beispiel organizations/123456789/customConstraints/custom).

• METHOD: Geben Sie beim Erstellen einer Einschränkung für die Clustererstellung CREATE an. Geben Sie beim Erstellen einer Cluster-UPDATE-Einschränkung beides wie unten angegeben an:

  methodTypes:
  - CREATE
  - UPDATE
  

• CONDITION: eine CEL-Bedingung, die für eine Darstellung einer unterstützten Dienstressource geschrieben wird. Dieses Feld hat eine maximale Länge von 1.000 Zeichen. Weitere Informationen zu den verfügbaren Ressourcen, auf die Bedingungen geschrieben werden können, finden Sie unter Unterstützte Ressourcen. Beispiel: "resource.config.endpointConfig.enableHttpPortAccess==true"

• ACTION: Aktion, die ausgeführt werden soll, wenn condition erfüllt ist. Dies kann entweder ALLOW oder DENY sein.

• DISPLAY_NAME: Ein nutzerfreundlicher Name für die Einschränkung, z. B. „Dataproc Component Gateway erzwingen“. Dieses Feld hat eine maximale Länge von 200 Zeichen.

• DESCRIPTION: Eine nutzerfreundliche Beschreibung der Einschränkung, die als Fehlermeldung angezeigt werden soll, wenn die Richtlinie verletzt wird, z. B. „Erstellen von Dataproc-Clustern nur zulassen, wenn das Component Gateway aktiviert ist“. Dieses Feld hat eine maximale Länge von 2000 Zeichen.

Weitere Informationen zum Erstellen einer benutzerdefinierten Einschränkung finden Sie unter Benutzerdefinierte Einschränkungen definieren.

Benutzerdefinierte Einschränkung einrichten

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

Benutzerdefinierte Einschränkung erzwingen

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

    gcloud org-policies set-policy POLICY_PATH
    

Benutzerdefinierte Einschränkung testen

Im folgenden Beispiel für die Clustererstellung wird davon ausgegangen, dass eine benutzerdefinierte Organisationsrichtlinie erstellt und beim Erstellen des Clusters erzwungen wurde, um das Component Gateway (resource.config.endpointConfig.enableHttpPortAccess==true) zu aktivieren.

gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

Beispielausgabe: Das Component Gateway ist standardmäßig nicht aktiviert, wenn ein Dataproc-Cluster erstellt wird.

Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

Dataproc-Einschränkungen für Ressourcen und Vorgänge

Die folgenden benutzerdefinierten Dataproc-Einschränkungsfelder sind beim Erstellen oder Aktualisieren eines Dataproc-Clusters verfügbar. Beim Aktualisieren eines Clusters werden nur die Einschränkungen unterstützt, die sich auf bearbeitbare Clusterparameter beziehen (siehe Cluster aktualisieren).

• Compute Engine-Netzwerkkonfiguration (networkUri, internalIpOnly, serviceAccount und metadata)
  • resource.config.gceClusterConfig.networkUri
  • resource.config.gceClusterConfig.internalIpOnly
  • resource.config.gceClusterConfig.serviceAccount
  • resource.config.gceClusterConfig.metadata
• Konfiguration der Compute Engine-Instanzgruppe (imageUri und machineTypeUri)
  • resource.config.masterConfig.imageUri
  • resource.config.masterConfig.machineTypeUri
  • resource.config.workerConfig.imageUri
  • resource.config.workerConfig.machineTypeUri
  • resource.config.secondaryWorkerConfig.imageUri
  • resource.config.secondaryWorkerConfig.machineTypeUri
• Datenträgerkonfiguration der Compute Engine-Instanzgruppe (bootDiskType, bootDiskSizeGb, numLocalSsds und localSsdInterface)
  • resource.config.masterConfig.diskConfig.bootDiskType
  • resource.config.workerConfig.diskConfig.bootDiskType
  • resource.config.secondaryWorkerConfig.diskConfig.bootDiskType
  • resource.config.masterConfig.diskConfig.bootDiskSizeGb
  • resource.config.workerConfig.diskConfig.bootDiskSizeGb
  • resource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGb
  • resource.config.masterConfig.diskConfig.numLocalSsds
  • resource.config.workerConfig.diskConfig.numLocalSsds
  • resource.config.secondaryWorkerConfig.diskConfig.numLocalSsds
  • resource.config.masterConfig.diskConfig.localSsdInterface
  • resource.config.workerConfig.diskConfig.localSsdInterface
  • resource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
• Initialisierungsaktionen (executableFile)
  • resource.config.initializationActions.executableFile
• Softwarekonfiguration (imageVersion, properties und optionalComponents)
  • resource.config.softwareConfig.imageVersion
  • resource.config.softwareConfig.properties
  • resource.config.softwareConfig.optionalComponents
• Kerberos-Konfiguration (enableKerberos und crossRealmTrustKdc)
  • resource.config.securityConfig.kerberosConfig.enableKerberos
  • resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
• Komponentengateway (enableHttpPortAccess)
  • resource.config.endpointConfig.enableHttpPortAccess
• Metastore-Konfiguration (dataprocMetastoreService)
  • resource.config.metastoreConfig.dataprocMetastoreService
• Persistent Disk CMEK (gcePdKmsKeyName)
  • resource.config.encryptionConfig.gcePdKmsKeyName
• Cluster labels
  • resource.labels
• Clustergröße
  • resource.config.masterConfig.numInstances
  • resource.config.workerConfig.numInstances
  • resource.config.secondaryWorkerConfig.numInstances
• Autoscaling
  • resource.config.autoscalingConfig.policyUri

Beispiele für benutzerdefinierte Einschränkungen für häufige Anwendungsfälle

Die folgende Tabelle enthält Beispiele für benutzerdefinierte Einschränkungen:

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10"
    actionType: DENY
    displayName: Total number of worker instances cannot be larger than 10
    description: Cluster cannot have more than 10 workers, including primary and
    secondary workers.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)"
    actionType: ALLOW
    displayName: Application master cannot run on preemptible workers
    description: Property "dataproc:am.primary_only" must be "true".

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))"
    actionType: ALLOW
    displayName: Cluster cannot have custom Hive properties
    description: Only allow Dataproc cluster creation if no property
    starts with Hive prefix "hive:".

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')"
    actionType: DENY
    displayName: Master cannot use the n1-standard-2 machine type
    description:  Prevent Dataproc cluster creation if the master machine type is n1-standard-2.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')"
    actionType: ALLOW
    displayName: Initialization action script "gs://some/init-action.sh" must be used
    description:  Only allow Dataproc cluster creation if the "gs://some/init-action.sh"
    initialization action script is used.

    name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'"
    actionType: ALLOW
    displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring
    description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition:  "('env' in resource.labels) && (resource.labels.env=='test')"
    actionType: DENY
    displayName: Cluster cannot have the "env=test" label
    description:  Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "resource.config.gceClusterConfig.networkUri.contains('networks/default')"
    actionType: DENY
    displayName: Cluster cannot be created in the default network
    description:  Deny Dataproc cluster creation if the cluster will be created in the default network.

Nächste Schritte

• Weitere Informationen zu Organisationsrichtlinien finden Sie unter Einführung in den Organisationsrichtliniendienst.
• Organisationsrichtlinien erstellen und verwalten
• Eine vollständige Liste der vordefinierten Einschränkungen für Organisationsrichtlinien finden Sie hier.