Administra recursos de Dataproc con restricciones personalizadas

Google Cloud La Política de la organización te brinda un control centralizado y programático sobre los recursos de tu organización. Como administrador de políticas de la organización, puedes definir una política de la organización, que es un conjunto de limitaciones llamadas restricciones que se aplican a losGoogle Cloud recursos y a sus descendientes en la Google Cloud jerarquía de recursos. Puedes aplicar políticas de la organización a nivel de la organización, carpeta o proyecto.

La política de la organización proporciona restricciones predefinidas para varios servicios deGoogle Cloud . Sin embargo, si deseas un control más detallado y personalizable sobre los campos específicos que están restringidos en las políticas de tu organización, también puedes crear restricciones personalizadas y usarlas en una política de la organización personalizada.

Beneficios

Puedes usar una política de organización personalizada para permitir o denegar operaciones específicas en clústeres de Dataproc. Por ejemplo, si una solicitud para crear o actualizar un clúster no satisface la validación de restricciones personalizadas según lo establece tu política de la organización, la solicitud fallará y se devolverá un error al llamador.

Herencia de políticas

De forma predeterminada, las políticas de la organización se heredan según los subordinados de los recursos en los que se aplica la política. Por ejemplo, si aplicas una política en una carpeta, Google Cloud aplica la política en todos los proyectos de la carpeta. Para obtener más información sobre este comportamiento y cómo cambiarlo, consulta Reglas de evaluación de la jerarquía.

Precios

El Servicio de políticas de la organización, que incluye las políticas de la organización predefinidas y personalizadas, se ofrece sin cargo.

Antes de comenzar

  1. Configura tu proyecto
    1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    3. Make sure that billing is enabled for your Google Cloud project.

    4. Enable the Dataproc API.

      Enable the API

    5. Install the Google Cloud CLI.

    6. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

    7. To initialize the gcloud CLI, run the following command: 

      gcloud init

    8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    9. Make sure that billing is enabled for your Google Cloud project.

    10. Enable the Dataproc API.

      Enable the API

    11. Install the Google Cloud CLI.

    12. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

    13. To initialize the gcloud CLI, run the following command: 

      gcloud init
    14. Asegúrate de conocer el ID de la organización.

      15. Roles obligatorios

      Para obtener los permisos que necesitas para administrar las políticas de la organización, pídele a tu administrador que te otorgue los siguientes roles de IAM:

      Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

      Estos roles predefinidos contienen los permisos necesarios para administrar las políticas de la organización. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

      Permisos necesarios

      Se requieren los siguientes permisos para administrar las políticas de la organización:

      • orgpolicy.constraints.list
      • orgpolicy.policies.create
      • orgpolicy.policies.delete
      • orgpolicy.policies.list
      • orgpolicy.policies.update
      • orgpolicy.policy.get
      • orgpolicy.policy.set

      También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

      Crea una restricción personalizada

      Una restricción personalizada se define en un archivo YAML a través de los recursos, los métodos, las condiciones y las acciones a los que se aplica. Dataproc admite restricciones personalizadas que se aplican a los métodos CREATE y UPDATE del recurso CLUSTER (consulta Restricciones de Dataproc en recursos y operaciones).

      Para crear un archivo YAML para una restricción personalizada de Dataproc, haz lo siguiente:

      name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes: 
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

      Reemplaza lo siguiente:

      • ORGANIZATION_ID: el ID de la organización, como 123456789.

      • CONSTRAINT_NAME: el nombre que deseas para tu nueva restricción personalizada. Una restricción personalizada debe comenzar con custom. y solo puede incluir letras mayúsculas, minúsculas o números, por ejemplo, custom.dataprocEnableComponentGateway. La longitud máxima de este campo es de 70 caracteres, sin contar el prefijo (por ejemplo, organizations/123456789/customConstraints/custom).

      • METHOD: Cuando crees una restricción de creación de clúster, especifica CREATE. Cuando crees una restricción de clúster UPDATE, especifica ambas de la siguiente manera: 
        methodTypes:
- CREATE
- UPDATE

      • CONDITION: una condición de CEL que se escribe en una representación de un recurso de servicio compatible. La longitud máxima de este campo es 1000 caracteres. Consulta Recursos compatibles para obtener más información sobre los recursos disponibles para escribir condiciones. Por ejemplo, "resource.config.endpointConfig.enableHttpPortAccess==true".

      • ACTION: la acción que se realiza si se cumple condition. Puede ser ALLOW o DENY.

      • DISPLAY_NAME: Es un nombre sencillo para la restricción, por ejemplo, "Forzar la habilitación de la puerta de enlace de componentes de Dataproc". La longitud máxima de este campo es 200 caracteres.

      • DESCRIPTION: Una descripción fácil de usar de la restricción que se mostrará como un mensaje de error cuando se infrinja la política, por ejemplo, "Solo permite la creación de clústeres de Dataproc si la puerta de enlace de componentes está habilitada". La longitud máxima de este campo es 2000 caracteres.

      Para obtener más información sobre cómo crear una restricción personalizada, consulta Define restricciones personalizadas.

      Configura una restricción personalizada

      Después de crear el archivo YAML para una nueva restricción personalizada, debes configurarla para que esté disponible para las políticas de la organización de tu organización. Para configurar una restricción personalizada, usa el comando gcloud org-policies set-custom-constraint: 
      gcloud org-policies set-custom-constraint CONSTRAINT_PATH
       Reemplaza CONSTRAINT_PATH por la ruta de acceso completa al archivo de restricción personalizado. Por ejemplo, /home/user/customconstraint.yaml. Una vez completadas, tus restricciones personalizadas estarán disponibles como políticas de la organización en tu lista de Google Cloud políticas de la organización. Para verificar que la restricción personalizada exista, usa el comando gcloud org-policies list-custom-constraints: 
      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
       Reemplaza ORGANIZATION_ID por el ID del recurso de tu organización. Para obtener más información, consulta Visualiza las políticas de la organización.

      Aplica una restricción personalizada

      Puedes aplicar una restricción si creas una política de la organización que haga referencia a ella y, luego, aplicas esa política a un recurso Google Cloud .

      Console

      1. En la consola de Google Cloud , ve a la página Políticas de la organización.

        Ir a Políticas de la organización

      2. En el selector de proyectos, selecciona el proyecto para el que deseas configurar la política de la organización.
      3. En la lista de la página Políticas de la organización, selecciona tu restricción para ver la página Detalles de la política de esa restricción.
      4. Si deseas configurar las políticas de la organización para este recurso, haz clic en Administrar política.
      5. En la página Editar política, selecciona Anular la política del elemento superior.
      6. Haz clic en Agregar una regla.
      7. En la sección Aplicación, selecciona si la aplicación de esta política de la organización está activada o desactivada.
      8. Opcional: haz clic en Agregar condición para que la política de la organización sea condicional en una etiqueta. Ten en cuenta que si agregas una regla condicional a una política de la organización, debes agregar al menos una regla sin condición o la política no se puede guardar. Para obtener más información, consulta Configura una política de la organización con etiquetas.
      9. Haz clic en Probar cambios para simular el efecto de la política de la organización. La simulación de políticas no está disponible para las restricciones administradas heredadas. Para obtener más información, consulta Prueba los cambios en las políticas de la organización con Policy Simulator.
      10. Para finalizar y aplicar la política de la organización, haz clic en Establecer política. La política tarda hasta 15 minutos en aplicarse.

      gcloud

      Para crear una política de la organización con reglas booleanas, crea un archivo YAML de política que haga referencia a la restricción: 

            name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

      Reemplaza lo siguiente:

      • PROJECT_ID: el proyecto en el que deseas aplicar tu restricción.
      • CONSTRAINT_NAME: el nombre que definiste para tu restricción personalizada. Por ejemplo: custom.dataprocEnableComponentGateway

      Para aplicar la política de la organización que contiene la restricción, ejecuta el siguiente comando: 

          gcloud org-policies set-policy POLICY_PATH

      Reemplaza POLICY_PATH por la ruta de acceso completa al archivo YAML de la política de la organización. La política tarda hasta 15 minutos en aplicarse.

      Prueba la restricción personalizada

      En el siguiente ejemplo de creación de clústeres, se supone que se creó y aplicó una política de la organización personalizada en la creación del clúster para requerir la habilitación de Component Gateway (resource.config.endpointConfig.enableHttpPortAccess==true).

      gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

      Ejemplo de salida (de forma predeterminada, la puerta de enlace de componentes no está habilitada cuando se crea un clúster de Dataproc):

      Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

      Restricciones de Dataproc en recursos y operaciones

      Los siguientes campos de restricción personalizada de Dataproc están disponibles para usarse cuando creas o actualizas un clúster de Dataproc. Ten en cuenta que, cuando actualizas un clúster, solo se admiten las restricciones relacionadas con los parámetros del clúster que se pueden editar (consulta Actualiza un clúster).

      • Configuración de red de Compute Engine (networkUri, internalIpOnly, serviceAccount y metadata)
        • resource.config.gceClusterConfig.networkUri
        • resource.config.gceClusterConfig.internalIpOnly
        • resource.config.gceClusterConfig.serviceAccount
        • resource.config.gceClusterConfig.metadata
      • Configuración del grupo de instancias de Compute Engine (imageUri y machineTypeUri)
        • resource.config.masterConfig.imageUri
        • resource.config.masterConfig.machineTypeUri
        • resource.config.workerConfig.imageUri
        • resource.config.workerConfig.machineTypeUri
        • resource.config.secondaryWorkerConfig.imageUri
        • resource.config.secondaryWorkerConfig.machineTypeUri
      • Configuración de disco del grupo de instancias de Compute Engine (bootDiskType, bootDiskSizeGb, numLocalSsds y localSsdInterface)
        • resource.config.masterConfig.diskConfig.bootDiskType
        • resource.config.workerConfig.diskConfig.bootDiskType
        • resource.config.secondaryWorkerConfig.diskConfig.bootDiskType
        • resource.config.masterConfig.diskConfig.bootDiskSizeGb
        • resource.config.workerConfig.diskConfig.bootDiskSizeGb
        • resource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGb
        • resource.config.masterConfig.diskConfig.numLocalSsds
        • resource.config.workerConfig.diskConfig.numLocalSsds
        • resource.config.secondaryWorkerConfig.diskConfig.numLocalSsds
        • resource.config.masterConfig.diskConfig.localSsdInterface
        • resource.config.workerConfig.diskConfig.localSsdInterface
        • resource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
      • Acciones de inicialización (executableFile)
        • resource.config.initializationActions.executableFile
      • Configuración de software (imageVersion, properties y optionalComponents)
        • resource.config.softwareConfig.imageVersion
        • resource.config.softwareConfig.properties
        • resource.config.softwareConfig.optionalComponents
      • Configuración de Kerberos (enableKerberos y crossRealmTrustKdc)
        • resource.config.securityConfig.kerberosConfig.enableKerberos
        • resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
      • Puerta de enlace del componente (enableHttpPortAccess)
        • resource.config.endpointConfig.enableHttpPortAccess
      • Configuración de Metastore (dataprocMetastoreService)
        • resource.config.metastoreConfig.dataprocMetastoreService
      • CMEK de Persistent Disk (gcePdKmsKeyName)
        • resource.config.encryptionConfig.gcePdKmsKeyName
      • Etiquetas de clúster
        • resource.labels
      • Tamaño del clúster
        • resource.config.masterConfig.numInstances
        • resource.config.workerConfig.numInstances
        • resource.config.secondaryWorkerConfig.numInstances
      • Ajuste de escala automático
        • resource.config.autoscalingConfig.policyUri

      Restricciones personalizadas de ejemplo para casos de uso comunes

      En la siguiente tabla, se proporcionan ejemplos de restricciones personalizadas:

      Descripción Sintaxis de la restricción
      Restringe la cantidad de instancias de trabajador de Dataproc a 10 o menos cuando se crea o actualiza un clúster. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10"
    actionType: DENY
    displayName: Total number of worker instances cannot be larger than 10
    description: Cluster cannot have more than 10 workers, including primary and
    secondary workers.
      Evita que la aplicación principal se ejecute en los trabajadores interrumpibles del clúster de Dataproc. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)"
    actionType: ALLOW
    displayName: Application master cannot run on preemptible workers
    description: Property "dataproc:am.primary_only" must be "true".
      No permitir propiedades personalizadas de Hive en clústeres de Dataproc 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))"
    actionType: ALLOW
    displayName: Cluster cannot have custom Hive properties
    description: Only allow Dataproc cluster creation if no property
    starts with Hive prefix "hive:".
      No se permite el uso del tipo de máquina n1-standard-2 para las instancias principales de Dataproc. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')"
    actionType: DENY
    displayName: Master cannot use the n1-standard-2 machine type
    description:  Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
      Aplicar el uso de una secuencia de comandos de acción de inicialización especificada 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')"
    actionType: ALLOW
    displayName: Initialization action script "gs://some/init-action.sh" must be used
    description:  Only allow Dataproc cluster creation if the "gs://some/init-action.sh"
    initialization action script is used.
      Aplicar el uso de una clave de encriptación de disco persistente especificada 
          name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'"
    actionType: ALLOW
    displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring
    description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
      Aplica restricciones de etiquetas de clúster. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition:  "('env' in resource.labels) && (resource.labels.env=='test')"
    actionType: DENY
    displayName: Cluster cannot have the "env=test" label
    description:  Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
      Aplica el uso de una red no predeterminada. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "resource.config.gceClusterConfig.networkUri.contains('networks/default')"
    actionType: DENY
    displayName: Cluster cannot be created in the default network
    description:  Deny Dataproc cluster creation if the cluster will be created in the default network.

      ¿Qué sigue?