Gestire le risorse della cronologia dei dati utilizzando vincoli personalizzati

Google Cloud I criteri dell'organizzazione offrono un controllo centralizzato e programmatico sulle risorse della tua organizzazione. In qualità di amministratore dei criteri dell'organizzazione, puoi definire un criterio dell'organizzazione, ovvero un insieme di restrizioni chiamate vincoli che si applicano alle Google Cloud risorse e ai relativi discendenti nella Google Cloud gerarchia delle risorse. Puoi applicare i criteri dell'organizzazione a livello di organizzazione, cartella o progetto.

Policy dell'organizzazione fornisce vincoli predefiniti per vari serviziGoogle Cloud . Tuttavia, se vuoi un controllo più granulare e personalizzabile sui campi specifici limitati nelle norme della tua organizzazione, puoi anche creare norme dell'organizzazione personalizzate.

Vantaggi

Puoi utilizzare un criterio dell'organizzazione personalizzato per consentire o negare la creazione di processi di data lineage con condizioni basate su attributi delle risorse supportati, come nome del processo, tipo di origine e origine.

Ereditarietà delle norme

Per impostazione predefinita, i criteri dell'organizzazione vengono ereditati dai discendenti delle risorse su cui applichi il criterio. Ad esempio, se applichi un criterio a una cartella, Google Cloud il criterio viene applicato a tutti i progetti nella cartella. Per scoprire di più su questo comportamento e su come modificarlo, consulta le regole di valutazione della gerarchia.

Prezzi

Il servizio criteri dell'organizzazione, inclusi i criteri dell'organizzazione predefiniti e personalizzati, viene offerto senza costi.

Limitazioni

• I vincoli personalizzati possono essere applicati solo alle risorse Process della derivazione dei dati. Altre risorse, come Runs e Events, non sono supportate.

• I vincoli personalizzati appena applicati non si applicano alle risorse esistenti.

Prima di iniziare

• Assicurati di conoscere l'ID organizzazione.

• Se vuoi testare criteri dell'organizzazione personalizzati che fanno riferimento a risorse di data lineage, crea un nuovo progetto. Il test di queste norme dell'organizzazione in un progetto esistente potrebbe interrompere i flussi di lavoro di sicurezza.

  1. In the Google Cloud console, go to the project selector page.

     Go to project selector

  2. Click Create project.

  3. Name your project. Make a note of your generated project ID.

  4. Edit the other fields as needed.

  5. Click Create.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire le policy dell'organizzazione, chiedi all'amministratore di concederti il ruolo IAM Organization Policy Administrator (roles/orgpolicy.policyAdmin) nell'organizzazione. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per gestire le norme dell'organizzazione. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Creare un vincolo personalizzato

Un vincolo personalizzato viene definito in un file YAML dalle risorse, dai metodi, dalle condizioni e dalle azioni supportati dal servizio su cui stai applicando il criterio dell'organizzazione. Le condizioni per i vincoli personalizzati sono definite utilizzando Common Expression Language (CEL). Per ulteriori informazioni su come creare condizioni nei vincoli personalizzati utilizzando CEL, consulta la sezione CEL di Creazione e gestione di vincoli personalizzati.

Per creare un file YAML per un vincolo personalizzato:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- datalineage.googleapis.com/RESOURCE_TYPE
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Sostituisci quanto segue:

• ORGANIZATION_ID: l'ID organizzazione, ad esempio 123456789.

• CONSTRAINT_NAME: il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato deve iniziare con custom. e può includere solo lettere maiuscole, minuscole o numeri, ad esempio custom.denyLineageProcess. La lunghezza massima di questo campo è di 70 caratteri, senza contare il prefisso, ad esempio, organizations/123456789/customConstraints/custom.

• RESOURCE_TYPE: il nome (non l'URI) della risorsa REST dell'API Data Lineage contenente l'oggetto e il campo che vuoi limitare. Per la lineage dei dati è disponibile solo Process.

• CONDITION: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo ha una lunghezza massima di 1000 caratteri. Per saperne di più sulle risorse disponibili per scrivere condizioni, consulta Risorse supportate. Ad esempio, "resource.name.contains('invalid_name')".

• ACTION: l'azione da intraprendere se la condizione condition è soddisfatta. Può essere ALLOW o DENY.

• DISPLAY_NAME: un nome facile da ricordare per il vincolo. Questo campo ha una lunghezza massima di 200 caratteri.

• DESCRIPTION: una descrizione comprensibile del vincolo da visualizzare come messaggio di errore in caso di violazione della policy. Questo campo ha una lunghezza massima di 2000 caratteri.

Per saperne di più su come creare un vincolo personalizzato, consulta Definizione di vincoli personalizzati.

Configurare un vincolo personalizzato

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

Applicare una policy dell'organizzazione personalizzata

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

    gcloud org-policies set-policy POLICY_PATH
    

Testa il criterio dell'organizzazione personalizzato

Questa sezione descrive come testare un vincolo di policy dell'organizzazione che impedisce agli utenti di creare un processo di lineage dei dati con un nome che contiene il testo invalid_name.

Se vuoi testare questo vincolo personalizzato:

1. Crea un nuovo progetto, come descritto nella sezione Prima di iniziare.

2. Copia il seguente vincolo in un file YAML:

     name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcess
     resourceTypes: datalineage.googleapis.com/Process
     methodTypes:
       - CREATE
       - UPDATE
     condition:
       "resource.name.contains('invalid_name')"
     actionType: DENY
     displayName: Do not allow data lineage process with 'invalid_name' to be created.
   

   Sostituisci ORGANIZATION_ID con l'ID numerico della tua organizzazioneGoogle Cloud .

3. Configura il vincolo personalizzato e applicalo al progetto che hai creato per testare il vincolo personalizzato della policy dell'organizzazione.

4. Crea un processo con il nome che hai incluso nel vincolo personalizzato.

   curl -s -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application.json" \
   "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/processes" \
   -d '{"name":"projects/PROJECT_ID/locations/LOCATION/processes/invalid_name"}'

   Sostituisci quanto segue:

   • PROJECT_ID: l'ID del progetto in cui viene creato il processo. Deve trovarsi nella stessa organizzazione in cui è definito il vincolo.
   • LOCATION: Google Cloud regione in cui viene creato il processo.

   L'output è il seguente:

   Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': ["customConstraints/custom.denyLineageProcess"]
   

Risorse e operazioni supportate per la derivazione dei dati

I seguenti campi di vincolo personalizzato sono disponibili per l'utilizzo quando crei o aggiorni un processo di data lineage:

• resource.name
• resource.displayName
• resource.origin.name
• resource.origin.sourceType

I vincoli personalizzati vengono controllati per i seguenti metodi:

• CreateProcess
• UpdateProcess
• ProcessopenLineageRunEvent

Esempi di norme personalizzate dell'organizzazione per i casi d'uso comuni

La seguente tabella fornisce la sintassi di alcuni vincoli personalizzati per casi d'uso comuni:

Per saperne di più sulle macro CEL disponibili per l'utilizzo nelle condizioni dei vincoli personalizzati, consulta Common Expression Language.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "True"
    actionType: DENY
    displayName: Deny creation of all data lineage processes.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "resource.origin.sourceType == 'BIGQUERY' || resource.origin.sourceType == 'DATAPROC'"
    actionType: DENY
    displayName: Deny data lineage processes created by BigQuery or Dataproc.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.name.contains('RESTRICTED_NAME')"
    actionType: DENY
    displayName: Deny data lineage processes whose name contains RESTRICTED_NAME.

Passaggi successivi

• Per saperne di più sulle policy dell'organizzazione, consulta la pagina Introduzione al servizio Policy dell'organizzazione.
• Scopri di più su come creare e gestire le norme dell'organizzazione.
• Consulta l'elenco completo dei vincoli delle policy dell'organizzazione predefiniti.