Questo documento fornisce indicazioni e best practice per l'utilizzo di Dataplex Universal Catalog.
Scegli un progetto per il tuo lake
Quando selezioni il progetto in cui ospitare il tuo lake, considera i seguenti fattori:
Il progetto deve appartenere allo stesso perimetro dei Controlli di servizio VPC dei dati destinati a trovarsi all'interno del lake.
Il account di servizio del lake richiede le autorizzazioni di amministratore per i bucket Cloud Storage o i set di dati BigQuery. Il Catalogo universale Dataplex crea tabelle esterne in BigQuery per le tabelle rilevate in Cloud Storage. Dataplex Universal Catalog rende disponibili anche i metadati delle tabelle BigQuery e le tabelle rilevate nel bucket Cloud Storage in un servizio Dataproc Metastore. Dataproc Metastore si trova all'interno del progetto data lake.
Impostazioni e limitazioni di Cloud Storage
Regione: il Catalogo universale Dataplex supporta bucket a regione singola e multiregionali in alcune regioni.Google Cloud
Classe di archiviazione: sono supportati i bucket Cloud Storage di tutte le classi di archiviazione (Standard, Nearline, Coldline, Archive). Potrebbero essere addebitati costi aggiuntivi per il recupero dei dati per l'accesso o la scansione di dati Nearline, Coldline o Archive.
ACL bucket: il catalogo universale Dataplex supporta solo i bucket Cloud Storage con controlli dell'accesso uniformi. I controlli dell'accesso granulare non sono supportati.
Pagamenti a carico del richiedente: i bucket Cloud Storage con la funzionalità Pagamenti a carico del richiedente abilitata non sono supportati.
Indicazioni su sicurezza e autorizzazioni
Dataplex Universal Catalog richiede l'aggiunta dei service account di Dataplex Universal Catalog comaccount di serviziont amministrativo su bucket e set di dati gestiti.
Il Catalogo universale Dataplex consente agli analisti di accedere ai bucket Cloud Storage e ai set di dati BigQuery in molti progetti. Per abilitare questo accesso, Dataplex Universal Catalog richiede l'aggiunta degli account di servizio Dataplex Universal Catalog con controlli amministrativi a questi progetti.
Per il rilevamento, il catalogo universale Dataplex aggiunge il account di servizio Dataproc Metastore ai bucket Cloud Storage. Se hai un tuo cluster Dataproc Metastore, potresti voler fare in modo che il lake Dataplex Universal Catalog utilizzi il tuo servizio Dataproc Metastore, che è un'opzione disponibile quando crei il lake.
Se scegli di aggiungere un bucket Cloud Storage con accesso granulare a un lake, Dataplex Universal Catalog fornirà l'accesso completo a quel bucket tramite il lake perché le autorizzazioni di Dataplex Universal Catalog vengono propagate a tutti gli oggetti nel bucket. Se hai bisogno di un accesso granulare, ti consigliamo di dividere i dati nel bucket in più bucket.