Gestire le risorse Cloud SQL utilizzando Dataplex Catalog

Questa pagina spiega come cercare e gestire le risorse Cloud SQL utilizzando Dataplex Catalog.

Dataplex Catalog è una piattaforma per archiviare, gestire e accedere ai tuoi metadati. Dopo aver attivato l'integrazione di Dataplex Catalog nell'istanza Cloud SQL, Dataplex Catalog recupera automaticamente i seguenti metadati da istanze, database, tabelle, colonne e visualizzazioni Cloud SQL:

• Nome
• Località (regione)
• Data di creazione e data dell'ultima modifica
• Schema (per tabelle e visualizzazioni)
• Descrizione

Dataplex Catalog recupera i metadati solo dalle istanze principali Cloud SQL e non dalle repliche di lettura.

Puoi utilizzare Dataplex Catalog per scoprire e comprendere i metadati di Cloud SQL. Utilizza Dataplex Catalog per le seguenti attività:

• Analisi, incluse dipendenze e idoneità per un caso d'uso
• Gestione dei cambiamenti
• Spostamento dei dati (pipeline)
• Evoluzione dello schema

Con Dataplex Catalog, puoi organizzare i metadati associando aspetti alle voci dei metadati Cloud SQL. Ogni aspetto può avere più campi di metadati e può essere basato su un tipo di aspetto predefinito o personalizzato.

Ad esempio, potresti associare il seguente aspetto a una colonna contenente un codice fiscale, che è un'informazione che consente l'identificazione personale (PII):

  pii:true
  pii_type:SSN

Per saperne di più su Dataplex Catalog, consulta Panoramica di Dataplex Catalog.

Prima di iniziare

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Abilita l'API Dataplex per il progetto.

   Attiva l'API Dataplex

7. Controlla le autorizzazioni.

   Per cercare e collegare voci alle risorse Cloud SQL, sono necessari determinati ruoli e autorizzazioni di Identity and Access Management (IAM). Per maggiori dettagli, consulta Ruoli e autorizzazioni IAM obbligatori per Dataplex Catalog.

Ruoli e autorizzazioni IAM richiesti per Dataplex Catalog

Cloud SQL utilizza l'autorizzazione cloudsql.schemas.view per fornire accesso ai metadati su Dataplex.

Per fornire questa autorizzazione, crea un ruolo personalizzato che la includa o utilizza uno dei ruoli predefiniti che dispone di questa autorizzazione.

Per saperne di più, consulta Ruoli IAM predefiniti di Cloud SQL.

Abilita l'integrazione di Dataplex Catalog nell'istanza Cloud SQL

Per attivare l'integrazione di Dataplex Catalog nell'istanza Cloud SQL, utilizza una delle seguenti procedure.

gcloud sql instances create INSTANCE_NAME \
  --database-version=DATABASE_VERSION \
  --tier=MACHINE_TYPE \
  --region=REGION_NAME \
  --enable-dataplex-integration

gcloud sql instances patch INSTANCE_NAME \
  --enable-dataplex-integration

gcloud sql instances list --format="(NAME)" \
| tail -n +2 | xargs -t -I %
gcloud sql instances patch % --enable-dataplex-integration

POST https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances

{
  "name": "INSTANCE_NAME",
  "region": "REGION_NAME",
  "databaseVersion": "DATABASE_VERSION",
  "rootPassword": "PASSWORD",
  "settings": {
    "tier": "MACHINE_TYPE",
    "edition": "EDITION_TYPE",
    "enableDataplexIntegration": true
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_ID",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-09-25T22:19:33.735Z",
  "operationType": "CREATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_ID",
  "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

PATCH https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME

{
  "settings":
  {
    "enableDataplexIntegration": true
  }
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-01-16T02:32:12.281Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

POST https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances

{
  "name": "INSTANCE_NAME",
  "region": "REGION_NAME",
  "databaseVersion": "DATABASE_VERSION",
  "rootPassword": "PASSWORD",
  "settings": {
    "tier": "MACHINE_TYPE",
    "edition": "EDITION_TYPE",
    "enableDataplexIntegration": true
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-09-25T22:19:33.735Z",
  "operationType": "CREATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_ID",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME

{
  "settings":
  {
    "enableDataplexIntegration": true
  }
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-01-16T02:32:12.281Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

Verifica l'integrazione di Dataplex Catalog nell'istanza Cloud SQL

Per verificare che l'integrazione di Dataplex Catalog sia abilitata nella tua istanza, utilizza una delle seguenti procedure.

gcloud sql instances describe INSTANCE_NAME

GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID" | Select-Object -Expand Content

{
"settings":
  {
  "enableDataplexIntegration": true
  }
}

GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID" | Select-Object -Expand Content

{
"settings":
  {
  "enableDataplexIntegration": true
  }
}

Disattivare l'integrazione di Dataplex Catalog nell'istanza Cloud SQL

Per disattivare l'integrazione di Dataplex Catalog nell'istanza Cloud SQL, utilizza una delle seguenti procedure.

gcloud sql instances patch INSTANCE_NAME \
  --no-enable-dataplex-integration

gcloud sql instances list --format="(NAME)" \
| tail -n +2 | xargs -t -I %
gcloud sql instances patch % --no-enable-dataplex-integration

PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME

{
  "settings":
  {
    "enableDataplexIntegration": false
  }
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-01-16T02:32:12.281Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME

{
  "settings":
  {
    "enableDataplexIntegration": false
  }
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-01-16T02:32:12.281Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

Arricchisci gli asset Cloud SQL con gli aspetti

I tipi di aspetto sono risorse riutilizzabili che puoi utilizzare come modelli per gli aspetti. I tipi di aspetto ti consentono di evitare la duplicazione del lavoro e aspetti incompleti. Puoi utilizzare Dataplex Catalog per creare i tipi di aspetto di cui hai bisogno.

Dopo aver creato i tipi di aspetti personalizzati, puoi associare gli aspetti ai tuoi asset Cloud SQL. L'associazione di aspetti agli asset Cloud SQL consente di svolgere le seguenti operazioni:

• Aggiungere i metadati dell'attività alle risorse
• Cercare asset in base a metadati aziendali e altri metadati personalizzati

Per scoprire di più sulla creazione di tipi di aspetti e sull'associazione di aspetti a Cloud SQL, consulta Gestire gli aspetti e arricchire i metadati.

Cerca gli asset Cloud SQL

Utilizza la pagina di ricerca di Dataplex Catalog nella console Google Cloud per cercare asset Cloud SQL.

1. Vai alla pagina di ricerca di Dataplex Catalog.

   Vai a Dataplex

2. In Scegli la piattaforma di ricerca, seleziona Dataplex Catalog.

3. Nel riquadro Filtri, fai clic su Sistemi e seleziona Cloud SQL.

4. Facoltativo. In Alias di tipo, puoi filtrare i risultati di ricerca in base a un tipo specifico di risorsa Cloud SQL selezionando uno o più dei seguenti alias di tipo:

   • Database
   • Servizio
   • Tabella
   • Visualizza

Utilizzare le query per eseguire ricerche

Puoi anche utilizzare il campo di ricerca in Dataplex Catalog per eseguire query di ricerca. Per visualizzare tutti gli asset Cloud SQL, inserisci system=Cloud_SQL.

Dopodiché puoi inserire parole chiave specifiche. Ad esempio, per visualizzare tutti i database Cloud SQL:

system=Cloud_SQL AND type=Database

Per visualizzare tutte le tabelle Cloud SQL, inserisci la seguente query:

system=Cloud_SQL AND type=Table

Puoi anche utilizzare le parentesi e gli operatori logici AND e OR per esprimere espressioni complesse. Per scoprire di più sulle espressioni che puoi utilizzare nel campo di ricerca, consulta la Sintassi di ricerca per Dataplex Catalog.

Puoi inserire direttamente nel campo di ricerca le query di ricerca per asset Cloud SQL specifici. Il formato della stringa di query è il seguente:

type="projects/PROJECT_ID/locations/global/entryTypes/QUERY_STRING"

Sostituisci quanto segue:

• PROJECT_ID: l'ID del progetto

• QUERY_STRING: utilizza la tabella seguente per identificare una stringa di query in base al motore Cloud SQL e al tipo di asset su cui vuoi eseguire una query

  Motore Cloud SQL	Stringhe di query
  Cloud SQL per MySQL	cloudsql-mysql-database cloudsql-mysql-instance cloudsql-mysql-table cloudsql-mysql-view
  Cloud SQL per PostgreSQL	cloudsql-postgresql-database cloudsql-postgresql-instance cloudsql-postgresql-table cloudsql-postgresql-schema cloudsql-postgresql-view
  Cloud SQL per SQL Server	cloudsql-sqlserver-database cloudsql-sqlserver-instance cloudsql-sqlserver-table cloudsql-sqlserver-schema cloudsql-sqlserver-view

Una query di esempio potrebbe avere il seguente aspetto:

type="projects/1234567890/locations/global/entryTypes/cloudsql-postgresql-instance"

Filtrare gli asset Cloud SQL in base al dialetto Cloud SQL

Per impostazione predefinita, Dataplex Catalog mostra tutti gli asset Cloud SQL. Per filtrare gli asset solo per Cloud SQL per MySQL, Cloud SQL per PostgreSQL o SQL Server, svolgi i seguenti passaggi.

1. Nel riquadro Aspetti, fai clic sul menu Aggiungi altri tipi di aspetti.

2. Seleziona Accesso SQL.

3. Fai clic su OK.

4. Fai clic sul pulsante di modifica dell'aspetto playlist_add . Nella pagina Accesso SQL, segui questi passaggi:

   • Nel campo Dialetto, seleziona MySQL per filtrare in base agli asset Cloud SQL per MySQL.
   • Facoltativo. Seleziona il campo Versione e inserisci una versione specifica di Cloud SQL per MySQL.

5. Fai clic su Applica. Dataplex Catalog mostra solo gli asset Cloud SQL per MySQL.

Cerca per tipo di aspetto

Dataplex Catalog include alcuni tipi di aspetti integrati che puoi utilizzare per eseguire ricerche.

1. Nel riquadro Aspetti, fai clic sul menu Aggiungi altri tipi di aspetti.

2. Facoltativo. Seleziona Accesso SQL per filtrare i risultati in base al dialetto Cloud SQL. Per ulteriori informazioni, consulta la procedura precedente Filtrare gli asset Cloud SQL in base al dialetto Cloud SQL.

3. Seleziona uno o più dei seguenti tipi di aspetti per limitare i risultati di ricerca a quel tipo.

   • Cloud SQL Database
   • Inistanza Cloud SQL
   • Visualizzazione Cloud SQL
   • Schema Cloud SQL
   • Table Cloud SQL

4. Fai clic su OK.

5. Nella tabella dei risultati, fai clic sul nome della risorsa per visualizzarne i metadati.

6. (Facoltativo) Migliora o visualizza gli asset. Puoi eseguire una delle seguenti operazioni:

   • In Panoramica, fai clic su Aggiungi per aggiungere una descrizione in formato RTF dell'asset.
   • In Aspetti, fai clic su Aggiungi per allegare un aspetto all'asset.
   • Ad esempio, per visualizzare i database dei membri, fai clic sulla scheda Elenco voci e poi su Mostra tutte le voci secondarie nella ricerca. Se la scheda Elenco voci non viene visualizzata, significa che l'istanza non ha database.
   • In Dettagli voce, visualizza i dettagli completi della risorsa. Fai clic sul nome della voce per visualizzare altre voci.

Esempio di flusso di lavoro: visualizzazione dettagliata dall'istanza alle colonne

In questo esempio di flusso di lavoro, inizi cercando un'istanza Cloud SQL, poi visualizzi un database di membri, poi una tabella in quel database e infine le colonne della tabella.

1. Vai alla pagina di ricerca di Dataplex Catalog.

   Vai a Dataplex

2. Per l'opzione Scegli la piattaforma di ricerca, seleziona Dataplex Catalog.

3. Nel riquadro Filtri, seleziona Sistemi e poi Cloud SQL. In alternativa, inserisci system=Cloud_SQL nel campo di ricerca.

4. Seleziona un nome per l'istanza.

5. Nella pagina Dettagli Cloud SQL, fai clic sulla scheda Elenco voci e poi su Mostra tutte le voci secondarie nella ricerca. Dataplex Catalog mostra i database nell'istanza.

6. Nella pagina Dettagli del database Cloud SQL, fai clic sulla scheda Elenco voci e poi su Visualizza voci secondarie nella ricerca. Dataplex Catalog visualizza le tabelle nel database.

7. Seleziona il nome di una tabella, quindi nella pagina Dettagli della tabella Cloud SQL fai clic su Schema per visualizzare le colonne della tabella.

8. (Facoltativo) Per aggiungere un tipo di aspetto a una colonna, fai clic sul pulsante Aggiungi aspetto.

Questo flusso di lavoro mostra la visualizzazione dei dettagli da un'istanza a una tabella. Puoi accedere direttamente a un elenco di tabelle inserendo system=Cloud_SQL AND type=Table nel campo di ricerca.

Prezzi

Non è previsto alcun costo per l'archiviazione dei metadati tecnici di Cloud SQL in Dataplex Catalog. I prezzi standard di Dataplex si applicano alle chiamate API e all'arricchimento aggiuntivo dei metadati aziendali. Per ulteriori informazioni, consulta la pagina dei prezzi di Dataplex.

Utilizzo delle risorse

Dataplex Catalog estrae periodicamente i dati dalle tue istanze. Il processo di estrazione richiede un determinato utilizzo della CPU. Le istanze con tipi di macchine più piccoli, ad esempio macchine con core condivisi e schemi più grandi (10.000 o più tabelle), possono utilizzare fino al 40% della CPU durante il processo di estrazione.

Limitazioni

Questa sezione elenca le limitazioni relative all'utilizzo di Cloud SQL e Dataplex Catalog.

• L'integrazione di Dataplex Catalog con Cloud SQL è disattivata per qualsiasi istanza che limita l'accesso alle risorse a causa della registrazione delle risorse in Workload garantiti.

• Dopo aver attivato Dataplex Catalog su un'istanza, possono essere necessarie da 2 a 48 ore prima che le risorse Cloud SQL vengano visualizzate in Dataplex Catalog come asset, a seconda delle dimensioni, della versione e del tipo di motore Cloud SQL in uso.

• Quando elimini un database, una tabella o una vista Cloud SQL per MySQL e poi li ricrei con il nome precedente, tutte le voci esistenti di Dataplex Catalog appartenenti al database, alla tabella o alla vista originale rimangono in Dataplex Catalog. Quando esegui le stesse operazioni di eliminazione e ricreazione su un database Cloud SQL per PostgreSQL o SQL Server, le voci vengono rimosse dal Catalogo Dataplex, che è il comportamento previsto.
• Quando esegui un'operazione TRUNCATE su un database Cloud SQL per MySQL, tutte le voci del Catalogo Dataplex vengono rimosse dal database.

Passaggi successivi

• Panoramica di Dataplex Catalog
• Ruoli di Identity and Access Management di Dataplex