Gérer vos ressources Cloud SQL à l'aide de Dataplex Catalog

Cette page explique comment rechercher et gérer vos ressources Cloud SQL à l'aide de Dataplex Catalog.

Dataplex Catalog est une plate-forme permettant d'accéder à vos métadonnées, de les stocker et de les gérer. Une fois l'intégration de Dataplex Catalog activée sur votre instance Cloud SQL, Dataplex Catalog récupère automatiquement les métadonnées suivantes à partir d'instances, de bases de données, de tables, de colonnes et de vues Cloud SQL :

• Nom
• Emplacement (région)
• Dates de création et de dernière modification
• Schéma (pour les tables et les vues)
• Description

Dataplex Catalog ne récupère les métadonnées qu'à partir des instances Cloud SQL principales, et non des instances répliquées avec accès en lecture.

Vous pouvez utiliser Dataplex Catalog pour découvrir et comprendre vos métadonnées Cloud SQL. Utilisez Dataplex Catalog pour faciliter les activités suivantes :

• Analyse, y compris des dépendances et de l'adéquation à un cas d'utilisation
• Gestion du changement
• Transfert de données (pipelines)
• Évolution du schéma

Avec Dataplex Catalog, vous organisez les métadonnées en associant des aspects aux entrées de métadonnées Cloud SQL. Chaque aspect peut avoir plusieurs champs de métadonnées et être basé sur un type d'aspect prédéfini ou personnalisé.

Par exemple, vous pouvez associer l'aspect suivant à une colonne contenant un numéro de sécurité sociale, qui est une information permettant d'identifier personnellement l'utilisateur :

  pii:true
  pii_type:SSN

Pour en savoir plus sur Dataplex Catalog, consultez la page Présentation de Dataplex Catalog.

Avant de commencer

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Activez l'API Dataplex pour le projet.

   Activer l'API Dataplex

7. Vérifiez les autorisations.

   Vous devez disposer de certains rôles et autorisations IAM (Identity and Access Management) pour rechercher et associer des entrées aux éléments Cloud SQL. Pour plus d'informations, consultez la section Rôles et autorisations IAM requis pour Dataplex Catalog.

Rôles et autorisations IAM requis pour Dataplex Catalog

Cloud SQL utilise l'autorisation cloudsql.schemas.view pour autoriser l'accès aux métadonnées sur Dataplex.

Pour accorder cette autorisation, créez un rôle personnalisé qui l'inclut ou utilisez l'un des rôles prédéfinis qui l'inclut.

Pour en savoir plus, consultez la section Rôles IAM Cloud SQL prédéfinis.

Activer l'intégration de Dataplex Catalog sur votre instance Cloud SQL

Pour activer l'intégration de Dataplex Catalog à votre instance Cloud SQL, utilisez l'une des procédures suivantes.

gcloud sql instances create INSTANCE_NAME \
  --database-version=DATABASE_VERSION \
  --tier=MACHINE_TYPE \
  --region=REGION_NAME \
  --enable-dataplex-integration

gcloud sql instances patch INSTANCE_NAME \
  --enable-dataplex-integration

gcloud sql instances list --format="(NAME)" \
| tail -n +2 | xargs -t -I %
gcloud sql instances patch % --enable-dataplex-integration

POST https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances

{
  "name": "INSTANCE_NAME",
  "region": "REGION_NAME",
  "databaseVersion": "DATABASE_VERSION",
  "rootPassword": "PASSWORD",
  "settings": {
    "tier": "MACHINE_TYPE",
    "edition": "EDITION_TYPE",
    "enableDataplexIntegration": true
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_ID",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-09-25T22:19:33.735Z",
  "operationType": "CREATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_ID",
  "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

PATCH https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME

{
  "settings":
  {
    "enableDataplexIntegration": true
  }
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-01-16T02:32:12.281Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

POST https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances

{
  "name": "INSTANCE_NAME",
  "region": "REGION_NAME",
  "databaseVersion": "DATABASE_VERSION",
  "rootPassword": "PASSWORD",
  "settings": {
    "tier": "MACHINE_TYPE",
    "edition": "EDITION_TYPE",
    "enableDataplexIntegration": true
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-09-25T22:19:33.735Z",
  "operationType": "CREATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_ID",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME

{
  "settings":
  {
    "enableDataplexIntegration": true
  }
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-01-16T02:32:12.281Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

Vérifier l'intégration de Dataplex Catalog sur votre instance Cloud SQL

Pour vérifier que l'intégration de Dataplex Catalog est activée sur votre instance, utilisez l'une des procédures suivantes.

gcloud sql instances describe INSTANCE_NAME

GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID" | Select-Object -Expand Content

{
"settings":
  {
  "enableDataplexIntegration": true
  }
}

GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID" | Select-Object -Expand Content

{
"settings":
  {
  "enableDataplexIntegration": true
  }
}

Désactiver l'intégration de Dataplex Catalog sur votre instance Cloud SQL

Pour désactiver l'intégration de Dataplex Catalog à votre instance Cloud SQL, utilisez l'une des procédures suivantes.

gcloud sql instances patch INSTANCE_NAME \
  --no-enable-dataplex-integration

gcloud sql instances list --format="(NAME)" \
| tail -n +2 | xargs -t -I %
gcloud sql instances patch % --no-enable-dataplex-integration

PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME

{
  "settings":
  {
    "enableDataplexIntegration": false
  }
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-01-16T02:32:12.281Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME

{
  "settings":
  {
    "enableDataplexIntegration": false
  }
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-01-16T02:32:12.281Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

Enrichir les éléments Cloud SQL avec des aspects

Les types d'aspect sont des ressources réutilisables pouvant servir de modèles pour les aspects. Les types d'aspects vous aident à éviter la duplication de tâches et les aspects incomplets. Vous pouvez utiliser Dataplex Catalog pour créer les types d'aspects dont vous avez besoin.

Une fois que vous avez créé des types d'aspects personnalisés, vous pouvez associer des aspects à vos composants Cloud SQL. L'association de certains aspects aux éléments Cloud SQL vous permet d'effectuer les opérations suivantes :

• Ajouter des métadonnées métier aux éléments
• Rechercher des éléments par métadonnées métier et autres métadonnées personnalisées

Pour en savoir plus sur la création de types d'aspects et l'association d'aspects à Cloud SQL, consultez Gérer les aspects et enrichir les métadonnées.

Rechercher des composants Cloud SQL

Utilisez la page de recherche de Dataplex Catalog dans la console Google Cloud pour rechercher des éléments Cloud SQL.

1. Accédez à la page de recherche de Dataplex Catalog.

   Accéder à Dataplex

2. Dans Choisir une plate-forme de recherche, sélectionnez Dataplex Catalog.

3. Dans le panneau Filtres, cliquez sur Systèmes, puis sélectionnez Cloud SQL.

4. Facultatif. Dans Alias de type, vous pouvez filtrer les résultats de la recherche pour un type spécifique d'élément Cloud SQL en sélectionnant un ou plusieurs des alias de type suivants :

   • Base de données
   • Service
   • Table
   • Afficher

Effectuer une recherche à l'aide de requêtes

Vous pouvez également utiliser le champ de recherche de Dataplex Catalog pour effectuer des requêtes de recherche. Pour afficher tous les éléments Cloud SQL, saisissez system=Cloud_SQL.

Vous pouvez ensuite saisir des mots clés spécifiques. Par exemple, pour afficher toutes les bases de données Cloud SQL, procédez comme suit :

system=Cloud_SQL AND type=Database

Pour afficher toutes les tables Cloud SQL, saisissez la requête suivante :

system=Cloud_SQL AND type=Table

Vous pouvez également utiliser des parenthèses et les opérateurs logiques AND et OR pour les expressions complexes. Pour en savoir plus sur les expressions que vous pouvez utiliser dans le champ de recherche, consultez la section Syntaxe de recherche pour Dataplex Catalog.

Vous pouvez saisir directement des requêtes de recherche pour des composants Cloud SQL spécifiques dans le champ de recherche. Le format de la chaîne de requête est le suivant :

type="projects/PROJECT_ID/locations/global/entryTypes/QUERY_STRING"

Remplacez les éléments suivants :

• PROJECT_ID : ID de votre projet

• QUERY_STRING : utilisez le tableau suivant pour identifier une chaîne de requête basée sur le moteur Cloud SQL et le type d'élément que vous souhaitez interroger.

  Moteur Cloud SQL	Chaînes de requête
  Cloud SQL pour MySQL	cloudsql-mysql-database cloudsql-mysql-instance cloudsql-mysql-table cloudsql-mysql-view
  Cloud SQL pour PostgreSQL	cloudsql-postgresql-database cloudsql-postgresql-instance cloudsql-postgresql-table cloudsql-postgresql-schema cloudsql-postgresql-view
  Cloud SQL pour SQL Server	cloudsql-sqlserver-database cloudsql-sqlserver-instance cloudsql-sqlserver-table cloudsql-sqlserver-schema cloudsql-sqlserver-view

Voici un exemple de requête :

type="projects/1234567890/locations/global/entryTypes/cloudsql-postgresql-instance"

Filtrer les composants Cloud SQL par dialecte Cloud SQL

Par défaut, Dataplex Catalog affiche tous les éléments Cloud SQL. Pour filtrer les éléments pour Cloud SQL pour MySQL, Cloud SQL pour PostgreSQL ou SQL Server uniquement, procédez comme suit :

1. Dans le panneau Aspects, cliquez sur le menu Ajouter d'autres types d'aspects.

2. Sélectionnez Accès SQL.

3. Cliquez sur OK.

4. Cliquez sur le bouton de modification de l'aspect playlist_add . Sur la page Accès SQL, procédez comme suit :

   • Dans le champ Dialecte, sélectionnez MySQL pour filtrer les composants Cloud SQL pour MySQL.
   • Facultatif. Sélectionnez le champ Version, puis saisissez une version spécifique de Cloud SQL pour MySQL.

5. Cliquez sur Appliquer. Dataplex Catalog n'affiche que les éléments Cloud SQL pour MySQL.

Rechercher par type d'aspect

Dataplex Catalog inclut quelques types d'aspects intégrés que vous pouvez utiliser pour effectuer des recherches.

1. Dans le panneau Aspects, cliquez sur le menu Ajouter d'autres types d'aspects.

2. Facultatif. Sélectionnez SQL Access pour filtrer les résultats par dialecte Cloud SQL. Pour en savoir plus, consultez la procédure précédente, Filtrer les composants Cloud SQL par dialecte Cloud SQL.

3. Sélectionnez un ou plusieurs des types d'aspects suivants pour limiter les résultats de recherche à ce type.

   • Base de données Cloud SQL
   • Instance Cloud SQL
   • Vue Cloud SQL
   • Schéma Cloud SQL
   • Table Cloud SQL

4. Cliquez sur OK.

5. Dans la table des résultats, cliquez sur le nom d'un élément pour en afficher les métadonnées.

6. Facultatif : Améliorez ou affichez vos éléments. Choisissez l'une des options suivantes :

   • Dans Présentation, cliquez sur Ajouter pour ajouter une description en texte enrichi de l'élément.
   • Dans Aspects, cliquez sur Ajouter pour associer un aspect à l'élément.
   • Pour une instance, pour afficher les bases de données des membres, cliquez sur l'onglet Liste d'entrées, puis sur Afficher toutes les entrées enfants dans la recherche. Si l'onglet Liste des entrées ne s'affiche pas, cela signifie que l'instance ne contient aucune base de données.
   • Dans Détails de l'entrée, consultez les détails complets de l'asset. Cliquez sur le nom de l'entrée pour accéder à d'autres entrées.

Exemple de workflow : afficher le détail d'une instance aux colonnes

Dans cet exemple de workflow, vous commencez par rechercher une instance Cloud SQL, puis vous affichez une base de données membre, puis une table de cette base de données, et enfin les colonnes de la table.

1. Accédez à la page de recherche de Dataplex Catalog.

   Accéder à Dataplex

2. Pour l'option Choisir une plate-forme de recherche, sélectionnez Dataplex Catalog.

3. Dans le panneau Filtres, sélectionnez Systèmes, puis Cloud SQL. Vous pouvez également saisir system=Cloud_SQL dans le champ de recherche.

4. Sélectionnez un nom d'instance.

5. Sur la page Informations sur Cloud SQL, cliquez sur l'onglet Liste d'entrées, puis sur Afficher toutes les entrées enfants dans la recherche. Dataplex Catalog affiche les bases de données de l'instance.

6. Sur la page Informations sur la base de données Cloud SQL, cliquez sur l'onglet Liste d'entrées, puis sur Afficher les entrées enfants dans la recherche. Dataplex Catalog affiche les tables de la base de données.

7. Sélectionnez un nom de table, puis cliquez sur Schéma sur la page Informations sur la table Cloud SQL pour afficher les colonnes de la table.

8. Facultatif : Pour ajouter un type d'aspect à une colonne, cliquez sur le bouton Ajouter un aspect.

Ce workflow montre comment passer d'une instance à une table. Vous pouvez accéder directement à une liste de tables en saisissant system=Cloud_SQL AND type=Table dans le champ de recherche.

Tarifs

Le stockage des métadonnées techniques Cloud SQL dans Dataplex Catalog est gratuit. La tarification standard de Dataplex s'applique aux appels d'API et à l'enrichissement supplémentaire des métadonnées métier. Pour en savoir plus, consultez la page des tarifs de Dataplex.

Utilisation des ressources

Dataplex Catalog extrait régulièrement les données de vos instances. Le processus d'extraction nécessite une certaine utilisation du processeur. Les instances avec des types de machines plus petits, par exemple des machines à cœur partagé et avec des schémas plus volumineux (10 000 tables ou plus), peuvent utiliser jusqu'à 40 % de leur processeur pendant le processus d'extraction.

Limites

Cette section regroupe les limites d'utilisation de Cloud SQL et de Dataplex Catalog.

• L'intégration de Dataplex Catalog avec Cloud SQL est désactivée pour toute instance qui limite l'accès aux ressources en raison de l'enregistrement de ressources dans Assured Workloads.

• Après avoir activé Dataplex Catalog sur une instance, l'affichage de vos ressources Cloud SQL dans Dataplex Catalog peut prendre entre 2 et 48 heures, selon la taille de machine, la version et le type du moteur Cloud SQL que vous utilisez.

• Lorsque vous supprimez une base de données, une table ou une vue Cloud SQL pour MySQL, puis que vous recréez cette base de données, cette table ou cette vue portant le nom précédent, toutes les entrées de Dataplex Catalog existantes appartenant à la base de données, à la table ou à la vue d'origine restent dans Dataplex Catalog. Lorsque vous effectuez les mêmes opérations de suppression et de recréation sur une base de données Cloud SQL pour PostgreSQL ou SQL Server, les entrées sont supprimées de Dataplex Catalog, ce qui est le comportement attendu.
• Lorsque vous effectuez une opération TRUNCATE sur une base de données Cloud SQL pour MySQL, toutes les entrées de Dataplex Catalog sont supprimées de la base de données.

Étape suivante

• Présentation du catalogue Dataplex.
• Rôles Identity and Access Management de Dataplex