Gérer les entrées et ingérer des sources personnalisées

Ce document explique comment créer et gérer des types d'entrées, des groupes d'entrées et des entrées personnalisées pour permettre l'intégration de sources de données personnalisées dans Dataplex Universal Catalog.

Une entrée représente une ressource pour laquelle vous capturez des métadonnées. Un groupe d'entrées est un conteneur pour une ou plusieurs entrées. Il sert à gérer le contrôle des accès et l'emplacement régional. Un type d'entrée définit les métadonnées requises pour les entrées. Les types d'entrées apportent structure et règles à une ressource d'entrée fluide et mal définie, ce qui permet aux entrées d'être extensibles.

Pour intégrer une source de données personnalisée dans Dataplex Universal Catalog, vous devez créer une entrée personnalisée à l'aide d'un type d'entrée personnalisé qui se trouve dans un groupe d'entrées personnalisé. Pour créer une entrée personnalisée, vous devez suivre les étapes générales suivantes :

  1. Créez un groupe d'entrées.
  2. Créez un type d'entrée.
  3. Créez une entrée personnalisée pour le type d'entrée dans le groupe d'entrées.

Entrées

Une entrée représente un élément de données pour lequel vous capturez des métadonnées. Chaque entrée est une instance d'un type d'entrée. Chaque opération sur les aspects d'une entrée doit respecter les aspects requis de son type d'entrée. Par exemple, lorsque vous créez une entrée, vous devez fournir des valeurs pour tous les types d'aspects définis par le type d'entrée. Vous ne pouvez pas supprimer les aspects d'une entrée qui sont marqués comme required dans le type d'entrée.

Catégories d'entrées

  • Entrées système : Dataplex Universal Catalog crée des entrées pour les ressources Google Cloud, telles que les ensembles de données ou les tables BigQuery. Les entrées créées par Dataplex Universal Catalog sont appelées entrées système. Dataplex Universal Catalog met automatiquement à jour les entrées système grâce à la synchronisation continue des métadonnées à partir des systèmes Google Cloud compatibles.

    Vous ne pouvez pas modifier les métadonnées renseignées automatiquement (appelées "aspects requis") pour les entrées système. Vous ne pouvez ajouter et modifier des métadonnées supplémentaires pour les entrées système qu'à l'aide d'aspects facultatifs. Pour en savoir plus, consultez Catégories d'aspects.

  • Entrées personnalisées : les entrées que vous pouvez créer et gérer pour des ressources personnalisées sont appelées entrées personnalisées. Les ressources personnalisées sont les ressources des services non Google qui sont hébergées dans Google Cloud ou en externe (par exemple, sur site).

Groupes d'entrées

Un groupe d'entrées est un conteneur pour une ou plusieurs entrées. Vous pouvez utiliser des groupes d'entrées pour gérer le contrôle des accès et l'emplacement régional des entrées. Chaque groupe d'entrées appartient à un projet.

Catégories de groupes d'entrées

  • Groupes d'entrées système : pour les ressources Google Cloud , Dataplex Universal Catalog crée automatiquement des groupes d'entrées pour chaque système dans chaque projet et chaque emplacement où se trouvent les ressources. Par exemple, @bigquery est le groupe d'entrées système pour BigQuery.

  • Groupes d'entrées personnalisés : groupes d'entrées que vous créez pour des ressources personnalisées.

Types d'entrées

Les types d'entrées définissent les métadonnées requises pour les entrées de ce type, à l'aide d'un ensemble de types d'aspects requis.

Vous ne pouvez spécifier les types d'aspects requis que pour les entrées, et non pour les colonnes d'une entrée. Lorsque vous créez une entrée d'un type d'entrée spécifique, vous devez fournir des valeurs pour tous les types d'aspects requis spécifiés par le type d'entrée.

Les types d'aspects requis référencés dans un type d'entrée doivent appartenir au même projet que le type d'entrée.

Catégories de types d'entrées

  • Types d'entrées personnalisés : types d'entrées que vous créez et gérez. Vous pouvez utiliser ces types d'entrées pour créer des entrées personnalisées.

  • Types d'entrées système : Dataplex Universal Catalog fournit ces types d'entrées par défaut. Les types d'entrées système sont classés en deux catégories : réutilisables et restreintes.

    Le tableau suivant décrit les catégories de types d'entrées système et la liste des types d'entrées que Dataplex Universal Catalog fournit pour chacune des catégories :

    Catégorie de type d'entrée système Description Types d'entrées fournis par Dataplex Universal Catalog
    Type d'entrée système réutilisable Vous pouvez utiliser ce type d'entrée pour créer des entrées personnalisées.
    • generic
    Type d'entrée système restreint Elles sont réservées à l'utilisation du système, par exemple pour créer des entrées pour les ressourcesGoogle Cloud .

    Vous ne pouvez pas utiliser ces types d'entrées pour en créer, mais vous pouvez les modifier pour ajouter des aspects facultatifs.     		y compris, mais sans s'y limiter :
    • analytics-hub-exchange
    • analytics-hub-listing
    • aspecttype
    • bigquery-dataset
    • bigquery-table
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-table
    • entrygroup
    • entrytype
    • sql-access
    • storage
    • storage-bucket
    • storage-folder

Vous pouvez créer un type d'entrée personnalisé dans une zone géographique spécifique ou en tant que ressource globale. L'emplacement d'un type d'entrée a une incidence sur le champ d'application. Pour en savoir plus, consultez Contraintes liées au projet et à l'emplacement.

Les types d'entrées système sont toujours globaux. Les types d'entrées système sont stockés dans un projet géré par Google dont l'ID est 655216118709. Exemple : projects/655216118709/locations/global/entryTypes/bigquery-table.

Avant de commencer

Avant de gérer les entrées et d'ingérer des sources de données personnalisées, assurez-vous d'avoir effectué les tâches décrites dans cette section.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer et gérer des entrées, demandez à votre administrateur de vous accorder les rôles IAM suivants sur la ressource :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus, consultez Rôles IAM Dataplex Universal Catalog.

Activer l'API

Activez l'API Dataplex dans votre projet Dataplex Universal Catalog.

Activer l'API

Créer un groupe d'entrées

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue de Dataplex Universal Catalog.

    Accéder au catalogue

  2. Cliquez sur l'onglet Groupes d'entrées> Personnalisé.

  3. Cliquez sur Créer un groupe d'entrées (catalogue Dataplex).

  4. Dans la fenêtre Créer un groupe d'entrées, saisissez les informations suivantes :

    1. Facultatif : Dans le champ Nom à afficher, saisissez un nom à afficher pour votre groupe d'entrées.
    2. ID du groupe d'entrées : saisissez un ID unique pour votre groupe d'entrées.
    3. Facultatif : Dans le champ Description, saisissez une description de votre groupe d'entrées.
    4. Emplacement : sélectionnez un emplacement. Vous ne pouvez pas modifier l'emplacement après avoir créé le groupe d'entrées.

  5. Facultatif : Dans la section Libellés, ajoutez des libellés arbitraires sous forme de paires clé/valeur à vos ressources :

    1. Cliquez sur Ajouter une étiquette.
    2. Dans le champ Clé, saisissez une clé.
    3. Dans le champ Valeur, saisissez une valeur pour la clé.
    4. Pour ajouter d'autres libellés, cliquez sur Ajouter un libellé et répétez la procédure.

  6. Cliquez sur Enregistrer.

gcloud

Pour créer un groupe d'entrées, utilisez la commande gcloud dataplex entry-groups create.

REST

Pour créer un groupe d'entrées, utilisez la méthode entryGroups.Create.

Créer un type d'entrée

Pour ingérer une nouvelle source, vous devez créer un type d'entrée.

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue de Dataplex Universal Catalog.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'entrées > Personnalisé.

  3. Cliquez sur Créer.

  4. Dans la fenêtre Créer un type d'entrée, saisissez les informations suivantes :

    1. Facultatif : Dans le champ Nom à afficher, saisissez un nom à afficher pour votre type d'entrée.
    2. ID du type d'entrée : saisissez un ID unique pour votre type d'entrée. Vous ne pourrez pas modifier cette option après la création du type d'entrée.
    3. Facultatif : Dans le champ Description, saisissez une description pour votre type d'entrée.
    4. Facultatif : Dans le champ Système, saisissez le système source.
    5. Facultatif : Dans le champ Plate-forme, saisissez la plate-forme à laquelle appartiennent les entrées de ce type. Exemple :Google Cloud
    6. Dans le champ Emplacement, sélectionnez un emplacement. Une fois le type d'entrée créé, vous ne pouvez plus modifier l'emplacement.

  5. Facultatif : Dans la section Type aliases (Alias de type), définissez le type de données pour votre type d'entrée. Le type de données peut être utilisé pour interroger les entrées.

    1. Cliquez sur Ajouter un alias de type.
    2. Dans le champ Alias de type, sélectionnez un type de données. Vous pouvez ajouter plusieurs alias de type.

  6. Dans la section Types d'aspects requis, sélectionnez les types d'aspects obligatoires pour ce type d'entrée. Ces types d'aspects obligatoires seront attribués à chaque entrée créée à partir de ce type. Vous ne pouvez pas modifier la liste des types d'aspects obligatoires une fois que vous avez créé le type d'entrée.

    1. Cliquez sur Choisir un type d'aspect.
    2. Dans la fenêtre Sélectionner les types d'aspects, sélectionnez le type d'aspect.
    3. Cliquez sur Sélectionner.

    Vous ne pouvez pas supprimer les aspects obligatoires d'une entrée.

  7. Facultatif : Dans la section Libellés, ajoutez des libellés arbitraires sous forme de paires clé/valeur à vos ressources :

    1. Cliquez sur Ajouter une étiquette.
    2. Dans le champ Clé, saisissez une clé.
    3. Dans le champ Valeur, saisissez une valeur pour la clé.
    4. Pour ajouter d'autres libellés, cliquez sur Ajouter un libellé et répétez la procédure.

  8. Cliquez sur Enregistrer.

gcloud

Pour créer un type d'entrée, utilisez la commande gcloud dataplex entry-types create.

REST

Pour créer un type d'entrée, utilisez la méthode entryTypes.create.

Créer une entrée personnalisée

Avant de créer une entrée personnalisée, assurez-vous d'avoir créé un groupe d'entrées et un type d'entrée.

Console

Il n'est pas possible de créer une entrée personnalisée à l'aide de la console Google Cloud . Utilisez plutôt la Google Cloud CLI ou l'API.

gcloud

Pour créer une entrée personnalisée, utilisez la commande gcloud dataplex entries create.

REST

Pour créer une entrée personnalisée, utilisez la méthode entries.create.

Après avoir créé une entrée personnalisée, vous pouvez y ajouter des aspects. Pour en savoir plus, consultez Ajouter des aspects à une entrée.

Gérer les groupes d'entrées

Cette section explique comment afficher la liste des groupes d'entrées disponibles, afficher les détails, mettre à jour et supprimer des groupes d'entrées.

Afficher la liste des groupes d'entrées disponibles

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue de Dataplex Universal Catalog.

    Accéder au catalogue

  2. Cliquez sur l'onglet Groupes d'entrées.

    Cette page liste tous les groupes d'entrées Dataplex Universal Catalog et Data Catalog disponibles.

  3. Pour afficher les groupes d'entrées personnalisés, cliquez sur l'onglet Personnalisé. Dans l'onglet Personnalisé, la colonne Source du catalogue indique où se trouve la ressource : Dataplex Universal Catalog ou Data Catalog.

    Pour afficher les groupes d'entrées système, cliquez sur l'onglet Système.

    Pour en savoir plus sur les groupes d'entrées personnalisés et système, consultez la section Catégories de groupes d'entrées de ce document.

  4. Facultatif : Pour afficher la liste des groupes d'entrées dans le projet sélectionné, cliquez sur l'onglet Personnalisé, puis désactivez l'option Afficher à partir de tous les projets.

    L'option Afficher tous les projets est activée par défaut. La liste inclut les ressources Dataplex Universal Catalog de l'organisation que vous avez sélectionnée et les ressources Data Catalog de toutes les organisations auxquelles vous avez accès.

gcloud

Pour afficher la liste des groupes d'entrées disponibles, utilisez la commande gcloud dataplex entry-groups list.

REST

Pour afficher la liste des groupes d'entrées disponibles, utilisez la méthode entryGroups.list.

Afficher les détails d'un groupe d'entrées

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue de Dataplex Universal Catalog.

    Accéder au catalogue

  2. Cliquez sur l'onglet Groupes d'entrées.

  3. Cliquez sur le groupe d'entrées dont vous souhaitez afficher les détails.

    La page des détails du groupe d'entrées s'ouvre. Vous pouvez accéder à des informations telles que le nom à afficher, l'ID du groupe d'entrées, la description, l'ID du projet, l'emplacement, les libellés, la date de création et la date de dernière modification du groupe d'entrées sélectionné.

    Pour un groupe d'entrées Data Catalog, vous pouvez afficher les détails dans les interfaces Web Data Catalog et Dataplex Universal Catalog. Pour ce faire, sur la page des détails du groupe d'entrées, cliquez sur Data Catalog ou Catalogue Dataplex.

    La section Exemples d'entrées affiche 10 entrées associées créées récemment dans le groupe d'entrées sélectionné.

  4. Facultatif : Pour afficher toutes les entrées associées à un groupe d'entrées, dans la section Exemples d'entrées, cliquez sur Afficher toutes les entrées associées dans la recherche.

gcloud

Pour récupérer les détails d'un groupe d'entrées, utilisez la commande gcloud dataplex entry-groups describe.

REST

Pour récupérer les détails d'un groupe d'entrées, utilisez la méthode entryGroups.get.

Mettre à jour un groupe d'entrées

Vous pouvez mettre à jour un groupe d'entrées personnalisé. Il est impossible de modifier les groupes d'entrées système.

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue de Dataplex Universal Catalog.

    Accéder au catalogue

  2. Cliquez sur l'onglet Groupes d'entrées> Personnalisé.

  3. Cliquez sur le groupe d'entrées que vous souhaitez modifier.

  4. Sur la page Détails du groupe d'entrées, cliquez sur Modifier.

  5. Modifiez le nom à afficher, la description et les libellés, si nécessaire.

  6. Cliquez sur Enregistrer.

gcloud

Pour mettre à jour un groupe d'entrées, utilisez la commande gcloud dataplex entry-groups update.

REST

Pour mettre à jour un groupe d'entrées, utilisez la méthode entryGroups.patch.

Supprimer un groupe d'entrées

Vous pouvez supprimer un groupe d'entrées personnalisé. Les groupes d'entrées système ne peuvent pas être supprimés.

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue de Dataplex Universal Catalog.

    Accéder au catalogue

  2. Cliquez sur l'onglet Groupes d'entrées> Personnalisé.

  3. Cliquez sur le groupe d'entrées que vous souhaitez supprimer.

  4. Sur la page Détails du groupe d'entrées, cliquez sur Supprimer. Confirmez lorsque vous y êtes invité.

gcloud

Pour supprimer un groupe d'entrées, utilisez la commande gcloud dataplex entry-groups delete.

REST

Pour supprimer un groupe d'entrées, utilisez la méthode entryGroups.delete.

Gérer les types d'entrées

Cette section explique comment afficher la liste des groupes d'entrées disponibles, afficher les détails, mettre à jour et supprimer des types d'entrées.

Afficher la liste des types d'entrées disponibles

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue de Dataplex Universal Catalog.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'entrées.

  3. Pour afficher les types d'entrées personnalisés, cliquez sur l'onglet Personnalisé. Pour afficher les types d'entrées système, cliquez sur l'onglet Système. Pour en savoir plus sur les types d'entrées personnalisés et système, consultez la section Catégories de types d'entrées de ce document.

  4. Facultatif : Pour afficher la liste des types d'entrées dans le projet sélectionné, cliquez sur l'onglet Personnalisé, puis désactivez l'option Afficher tous les projets.

    L'option Afficher tous les projets est activée par défaut. La liste inclut les types d'entrées de tous les projets.

gcloud

Pour afficher la liste des types d'entrées disponibles, utilisez la commande gcloud dataplex entry-types list.

REST

Pour afficher la liste des types d'entrées disponibles, utilisez la méthode entryTypes.list.

Afficher les détails d'un type d'entrée

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue de Dataplex Universal Catalog.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'entrée > Personnalisé.

  3. Cliquez sur le type d'entrée dont vous souhaitez afficher les détails.

    La page des détails du type d'entrée s'ouvre. Vous pouvez accéder à des informations telles que le nom à afficher, l'ID du type d'entrée, la description, l'ID du projet, l'emplacement, la plate-forme, le système, les alias de type, les libellés, la date de création et la date de la dernière modification du type d'entrée sélectionné.

  4. Facultatif : Pour afficher la liste des 10 entrées associées créées récemment, cliquez sur l'onglet Exemples d'entrées.

  5. Facultatif : Pour afficher toutes les entrées associées à un groupe d'entrées, cliquez sur l'onglet Exemples d'entrées, puis sur Afficher toutes les entrées associées dans la recherche.

gcloud

Pour récupérer les détails d'un type d'entrée, utilisez la commande gcloud dataplex entry-types describe.

REST

Pour récupérer les détails d'un type d'entrée, utilisez la méthode entryTypes.get.

Modifier un type d'entrée

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue de Dataplex Universal Catalog.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'entrées > Personnalisé.

  3. Cliquez sur le type d'entrée que vous souhaitez modifier.

  4. Sur la page Détails du type d'entrée, cliquez sur Modifier.

  5. Modifiez le nom à afficher, la description, le système, la plate-forme, les alias de type et les libellés, si nécessaire.

  6. Cliquez sur Enregistrer.

gcloud

Pour mettre à jour un type d'entrée, utilisez la commande gcloud dataplex entry-types update.

REST

Pour mettre à jour un type d'entrée, utilisez la méthode entryTypes.patch.

Supprimer un type d'entrée

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue de Dataplex Universal Catalog.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'entrées > Personnalisé.

  3. Cliquez sur le type d'entrée que vous souhaitez supprimer.

  4. Sur la page Détails du type d'entrée, cliquez sur Supprimer. Confirmez lorsque vous y êtes invité.

gcloud

Pour supprimer un type d'entrée, utilisez la commande gcloud dataplex entry-types delete.

REST

Pour supprimer un type d'entrée, utilisez la méthode entryTypes.delete.

Étapes suivantes