Configurer le connecteur pour la réplication CDC via Pub/Sub

Ce guide explique comment configurer la réplication CDC via Pub/Sub à l'aide de BigQuery Connector pour SAP.

Avant de commencer

Découvrez le service Pub/Sub et sa terminologie.

Assurez-vous que vous ou vos administrateurs avez rempli les conditions préalables suivantes :

Installer BigQuery Connector pour SAP

Pour répliquer des données dans BigQuery à l'aide de Pub/Sub, installez BigQuery Connector pour SAP version 2.9 ou ultérieure dans votre environnement SAP. Pour obtenir des instructions d'installation, consultez Installer BigQuery Connector pour SAP.

Si vous utilisez la réplication de données de streaming avec BigQuery Connector pour SAP version 2.8 ou antérieure, vous devez mettre à jour votre connecteur vers la dernière version, puis suivre les étapes de migration pour utiliser la réplication CDC via Pub/Sub.

Configurer l'authentification

Pour accéder à l'API Pub/Sub, vous devez configurer l'authentification auprès deGoogle Cloud. Pour en savoir plus sur les méthodes d'authentification compatibles et sur la configuration de l'authentification, consultez Présentation de l'authentification pour BigQuery Connector pour SAP.

Créer un sujet de lettres mortes

Pour gérer les messages qu'un abonnement BigQuery ne parvient pas à écrire dans la table BigQuery cible, nous vous recommandons de créer un sujet de lettres mortes. Ce file d'attente de lettres mortes sert de file d'attente distincte dans laquelle Pub/Sub publie automatiquement les messages non distribuables après toutes les tentatives.

Pour créer le file d'attente de lettres mortes, créez un sujet Pub/Sub standard. Ce file d'attente de lettres mortes est fonctionnellement identique à n'importe quel autre sujet Pub/Sub, mais son objectif est spécifiquement destiné aux messages de lettre morte. Vous pouvez utiliser un seul file d'attente de lettres mortes pour plusieurs charges de réplication ou configurer des sujets de messages non distribués dédiés pour chaque charge de réplication en fonction de vos besoins.

Vous spécifiez ce file d'attente de lettres mortes lorsque vous configurez la réplication CDC. Ainsi, le file d'attente de lettres mortes reçoit tous les messages que Pub/Sub ne parvient pas à écrire dans BigQuery via l'abonnement BigQuery.

Pour analyser les messages ayant échoué, les retraiter ou résoudre les problèmes, vous pouvez créer un autre abonnement BigQuery sur le file d'attente de lettres mortes. Cela permet d'automatiser le processus de récupération des messages du file d'attente de lettres mortes et de les écrire dans une table BigQuery dédiée. Pour en savoir plus, consultez Surveiller le file d'attente de lettres mortes pour les messages ayant échoué.

Pour en savoir plus sur les sujets de lettres mortes, consultez Sujet de lettres mortes.

Créer des rôles et des autorisations SAP pour BigQuery Connector pour SAP

Pour utiliser BigQuery Connector pour SAP, en plus des autorisations standards de SAP LT Replication Server, les utilisateurs doivent avoir accès aux transactions personnalisées fournies avec BigQuery Connector pour SAP : /GOOG/SLT_SETTINGS et /GOOG/REPLIC_VALID.

Par défaut, les utilisateurs ayant accès aux transactions personnalisées /GOOG/SLT_SETTINGS et /GOOG/REPLIC_VALID peuvent modifier les paramètres de n'importe quelle configuration. Vous pouvez donc restreindre l'accès à des configurations spécifiques si nécessaire. Pour les utilisateurs qui n'ont besoin d'afficher que les paramètres de BigQuery Connector pour SAP, vous pouvez leur accorder un accès en lecture seule à la transaction personnalisée /GOOG/SLT_SETT_DISP.

Le fichier de transport BigQuery Connector pour SAP inclut l'objet Google BigQuery Settings Authorization, ZGOOG_MTID, pour les autorisations spécifiques à BigQuery Connector pour SAP.

Pour accorder l'accès aux transactions personnalisées et limiter l'accès à des configurations spécifiques, procédez comme suit :

  1. À l'aide du code de transaction SAP PFCG, définissez un rôle pour BigQuery Connector pour SAP.

  2. Accordez au rôle l'accès aux transactions personnalisées /GOOG/SLT_SETTINGS et /GOOG/REPLIC_VALID.

  3. Pour limiter l'accès d'un rôle, spécifiez le groupe d'autorisation de chaque configuration auquel le rôle peut accéder en utilisant l'objet d'autorisation ZGOOG_MTID. Exemple :

    • Objet d'autorisation pour BigQuery Connector pour SAP (ZGOOG_MTID) :
      • Activity 01
      • Authorization Group AUTH_GROUP_1,AUTH_GROUP_N

    Les valeurs AUTH_GROUP_01 et AUTH_GROUP_N sont définies dans la configuration de SAP LT Replication Server.

    Les groupes d'autorisations spécifiés pour ZGOOG_MTID doivent correspondre aux groupes d'autorisation spécifiés pour le rôle dans l'objet d'autorisation SAP S_DMIS_SLT.

Créer des rôles et des autorisations SAP pour afficher les paramètres de BigQuery Connector pour SAP

Pour accorder un accès en lecture seule à la transaction personnalisée /GOOG/SLT_SETT_DISP, procédez comme suit :

  1. À l'aide du code de transaction SAP PFCG, définissez un rôle pour afficher les paramètres de BigQuery Connector pour SAP.

  2. Accordez au rôle l'accès à la transaction personnalisée /GOOG/SLT_SETT_DISP.

  3. Ajoutez l'objet d'autorisation pour BigQuery Connector pour SAP (ZGOOG_MTID) avec les attributs suivants :

    • Activity 03
    • Authorization Group = *

  4. Générez le profil de rôle et attribuez les utilisateurs concernés au rôle.

Configurer la duplication

Pour configurer la réplication, vous devez spécifier les paramètres de BigQuery Connector pour SAP et de SAP LT Replication Server.

Créer une configuration de réplication SAP LT Replication Server

Utilisez la transaction SAP LTRC pour créer une configuration de réplication SAP LT Replication Server.

Si SAP LT Replication Server s'exécute sur un serveur différent de celui du système SAP source, vérifiez que vous disposez d'une connexion RFC entre les deux systèmes avant de créer une configuration de réplication.

Certains paramètres de la configuration de réplication affectent les performances. Pour déterminer les valeurs appropriées pour votre installation, consultez le guide d'optimisation des performances de votre version de SAP LT Replication Server sur le portail d'aide SAP.

Les options d'interface et de configuration de SAP LT Replication Server peuvent varier légèrement en fonction de la version que vous utilisez.

Pour configurer la réplication, utilisez la procédure correspondant à votre version de SAP LT Replication Server :

Configurer la réplication dans DMIS 2011 SP17, DMIS 2018 SP02 ou versions ultérieures

Les étapes suivantes permettent de configurer la réplication dans les versions ultérieures de SAP LT Replication Server. Si vous utilisez une version antérieure, consultez la page Configurer la réplication dans DMIS 2011 SP16, DMIS 2018 SP01 ou versions antérieures.

  1. Dans l'interface utilisateur graphique de SAP, saisissez le code de transaction LTRC.

  2. Cliquez sur l'icône Créer une configuration. L'assistant Créer une configuration s'ouvre.

  3. Dans les champs Nom de la configuration et Description, saisissez un nom et une description pour la configuration, puis cliquez sur Suivant.

    Vous pouvez spécifier le groupe d'autorisation pour restreindre l'accès à un groupe d'autorisations spécifique dès maintenant ou ultérieurement.

  4. Dans le panneau Détails de connexion au système source :

    • Sélectionnez la case d'option Connexion RFC.
    • Dans le champ Destination RFC, spécifiez le nom de la connexion RFC au système source.
    • Sélectionnez les cases Autoriser plusieurs utilisations et Lire à partir d'un client unique. Pour en savoir plus, consultez la documentation SAP LT Replication Server.
    • Cliquez sur Suivant.

    Ces étapes s'appliquent à une connexion RFC. Toutefois, si votre source est une base de données, vous pouvez sélectionner Connexion DB si vous avez déjà défini une connexion à l'aide de la transaction DBACOCKPIT.

  5. Dans le panneau Détails de connexion au système cible :

    • Sélectionnez la case d'option Autre.
    • Dans le champ Scénario, sélectionnez SDK SLT dans le menu déroulant.
    • Cliquez sur Suivant.

  6. Dans le panneau Spécifier les paramètres de transfert :

    1. Dans le champ Application de la section Paramètres de transfert de données, saisissez /GOOG/SLT_BQ ou ZGOOG_SLT_BQ.

    2. Dans la section Options de tâche, saisissez des valeurs de départ dans chacun des champs suivants :

      • Nombre de tâches de transfert de données
      • Nombre de tâches de chargement initiales
      • Nombre de tâches de calcul

    3. Dans la section Options de réplication, sélectionnez la case d'option Temps réel.

    4. Cliquez sur Suivant.

  7. Après avoir vérifié la configuration, cliquez sur Enregistrer.

  8. Notez l'ID à trois chiffres de la colonne Transfert de masse. Vous en aurez besoin lors d'une prochaine étape.

Pour en savoir plus, consultez le PDF joint à la note SAP 2652704 : Réplication des données à l'aide du SDK SLT - DMIS 2011 SP17, DMIS 2018 SP02.pdf.

Configurer la réplication dans DMIS 2011 SP16, DMIS 2018 SP01 ou versions antérieures

Les étapes suivantes permettent de configurer la réplication dans les versions antérieures de SAP LT Replication Server. Si vous utilisez une version ultérieure, consultez la section Configurer la réplication dans DMIS 2011 SP17, DMIS 2018 SP02 ou versions ultérieures.

  1. Dans l'interface utilisateur graphique de SAP, saisissez le code de transaction LTRC.
  2. Cliquez sur Nouveau. Une boîte de dialogue permettant de spécifier une nouvelle configuration s'affiche.
  3. À l'étape Spécifier le système source :
    • Sélectionnez Connexion RFC comme type de connexion.
    • Saisissez le nom de la connexion RFC.
    • Assurez-vous que le champ Autoriser plusieurs utilisations est sélectionné.
  4. À l'étape Spécifier un système cible :
    • Saisissez les données de connexion au système cible.
    • Sélectionnez Connexion RFC comme type de connexion.
    • Dans le champ Scénario pour la communication RFC, sélectionnez la valeur Écrire des données sur la cible à l'aide de BAdI dans la liste déroulante. La connexion RFC est automatiquement définie sur Aucune.
  5. À l'étape Spécifier les paramètres de transfert, appuyez sur l'aide F4. L'application que vous avez définie précédemment s'affiche dans le champ Application.
  6. Notez l'ID à trois chiffres de la colonne Transfert de masse. Vous en aurez besoin lors d'une prochaine étape.

Pour en savoir plus, consultez le PDF joint à la note SAP 2652704 : Réplication des données à l'aide du SDK SLT - DMIS 2011 SP15, SP16, DMIS 2018 SP00, SP01.pdf

Créer une configuration de transfert de masse pour BigQuery

Utilisez la transaction /GOOG/SLT_SETTINGS personnalisée pour configurer un transfert de masse pour BigQuery et spécifier les mappages de table et de champ.

Sélectionner les options de transfert de masse initiales

Lorsque vous saisissez la transaction /GOOG/SLT_SETTINGS pour la première fois, vous sélectionnez la partie de la configuration du transfert de masse BigQuery que vous devez modifier.

Pour sélectionner la partie de la configuration du transfert de masse, procédez comme suit :

  1. Dans l'interface utilisateur graphique de SAP, saisissez la transaction /GOOG/SLT_SETTINGS précédée de /n :

    /n/GOOG/SLT_SETTINGS

  2. Dans le menu déroulant du champ Partenaire Google Cloud, sélectionnez BigQuery CDC via Pub/Sub.

  3. Dans le menu déroulant Tableau des paramètres de l'écran de lancement de la transaction /GOOG/SLT_SETTINGS, sélectionnez Transferts de masse.

    Pour une nouvelle configuration de transfert de masse, laissez le champ Clé de transfert de masse vide.

  4. Cliquez sur l'icône Exécuter. L'écran Maintenance des paramètres BigQuery – Transferts de masse s'affiche.

Spécifier la création de table et d'autres attributs généraux

Dans la section initiale d'une configuration de transfert de masse BigQuery, vous identifiez la configuration de transfert de masse et spécifiez la clé client associée, ainsi que certaines propriétés liées à la création de la table BigQuery cible.

SAP LT Replication Server enregistre la configuration de transfert de masse en tant qu'enregistrement dans la table de configuration personnalisée /GOOG/BQ_MASTR.

  1. Dans l'écran Maintenance des paramètres BigQuery – Transferts de masse, cliquez sur l'icône Ajouter une ligne.

  2. Dans le champ Clé de transfert de masse, définissez un nom pour ce transfert. Ce nom devient la clé primaire du transfert de masse.

  3. Dans le champ ID de transfert de masse, saisissez l'ID à trois chiffres généré lors de la création de la configuration de réplication de SAP LT Replication Server.

  4. Pour utiliser les libellés ou les descriptions courtes des champs sources comme noms des champs cibles dans BigQuery, cochez la case Utiliser les indicateurs de noms personnalisés. Pour en savoir plus sur les noms de champs, consultez la section Options de nommage par défaut pour les champs.

  5. Pour stocker le type de modification ayant déclenché une insertion et pour activer la validation du nombre d'enregistrements entre la table source, les statistiques SAP LT Replication Server et la table BigQuery, sélectionnez la case à cocher Option pour les champs supplémentaires.

    Lorsque cette option est définie, BigQuery Connector pour SAP ajoute des colonnes au schéma de table BigQuery. Pour en savoir plus, consultez la section Champs supplémentaires pour les modifications d'enregistrement et les requêtes de décompte.

  6. Pour arrêter l'envoi de données lorsqu'un enregistrement comportant une erreur de données est rencontré, la case S'arrêter au premier indicateur d'erreur est cochée par défaut. Nous vous recommandons de laisser cette option activée. Pour en savoir plus, consultez la section Options de répartition.

  7. (Facultatif) Pour réduire automatiquement la taille des fragments lorsque la taille en octets d'un fragment dépasse la taille maximale des requêtes HTTP acceptées par Pub/Sub, cochez la case Option de taille dynamique des fragments. Pour en savoir plus sur la taille dynamique des fragments, consultez la section Taille dynamique des fragments.

  8. Pour ignorer l'enregistrement en question et continuer à insérer des enregistrements dans la table BigQuery lorsqu'un enregistrement avec une erreur de données est rencontré, cochez la case Ignorer les enregistrements non valides. Nous vous recommandons de laisser cette option désactivée. Pour en savoir plus, consultez la section Indicateur SKIP.

  9. Dans le champ Nom de la clé Google Cloud, saisissez le nom de la clé client spécifié dans la configuration /GOOG/CLIENT_KEY.

    BigQuery Connector pour SAP récupère automatiquement l' Google Cloud identifiant du projet à partir de la configuration /GOOG/CLIENT_KEY.

  10. Dans le champ Ensemble de données BigQuery, saisissez le nom de l'ensemble de données BigQuery cible que vous avez créé précédemment dans cette procédure.

  11. Dans le champ Is Setting Active (Paramètre actif ?), activez la configuration de transfert de masse en cochant la case.

  12. Cliquez sur Enregistrer.

    Un enregistrement de transfert de masse est ajouté dans la table /GOOG/BQ_MASTR et les champs Modifié par, Modifié le et Modifié à sont automatiquement renseignés.

  13. Cliquez sur Afficher le tableau.

    Le nouvel enregistrement de transfert de masse s'affiche, suivi du panneau de saisie d'attribut de table.

Spécifier les attributs de table

Vous pouvez spécifier les attributs de la table, tels que le nom de la table et le partitionnement ainsi que le nombre d'enregistrements à inclure dans chaque transmission ou fragment envoyé à BigQuery, dans la seconde section de la transaction /GOOG/SLT_SETTINGS.

Les paramètres que vous spécifiez sont stockés en tant qu'enregistrement dans la table de configuration /GOOG/BQ_TABLE.

Pour spécifier des attributs de table :

  1. Cliquez sur l'icône Ajouter une ligne.

  2. Dans le champ Nom de la table SAP, saisissez le nom de la table SAP source.

  3. Dans le champ Nom de la table externe, indiquez le nom de la table BigQuery cible. Si la table cible n'existe pas déjà, BigQuery Connector pour SAP crée cette table en ligne avec la définition de la table SAP. Il définit également les clés primaires de cette table pour activer les opérations UPSERT ou DELETE. Le tableau accepte les clés primaires composites contenant jusqu'à 16 colonnes. Pour connaître les conventions de nommage des tables BigQuery, consultez la section Nommer les tables.

  4. Ignorez le champ Envoyer un indicateur non compressé. La fonctionnalité de compression des enregistrements n'est pas compatible avec la réplication CDC via Pub/Sub.

  5. Dans le champ Taille de fragment, vous pouvez éventuellement spécifier le nombre maximal d'enregistrements à inclure dans chaque fragment envoyé à Pub/Sub. Nous vous recommandons d'utiliser la taille de fragment par défaut avec BigQuery Connector pour SAP, soit 1 000 enregistrements. Il s'agit du nombre maximal d'enregistrements autorisés par Pub/Sub.

    Si les enregistrements sources comportent un grand nombre de champs, leur nombre peut augmenter la taille globale des fragments, ce qui peut entraîner des erreurs de fragments. Le cas échéant, essayez de réduire la taille des fragments pour réduire leur taille en octets. Pour en savoir plus, consultez la section Taille de fragment dans BigQuery Connector pour SAP. Sinon, pour ajuster automatiquement la taille des fragments, activez la taille dynamique des fragments. Pour en savoir plus, consultez la section Taille dynamique des fragments.

  6. Si vous le souhaitez, dans le champ Type de partition, spécifiez une incrémentation de durée à utiliser pour le partitionnement. Les valeurs valides sont HOUR, DAY, MONTH ou YEAR. Pour en savoir plus, consultez la page Partitionnement des tables.

  7. Le cas échéant, vous pouvez également spécifier dans Champ de partitionnement le nom d'un champ de la table BigQuery cible contenant un horodatage à utiliser pour le partitionnement. Lorsque vous spécifiez le champ de partition, vous devez également spécifier le type de partition. Pour en savoir plus, consultez la page Partitionnement des tables.

  8. Dans le champ Is Setting Active (Paramètre actif ?), activez les attributs de table en cochant la case. Si la case Is Setting Active (Paramètre actif ?) n'est pas cochée, BigQuery Connector pour SAP crée la table BigQuery avec le nom de la table source SAP et la taille de fragment par défaut, sans partitionnement.

  9. Pour la réplication CDC via Pub/Sub, spécifiez les attributs suivants :

    1. Pour activer la réplication CDC vers BigQuery via Pub/Sub, cochez la case Repl CPS (Réplication Cloud Pub/Sub).

      Si cette case est décochée, BigQuery Connector pour SAP utilise la réplication des données de streaming, et les champs de configuration liés à Pub/Sub sont désactivés.

    2. Dans le champ Schéma Pub/Sub, saisissez un nom pour le schéma Pub/Sub. BigQuery Connector pour SAP crée ou met à jour automatiquement un schéma Avro existant pour qu'il corresponde à la définition de la table SAP.

    3. Dans le champ Sujet Pub/Sub, saisissez un nom pour le sujet Pub/Sub dans lequel les messages sont publiés. BigQuery Connector pour SAP crée automatiquement un sujet.

    4. Dans le champ Abonnement Pub/Sub, saisissez le nom de l'abonnement BigQuery qui consomme les messages du sujet Pub/Sub et les écrit dans BigQuery. BigQuery Connector pour SAP crée automatiquement un abonnement et l'associe au thème spécifié à l'étape précédente.

    5. Dans le champ File d'attente des messages non distribués, saisissez le nom du thème Pub/Sub pour les messages non distribués. Ce file d'attente de lettres mortes reçoit les messages que Pub/Sub ne parvient pas à écrire dans BigQuery via l'abonnement BigQuery. Pour en savoir plus sur les sujets de lettres mortes, consultez Créer un sujet de lettres mortes.

    6. Pour activer la fonctionnalité de capture des données modifiées (CDC) pour le tableau, cochez la case Act. CDC (Activer la CDC).

    7. Pour optimiser les performances des chargements initiaux, cochez la case Cache Val (Validation du cache).

      Lorsque vous sélectionnez ce champ, le connecteur offre des performances maximales pour les transferts de données volumineux. Le système exécute les validations du pipeline Google Cloud à intervalles réguliers et met en cache les résultats. Le connecteur permet de transformer rapidement les données et de les envoyer directement à Pub/Sub. Pour en savoir plus, consultez Validations du cache.

  10. Cliquez sur Enregistrer.

    Vos attributs sont stockés sous forme d'enregistrement dans la table de configuration /GOOG/BQ_TABLE et les champs Modifié par, Modifié le et Modifié à sont automatiquement renseignés.

  11. Cliquez sur Afficher les champs.

    Le nouvel enregistrement d'attribut de table s'affiche, suivi du panneau de saisie de mappage de champ.

Personnaliser le mappage de champ par défaut

Si la table SAP source contient des champs d'horodatage ou des valeurs booléennes, modifiez le mappage de type de données par défaut afin de refléter avec précision le type de données dans la table BigQuery cible.

Vous pouvez également modifier d'autres types de données ainsi que les noms utilisés pour les champs cibles.

Vous pouvez modifier le mappage par défaut directement dans l'interface utilisateur graphique de SAP ou exporter le mappage par défaut vers une feuille de calcul ou un fichier texte afin que d'autres utilisateurs puissent modifier les valeurs sans avoir besoin d'accéder à SAP LT Replication Server.

Pour en savoir plus sur le mappage de champ par défaut et sur les modifications que vous pouvez apporter, consultez la section Mappage des types de données.

Pour personnaliser le mappage par défaut pour les champs BigQuery cibles, procédez comme suit :

  1. Sur la page Maintenance des paramètres BigQuery – Champs de la transaction /GOOG/SLT_SETTINGS, affichez les mappages de champs par défaut pour le transfert de masse que vous êtes en train de configurer.

  2. Modifiez le type Avro cible d'un champ dans la colonne Type AVRO si nécessaire. Plus spécifiquement, modifiez le type Avro cible pour les types Avro suivants :

    • Valeurs booléennes Remplacez le type Avro cible par défaut (STRING) par BOOLEAN.
    • Valeurs hexadécimales Remplacez le type Avro cible par défaut (STRING) par BYTES.

    Pour modifier le type Avro :

    1. Sur la ligne du champ que vous devez modifier, cliquez sur le champ Type Avro.
    2. Dans la boîte de dialogue du type Avro, sélectionnez le type de données BigQuery dont vous avez besoin.
    3. Confirmez les modifications, puis cliquez sur Enregistrer.

  3. Modifiez les types de données cibles par défaut dans la colonne Élément de données externe si nécessaire. Plus spécifiquement, modifiez le type de données cible pour les types de données suivants :

    • Horodatages Remplacez le type de données cible par défaut (NUMERIC) par TIMESTAMP ou TIMESTAMP (LONG).
    • Valeurs booléennes Remplacez le type de données cible par défaut (STRING) par BOOLEAN.
    • Valeurs hexadécimales Remplacez le type de données cible par défaut (STRING) par BYTES.

    Pour modifier le mappage de type de données par défaut, procédez comme suit :

    1. Sur la ligne du champ que vous devez modifier, cliquez sur le champ Élément de données externe.
    2. Dans la boîte de dialogue des types de données, sélectionnez le type de données BigQuery dont vous avez besoin.
    3. Confirmez les modifications, puis cliquez sur Enregistrer.

  4. Si vous avez spécifié l'option Noms personnalisés sur la page Maintenance des paramètres BigQuery, modifiez les noms de champs cibles par défaut dans la colonne Nom de champ temporaire, le cas échéant.

    Les valeurs que vous spécifiez remplacent les noms par défaut affichés dans la colonne Nom du champ externe.

  5. Modifiez les descriptions des champs cibles par défaut dans la colonne Description des champs, le cas échéant.

  6. Vous pouvez éventuellement exporter le mappage des champs pour le modifier en externe. Pour obtenir des instructions, consultez la section Modifier la carte des champs BigQuery dans un fichier CSV.

  7. Une fois toutes les modifications terminées et les valeurs modifiées en externe importées, vérifiez que la case Is Setting Active (Paramètre actif ?) est bien cochée. Si l'option Is Setting Active (Paramètre actif ?) n'est pas sélectionnée, BigQuery Connector pour SAP crée les tables cibles avec des valeurs par défaut.

  8. Cliquez sur Enregistrer.

    Les modifications sont stockées dans la table de configuration /GOOG/BQ_FIELD et les champs Modifié par, Modifié le et Modifié à sont automatiquement renseignés.

Activer la mise en cache des jetons

Pour améliorer les performances de réplication, nous vous recommandons d'activer la mise en cache pour le jeton d'accès que vous récupérez depuis Google Cloud.

L'activation de la mise en cache des jetons garantit qu'un jeton d'accès est réutilisé jusqu'à son expiration ou sa révocation, ce qui réduit le nombre d'appels HTTP effectués pour récupérer de nouveaux jetons d'accès.

Pour activer la mise en cache des jetons, sélectionnez l'option Mise en cache des jetons dans la table de clé client /GOOG/CLIENT_KEY.

Lorsque vous activez la mise en cache de jetons, le jeton d'accès est mis en cache dans la mémoire partagée de votre serveur d'applications SAP LT Replication Server pour la durée définie dans le champ Secondes avant actualisation du jeton de la table /GOOG/CLIENT_KEY. Si le champ Secondes avant actualisation du jeton n'est pas spécifié ou est défini sur 0, le jeton d'accès est mis en cache selon la valeur spécifiée dans le paramètre CMD_SECS_DEFLT dans les paramètres avancés.

Pour les charges de travail SAP qui ne s'exécutent pas sur Google Cloud, les jetons d'accès mis en cache permettent également d'éviter les problèmes techniques qui peuvent survenir lors de la réplication d'énormes charges de données, où plusieurs processus SAP LT Replication Server peuvent demander simultanément un jeton d'accès à un moment donné.

Pour les charges de travail SAP exécutées sur Google Cloud et utilisant un compte de service géré par l'utilisateur pour accéder à BigQuery ou Pub/Sub, la mise en cache des jetons peut considérablement améliorer le processus, car la récupération d'un jeton d'accès dans ce scénario implique deux appels HTTP.

Supprimer le jeton d'accès mis en cache

Lorsque la mise en cache de jetons est activée et que vous mettez à jour les rôles attribués au compte de service utilisé par BigQuery Connector pour SAP pour accéder à BigQuery ou Pub/Sub, le nouveau jeton d'accès correspondant aux rôles mis à jour n'est récupéré qu'après l'expiration du jeton existant mis en cache. Dans ce cas, vous pouvez supprimer le jeton d'accès manuellement.

Pour supprimer le jeton d'accès mis en cache, saisissez la transaction SE38, puis exécutez le programme /GOOG/R_CLEAR_TOKEN_CACHE.

Tester la configuration de la réplication

Testez la configuration de réplication en démarrant le provisionnement de données :

  1. Ouvrez SAP LT Replication Server Cockpit (transaction LTRC) dans l'interface utilisateur graphique de SAP.

  2. Cliquez sur la configuration de transfert de masse pour la réplication de table que vous testez.

  3. Cliquez sur Provisionnement des données.

  4. Dans le panneau Provisionnement des données, démarrez le provisionnement :

    1. Saisissez le nom de la table source.
    2. Cliquez sur la case d'option correspondant au type de provisionnement des données que vous souhaitez tester. Par exemple, Démarrer le chargement.

    3. Cliquez sur l'icône Exécuter. Le transfert de données commence et la progression s'affiche sur l'écran Objets participant.

      Si la table n'existe pas dans BigQuery, BigQuery Connector pour SAP la crée à partir d'un schéma lui-même créé à partir des attributs de table et de champ que vous avez précédemment définis avec la transaction /GOOG/SLT_SETTINGS.

      La durée d'un chargement initial d'une table dépend de la taille de la table et de ses enregistrements.

      Les messages sont écrits dans la section Journaux d'application de SAP LT Replication Server dans la transaction LTRC.

Valider la réplication

Vous pouvez valider la réplication à l'aide des méthodes suivantes :

  • Dans SAP LT Replication Server :
    • Surveillez la réplication sur l'écran Provisionnement des données.
    • Vérifiez l'absence de messages d'erreur sur l'écran Journaux d'application.

  • Dans l'onglet des informations de table dans BigQuery :

    • Consultez l'onglet Schéma pour vérifier que le schéma est correct.
    • Consultez l'onglet Aperçu pour afficher un aperçu des lignes insérées.
    • Consultez l'onglet Détails pour afficher le nombre de lignes insérées, la taille de la table et d'autres informations.

Vérifier la réplication dans SAP LT Replication Server

Utilisez la transaction LTRC pour afficher la progression des tâches de chargement ou de réplication initiales après leur démarrage et pour vérifier l'absence de messages d'erreur.

Vous pouvez consulter l'état du chargement dans l'onglet Statistiques de chargement et la progression de la tâche dans l'onglet Surveillance du transfert de données dans SAP LT Replication Server.

L'écran Journaux d'application de la transaction LTRC vous permet d'afficher tous les messages renvoyés par BigQuery, BigQuery Connector pour SAP et SAP LT Replication Server.

Les messages émis par le code BigQuery Connector pour SAP dans SAP LT Replication Server commencent par le préfixe /GOOG/SLT. Les messages renvoyés par l'API BigQuery commencent par le préfixe /GOOG/MSG.

Les messages renvoyés par SAP LT Replication Server ne commencent pas par un préfixe /GOOG/.

Vérifier la réplication dans BigQuery

Dans la console Google Cloud , vérifiez que la table a été créée et que BigQuery y insère des données.

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le champ de recherche de la section Explorateur, saisissez le nom de la table BigQuery cible puis appuyez sur Enter.

    Les informations concernant la table s'affichent dans un onglet du volet de contenu situé du côté droit de la page.

  3. Dans la section des informations concernant la table, cliquez sur les en-têtes suivants pour vérifier la table et l'insertion des lignes :

    • Aperçu permet d'afficher les lignes et les champs insérés dans la table BigQuery.
    • Schéma permet d'afficher les noms des champs et les types de données.
    • Détails permet d'afficher la taille de la table, le nombre total de lignes et d'autres détails.

Résoudre les problèmes

Pour en savoir plus sur le diagnostic et la résolution des problèmes que vous pourriez rencontrer lors de la configuration de BigQuery Connector pour SAP, consultez le guide de dépannage de BigQuery Connector pour SAP.

Obtenir de l'aide

Si vous avez besoin d'aide pour résoudre des problèmes liés à la configuration de BigQuery Connector pour SAP, collectez toutes les informations de diagnostic disponibles et contactez le Cloud Customer Care. Pour savoir comment contacter le service client, consultez Obtenir de l'aide pour SAP sur Google Cloud.