Surveiller les tâches de transfert

Cloud Monitoring collecte et stocke automatiquement les informations concernant vos jobs service de transfert de stockage. Vous pouvez utiliser Cloud Monitoring pour représenter sous forme de graphique et surveiller un large éventail de métriques :

  • Nombre d'objets et d'octets trouvés
  • Nombre d'objets et d'octets copiés
  • Nombre d'objets et d'octets supprimés
  • Nombre d'erreurs et codes d'erreur associés

Cloud Monitoring est automatiquement activé pour le service de transfert de stockage. La collecte de données et l'affichage des métriques dans la consoleGoogle Cloud sont gratuits. Les appels d'API peuvent entraîner des frais. Pour en savoir plus, consultez la page Tarifs de Cloud Monitoring.

Rôle IAM requis

Vous devez disposer du rôle Lecteur Monitoring (roles/monitoring.viewer) ou d'autorisations équivalentes pour afficher les métriques dans Cloud Monitoring.

Découvrez comment attribuer un rôle IAM.

Afficher les métriques

Les métriques Cloud Monitoring sont disponibles à deux endroits dans la consoleGoogle Cloud  :

  • La page d'informations sur les tâches du service de transfert de stockage affiche les métriques d'une tâche de transfert spécifique. En plus des métriques listées ci-dessous, il calcule la bande passante des octets copiés et le taux d'objets copiés.

  • La page Cloud Monitoring peut afficher les métriques d'un seul job de transfert, de plusieurs jobs ou de tous les jobs d'un projet. Il propose plusieurs options de graphiques et de personnalisation.

Afficher les métriques sur la page d'informations sur le job

Pour afficher les métriques d'un job spécifique :

  1. Accédez à la page Jobs de transfert de la console Google Cloud .

    Accéder à la page Jobs de transfert

  2. Cliquez sur le job pour lequel vous souhaitez afficher les métriques. La page Détails du job s'affiche.

  3. Cliquez sur l'onglet Surveillance. Le tableau de bord par défaut s'affiche.

Afficher les métriques dans Cloud Monitoring

Pour afficher les métriques du service de transfert de stockage dans Cloud Monitoring, procédez comme suit :

  1. Accédez à la page Explorateur de métriques dans la console Google Cloud .

    Accéder à Monitoring : Explorateur de métriques

  2. Suivez les instructions de la section Créer des graphiques avec l'explorateur de métriques pour sélectionner et afficher vos métriques.

Détails de la ressource

Nom de la ressource surveillée : storage_transfer_job

Champ de ressource / Champ cible Ressource et champ REST utilisés pour remplir ce champ Description
project_id TransferJob.project_id Identifiant du projet associé à cette ressource.
job_id TransferJob.name Nom unique mondial du transfert
emplacement Sera toujours défini sur global, car les jobs de transfert ne sont associés à aucune région ni aucun lieu. Emplacement de la tâche de transfert

Détails de la métrique

Toutes les métriques du service de transfert de stockage sont des métriques delta. Elles mesurent la variation depuis la dernière fois que la métrique a été enregistrée. Par exemple, les métriques mesurant le nombre de requêtes sont des métriques delta. Chaque valeur enregistre le nombre de requêtes reçues depuis l'enregistrement du dernier point de données.

Les données sont échantillonnées toutes les 60 secondes. Après échantillonnage, les données ne sont pas visibles pendant un délai pouvant atteindre 180 secondes.

Les noms de métriques commencent tous par storagetransfer.googleapis.com/transferjob/. Exemple : storagetransfer.googleapis.com/transferjob/found_bytes_count.

Nom de la métrique Étiquettes Description
found_bytes_count 
origin=[source | sink]

Nombre d'octets trouvés qui doivent être transférés ou supprimés, à l'exclusion de ceux qui sont filtrés en fonction des conditions d'objet ou parce qu'ils existent déjà à la destination. Pour en savoir plus sur l'écrasement des données dans le récepteur, consultez TransferOptions.

Correspondant TransferCounters: bytesFoundFromSource, bytesFoundOnlyFromSink
found_objects_count 
origin=[source | sink]

Nombre d'objets trouvés qui doivent être transférés ou supprimés, à l'exclusion de ceux qui sont filtrés en fonction des conditions d'objet ou ignorés en raison de la synchronisation.

Correspondant TransferCounters : objectsFoundFromSource, objectsFoundOnlyFromSink
copied_bytes_count 
status=[succeeded | skipped | failed]

Nombre d'octets copiés.

Correspondant TransferCounters : bytesCopiedToSink, bytesFromSourceSkippedBySync, bytesFromSourceFailed

La valeur de copied_bytes_count avec l'état succeeded ne correspond pas toujours au compteur bytesCopiedToSink, car la métrique comptabilise également les octets copiés avec succès qui sont supprimés en cas d'échec. Par exemple, si le service de transfert de stockage copie 100 octets d'un objet qui est supprimé en cours de transfert, les 100 octets copiés sont enregistrés sous copied_bytes_count avec l'état succeeded. Les octets de l'objet complet sont également enregistrés sous copied_bytes_count avec l'état failed.

copied_objects_count 
status=[succeeded | skipped | failed]

Nombre d'objets copiés.

TransferCounters : objetsCopiedToSink, objectsFromSourceSkippedBySync, objectsFromSourceFailed
deleted_bytes_count 
origin=[source | sink]
status=[succeeded | failed]

Nombre d'octets supprimés. Le service de transfert de stockage peut être configuré pour supprimer des données à la source et/ou à la destination. Pour en savoir plus sur la configuration du comportement de suppression, consultez TransferOptions.

Correspondant TransferCounters : bytesDeletedFromSource, bytesDeletedFromSink, bytesFromSourceFailed, bytesFailedToDeleteFromSink

Remarque : Ce compteur correspond à la somme de deleted_bytes_count:status=failed,origin=source et copied_bytes_count:status=failed.
deleted_objects_count 
origin=[source | sink]
status=[succeeded | failed]

Nombre d'objets supprimés.

Correspondant TransferCounters : objectsDeletedFromSource, objectsDeletedFromSink, objectsFromSourceFailed, objectsFailedToDeleteFromSink

Remarque : Ce compteur correspond à la somme de deleted_objects_count:status=failed,origin=source et copied_objects_count:status=failed.
error_count 
code=error code

Nombre d'erreurs signalées dans ErrorSummary.
object_replication_count 
status=[succeeded | failed]
destination_bucket=[string]
source_bucket=[string]
 Nombre d'objets répliqués à l'aide de la réplication entre buckets.
replication_latency 
destination_bucket=[string]
source_bucket=[string]
 Durée en millisecondes nécessaire pour répliquer l'objet à l'aide de la réplication entre buckets.
replication_start_latency 
destination_bucket=[string]
source_bucket=[string]
 Durée en millisecondes pendant laquelle l'objet doit être récupéré pour la réplication entre buckets.