Surveiller les tâches de transfert

Cloud Monitoring collecte et stocke automatiquement des informations sur vos jobs du service de transfert de stockage. Vous pouvez utiliser Cloud Monitoring pour représenter graphiquement et surveiller un éventail de métriques:

  • Nombre d'objets et d'octets trouvés
  • Nombre d'objets et d'octets copiés
  • Nombre d'objets et d'octets supprimés
  • Nombre d'erreurs et codes d'erreur associés

Cloud Monitoring est automatiquement activé pour le service de transfert de stockage. La collecte de données et l'affichage des métriques dans la console Google Cloud ne sont pas facturés. Les appels d'API peuvent entraîner des frais. Pour en savoir plus, consultez la page Tarifs de Cloud Monitoring.

Rôle IAM requis

Vous devez disposer du rôle Lecteur Monitoring (roles/monitoring.viewer) ou d'autorisations équivalentes pour afficher les métriques dans Cloud Monitoring.

Découvrez comment attribuer un rôle IAM.

Afficher les métriques

Les métriques Cloud Monitoring sont disponibles à deux endroits dans la console Google Cloud:

  • La page d'informations sur la tâche du service de transfert de stockage affiche les métriques d'une tâche de transfert spécifique. En plus des métriques listées ci-dessous, il calcule la bande passante des copies d'octets et le taux d'objets copiés.

  • La page Cloud Monitoring peut afficher des métriques pour une seule tâche de transfert, plusieurs tâches ou toutes les tâches d'un projet. Il propose plusieurs options de graphiques et de personnalisations.

Afficher les métriques sur la page d'informations sur le job

Pour afficher les métriques d'un job spécifique:

  1. Accédez à la page Transferts de tâches dans la console Google Cloud.

    Accéder à la page "Transfert de tâches"

  2. Cliquez sur la tâche pour laquelle vous souhaitez afficher les métriques. La page Détails de la tâche s'affiche.

  3. Cliquez sur l'onglet Surveillance. Le tableau de bord par défaut s'affiche.

Afficher les métriques dans Cloud Monitoring

Pour afficher les métriques du service de transfert de stockage dans Cloud Monitoring, procédez comme suit:

  1. Accédez à la page Explorateur de métriques dans la console Google Cloud.

    Accéder à "Monitoring: Explorateur de métriques"

  2. Suivez les instructions de la section Créer des graphiques avec l'explorateur de métriques pour sélectionner et afficher vos métriques.

Détails de la ressource

Nom de la ressource surveillée: storage_transfer_job

Champ de ressource / Champ cible Ressource REST et champ utilisés pour renseigner ce champ Description
project_id TransferJob.project_id Identifiant du projet associé à cette ressource
job_id TransferJob.name Nom unique global du transfert
emplacement Toujours défini sur global, car les tâches de transfert ne sont associées à aucune région ni à aucun emplacement. Emplacement de la tâche de transfert

Détails de la métrique

Toutes les métriques du service de transfert de stockage sont des métriques delta. Elles mesurent la variation depuis la dernière enregistrement de la métrique. Par exemple, les métriques mesurant le nombre de requêtes sont des métriques delta. Chaque valeur enregistre le nombre de requêtes reçues depuis l'enregistrement du dernier point de données.

Les données sont échantillonnées toutes les 60 secondes. Après échantillonnage, les données ne sont pas visibles pendant un délai pouvant atteindre 180 secondes.

Les noms de métriques commencent tous par storagetransfer.googleapis.com/transferjob/. Exemple : storagetransfer.googleapis.com/transferjob/found_bytes_count.

Nom de la métrique Étiquettes Description
found_bytes_count
origin=[source | sink]

Nombre d'octets trouvés qui sont programmés pour être transférés ou supprimés, à l'exception de ceux qui sont filtrés en fonction des conditions des objets ou parce qu'ils existent déjà à la destination. Pour en savoir plus sur l'écrasement des données dans le collecteur, consultez TransferOptions.

Correspondant TransferCounters: bytesFoundFromSource, bytesFoundOnlyFromSink

found_objects_count
origin=[source | sink]

Nombre d'objets trouvés qui sont programmés pour être transférés ou supprimés, à l'exception de ceux qui sont filtrés en fonction des conditions des objets ou ignorés en raison de la synchronisation.

TransferCounters correspondant: objectsFoundFromSource, objectsFoundOnlyFromSink

copied_bytes_count
status=[succeeded | skipped | failed]

Nombre d'octets copiés.

TransferCounters correspondant: bytesCopiedToSink, bytesFromSourceSkippedBySync, bytesFromSourceFailed

La valeur de copied_bytes_count avec l'état succeeded ne correspond pas toujours au compteur bytesCopiedToSink, car la métrique compte également les octets copiés avec succès qui sont supprimés en cas d'échec. Par exemple, si le service de transfert de stockage copie 100 octets d'un objet supprimé au milieu du transfert, les 100 octets copiés sont enregistrés sous copied_bytes_count avec l'état succeeded. Les octets de l'objet complet sont également enregistrés sous copied_bytes_count avec l'état failed.

copied_objects_count
status=[succeeded | skipped | failed]

Nombre d'objets copiés.

TransferCounters correspondant: objectsCopiedToSink, objectsFromSourceSkippedBySync, objectsFromSourceFailed

deleted_bytes_count
origin=[source | sink]
status=[succeeded | failed]

Nombre d'octets supprimés. Le service de transfert de stockage peut être configuré pour supprimer des données à la source et/ou à la destination. Pour en savoir plus sur la configuration du comportement de suppression, consultez la section TransferOptions.

Correspondant TransferCounters: bytesDeletedFromSource, bytesDeletedFromSink, bytesFromSourceFailed, bytesFailedToDeleteFromSink

Remarque: Ce compteur correspond à la somme de deleted_bytes_count:status=failed,origin=source et copied_bytes_count:status=failed.

deleted_objects_count
origin=[source | sink]
status=[succeeded | failed]

Nombre d'objets supprimés.

TransferCounters correspondant: objectsDeletedFromSource, objectsDeletedFromSink, objectsFromSourceFailed, objectsFailedToDeleteFromSink

Remarque: Ce compteur correspond à la somme de deleted_objects_count:status=failed,origin=source et copied_objects_count:status=failed.

error_count
code=error code

Nombre d'erreurs signalé dans ErrorSummary.