En este documento se describe el formato actual del registro de transferencias del sistema de archivos.
Ver registros de transferencias
Las transferencias de sistemas de archivos generan registros de transferencia detallados que puede usar para verificar los resultados de su trabajo de transferencia. Cada tarea genera una colección de registros de transferencia que se almacenan en el segmento de Cloud Storage de la transferencia: el segmento de origen, el de destino o el intermedio, en función de la dirección de la transferencia.
Los registros se generan mientras se ejecuta la tarea de transferencia. Los registros completos suelen estar disponibles en un plazo de 15 minutos después de que se complete el trabajo.
Ver los registros del segmento de Cloud Storage
Los registros de transferencia se almacenan en el segmento de Cloud Storage de la transferencia en la siguiente ruta:
bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name
donde:
bucket-namees el nombre del segmento de Cloud Storage implicado en esta transferencia.job-namees el nombre del trabajo, tal como se muestra en la lista de trabajos.operation-namees el nombre de la operación de transferencia individual, que se compone de la marca de tiempo ISO 8601 y el ID generado.
Los registros se agregan y se almacenan como objetos. Cada lote de registros recibe el nombre de su hora de creación. Por ejemplo:
my
bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log
Ejecutar consultas de BigQuery en registros de transferencias
Para ejecutar consultas de BigQuery en los registros de transferencias, sigue estos pasos:
Consultas de ejemplo
Mostrar el número de archivos que han intentado transferirse y si se han transferido correctamente o no
select ActionStatus, count(*) as num_files from big-query-table where Action="TRANSFER" group by 1;
Donde big-query-table es el nombre de la tabla de BigQuery que contiene el registro de transferencias.
Mostrar todos los archivos que no se han podido transferir
select Src_File_Path from big-query-table where Action="TRANSFER" and ActionStatus="FAILED";
Donde big-query-table es el nombre de la tabla de BigQuery que contiene el registro de transferencias.
Mostrar la suma de comprobación y la marca de tiempo de cada archivo que se haya transferido correctamente
select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size, Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size, Dst_Gcs_Crc32C, Dst_Gcs_Md5 from big-query-table where Action="TRANSFER" and ActionStatus="SUCCEEDED";
Donde big-query-table es el nombre de la tabla de BigQuery que contiene el registro de transferencias.
Mostrar toda la información de los errores de los directorios que no se han podido transferir
select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message from big-query-table where Action="FIND" and ActionStatus="FAILED";
Donde big-query-table es el nombre de la tabla de BigQuery que contiene el registro de transferencias.
Descripción del formato
Los registros de transferencia del sistema de archivos se guardan en formato de valores separados por tabulaciones (TSV) y contienen una fila de encabezado con los nombres de los campos. El orden en el que se muestran los campos suele ser estable, pero no se garantiza y debe inferirse de la fila de encabezado.
Cada línea representa un registro de log, es decir, una actualización de estado de una parte de la operación de transferencia general.
En la siguiente tabla se describen los campos del archivo de registro:
| Campo de registro | Descripción |
|---|---|
| Marca de tiempo | Marca de tiempo conforme a ISO 8601 en la que se registró el evento. |
| Nombre de la operación | Nombre completo de la operación. |
| Acción | Describe la acción de esta tarea concreta. Uno de los siguientes:
|
| ActionStatus | El estado general de la acción. Uno de los siguientes:
|
| FailureDetails.ErrorType | Cadena que representa el tipo de error que se ha producido. Por ejemplo, FILE_NOT_FOUND. Solo se rellena si se ha producido un error. |
| FailureDetails.GrpcCode | Valor de cadena del código de RPC de Google. Por ejemplo, FAILED_PRECONDITION. Solo se rellena si se ha producido un error. |
| FailureDetails.Message | Mensaje de error legible por humanos sobre el fallo. Solo se rellena si se ha producido un error. |
| Src.Type | Cadena que describe el tipo de sistema de almacenamiento de la fuente. Siempre es ON_PREM. |
| Src.File.Path | Ruta del archivo on-premise transferido. |
| Src.File.LastModified | La hora de modificación POSIX (mtime) del archivo local. |
| Src.FileSize | Tamaño del archivo en bytes. |
| Src.File.Crc32C | Suma de comprobación CRC32C del contenido del archivo. |
| Dst.Type | Cadena que describe el tipo de sistema de almacenamiento de destino. Siempre es GCS. |
| Dst.Gcs.BucketName | Nombre del segmento de destino de Cloud Storage. |
| Dst.Gcs.ObjectName | Prefijo de objeto del objeto de destino. |
| Dst.Gcs.LastModified | Hora de modificación POSIX (mtime) del objeto de destino. |
| Dst.Gcs.Size | Tamaño del objeto en bytes. |
| Dst.Gcs.Crc23C | Suma de comprobación CRC32C del contenido del objeto. |
| Dst.Md5 | La suma de comprobación MD5 del objeto final en Cloud Storage. |
Ejemplo de entrada de registro
A continuación, se muestra un ejemplo de dos líneas de salida de registro: el encabezado y una línea de datos:
Timestamp OperationName Action ActionStatus FailureDetails.ErrorType FailureDetails.GrpcCode FailureDetails.Message Src.Type Src.File.Path Src.File.LastModified Src.File.Size Src.File.Crc32C Dst.Type Dst.Gcs.BucketName Dst.Gcs.ObjectName Dst.Gcs.LastModified Dst.Gcs.Size Dst.Gcs.Crc32C Dst.Gcs.Md5 2019-10-18T21:06:17Z transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448 TRANSFER SUCCEEDED ON_PREM_FILE /mnt/disks/disk-1/directory1/file.txt 1561409931 406 3089075447 GCS_OBJECT destination-gcs-bucket file.txt 1571432776 406 3089075447 FDjya7dWbd0OrgnZ7g9ZJw==