Configurar montajes de volúmenes de Cloud Storage para tareas

En esta página se muestra cómo montar un segmento de Cloud Storage como volumen de almacenamiento mediante montajes de volumen de Cloud Run.

Al montar el segmento como un volumen en Cloud Run, el contenido del segmento se presenta como archivos en el sistema de archivos del contenedor. Después de montar el bucket como un volumen, puedes acceder a él como si fuera un directorio de tu sistema de archivos local. Para ello, utiliza las operaciones y bibliotecas del sistema de archivos de tu lenguaje de programación en lugar de las bibliotecas de cliente de la API de Google.

Puedes montar tu volumen como de solo lectura y también puedes especificar opciones de montaje para tu volumen.

Requisitos de memoria

• En todos los casos de almacenamiento en caché de Cloud Storage FUSE, Cloud Run usa el ajuste de caché de estadísticas con un tiempo de vida (TTL) de 60 segundos de forma predeterminada. El tamaño máximo predeterminado de la caché de estadísticas es de 32 MB y el tamaño máximo predeterminado de la caché de tipos es de 4 MB.

• Al leer, Cloud Storage FUSE también consume memoria que no es de las cachés de estadísticas y tipos, como una matriz de 1 MiB por cada archivo que se lee y por cada goroutine.

• Cuando se escribe en Cloud Storage, todo el archivo se almacena en la memoria de Cloud Run antes de que se escriba en Cloud Storage.

Limitaciones

Como Cloud Run usa Cloud Storage FUSE para montar este volumen, hay algunas cosas que debes tener en cuenta al montar un segmento de Cloud Storage como volumen:

• Cloud Storage FUSE no proporciona control de simultaneidad para varias escrituras (bloqueo de archivos) en el mismo archivo. Cuando varios procesos de escritura intentan sustituir un archivo, se aplica el último y se pierden todos los anteriores.
• Cloud Storage FUSE no es un sistema de archivos totalmente compatible con POSIX. Para obtener más información, consulta la documentación de FUSE de Cloud Storage.

Rutas no permitidas

Cloud Run no te permite montar un volumen en /dev, /proc o /sys, ni en sus subdirectorios.

Antes de empezar

Necesitas un segmento de Cloud Storage para montarlo como volumen.

Para obtener un rendimiento óptimo de lectura/escritura en Cloud Storage, consulta Optimizar el rendimiento del ancho de banda de la red FUSE de Cloud Storage.

Roles obligatorios

Para obtener los permisos que necesitas para configurar los montajes de volúmenes de Cloud Storage, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos:

• Desarrollador de Cloud Run (roles/run.developer) en la tarea de Cloud Run
• Usuario de cuenta de servicio (roles/iam.serviceAccountUser) en la identidad de servicio

Para obtener los permisos que necesita tu identidad de servicio para acceder al archivo y al segmento de Cloud Storage, pide a tu administrador que le conceda a la identidad de servicio el rol Lector de objetos de almacenamiento (roles/storage.objectViewer). Si la identidad de servicio también necesita realizar operaciones de escritura en un segmento, asigna el rol Usuario de objetos de almacenamiento (roles/storage.objectUser).

Para obtener más información sobre los roles y permisos de Cloud Storage, consulta Gestión de identidades y accesos para Cloud Storage.

Para ver una lista de los roles y permisos de gestión de identidades y accesos asociados a Cloud Run, consulta los artículos sobre roles de gestión de identidades y accesos de Cloud Run y permisos de gestión de identidades y accesos de Cloud Run. Si tu trabajo de Cloud Run interactúa con APIs deGoogle Cloud , como las bibliotecas de cliente de Cloud, consulta la guía de configuración de la identidad de servicio. Para obtener más información sobre cómo conceder roles, consulta los artículos sobre permisos de implementación y gestión del acceso.

Montar un volumen de Cloud Storage

Puedes montar varios contenedores en diferentes rutas de montaje. También puedes montar un volumen en más de un contenedor usando la misma ruta de montaje o rutas diferentes en los contenedores.

Si usas varios contenedores, primero especifica los volúmenes y, a continuación, los montajes de volumen de cada contenedor.

  resource "google_cloud_run_v2_job" "default" {
    name     = "JOB_NAME"
    location = "REGION"

    template {
      template {
        containers {
          image = "IMAGE_URL"
          volume_mounts {
            name = "VOLUME_NAME"
            mount_path = "MOUNT_PATH"
          }
        }

      volumes {
        name = "VOLUME_NAME"
        gcs {
          bucket = google_storage_bucket.default.name
          read_only = IS_READ_ONLY
        }
      }
    }
  }
}

  resource "google_storage_bucket" "default" {
    name     = "BUCKET_NAME"
    location = "REGION"
  }

Leer y escribir en un volumen

Si usas la función de montaje de volúmenes de Cloud Run, puedes acceder a un volumen montado con las mismas bibliotecas de tu lenguaje de programación que usas para leer y escribir archivos en tu sistema de archivos local.

Esto es especialmente útil si usas un contenedor que espera que los datos se almacenen en el sistema de archivos local y que utiliza operaciones normales del sistema de archivos para acceder a ellos.

En los siguientes fragmentos se presupone que se ha montado un volumen con mountPath definido como /mnt/my-volume.

var fs = require('fs');
fs.appendFileSync('/mnt/my-volume/sample-logfile.txt', 'Hello logs!', { flag: 'a+' });

f = open("/mnt/my-volume/sample-logfile.txt", "a")

f, err := os.Create("/mnt/my-volume/sample-logfile.txt")

import java.io.File;
File f = new File("/mnt/my-volume/sample-logfile.txt");

Configuración de volúmenes mediante opciones de montaje

También puedes usar opciones de montaje para configurar varias propiedades del montaje de tu volumen. Las opciones de montaje disponibles te permiten configurar los ajustes de la caché, montar un directorio específico, habilitar el registro de depuración y otros comportamientos.

Especificar las opciones de montaje

Puedes especificar opciones de montaje con la CLI de Google Cloud, YAML o Terraform. Las opciones de montaje se separan con puntos y comas (;) en la CLI de Google Cloud y con comas en YAML, tal como se muestra en las siguientes pestañas:

gcloud beta run jobs update JOB \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME, mount-options="OPTION_1=VALUE_1;OPTION_N=VALUE_N" \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

resource "google_cloud_run_v2_job" "default" {
  provider = google-beta
  name     = "JOB_NAME"
  location = "REGION"

  template {
    template {
      containers {
        image = "IMAGE_URL"
        volume_mounts {
          name = "VOLUME_NAME"
          mount_path = "MOUNT_PATH"
        }
      }

      volumes {
        name = "VOLUME_NAME"
        gcs {
          bucket = google_storage_bucket.default.name
          read_only = IS_READ_ONLY
          mount_options = ["OPTION_1=VALUE_1", "OPTION_N=VALUE_N", "OPTION_O"]
        }
      }
    }
  }
}

Opciones de montaje habituales

Las opciones de montaje se suelen usar para lo siguiente:

• Configurar los ajustes de caché
• Montar solo un directorio específico del segmento de Cloud Storage
• Configurar la propiedad del volumen (uid, gid)
• Desactivar directorios implícitos
• Especifica los niveles de registro de depuración.

Configurar los ajustes de almacenamiento en caché

Puedes cambiar los ajustes de almacenamiento en caché de tu volumen configurando las opciones de montaje relacionadas con el almacenamiento en caché. En la siguiente tabla se enumeran los ajustes y los valores predeterminados de Cloud Run :

El siguiente comando de la CLI de Google Cloud define el valor de metadata-cache-ttl-secs en 120 segundos y aumenta la capacidad de la caché de estadísticas y de tipos a 52 y 7 MiB, respectivamente:

gcloud beta run jobs update JOB \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME,mount-options="metadata-cache-ttl-secs=120;stat-cache-max-size-mb=52;type-cache-max-size-mb=7" \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

Haz los cambios siguientes:

• JOB: el nombre de tu trabajo.
• VOLUME_NAME: el nombre que quieras darle al volumen. El valor VOLUME_NAME se usa para asignar el volumen al montaje del volumen.
• BUCKET_NAME: el nombre de tu segmento de Cloud Storage.
• MOUNT_PATH: la ruta relativa en la que vas a montar el volumen. Por ejemplo, /cache.

Habilitar el registro de depuración

De forma predeterminada, Cloud Storage FUSE registra los eventos que tienen un nivel Info o superior. Puede cambiar la configuración de registro con cualquiera de los siguientes niveles de gravedad de registro, que se indican en orden de menor a mayor:

• trace
• debug
• info
• warning
• error
• Para desactivar todos los registros, especifica el valor off.

Cuando especifica un nivel de gravedad, Cloud Storage FUSE genera registros de eventos que tienen un nivel de gravedad igual o superior al especificado. Por ejemplo, si especificas el nivel warning, Cloud Storage FUSE genera registros de advertencias y errores.

Si se define la gravedad de los registros en niveles superiores a info, el rendimiento puede verse afectado y se puede generar una gran cantidad de datos de registro, por lo que te recomendamos que lo hagas solo cuando sea necesario.

La siguiente línea de comandos activa el registro de depuración:

gcloud beta run jobs update JOB \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME,mount-options="log-severity=debug" \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

Haz los cambios siguientes:

• JOB con el nombre del trabajo.
• VOLUME_NAME con el nombre que quieras para el volumen. El valor VOLUME_NAME se usa para asignar el volumen al montaje del volumen.
• BUCKET_NAME con el nombre de tu segmento de Cloud Storage.
• MOUNT_PATH con la ruta relativa en la que vas a montar el volumen, por ejemplo, /cache.

Inhabilitar directorios implícitos

Para que Cloud Storage se parezca más a un sistema de archivos estándar, Cloud Run habilita los directorios implícitos de forma predeterminada al montar un segmento de Cloud Storage. Puedes desactivar los directorios implícitos con la opción de montaje implicit-dirs. Si inhabilitas los directorios implícitos, puedes mejorar el rendimiento y reducir los costes, pero esto conlleva ciertas concesiones en cuanto a la compatibilidad.

La función de directorios implícitos permite a Cloud Run reconocer archivos de Cloud Storage que ya existan y cuyos nombres de archivo imiten una estructura de directorios, como /mydir/myfile.txt. Si inhabilitas los directorios implícitos, Cloud Run no podrá mostrar ni leer esos archivos.

Si desactivas los directorios implícitos, se reduce el número de solicitudes a Cloud Storage, lo que puede mejorar el rendimiento y el coste de tu aplicación. Consulta la documentación sobre archivos y directorios de Cloud Storage FUSE para obtener más información.

La siguiente línea de comandos inhabilita los directorios implícitos:

gcloud beta run jobs update JOB \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME,mount-options="implicit-dirs=false" \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

Haz los cambios siguientes:

• JOB: el nombre de tu trabajo.
• VOLUME_NAME: el nombre que quieras darle al volumen. El valor VOLUME_NAME se usa para asignar el volumen al montaje del volumen.
• BUCKET_NAME: el nombre de tu segmento de Cloud Storage.
• MOUNT_PATH: la ruta relativa en la que vas a montar el volumen. Por ejemplo, /cache.

Montar un directorio específico de tu segmento de Cloud Storage

De forma predeterminada, Cloud Run monta todo el segmento de Cloud Storage, lo que da a los trabajos de Cloud Run acceso a todo su contenido. En algunos casos, puede que solo quieras montar un directorio específico. Por ejemplo, si el contenedor contiene un gran número de archivos, montar un directorio específico puede mejorar el rendimiento.

También puedes implementar esta opción para aislar los trabajos que necesiten acceder a diferentes directorios del contenedor de almacenamiento.

La siguiente línea de comandos especifica el directorio que se va a montar:

gcloud beta run jobs update JOB \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME,mount-options="only-dir=images" \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

Haz los cambios siguientes:

• JOB: el nombre de tu trabajo.
• VOLUME_NAME: el nombre que quieras darle al volumen. El valor VOLUME_NAME se usa para asignar el volumen al montaje del volumen.
• BUCKET_NAME: el nombre de tu segmento de Cloud Storage.
• MOUNT_PATH: la ruta relativa en la que vas a montar el volumen. Por ejemplo, /cache.

Pon el volumen UID y GID

Usa las opciones de montaje uid y gid para cambiar el identificador de usuario y el identificador de grupo del volumen. Esto resulta útil si quieres asignar la propiedad del archivo a un usuario o grupo específico que coincida con la identidad de uno o varios contenedores en ejecución. De forma predeterminada, los volúmenes son propiedad de la raíz.

La siguiente línea de comandos define uid y gid:

gcloud beta run jobs update JOB \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME,mount-options="uid=UID;gid=GID"  \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

Haz los cambios siguientes:

• JOB: el nombre de tu trabajo.
• VOLUME_NAME: el nombre que quieras darle al volumen. El valor VOLUME_NAME se usa para asignar el volumen al montaje del volumen.
• BUCKET_NAME: el nombre de tu segmento de Cloud Storage.
• MOUNT_PATH: la ruta relativa en la que vas a montar el volumen. Por ejemplo, /cache.

Ver los ajustes de montajes de volúmenes

Puedes ver la configuración actual del montaje de volúmenes mediante la Google Cloud consola o la interfaz de línea de comandos de Google Cloud.

Optimizar el rendimiento del ancho de banda de la red de Cloud Storage FUSE

Para mejorar el rendimiento de lectura y escritura, conecta tu trabajo de Cloud Run a una red de VPC mediante VPC directa y enruta todo el tráfico saliente a través de tu red de VPC. Puedes hacerlo de cualquiera de las siguientes formas:

• Habilita Acceso privado de Google y asegúrate de que el parámetro vpc-egress tenga el valor all-traffic.
• Usa una de las opciones descritas en la página de prácticas recomendadas de redes, en la sección Tráfico interno a una API de Google.

Tiempo de inicio de los contenedores y montajes de Cloud Storage FUSE

Usar Cloud Storage FUSE puede aumentar ligeramente el tiempo de arranque en frío de tu contenedor de Cloud Run, ya que Cloud Run inicia el montaje del volumen antes de iniciar los contenedores. El contenedor solo se iniciará si Cloud Storage FUSE se monta correctamente.

Ten en cuenta que Cloud Storage FUSE solo monta un volumen correctamente después de establecer una conexión con Cloud Storage. Cualquier retraso en la red puede influir en el tiempo de inicio del contenedor. Por lo tanto, si el intento de conexión falla, Cloud Storage FUSE no se montará y el trabajo de Cloud Run no se iniciará. Además, si Cloud Storage FUSE tarda más de 30 segundos en montarse, el trabajo de Cloud Run no se iniciará porque Cloud Run tiene un tiempo de espera total de 30 segundos para realizar todos los montajes.

Características de rendimiento de Cloud Storage FUSE

Si defines dos volúmenes, cada uno de ellos apuntando a un segmento diferente, se iniciarán dos procesos de Cloud Storage FUSE. Los montajes y los procesos se producen en paralelo.

Las operaciones que usan Cloud Storage FUSE se ven afectadas por el ancho de banda de la red, ya que Cloud Storage FUSE se comunica con Cloud Storage mediante la API de Cloud Storage. Algunas operaciones, como enumerar el contenido de un contenedor, pueden ser lentas si el ancho de banda de la red es bajo. Del mismo modo, leer un archivo grande puede llevar tiempo, ya que también está limitado por el ancho de banda de la red.

Cuando escribes en un segmento, Cloud Storage FUSE almacena el objeto por completo en la memoria. Esto significa que la escritura de archivos grandes está limitada por la cantidad de memoria disponible para la instancia del contenedor (el límite máximo de memoria del contenedor es de 32 GiB).

La escritura se vacía en el segmento solo cuando realizas una close o una fsync: el objeto completo se sube al segmento. La única excepción a la regla de que un objeto se vuelve a subir por completo al segmento es el caso de un archivo con contenido añadido cuando el archivo tiene 2 MiB o más.

Para obtener más información, consulta los siguientes recursos:

• Documentación de Cloud Storage FUSE
• Rendimiento de Cloud Storage FUSE
• Semántica de Cloud Storage FUSE

Borrar y quitar volúmenes y montajes de volúmenes

Puedes borrar todos los volúmenes y los puntos de montaje, o bien quitar volúmenes y puntos de montaje concretos.

Borrar todos los volúmenes y los puntos de montaje de volúmenes

Para borrar todos los volúmenes y los montajes de volúmenes de tu trabajo de un solo contenedor, ejecuta el siguiente comando:

gcloud run jobs update JOB \
    --clear-volumes
    --clear-volume-mounts

Si tienes varios contenedores, sigue las convenciones de la CLI de sidecars para borrar volúmenes y montajes de volúmenes:

gcloud run jobs update JOB \
    --clear-volumes \
    --clear-volume-mounts \
    --container=container1 \
    --clear-volumes \
    -–clear-volume-mounts \
    --container=container2 \
    --clear-volumes \
    -–clear-volume-mounts

Eliminar volúmenes y montajes de volúmenes concretos

Para quitar un volumen, también debes quitar todos los montajes de volumen que lo usen.

Para quitar volúmenes o montajes de volúmenes concretos, usa las marcas remove-volume y remove-volume-mount:

gcloud run jobs update JOB \
    --remove-volume VOLUME_NAME
    --container=container1 \
    --remove-volume-mount MOUNT_PATH \
    --container=container2 \
    --remove-volume-mount MOUNT_PATH