Usa GPU de NVIDIA

Consola

1. Ir a Cloud Run for Anthos

2. Haz clic en Crear servicio para mostrar el formulario Crear servicio (Create service).

3. En la sección Configuración del servicio (Service settings), haz lo siguiente:

   1. Selecciona el clúster de GKE con el grupo de nodos habilitado para GPU.
   2. Especifica el nombre que deseas asignarle al servicio.
   3. Haz clic en Siguiente para pasar a la siguiente sección.

4. En la sección Configurar la primera revisión del servicio (Configure the service's first revision), haz lo siguiente:

   

   1. Agrega la URL de una imagen de contenedor.
   2. Haz clic en Configuración avanzada y, en el menú GPU asignada, selecciona la cantidad de GPU que deseas asignar a tu servicio.

5. Haz clic en Siguiente para pasar a la siguiente sección.

6. En la sección Configura la forma en que se activa el servicio, selecciona la conectividad que deseas usar para invocar el servicio.

7. Haz clic en Crear para implementar la imagen en Cloud Run for Anthos y espera a que termine la implementación.

Línea de comandos

Puedes descargar la configuración de un servicio existente en un archivo YAML con el comando gcloud run services describe mediante la marca --format=export. Luego, puedes modificar ese archivo YAML e implementar esos cambios con el comando gcloud beta run services replace. Debes asegurarte de modificar solo los atributos especificados.

1. Descarga la configuración del servicio en un archivo llamado service.yaml en el lugar de trabajo local:

   gcloud run services describe SERVICE --format export > service.yaml

   Reemplaza SERVICE por el nombre de tu servicio de Cloud Run for Anthos.

2. En tu archivo local, actualiza el atributo nvidia.com/gpu:

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
   name: SERVICE_NAME
   spec:
   template:
    spec:
      containers:
      – image: IMAGE_URL
        resources:
          limits:
           nvidia.com/gpu: "GPU_UNITS"

   Reemplaza GPU_UNITS por el valor de GPU deseado en unidades de GPU de Kubernetes. Por ejemplo, especifica 1 para 1 GPU.

3. Implementa el archivo YAML y reemplaza tu servicio con la nueva configuración mediante la ejecución del siguiente comando:

   gcloud beta run services replace service.yaml