Se usó la API de Cloud Translation para traducir esta página.

Crea una instancia A3 Ultra o A4
Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

En este documento, se describe cómo crear instancias con GPUs conectadas de las series de máquinas A3 Ultra o A4. Para obtener más información sobre la creación de instancias con GPUs conectadas, consulta Descripción general de la creación de una instancia con GPUs conectadas.

Antes de comenzar

Para revisar las limitaciones y los pasos de requisitos previos adicionales para crear instancias con GPUs conectadas, como seleccionar una imagen de SO y verificar la cuota de GPU, consulta Descripción general para crear una instancia con GPUs conectadas.
Si aún no lo hiciste, configura la autenticación. La autenticación es el proceso mediante el cual se verifica tu identidad para acceder a los servicios y las APIs de Google Cloud . Para ejecutar código o muestras desde un entorno de desarrollo local, puedes autenticarte en Compute Engine seleccionando una de las siguientes opciones:

Select the tab for how you plan to use the samples on this page:
Console

When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.
gcloud
1. After installing the Google Cloud CLI, initialize it by running the following command:
  gcloud init
  If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.
  
  Note: If you installed the gcloud CLI previously, make sure you have the latest version by running gcloud components update.
2. Set a default region and zone.

Antes de comenzar

Select the tab for how you plan to use the samples on this page:

Console

When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

gcloud

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Set a default region and zone.

REST

Para usar las muestras de la API de REST en esta página en un entorno de desarrollo local, debes usar las credenciales que proporcionas a la CLI de gcloud.

After installing the Google Cloud CLI, initialize it by running the following command:

gcloud init

If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

Para obtener más información, consulta Autentica para usar REST en la documentación de autenticación de Google Cloud .

Roles obligatorios

Para obtener los permisos que necesitas para crear instancias, pídele a tu administrador que te otorgue el rol de IAM Administrador de instancias de Compute (v1) (roles/compute.instanceAdmin.v1) en el proyecto. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para crear instancias. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para crear instancias:

compute.instances.create en el proyecto
Si deseas usar una imagen personalizada para crear la VM, sigue estos pasos: compute.images.useReadOnly en la imagen
Para usar una instantánea a fin de crear la VM, haz lo siguiente: compute.snapshots.useReadOnly en la instantánea
Si quieres usar una plantilla de instancias para crear la VM, sigue estos pasos: compute.instanceTemplates.useReadOnly en la plantilla de instancias
Para asignar una red heredada a la VM, ejecuta compute.networks.use en el proyecto.
Si deseas especificar una dirección IP estática para la VM: compute.addresses.use en el proyecto
Para asignar una dirección IP externa a la VM cuando se usa una red heredada, ejecuta compute.networks.useExternalIp en el proyecto
A fin de especificar una subred para tu VM: compute.subnetworks.use en el proyecto o en la subred elegida
Para asignar una dirección IP externa a la VM cuando se usa una red de VPC, compute.subnetworks.useExternalIp en el proyecto o en la subred elegida.
Para configurar los metadatos de la instancia de VM para la VM, compute.instances.setMetadata en el proyecto.
Para configurar etiquetas en la VM, haz lo siguiente: compute.instances.setTags en la VM
Para configurar etiquetas en la VM, haz lo siguiente: compute.instances.setLabels en la VM
A fin de configurar una cuenta de servicio para que la VM use: compute.instances.setServiceAccount en la VM
Crear un disco nuevo para la VM: compute.disks.create en el proyecto
Para conectar un disco existente en modo de solo lectura o de lectura y escritura, usa compute.disks.use en el disco.
Para conectar un disco existente en modo de solo lectura, haz lo siguiente: compute.disks.useReadOnly en el disco

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Crea una instancia A3 Ultra o A4

Las instancias A3 Ultra o A4 están disponibles a través de las siguientes opciones de creación, cada una de las cuales tiene diferentes procedimientos de creación, disponibilidad de recursos y precios. Identifica qué opción quieres usar según tu carga de trabajo.

Si ejecutas cargas de trabajo de IA y AA de larga duración, como el entrenamiento y la inferencia de modelos grandes que requieren la latencia más baja, te recomendamos que uses el clúster de Hypercompute (versión preliminar). Con Hypercompute Cluster, puedes reservar máquinas con asignación densa que proporcionan programación consciente de la topología y supervisión y mantenimiento mejorados de esta capacidad reservada. Para obtener más información sobre Hypercompute Cluster, consulta Hypercompute Cluster en la documentación de AI Hypercomputer.

Si deseas obtener instrucciones para crear instancias A3 Ultra o A4 con Hypercompute Cluster, consulta la descripción general para crear VMs y clústeres en la documentación de Hypercomputer de IA.
Si ejecutas cargas de trabajo de IA y de AA de prioridad inferior que son tolerantes a las interrupciones de disponibilidad, puedes obtener descuentos significativos con las VMs Spot. Aunque puedes crear y borrar VMs Spot según sea necesario, estas son recursos finitos que pueden no estar siempre disponibles, y Compute Engine puede interrumpir (detener o borrar automáticamente) las VMs Spot en cualquier momento. Para obtener más información sobre las VMs Spot, consulta VMs Spot.

Si deseas obtener instrucciones para crear instancias A3 Ultra o A4 con VMs Spot, consulta la siguiente sección de este documento: Crea una instancia A3 Ultra o A4 con VMs Spot.

Crea una instancia A3 Ultra o A4 con VMs Spot

Para crear una instancia A3 Ultra o A4 con VMs Spot, completa los pasos de las siguientes secciones:

Crea redes de VPC.
Crea la VM Spot.
Prepara una VM Spot con GPUs conectadas para usarla.

Crea redes de VPC

Según el tipo de máquina que deseas usar y la cantidad de interfaces de red en el tipo de máquina, debes crear redes de nube privada virtual (VPC) de la siguiente manera:

Tipo de máquina	Cantidad de NIC físicas^*	Interfaces de red^†	Cantidad de redes de VPC que se crearán
`a4-highgpu-8g`	10	2 interfaces de red gVNIC que se usan para la comunicación de host a host 1 interfaz de red RDMA (conectada a una red con 8 subredes) para la comunicación entre GPU	3
`a3-ultragpu-8g`	10	2 interfaces de red gVNIC que se usan para la comunicación de host a host 1 interfaz de red RDMA (conectada a una red con 8 subredes) para la comunicación de GPU a GPU.	3

^*Para obtener más información sobre la disposición de las NIC, consulta Revisa el ancho de banda de red y la disposición de las NIC.

^†Para obtener más información sobre las interfaces de red, consulta Cómo usar la NIC virtual de Google y Perfiles de red de RDMA.

Configura las redes de forma manual siguiendo las guías de instrucciones o automáticamente con la secuencia de comandos proporcionada.

Guías de instrucciones

Para crear las redes, puedes usar las siguientes instrucciones:

Para crear las redes de host, consulta Crea y administra redes de nube privada virtual.
Para crear las redes de GPU, consulta Crea una red de nube privada virtual para las NIC de RDMA.

Secuencia de comandos

Para crear las redes, puedes usar la siguiente secuencia de comandos.

  #!/bin/bash

  # Create standard VPCs (network and subnets) for the gVNICs
  for N in $(seq 0 1); do
    gcloud beta compute networks create GVNIC_NAME_PREFIX-net-$N \
      --subnet-mode=custom

    gcloud beta compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
      --network=GVNIC_NAME_PREFIX-net-$N \
      --region=REGION \
      --range=10.$N.0.0/16

    gcloud beta compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
      --network=GVNIC_NAME_PREFIX-net-$N \
      --action=ALLOW \
      --rules=tcp:0-65535,udp:0-65535,icmp \
      --source-ranges=10.0.0.0/8
  done

  # Create SSH firewall rules
  gcloud beta compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
    --network=GVNIC_NAME_PREFIX-net-0 \
    --action=ALLOW \
    --rules=tcp:22 \
    --source-ranges=IP_RANGE

  # Assumes that an external IP is only created for vNIC 0
  gcloud beta compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
    --network=GVNIC_NAME_PREFIX-net-0 \
    --action=ALLOW \
    --rules=icmp \
    --source-ranges=IP_RANGE

  # List and make sure network profiles exist
  gcloud beta compute network-profiles list

  # Create network for CX-7
  gcloud beta compute networks create RDMA_NAME_PREFIX-mrdma \
    --network-profile=ZONE-vpc-roce \
    --subnet-mode custom

  # Create subnets.
  for N in $(seq 0 7); do
    gcloud beta compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
      --network=RDMA_NAME_PREFIX-mrdma \
      --region=REGION \
      --range=10.$((N+2)).0.0/16  # offset to avoid overlap with gVNICs
  done

Reemplaza lo siguiente:

GVNIC_NAME_PREFIX: Es el prefijo de nombre que se usará para las subredes y las redes de VPC estándar que usan NIC gVNIC.
RDMA_NAME_PREFIX: Es el prefijo del nombre que se usará para las subredes y las redes de VPC que usan NIC RDMA.
ZONE: Especifica una zona en la que esté disponible el tipo de máquina que deseas usar. Para obtener información sobre las regiones, consulta Zonas y regiones de GPU.
REGION: Es la región en la que deseas crear las redes. Debe corresponder a la zona especificada. Por ejemplo, si tu zona es europe-west1-b, tu región es europe-west1.
IP_RANGE: Es el rango de IP que se usará para las reglas de firewall de SSH.

Crea la VM Spot

Para crear la VM Spot, usa uno de los siguientes métodos:

Console

En la consola de Google Cloud, ve a la página Crea una instancia.

Ir a Crear una instancia

Aparecerá la pantalla Create an instance, que muestra el panel Machine configuration.
En el panel Configuración de la máquina, completa los siguientes pasos:
1. Especifica un nombre para tu instancia. Consulta la convención de asignación de nombres de recursos.
2. Selecciona la región y la zona en las que deseas reservar la capacidad. Consulta la lista de regiones y zonas de GPU disponibles.
3. Haz clic en la pestaña GPUs y, luego, completa los siguientes pasos:
  1. En la lista Tipo de GPU, selecciona el tipo de GPU.
    - Para instancias A4, selecciona NVIDIA B200.
    - Para instancias A3 Ultra, selecciona NVIDIA H200 141GB.
  2. En la lista Cantidad de GPU, selecciona 8.
En el menú de navegación, haz clic en SO y almacenamiento. En el panel SO y almacenamiento que aparece, completa los siguientes pasos:
1. Haz clic en Cambiar. Se abrirá el panel Configuración del disco de arranque.
2. En la pestaña Imágenes públicas, selecciona una imagen recomendada. Para obtener una lista de imágenes recomendadas, consulta Sistemas operativos.
3. Para confirmar las opciones del disco de arranque, haz clic en Seleccionar.
Para crear una instancia con varias NIC, completa los siguientes pasos. De lo contrario, para crear una instancia de NIC única, omite estos pasos.
1. En el menú de navegación, haz clic en Herramientas de redes. En el panel Networking que aparece, completa los siguientes pasos:
  1. En la sección Interfaces de red, completa los siguientes pasos:
  2. Borra la interfaz de red predeterminada. Para borrar la interfaz, haz clic en Borrar.
  3. Haz clic en Agregar una interfaz de red. Usa esta opción para agregar las redes gVNIC y RDMA que creaste en la sección anterior. Cuando agregues las redes, recuerda lo siguiente:
    - Especifica tus redes host en las listas Red y Subred, y establece la lista Tarjeta de interfaz de red en gVNIC.
    - Especifica tus redes de GPU en las listas Red y Subred, y establece la lista Tarjeta de interfaz de red en MRDMA para estas redes.
En el menú de navegación, haz clic en Opciones avanzadas. En el panel Advanced que aparece, completa los siguientes pasos:
1. En la sección Modelo de aprovisionamiento, selecciona Spot en la lista Modelo de aprovisionamiento de VM.
2. Opcional: Para especificar la acción que se debe realizar cuando Compute Engine interrumpe la instancia (detener [predeterminada] o borrar), completa los siguientes pasos:
  1. Expande la sección Configuración avanzada del modelo de aprovisionamiento de VMs.
  2. En la lista Finalización de VM, selecciona una opción.
Para crear y, luego, iniciar la instancia, haz clic en Crear.

gcloud

Para crear la instancia, usa el comando gcloud beta compute instances create:

gcloud beta compute instance create INSTANCE_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION \
    --zone=ZONE \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address

Reemplaza lo siguiente:

INSTANCE_NAME: El nombre de la instancia.
MACHINE_TYPE: Es el tipo de máquina que se usará para la instancia, a3-ultragpu-8g o a4-highgpu-8g.
IMAGE_FAMILY: Es la familia de imágenes de la imagen del SO que deseas usar. Para conocer las opciones, consulta Detalles de los sistemas operativos.
IMAGE_PROJECT: Es el ID del proyecto de la imagen del SO.
TERMINATION_ACTION: Opcional: Especifica qué acción se debe realizar cuando Compute Engine interrumpe la instancia, ya sea STOP (comportamiento predeterminado) o DELETE.
ZONE: Es la zona en la que deseas crear la instancia. Para conocer las opciones, consulta Regiones y zonas de GPU.
DISK_SIZE: Es el tamaño del disco de arranque en GB.

REST

Para crear la instancia, realiza una solicitud POST al método instances.insert de la siguiente manera:

POST https://compute.googleapis.com/compute/beta/projects/PROJECT_ID/zones/ZONE/
{
  {
    "machineType":"projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
    "name":"INSTANCE_NAME",
    "disks":[
        {
          "boot":true,
          "initializeParams":{
              "diskSizeGb":"DISK_SIZE",
              "diskType":"hyperdisk-balanced",
              "sourceImage":"projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          },
          "mode":"READ_WRITE",
          "type":"PERSISTENT"
        }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-nat",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "projects/PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
        "nicType": "GVNIC",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
        "nicType": "GVNIC",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
      }
      ],
    "scheduling":{
      "provisioningModel":"SPOT",
      "instanceTerminationAction":"TERMINATION_ACTION"
    }
  }
}

Reemplaza lo siguiente:

PROJECT_ID: El ID del proyecto en el que deseas crear la instancia.
ZONE: Es la zona en la que deseas crear la instancia. Para ver las opciones, consulta Regiones y zonas de GPU.
MACHINE_TYPE: Es el tipo de máquina que se usará para la instancia, a3-ultragpu-8g o a4-highgpu-8g.
INSTANCE_NAME: El nombre de la instancia.
DISK_SIZE: Es el tamaño del disco de arranque en GB.
IMAGE_PROJECT: Es el ID del proyecto de la imagen del SO.
IMAGE_FAMILY: Es la familia de imágenes de la imagen del SO que deseas usar. Para conocer las opciones, consulta Detalles de los sistemas operativos.
TERMINATION_ACTION: Opcional: Especifica qué acción se debe realizar cuando Compute Engine interrumpe la instancia, ya sea STOP (comportamiento predeterminado) o DELETE.

Prepara una VM Spot con GPUs conectadas para usarla

Para preparar una VM Spot con GPU conectadas para usarla, completa los siguientes pasos:

Para permitir que una instancia use sus GPUs adjuntas, esta requiere controladores de GPU. A menos que hayas especificado una imagen que ya incluya los controladores de GPU necesarios, sigue los pasos para instalar los controladores de GPU.
Para preparar una VM Spot para usarla, completa los siguientes pasos:
- Para obtener información sobre cómo asegurarte de que una VM Spot pueda resistir la interrupción, consulta Administra la interrupción de las VMs Spot.
- Opcional: Obtén información sobre las prácticas recomendadas para usar VMs Spot.

¿Qué sigue?

Para supervisar el rendimiento de las GPU, consulta Supervisa el rendimiento de las GPU.
Para solucionar problemas de instancias de GPU, consulta Soluciona problemas de VMs con GPU.
Más información sobre las plataformas de GPU.

Crea una instancia A3 Ultra o A4 Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

Antes de comenzar

Console

gcloud

REST

Antes de comenzar

Console

gcloud

REST

Roles obligatorios

Permisos necesarios

Crea una instancia A3 Ultra o A4

Crea una instancia A3 Ultra o A4 con VMs Spot

Crea redes de VPC

Guías de instrucciones

Secuencia de comandos

Crea la VM Spot

Console

gcloud

REST

Prepara una VM Spot con GPUs conectadas para usarla

¿Qué sigue?

Crea una instancia A3 Ultra o A4
Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.