Perguntas frequentes: Cloud TPU

Este documento contém uma lista de perguntas frequentes sobre os Cloud TPUs. Ela é dividida em seções:

  1. Perguntas frequentes independentes de framework: perguntas sobre o uso de Cloud TPUs independente do framework de ML que você está usando.
  2. Perguntas frequentes sobre o JAX: dúvidas sobre como usar Cloud TPUs com o JAX.
  3. Perguntas frequentes sobre o PyTorch: dúvidas sobre como usar as Cloud TPUs com o PyTorch.

Perguntas frequentes independentes de framework

Como verificar qual processo está usando a TPU em uma VM do Cloud TPU?

Execute tpu-info na VM da Cloud TPU para imprimir o ID do processo e outras informações sobre o processo usando a TPU. Consulte as métricas compatíveis e as definições correspondentes.

   tpu-info

A saída de tpu-info é semelhante a esta:

   TPU Chips
   ┏━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━┓
    Chip         Type         Devices  PID       ┡━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━┩
    /dev/accel0  TPU v4 chip  1        130007     /dev/accel1  TPU v4 chip  1        130007     /dev/accel2  TPU v4 chip  1        130007     /dev/accel3  TPU v4 chip  1        130007    └─────────────┴─────────────┴─────────┴────────┘

   TPU Runtime Utilization
   ┏━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┓
    Device  Memory usage          Duty cycle    ┡━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━┩
    0       0.00 GiB / 31.75 GiB       0.00%     1       0.00 GiB / 31.75 GiB       0.00%     2       0.00 GiB / 31.75 GiB       0.00%     3       0.00 GiB / 31.75 GiB       0.00%    └────────┴──────────────────────┴────────────┘

   TensorCore Utilization
   ┏━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┓
    Chip ID  TensorCore Utilization    ┡━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━┩
    0                         0.00%     1                         0.00%     3                         0.00%     2                         0.00% |
   └─────────┴────────────────────────┘

   Buffer Transfer Latency
   ┏━━━━━━━━━━━━━┳━━━━━┳━━━━━┳━━━━━┳━━━━━━┓
    Buffer Size  P50  P90  P95  P999    ┡━━━━━━━━━━━━━╇━━━━━╇━━━━━╇━━━━━╇━━━━━━┩
          8MB+  | 0us  0us  0us   0us |
   └─────────────┴─────┴─────┴─────┴──────┘

Como adicionar um volume de disco permanente a uma VM do Cloud TPU?

Para mais informações, consulte Adicionar um disco permanente a uma VM de TPU.

Para mais informações, consulte Opções de armazenamento da Cloud TPU.

Perguntas frequentes sobre o JAX

Como saber se a TPU está sendo usada pelo meu programa?

Há algumas maneiras de verificar se o JAX está usando a TPU:

  1. Use a função jax.devices(). Exemplo:

    assert jax.devices()[0].platform == 'tpu'
    
  2. Crie o perfil do seu programa e verifique se ele contém operações da TPU. Para mais informações, consulte Como criar perfis de programas JAX.

Para mais informações, consulte as Perguntas frequentes sobre o JAX.

Perguntas frequentes sobre o Pytorch

Como saber se a TPU está sendo usada pelo meu programa?

Você pode executar os seguintes comandos do Python:

>>> import torch_xla.core.xla_model as xm
>>> xm.get_xla_supported_devices(devkind="TPU")

e verifique se você consegue encontrar dispositivos TPU.