Treinamento eficiente do PyTorch com dados em nuvem

A Pesquisa de arquitetura neural da Vertex AI não tem requisitos que descrevem como projetar seus treinadores. Portanto, escolha qualquer framework de treinamento para criar o treinador.

Para o treinamento do PyTorch com grandes quantidades de dados, a prática recomendada é usar o paradigma de treinamento distribuído e ler os dados do Cloud Storage. Acesse a postagem do blog Treinamento eficiente do PyTorch com a Vertex AI para conferir métodos sobre como melhorar o desempenho do treinamento. É possível notar uma melhoria geral de seis vezes no desempenho com dados no Cloud Storage usando WebDataset e escolhendo DistributedDataParallel ou estratégias de treinamento distribuídas FullyShardedDataParallel. O desempenho do treinamento usando dados no Cloud Storage é semelhante ao desempenho do treinamento usando dados em um disco local.

O exemplo de classificação MNasNet pré-criado incorpora esses métodos no pipeline de treinamento.