Modelos de linguagem grande
-
Inferência do JetStream MaxText na v6e
Um guia para configurar e usar o JetStream com o MaxText para inferência na v6e.
-
Inferência do PyTorch do JetStream na v6e
Um guia para configurar e usar o JetStream com o PyTorch para inferência na v6e.
-
Inferência de vLLM na v6e
Um guia para configurar e usar o vLLM para inferência na v6e.
-
Disponibilizar um LLM usando TPUs no GKE com o vLLM
Um guia para usar o vLLM para veicular modelos de linguagem grandes (LLMs) usando Unidades de Processamento de Tensor (TPUs) no Google Kubernetes Engine (GKE).
-
Treinar o Llama 3 usando o PyTorch na TPU v5e
Um guia para treinar um modelo Llama-3-8B usando PyTorch/XLA no TPU v5e usando o conjunto de dados WikiText.