Implante os recursos personalizados de previsão no cluster de previsão criado pelo operador de infraestrutura (IO). O operador cria cargas de trabalho de previsão no mesmo cluster.
Para criar o cluster de previsão, trabalhe com o IO para associar seu projeto de previsão e alocar os pools de nós necessários para previsões on-line na Google Distributed Cloud (GDC) isolada por air-gap.
Para criar um cluster de previsão, siga estas etapas:
Identifique o projeto na sua organização que você quer associar ao novo cluster para previsões on-line.
Para criar um projeto, consulte Configurar um projeto para a Vertex AI. Você precisa do ID do projeto ao fazer chamadas de API.
Na lista de tipos de máquinas disponíveis no Distributed Cloud, escolha o tipo de máquina para os nós que suas cargas de trabalho precisam no cluster.
O tipo de máquina escolhido depende do tamanho e da complexidade do modelo de previsão e determina os recursos de computação e unidade de processamento gráfico (GPU) que o IO fornece ao cluster. Siga as recomendações de seleção de nós ao escolher o tipo de máquina para seus nós.
Envie um e-mail para o IO usando o modelo de caso do cluster de previsão para abrir um caso e enviar sua solicitação de criação do cluster.
Se necessário, comunique-se com o IO até que ele termine de criar o cluster de previsão associado ao seu projeto e atribuir os pools de nós adequados no cluster.
Depois de concluir o provisionamento do cluster, ele estará pronto para previsões on-line.
Recomendações de seleção de nós
Quando o IO cria pools de nós em um cluster, ele atribui um dos tipos de máquina disponíveis no Distributed Cloud para fornecer um conjunto predefinido de recursos para os nós de trabalho. Dependendo do tamanho e da complexidade do modelo, você precisa de diferentes desempenhos de computação e, consequentemente, de uma quantidade específica de CPU, memória e GPU. Você precisa fornecer esses detalhes na sua comunicação com o IO quando quiser criar um cluster de previsão.
Ao determinar com o IO o tipo de máquina para os pools de nós necessários no cluster de previsão, siga estas práticas:
- O Distributed Cloud adiciona sobrecarga de computação aos nós para componentes obrigatórios do sistema. Portanto, escolha um tipo de máquina maior para os pools de nós do que o que você pretende usar no pool de recursos dos modelos.
- Escolha a solução que oferece a memória e os recursos de computação mínimos necessários para seus requisitos. Por exemplo, se o modelo
exigir oito vCPUs, escolha o tipo de máquina
n2-highcpu-8-gdc, a menor solução com oito vCPUs e 8 GB de memória no Distributed Cloud. - À medida que você avança, considere soluções de maior desempenho apenas se as menores não forem adequadas para suas necessidades e para o tamanho e a complexidade do modelo. É fundamental aderir ao princípio de privilégio mínimo, usando apenas os recursos necessários para executar seu fluxo de trabalho específico. Essa abordagem responsável garante o uso adequado dos recursos no ambiente da Distributed Cloud.
- Escolha apenas soluções com GPUs se você precisar delas para seu modelo.
- Se o modelo exigir GPUs, considere o tipo de máquina
a2-highgpu-1g-gdc, a menor solução que oferece GPUs.
Modelo de caso de cluster Prediction
Use o modelo a seguir para enviar um e-mail à sua IO. O e-mail abre um caso para criar o cluster de previsão necessário para previsões on-line.
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]