Implantar componentes principais na organização do Gemini

Nesta página, detalhamos como implantar o GenAI Router e o servidor de modelos na organização do Gemini que você criou. Para mais informações sobre esses componentes, consulte Componentes principais.

Antes de começar

Para implantar componentes importantes na organização do Gemini, você precisa ter o seguinte:

• Substitua os flags de recursos de componentes operáveis GEMINI e GPU na organização do Gemini.
• Verifique se a organização do Gemini está funcionando.
• Carregue os pesos do modelo do Gemini na organização do Gemini.

Implantar o GenAI Router e o servidor de modelo

Para implantar o roteador de IA generativa e o servidor de modelos na organização do Gemini, siga estas etapas:

1. Aplique o recurso personalizado GeminiPackage ao servidor da API de gerenciamento da organização do Gemini:

   KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH
   
   kubectl apply --kubeconfig ${KUBECONFIG:?} -f << EOF
   apiVersion: gemini.gdc.goog/v1
   kind: GeminiPackage
   metadata:
     name: gemini-l1opr-cr
     namespace: gemini-system
   spec:
     applications:
     - name: l2crd
       path: gemini-l2crd
     - name: l2opr
       path: gemini-l2operator
     - name: genai-router
       path: gemini-genai-router
   EOF
   

   Substitua GEM_ORG_MGMT_KUBECONFIG_PATH pelo caminho para o arquivo kubeconfig do servidor da API de gerenciamento da organização do Gemini.

2. Implante o recurso personalizado ServoConfig seguindo as etapas do runbook GEMINI-R0008. Como alternativa, aplique o seguinte recurso personalizado:

   kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
   apiVersion: aiplatform.gdc.goog/v1
   kind: ServoConfig
   metadata:
     name: gemini-models
     namespace: gemini-system
   spec:
     modelCombos:
     - name: gemini-1.5-flash-002
       replicas: 2
     - name: gemini-1.5-pro-002
       replicas: 1
   EOF
   

A seguir

• Configurar o armazenamento de vídeos