Os aplicativos de IA usam modelos de IA para operar ou realizar uma tarefa específica.
Por exemplo, um aplicativo de IA pode usar um modelo de IA para resumir documentos ou ser uma interface de chat que usa um banco de dados vetorial para recuperar mais contexto.
Os agentes de IA combinam a inteligência de modelos avançados de IA com o acesso a ferramentas para realizar ações em nome do usuário e sob o controle dele.
É possível implementar agentes de IA como serviços do Cloud Run para orquestrar um conjunto de tarefas assíncronas e fornecer informações aos usuários, envolvendo várias interações de solicitação-resposta.
Arquitetura de agente de IA no Cloud Run
Uma arquitetura típica de agente de IA implantada no Cloud Run pode envolver
vários componentes do Google Cloud e fora do Google Cloud:
Serviço e orquestração:um serviço do Cloud Run funciona como um endpoint de API escalonável e pode processar vários usuários simultâneos com o escalonamento automático, rápido e sob demanda de instâncias. Esse serviço executa a lógica principal do agente, geralmente usando um framework de orquestração de IA, como o LangGraph ou o Kit de desenvolvimento de agentes (ADK). Essa camada coordena chamadas para outros componentes. O Cloud Run oferece suporte a streaming de respostas HTTP de volta para o usuário usando WebSockets. A identidade de serviço integrada do Cloud Run fornece credenciais seguras e automáticas para chamar Google Cloud APIs sem gerenciar chaves de API.
Modelos de IA:a camada de orquestração chama modelos para recursos de raciocínio. Elas podem ser:
A memória de longo prazo para armazenar o histórico de conversas ou lembrar as preferências do usuário pode ser implementada conectando o Cloud Run ao Firestore, um banco de dados NoSQL escalonável e sem servidor.
Bancos de dados e recuperação:para Geração Aumentada de Recuperação (RAG) ou busca de dados estruturados:
Consulte informações específicas de entidades ou faça pesquisas de similaridade em embeddings conectando o Cloud Run a bancos de dados vetoriais, como o Cloud SQL para PostgreSQL ou o AlloyDB para PostgreSQL, com a extensão pgvector.
Ferramentas:o orquestrador usa ferramentas para realizar tarefas específicas que os modelos não são adequados ou para interagir com serviços, APIs ou sites externos. Isso inclui:
Utilitários básicos: cálculos matemáticos precisos, conversões de tempo ou outros utilitários semelhantes podem ser executados no serviço de orquestração do Cloud Run.
Chamada de API: faça chamadas para outras APIs internas ou de terceiros (acesso de leitura ou gravação).
Geração de imagens ou gráficos: use modelos de geração de imagens ou execute bibliotecas de gráficos para criar conteúdo visual de forma rápida e eficaz.
Automação de navegador e SO: execute um sistema operacional sem interface gráfica ou completo em instâncias de contêiner para permitir que o agente navegue na Web, extraia informações de sites ou execute ações usando cliques e entrada de teclado. O serviço do Cloud Run retorna pixels de telas. Use bibliotecas como o Puppeteer para controlar o navegador.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-08-21 UTC."],[],[],null,["# Host AI apps and agents on Cloud Run\n\nThis page highlights some use cases for using Cloud Run as a\nhosting platform for the following AI use cases:\n\n- [AI applications](#ai-apps)\n- [AI agents](#ai-agents)\n\nHost AI applications on Cloud Run\n---------------------------------\n\nAI applications use AI models to operate or perform a specific task.\nFor example, an AI application can use an AI model to summarize documents, or be a chat interface that uses a vector database to retrieve more context.\n\nCloud Run is one of the [application hosting infrastructures](/docs/generative-ai/choose-models-infra-for-ai) that provides a fully managed environment for your AI application workloads.\nCloud Run integrates with AI models such as [Gemini API](/vertex-ai/generative-ai/docs/model-reference/inference), [Vertex AI endpoints](/vertex-ai/docs/general/deployment), or models hosted on [a GPU-enabled Cloud Run service](/run/docs/configuring/services/gpu).\nCloud Run also integrates with [Cloud SQL for PostgreSQL](/sql/docs/postgres/connect-run) and [AlloyDB for PostgreSQL](/alloydb/docs/quickstart/integrate-cloud-run), which are two databases offering the `pgvector` extension for Retrieval-Augmented Generation (RAG).\n\nHost AI Agents on Cloud Run\n---------------------------\n\nAI agents combine the intelligence of advanced AI models, with access to tools,\nto take actions on behalf of the user and under the user's control.\n\nYou can implement AI agents as Cloud Run services to orchestrate a set\nof asynchronous tasks and provide information to users, through involving multiple\nrequest-response interactions.\n\n### AI agent on Cloud Run architecture\n\nA typical AI agent architecture deployed on Cloud Run can involve\nseveral components from Google Cloud and outside of Google Cloud:\n\n1. **Serving and Orchestration:** A Cloud Run service acts as a scalable API endpoint, and can handle multiple concurrent users through automatic, on-demand, rapid scaling of instances. This service runs the core agent logic, often using an AI orchestration framework like [LangGraph](https://www.langchain.com/langgraph) or [Agent Development Kit (ADK)](https://google.github.io/adk-docs/). This layer coordinates calls to other components. Cloud Run supports [streaming HTTP responses](/run/docs/triggering/https-request#streaming) back to the user using [WebSockets](/run/docs/triggering/websockets). Cloud Run's built-in [service identity](/run/docs/securing/service-identity) provides secure and automatic credentials for calling Google Cloud APIs without managing API keys.\n\n2. **AI Models:** The orchestration layer calls models for reasoning capabilities. These can be:\n\n - The [Gemini API](/vertex-ai/generative-ai/docs/model-reference/inference)\n - Custom models or other foundation models deployed on [Vertex AI endpoints](/vertex-ai/docs/general/deployment)\n - Your own fine-tuned models served from a separate [GPU-enabled-Cloud Run service](/run/docs/configuring/services/gpu)\n3. **Memory:** Agents often need memory to retain context and learn from past interactions.\n\n - **Short-term memory** can be implemented by [connecting Cloud Run to Memorystore for Redis](/memorystore/docs/redis/connect-redis-instance-cloud-run).\n - **Long-term memory** for storing the conversational history or remembering the user's preferences can be implemented by connecting Cloud Run to [Firestore](/firestore/docs), a scalable, serverless NoSQL database.\n4. **Databases and Retrieval:** For Retrieval-Augmented Generation (RAG) or fetching structured data:\n\n - Query specific entity information or perform similarity searches over embeddings by connecting Cloud Run to vector databases like [Cloud SQL for PostgreSQL](/sql/docs/postgres/connect-run) or [AlloyDB for PostgreSQL](/alloydb/docs/quickstart/integrate-cloud-run) with the `pgvector` extension.\n5. **Tools:** The orchestrator uses tools to perform specific tasks that models are not suited for or to interact with external services, APIs, or websites. This can include:\n\n - Basic utilities: Precise math calculations, time conversions, or other similar utilities can run in the orchestrating Cloud Run service.\n - API calling: Make calls to other internal or third-party APIs (read or write access).\n - Image or chart generation: Use image generation models or run chart libraries to quickly and effectively create visual content.\n - Browser and OS automation: Run a headless or a full graphical Operating System within container instances to allow the agent to browse the web, extract information from websites, or perform actions using clicks and keyboard input. The Cloud Run service returns pixels of screens. Use libraries like [Puppeteer](https://pptr.dev/) to control the browser.\n - Code execution: Cloud Run provides a [secure environment with multi-layered sandboxing](/run/docs/securing/security#compute-security) and can be configured to the code execution service with minimal or no [IAM permissions](/run/docs/securing/service-identity). A [Cloud Run job](/run/docs/create-jobs) can be used to execute code asynchronously and a [Cloud Run service](/run/docs/deploying) with a [concurrency of 1](/run/docs/configuring/concurrency) can be used for synchronous execution.\n\nWhat's next\n-----------\n\n- Watch [Build AI agents on Cloud Run](https://www.youtube.com/watch?v=GwL8e5Z1tl4).\n- Try the [codelab](https://codelabs.developers.google.com/codelabs/build-and-deploy-a-langchain-app-on-cloud-run) for learning how to build and deploy a LangChain app to Cloud Run.\n- Learn how to [deploy Agent Development Kit (ADK) to Cloud Run](https://google.github.io/adk-docs/deploy/cloud-run/).\n- Find ready-to-use agent samples in [Agent Development Kit (ADK) samples](https://github.com/google/adk-samples).\n- [Host Model Context Protocol (MCP) servers on Cloud Run](/run/docs/host-mcp-servers)."]]
