Vertex AI API untuk membuat pengalaman penelusuran dan RAG
Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Vertex AI menawarkan serangkaian API untuk membantu Anda membangun aplikasi Retrieval-Augmented Generation (RAG) atau mesin telusur. Halaman ini memperkenalkan API tersebut.
Pengambilan dan pembuatan
RAG adalah metodologi yang memungkinkan Model Bahasa Besar (LLM) menghasilkan respons yang didasarkan pada sumber data pilihan Anda. Ada dua tahap dalam RAG:
Pengambilan: Mendapatkan fakta yang paling relevan dengan cepat dapat menjadi masalah penelusuran yang umum. Dengan RAG, Anda dapat dengan cepat mengambil fakta yang penting untuk membuat jawaban.
Pembuatan: Fakta yang diambil digunakan oleh LLM untuk menghasilkan respons yang berisi rujukan.
Vertex AI menawarkan opsi untuk kedua tahap agar sesuai dengan berbagai kebutuhan developer.
Retrieval
Pilih metode pengambilan terbaik untuk kebutuhan Anda:
Vertex AI Search: Vertex AI Search adalah mesin pengambilan informasi berkualitas Google Penelusuran yang dapat menjadi komponen dalam aplikasi AI generatif apa pun yang menggunakan data perusahaan Anda.
Vertex AI Search berfungsi sebagai mesin telusur semantik & kata kunci siap pakai untuk RAG dengan kemampuan memproses berbagai jenis dokumen dan dengan konektor ke berbagai sistem sumber, termasuk BigQuery dan banyak sistem pihak ketiga.
Untuk mengetahui informasi selengkapnya, lihat
Vertex AI Search.
Membangun pengambilan Anda sendiri: Jika ingin membangun penelusuran semantik, Anda dapat mengandalkan API Vertex AI untuk komponen sistem RAG kustom Anda. Serangkaian API ini menyediakan penerapan berkualitas tinggi untuk penguraian dokumen, pembuatan embedding, penelusuran vektor, dan pemeringkatan semantik. Dengan menggunakan API tingkat rendah ini, Anda akan mendapatkan fleksibilitas penuh dalam desain retriever, sekaligus menawarkan waktu pemasaran yang lebih cepat dan kualitas tinggi dengan mengandalkan Vertex AI API tingkat rendah.
Membawa pengambilan yang ada: Anda dapat menggunakan penelusuran yang ada sebagai
pengambil untuk pembuatan berbasis perujukan.
Anda juga dapat menggunakan Vertex API untuk RAG
guna meningkatkan kualitas penelusuran yang ada. Untuk mengetahui informasi selengkapnya, lihat
Ringkasan perujukan.
Mesin RAG Vertex AI: Mesin RAG Vertex AI menyediakan runtime yang terkelola sepenuhnya untuk orkestrasi RAG, yang memungkinkan developer membangun RAG untuk digunakan dalam produksi dan konteks yang siap digunakan perusahaan.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan Mesin RAG Vertex AI dalam dokumentasi AI Generatif di Vertex AI.
Google Penelusuran: Jika Anda menggunakan Grounding dengan Google Penelusuran untuk model Gemini, Gemini akan menggunakan Google Penelusuran dan menghasilkan output yang didasarkan pada hasil penelusuran yang relevan. Metode pengambilan ini tidak memerlukan pengelolaan dan Anda mendapatkan pengetahuan dunia yang tersedia untuk Gemini.
Pilih metode pembuatan terbaik untuk kebutuhan Anda:
Membuat jawaban yang relevan dengan data Anda:
Menghasilkan jawaban yang relevan atas kueri pengguna. API pembuatan dengan rujukan
menggunakan model Gemini khusus yang telah disesuaikan dan merupakan cara yang efektif
untuk mengurangi halusinasi dan memberikan respons yang didasarkan pada sumber Anda
atau sumber pihak ketiga, termasuk referensi ke konten dukungan perujukan.
Anda juga dapat men-grounding respons terhadap data Vertex AI Search menggunakan
AI Generatif di Vertex AI. Untuk mengetahui informasi selengkapnya, lihat
Menyertakan data Anda.
Grounding dengan Google Penelusuran: Gemini adalah model tercanggih Google dan menawarkan grounding siap pakai dengan Google Penelusuran. Anda
dapat menggunakannya untuk membangun solusi pembuatan dengan perujukan yang sepenuhnya disesuaikan.
Model Garden: Jika Anda menginginkan kontrol penuh dan model pilihan Anda, Anda dapat menggunakan model apa pun di Vertex AI Model Garden untuk pembuatan.
Membangun Retrieval-Augmented Generation Anda sendiri
Mengembangkan sistem RAG kustom untuk perujukan menawarkan fleksibilitas dan kontrol di setiap langkah proses. Vertex AI menawarkan serangkaian API untuk membantu Anda
membuat solusi penelusuran sendiri. Dengan menggunakan API tersebut, Anda akan mendapatkan fleksibilitas penuh dalam
desain aplikasi RAG, sekaligus menawarkan waktu pemasaran yang lebih cepat
dan kualitas tinggi dengan mengandalkan Vertex AI API tingkat bawah ini.
Document AI Layout Parser.
Document AI Layout Parser mengonversi dokumen dalam berbagai format menjadi representasi terstruktur, sehingga konten seperti paragraf, tabel, daftar, dan elemen struktural seperti judul, header halaman, dan footer dapat diakses, serta membuat potongan kontekstual yang memfasilitasi pengambilan informasi dalam berbagai aplikasi AI generatif dan penemuan.
Untuk mengetahui informasi selengkapnya, lihat Document AI Layout Parser dalam dokumentasi Document AI.
Embeddings API: Vertex AI Embeddings API memungkinkan Anda membuat
embedding untuk input teks atau multimodal. Embedding adalah vektor
bilangan floating point yang dirancang untuk menangkap makna
inputnya. Anda dapat menggunakan embedding untuk mendukung penelusuran semantik menggunakan Vector Search.
Vector Search. Mesin pengambilan adalah bagian penting dari aplikasi penelusuran atau RAG Anda. Vertex AI Vector Search adalah
mesin pengambilan yang dapat menelusuri miliaran item yang memiliki kemiripan atau
keterkaitan semantik dalam skala besar, dengan kueri per detik (QPS) tinggi, perolehan
tinggi, latensi rendah, dan efisiensi biaya. Layanan ini dapat menelusuri embedding padat, serta mendukung penelusuran kata kunci embedding renggang dan penelusuran campuran dalam Pratinjau publik.
API peringkat.
Ranking API menerima daftar dokumen dan mengurutkan ulang dokumen tersebut berdasarkan seberapa relevan dokumen tersebut dengan kueri tertentu. Dibandingkan dengan
embedding yang hanya melihat kemiripan semantik dokumen dan kueri, Ranking API dapat memberikan skor yang lebih akurat tentang seberapa baik dokumen menjawab kueri tertentu.
API pembuatan berbasis data. Gunakan API pembuatan
yang relevan untuk membuat
jawaban yang relevan atas perintah pengguna. Sumber perujukan dapat berupa penyimpanan data Vertex AI Search, data kustom yang Anda berikan, atau Google Penelusuran.
API pembuatan konten. Gunakan API buat konten untuk menghasilkan jawaban yang beralasan baik atas perintah pengguna. Sumber perujukan dapat berupa penyimpanan data Vertex AI Search atau Google Penelusuran.
API perujukan pemeriksaan.
Check grounding API menentukan seberapa kuat suatu teks didasarkan pada sekumpulan teks referensi tertentu. API dapat membuat kutipan pendukung dari
teks referensi untuk menunjukkan bagian teks tertentu yang didukung oleh
teks referensi. Selain hal lainnya, API ini dapat digunakan untuk menilai perujukan respons dari sistem RAG. Selain itu, sebagai fitur eksperimental, API juga menghasilkan kutipan yang bertentangan yang menunjukkan di mana teks yang diberikan dan teks referensi tidak sesuai.
Alur kerja: Membuat respons yang relevan dari data tidak terstruktur
Berikut adalah alur kerja yang menguraikan cara mengintegrasikan Vertex AI RAG API untuk membuat respons yang memiliki rujukan dari data tidak terstruktur.
Impor dokumen tidak terstruktur Anda, seperti file PDF, file HTML, atau gambar
dengan teks, ke lokasi Cloud Storage.
Proses dokumen yang diimpor menggunakan parser tata letak.
Parser tata letak memecah dokumen tidak terstruktur menjadi beberapa bagian dan mengubah konten tidak terstruktur menjadi representasi terstrukturnya. Parser tata letak juga mengekstrak anotasi dari potongan.
Buat embedding teks untuk potongan menggunakan
Vertex AI text embeddings API.
Jika Anda membuat jawaban menggunakan model pembuatan jawaban selain model Google, Anda dapat memeriksa perujukan jawaban ini menggunakan metode periksa perujukan.
[[["Mudah dipahami","easyToUnderstand","thumb-up"],["Memecahkan masalah saya","solvedMyProblem","thumb-up"],["Lainnya","otherUp","thumb-up"]],[["Sulit dipahami","hardToUnderstand","thumb-down"],["Informasi atau kode contoh salah","incorrectInformationOrSampleCode","thumb-down"],["Informasi/contoh yang saya butuhkan tidak ada","missingTheInformationSamplesINeed","thumb-down"],["Masalah terjemahan","translationIssue","thumb-down"],["Lainnya","otherDown","thumb-down"]],["Terakhir diperbarui pada 2025-08-19 UTC."],[[["\u003cp\u003eVertex AI provides APIs for building Retrieval-Augmented Generation (RAG) applications and search engines, supporting both retrieval and generation stages.\u003c/p\u003e\n"],["\u003cp\u003eFor retrieval, options include Vertex AI Search, building your own using Vertex AI APIs, using an existing search engine, Vertex AI RAG Engine, or leveraging Google Search for Gemini models.\u003c/p\u003e\n"],["\u003cp\u003eFor generation, options include the Grounded Generation API, using Gemini with built-in Google Search grounding, or using models from the Vertex AI Model Garden for full customization.\u003c/p\u003e\n"],["\u003cp\u003eVertex AI's suite of APIs includes the Document AI Layout Parser, Embeddings API, Vector Search, and Ranking API, enabling users to create custom RAG systems with flexibility and control.\u003c/p\u003e\n"],["\u003cp\u003eThe Vertex AI workflow for generating grounded responses from unstructured data involves importing documents, processing with the layout parser, creating text embeddings, indexing with Vector Search, ranking chunks, and generating grounded answers.\u003c/p\u003e\n"]]],[],null,["# Vertex AI APIs for building search and RAG experiences\n\nVertex AI offers a suite of APIs to help you build Retrieval-Augmented\nGeneration (RAG) applications or a search engine. This page introduces those\nAPIs.\n\nRetrieval and generation\n------------------------\n\nRAG is a methodology that enables Large Language Models (LLMs) to generate\nresponses that are grounded to your data source of choice. There are two stages\nin RAG:\n\n1. **Retrieval**: Getting the most relevant facts quickly can be a common search problem. With RAG, you can quickly retrieve the facts that are important to generate an answer.\n2. **Generation:** The retrieved facts are used by the LLM to generate a grounded response.\n\nVertex AI offers options for both stages to match a variety of\ndeveloper needs.\n\nRetrieval\n---------\n\nChoose the best retrieval method for your needs:\n\n- **Vertex AI Search:** Vertex AI Search is a\n Google Search-quality information retrieval engine that can be a\n component of any generative AI application that uses your enterprise data.\n Vertex AI Search works as an out-of-the-box semantic \\& keyword\n search engine for RAG with the ability to process a variety of document\n types and with connectors to a variety of source systems including\n BigQuery and many third party systems.\n\n For more information, see\n [Vertex AI Search](/enterprise-search).\n- **Build your own retrieval:** If you want to build your semantic search, you\n can rely on Vertex AI APIs for components of your custom RAG\n system. This suite of APIs provide high-quality implementations for document\n parsing, embedding generation, vector search, and semantic ranking. Using these\n lower-level APIs gives you full flexibility on the design of your retriever\n while at the same time offering accelerated time to market and high quality\n by relying on lower-level Vertex AI APIs.\n\n For more information, see\n [Build your own Retrieval Augmented Generation](#build-rag).\n- **Bring an existing retrieval** : You can use your existing search as a\n retriever for [grounded generation](/generative-ai-app-builder/docs/grounded-gen).\n You can also use the Vertex APIs for RAG\n to upgrade your existing search to higher quality. For more information, see\n [Grounding overview](/vertex-ai/generative-ai/docs/grounding/overview).\n\n- **Vertex AI RAG Engine**: Vertex AI RAG Engine\n provides a fully-managed runtime for RAG orchestration, which lets\n developers build RAG for use in production and enterprise-ready contexts.\n\n For more information, see [Vertex AI RAG Engine\n overview](/vertex-ai/generative-ai/docs/rag-overview) in the Generative AI\n on Vertex AI documentation.\n- **Google Search**: When you use Grounding with\n Google Search for your Gemini model, then Gemini\n uses Google Search and generates output that is grounded to the\n relevant search results. This retrieval method doesn't require management\n and you get the world's knowledge available to Gemini.\n\n For more information, see [Grounding with\n Google Search](/vertex-ai/generative-ai/docs/multimodal/ground-gemini)\n in the Generative AI on Vertex AI documentation.\n\nGeneration\n----------\n\nChoose the best generation method for your needs:\n\n- **Ground with your data**:\n Generate well-grounded answers to a user's query. The grounded generation\n API uses specialized, fine-tuned Gemini models and is an effective\n way to reduce hallucinations and provide responses grounded to your sources\n or third-party sources including references to grounding support content.\n\n For more information, see\n [Generate grounded answers with RAG](/generative-ai-app-builder/docs/grounded-gen).\n\n You can also ground responses to your Vertex AI Search data using\n Generative AI on Vertex AI. For more information, see\n [Ground with your data](/vertex-ai/generative-ai/docs/multimodal/ground-with-your-data).\n- **Ground with Google Search:** Gemini is Google's most capable\n model and offers out-of-the-box grounding with Google Search. You\n can use it to build your fully-customized grounded generation solution.\n\n For more information, see [Grounding with Google Search](/vertex-ai/generative-ai/docs/multimodal/ground-gemini) in\n the Generative AI on Vertex AI documentation.\n- **Model Garden:** If you want full control and the model of your choice,\n you can use any of the models in\n [Vertex AI Model Garden](/model-garden) for generation.\n\nBuild your own Retrieval Augmented Generation\n---------------------------------------------\n\nDeveloping a custom RAG system for grounding offers flexibility and control at\nevery step of the process. Vertex AI offers a suite of APIs to help you\ncreate your own search solutions. Using those APIs gives you full flexibility on\nthe design of your RAG application while at the same time offering accelerated\ntime to market and high quality by relying on these lower-level\nVertex AI APIs.\n\n- **The Document AI Layout Parser.**\n The Document AI Layout Parser transforms documents in various\n formats into structured representations, making content like paragraphs,\n tables, lists, and structural elements like headings, page headers, and\n footers accessible, and creating context-aware chunks that facilitate\n information retrieval in a range of generative AI and discovery apps.\n\n For more information, see [Document AI Layout Parser](/document-ai/docs/layout-parse-chunk) in the\n *Document AI* documentation.\n- **Embeddings API:** The Vertex AI embeddings APIs let you create\n embeddings for text or multimodal inputs. Embeddings are vectors of\n floating point numbers that are designed to capture the meaning of their\n input. You can use the embeddings to power semantic search using Vector\n search.\n\n For more information, see [Text embeddings](/vertex-ai/generative-ai/docs/embeddings/get-text-embeddings) and\n [Multimodal embeddings](/vertex-ai/generative-ai/docs/embeddings/get-multimodal-embeddings) in the Generative AI on\n Vertex AI documentation.\n- **Vector Search.** The retrieval engine is a key part of your RAG\n or search application. Vertex AI Vector Search is a\n retrieval engine that can search from billions of semantically similar or\n semantically related items at scale, with high queries per second (QPS), high\n recall, low latency, and cost efficiency. It can search over dense\n embeddings, and supports sparse embedding keyword search and hybrid search in\n Public preview.\n\n For more information, see: [Overview of Vertex AI\n Vector Search](/vertex-ai/docs/vector-search/overview) in the\n Vertex AI documentation.\n- **The ranking API.**\n The ranking API takes in a list of documents and reranks those documents\n based on how relevant the documents are to a given query. Compared to\n embeddings that look purely at the semantic similarity of a document and a\n query, the ranking API can give you a more precise score for how well a\n document answers a given query.\n\n For more information, see\n [Improve search and RAG quality with ranking API](/generative-ai-app-builder/docs/ranking).\n- **The grounded generation API.** Use the grounded\n generation API to generate\n well-grounded answers to a user's prompt. The grounding sources can be your\n Vertex AI Search data stores, custom data that you provide, or\n Google Search.\n\n For more information, see [Generate grounded answers](/generative-ai-app-builder/docs/grounded-gen).\n- **The generate content API.** Use the generate content API to generate\n well-grounded answers to a user's prompt. The grounding sources can be your\n Vertex AI Search data stores or Google Search.\n\n For more information, see\n [Ground with Google Search](/vertex-ai/generative-ai/docs/multimodal/ground-with-google-search) or\n [Ground with your data](/vertex-ai/generative-ai/docs/multimodal/ground-with-your-data).\n- **The check grounding API.**\n The check grounding API determines how grounded a given piece of text is in a\n given set of reference texts. The API can generate supporting citations from\n the reference text to indicate where the given text is supported by the\n reference texts. Among other things, the API can be used to assess the\n grounded-ness of responses from a RAG systems. Additionally, as an\n experimental feature, the API also generates contradicting citations that\n show where the given text and reference texts disagree.\n\n For more information, see [Check grounding](/generative-ai-app-builder/docs/check-grounding).\n\nWorkflow: Generate grounded responses from unstructured data\n------------------------------------------------------------\n\nHere's a workflow that outlines how to integrate the Vertex AI RAG APIs\nto generate grounded responses from unstructured data.\n\n1. Import your unstructured documents, such as PDF files, HTML files, or images with text, into a Cloud Storage location.\n2. Process the imported documents using the [layout parser](/document-ai/docs/layout-parse-chunk). The layout parser breaks down the unstructured documents into chunks and transforms the unstructured content into its structured representation. The layout parser also extracts annotations from the chunks.\n3. [Create text embeddings](/vertex-ai/generative-ai/docs/embeddings/get-text-embeddings) for chunks using Vertex AI text embeddings API.\n4. [Index and retrieve](/vertex-ai/docs/vector-search/create-manage-index) the chunk embeddings using Vector Search.\n5. [Rank the chunks](/generative-ai-app-builder/docs/ranking) using the ranking API and determine the top-ranked chunks.\n6. Generate grounded answers based on the top-ranked chunks using the [grounded generation API](/generative-ai-app-builder/docs/grounded-gen) or using the [generate content API](/vertex-ai/generative-ai/docs/multimodal/ground-with-your-data).\n\nIf you generated the answers using an answer generation model other than the\nGoogle models, you can [check the grounding](/generative-ai-app-builder/docs/check-grounding) of these answers\nusing the check grounding method."]]
