이 페이지는 Cloud Translation API를 통해 번역되었습니다.

RAG로 그라운딩된 답변 생성

Vertex AI Agent Builder에서 검색 증강 생성(RAG) 경험에 따라 다음 그라운딩 소스를 기반으로 프롬프트에 대해 그라운딩된 답변을 생성할 수 있습니다.

Google 검색: 모델을 전 세계 지식, 다양한 주제 또는 인터넷의 최신 정보와 연결하려면 Google 검색으로 그라운딩을 사용하세요. Google 검색을 이용한 그라운딩에서는 동적 검색이 지원되어 필요할 때만 Google 검색에 그라운딩된 결과를 생성하는 옵션이 제공됩니다. 따라서 동적 검색 구성에 따라 프롬프트에 최근 이벤트에 대한 지식이 필요한지 평가하고 Google 검색에 그라운딩을 사용 설정합니다. 자세한 내용은 동적 검색을 참조하세요.
중요: 응답과 함께 Google 검색 추천이 수신된 경우 이러한 응답은 서비스 특정 약관의 서비스 약관 섹션에 있는 Google 검색을 사용하는 그라운딩 약관의 영향을 받는 "그라운딩된 결과"입니다. Google 검색 추천을 사용하려면 Google 검색 추천 사용을 참조하세요.
인라인 텍스트: 요청에 제공된 사실 텍스트라고 부르는 텍스트 조각에서 응답을 그라운딩하기 위해 인라인 텍스트에 그라운딩을 사용합니다. 사실 텍스트는 지정된 요청에 대해 사실로 간주되는 사용자가 제공한 문구입니다. 이 모델은 사실 텍스트의 진위를 확인하지 않습니다.
Vertex AI Search 데이터 스토어: Vertex AI Search 데이터 스토어에서 기업 문서로 모델을 연결하려면 Vertex AI Search와 함께 그라운딩을 사용합니다.

이 페이지에서는 다음 접근 방식을 이용해서 이러한 그라운딩 소스를 기반으로 그라운딩된 답변을 생성하는 방법을 설명합니다.

싱글턴 답변 생성
- 인라인 텍스트 및 Vertex AI Search 데이터 스토어
- Google 검색
멀티턴 답변 생성

또한 모델로부터 답변을 스트리밍하도록 선택할 수 있습니다. 스트리밍으로 그라운딩된 답변을 생성하는 방식은 실험적인 기능입니다.

애플리케이션에 따라 다른 방법을 이용해서 그라운딩된 답변을 생성할 수도 있습니다. 자세한 내용은 검색 및 RAG 경험을 빌드하기 위한 Vertex AI API를 참조하세요.

용어

그라운딩된 답변 생성 방법을 사용하기 전에 입력과 출력, 요청의 구성 방법, RAG 관련 용어를 이해하는 것이 도움이 됩니다.

RAG 용어

대규모 언어 모델은 RAG를 통해 사용자가 선택한 데이터 소스에 그라운딩된 응답을 생성할 수 있습니다. RAG에는 두 가지 단계가 있습니다.

검색: 가장 관련성 있는 사실을 빠르게 가져오는 것이 일반적인 검색 문제일 수 있습니다. RAG를 이용하면 답변을 생성하는 데 중요한 사실을 빠르게 검색할 수 있습니다.
생성: LLM은 검색된 사실을 이용해서 그라운딩된 응답을 생성합니다.

따라서 그라운딩된 답변 생성 방법은 그라운딩 소스로부터 사실을 검색하고 그라운딩된 답변을 생성합니다.

입력 데이터

그라운딩된 답변 생성 방법을 이용하려면 요청에 다음 입력이 필요합니다.

역할: 제공된 텍스트의 발신자로서, 사용자(user) 또는 모델(model) 중 하나일 수 있습니다.
텍스트: 역할이 user이면 텍스트가 프롬프트이고 역할이 model이면 텍스트가 그라운딩된 답변입니다. 요청에서 역할 및 텍스트를 지정하는 방법은 다음과 같이 결정됩니다.
- 싱글턴 답변 생성의 경우 사용자가 요청에 프롬프트 텍스트를 전송하고 모델이 응답에 답변 텍스트를 전송합니다.
- 멀티턴 답변 생성의 경우 요청에는 모든 이전 턴의 프롬프트-답변 쌍과 현재 턴에 대한 사용자의 프롬프트 텍스트가 포함됩니다. 따라서 이러한 요청에서 역할은 프롬프트 텍스트에 대해서는 user이고 답변 텍스트에 대해서는 model입니다.
시스템 안내: 모델의 동작을 제어하고 그에 따라 출력을 수정하는 프롬프트에 대한 프리앰블입니다. 예를 들어 생성된 답변에 페르소나를 추가하거나 모델이 출력 텍스트 형식을 특정 방식으로 지정하도록 설정할 수 있습니다. 멀티턴 답변 생성의 경우 모든 턴에 대해 시스템 안내를 제공해야 합니다. 자세한 내용은 시스템 안내 사용을 참조하세요.

그라운딩 소스: 답변이 그라운딩되는 소스이고, 다음 중 하나 이상일 수 있습니다.

Google 검색: Google 검색 결과와 함께 답변을 그라운딩합니다. 그라운딩 소스가 Google 검색이면 동적 검색 기준점이 포함된 동적 검색 구성을 지정할 수 있습니다. 자세한 내용은 동적 검색을 참조하세요.
중요: 응답과 함께 Google 검색 추천이 수신된 경우 이러한 응답은 서비스 특정 약관의 서비스 약관 섹션에 있는 Google 검색을 사용하는 그라운딩 약관의 영향을 받는 "그라운딩된 결과"입니다. Google 검색 추천을 사용하려면 Google 검색 추천 사용을 참조하세요.
인라인 텍스트: 요청에 제공된 사실 텍스트에서 답변을 그라운딩합니다. 사실 텍스트는 지정된 요청에 대해 사실로 간주되는 사용자가 제공한 문구입니다. 이 모델은 사실 텍스트의 진위를 확인하지 않습니다. 각 인라인 텍스트 소스에서 최대 100개의 사실 텍스트를 제공할 수 있습니다. 사실 텍스트는 제목, 저자, URI와 같은 메타 속성을 사용하여 지원할 수 있습니다. 이러한 메타 속성은 답변을 지원하는 청크를 참조할 때 응답에 반환됩니다.
Vertex AI Search 데이터 스토어: Vertex AI Search 데이터 스토어의 문서에서 답변을 그라운딩합니다. 웹사이트 검색 데이터 저장소를 기준 소스로 지정할 수 없습니다.

제공된 요청에서 인라인 텍스트 소스와 Vertex AI Search 데이터 스토어 소스를 모두 제공할 수 있습니다. Google 검색을 이러한 소스와 조합할 수는 없습니다. 따라서 Google 검색 결과로 답변을 그라운딩하려면 Google 검색을 유일한 그라운딩 소스로 지정하여 개별 요청을 전송해야 합니다.

순서에 관계없이 최대 10개의 그라운딩 소스를 제공할 수 있습니다. 예를 들어 총 10개의 그라운딩 소스를 얻기 위해 다음 순서로 다음 개수의 그라운딩 소스를 제공한다고 가정해 보세요.

인라인 텍스트 소스 3개(각 소스에 최대 100개의 사실 텍스트 포함 가능)
Vertex AI Search 데이터 스토어 6개
인라인 텍스트 소스 1개(최대 100개의 사실 텍스트 포함)

각 소스에는 요청에 지정된 순서로 색인이 할당됩니다. 예를 들어 요청에 소스 조합을 지정한 경우 다음 테이블에 표시된 것처럼 소스 색인이 할당됩니다.

그라운딩 소스	색인
인라인 텍스트 1번	0
인라인 텍스트 2번	1
Vertex AI Search 데이터 스토어 1번	2
인라인 텍스트 3번	3
Vertex AI Search 데이터 스토어 2번	4

이 색인은 응답에서 인용되며 출처를 추적할 때 유용합니다.

생성 사양: 다음 정보로 구성된 모델 구성의 사양입니다.
- 모델 ID: 답변 생성에 사용할 Vertex AI Gemini 모델을 지정합니다. 그라운딩된 답변을 생성하는 데 사용할 수 있는 모델 목록은 지원되는 모델을 참조하세요.
- 모델 매개변수: 사용하도록 선택하는 모델에 설정할 수 있는 매개변수를 지정합니다. 이러한 매개변수에는 언어, 강도, Top-P, Top-K가 있습니다. 이러한 매개변수에 대한 자세한 내용은 Gemini 모델 매개변수를 참고하세요.
언어 코드: 생성된 답변의 언어는 일반적으로 프롬프트의 언어와 일치하도록 설정됩니다. 프롬프트에 단일 언어가 없는 경우 (예: 프롬프트가 매우 짧고 여러 언어로 유효할 수 있는 경우) 언어 코드 필드에서 답변의 언어를 결정합니다.

언어 코드 목록은 언어를 참고하세요.
위도 및 경도: 사용자의 위도와 경도를 지정합니다. '근처 커피숍 찾기'와 같이 위치 관련 질문이 쿼리에 포함된 경우 이러한 필드가 사용됩니다. 검색어 언어를 확인할 수 없고 언어 코드가 설정되지 않은 경우 위도와 경도가 답변 언어를 결정하는 데 사용됩니다.

출력 데이터

모델이 생성하는 응답은 후보라고 부르며 다음 데이터를 포함합니다. 모든 필드가 출력에 제공되지 않을 수 있습니다.

역할: 그라운딩된 답변의 발신자입니다. 응답에는 항상 그라운딩된 답변 텍스트가 포함됩니다. 따라서 응답의 역할은 항상 모델입니다.
텍스트: 그라운딩된 답변입니다.
그라운딩 점수: 지정된 소스에서 답변이 그라운딩된 정도를 나타내는 [0, 1] 범위의 부동 소수점 값입니다.
그라운딩 메타데이터: 그라운딩 소스에 대한 메타데이터입니다. 그라운딩 메타데이터에는 다음 정보가 포함됩니다.
- 지원 청크: 답변을 지원하는 청크 목록입니다. 각 지원 청크에는 출처를 추적할 때 도움이 되는 지원 청크 색인이 할당됩니다. 각 지원 청크에는 다음이 포함됩니다.
  - 청크 텍스트: 답변 또는 답변의 일부(주장 텍스트라고 부름)가 추출되는 소스에서 가져온 정확한 인용 텍스트 부분입니다. 이 부분은 응답에 항상 표시되지 않을 수 있습니다.
  - 소스: 요청의 소스에 할당된 색인입니다.
  - 소스 메타데이터: 청크에 대한 메타데이터입니다. 소스에 따라 소스 메타데이터는 다음 중 하나일 수 있습니다.
    - 인라인 소스의 경우에는 제목, 저자, URI와 같이 요청에 지정된 추가 세부정보가 메타데이터가 될 수 있습니다.
    - Vertex AI Search 데이터 스토어의 경우에는 문서 ID, 문서 제목, URI(Cloud Storage 위치), 페이지 번호가 메타데이터가 될 수 있습니다.
    - Google 검색을 통한 그라운딩의 경우 그라운딩된 결과가 생성되면 그라운딩된 결과를 생성하는 데 사용된 콘텐츠의 게시자로 리디렉션되는 URI가 메타데이터에 포함됩니다. 메타데이터에는 게시자의 도메인도 포함됩니다. 제공된 URI는 그라운딩된 결과가 생성된 후 최대 30일 동안 액세스 가능한 상태로 유지됩니다.
    중요: 제공된 URI는 최종 사용자가 직접 액세스해야 하며 프로그래매틱의 자동 방식으로 쿼리하지 않아야 합니다. 자동 액세스가 감지되면 Google 검색 서비스를 통한 그라운딩에서 리디렉션 URI 제공이 중지될 수 있습니다. 리디렉션 URI를 다시 시작하려면 고객 엔지니어에게 문의하세요.
- 그라운딩 지원: 답변의 주장에 대한 그라운딩 정보입니다. 그라운딩 지원에는 다음 정보가 포함됩니다.
  - 주장 텍스트: 지원 청크 텍스트로 지원되는 답변 또는 답변의 일부입니다.
  - 지원 청크 색인: 청크가 지원 청크 목록에 표시되는 순서로 지원 청크에 할당된 색인입니다.
  - 웹 검색어: Google 검색 추천을 위해 추천되는 검색어입니다.
  - 검색 추천: 응답과 함께 Google 검색 추천이 수신된 경우 이러한 응답은 Google 검색을 사용한 그라운딩에 대한 서비스 약관의 영향을 받는 "그라운딩된 결과"입니다. 자세한 내용은 서비스 약관을 참조하세요. searchEntryPoint 필드 내의 renderedContent 필드는 Google 검색 추천을 구현하기 위해 제공된 코드입니다. Google 검색 추천을 사용하려면 Google 검색 추천 사용을 참조하세요.

싱글턴에서 그라운딩된 답변 생성

이 섹션에서는 다음 소스에서 그라운딩된 답변을 생성하는 방법을 설명합니다.

인라인 텍스트 및 Vertex AI Search 데이터 스토어
Google 검색

인라인 텍스트 및 Vertex AI Search 데이터 스토어에서 답변 그라운딩

다음 샘플은 인라인 텍스트 및 Vertex AI Search 데이터 스토어를 그라운딩 소스로 지정하여 프롬프트 텍스트를 전송하는 방법을 보여줍니다. 웹사이트 검색 데이터 저장소를 접지 소스로 지정할 수 없습니다. 이 샘플은 generateGroundedContent 메서드를 사용합니다.

REST

다음 curl 요청에 프롬프트를 전송합니다.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_NUMBER/locations/global:generateGroundedContent" \
-d '
{
"contents": [
 {
   "role": "user",
   "parts": [
     {
       "text": "PROMPT_TEXT"
     }
   ]
 }
],
"systemInstruction": {
   "parts": {
       "text": "SYSTEM_INSTRUCTION"
   }
},
"groundingSpec": {
 "groundingSources": [
   {
     "inlineSource": {
       "groundingFacts": [
         {
           "factText": "FACT_TEXT_1",
           "attributes": {
             "title": "TITLE_1",
             "uri": "URI_1",
             "author": "AUTHOR_1"
           }
         }
       ]
     }
   },
   {
     "inlineSource": {
       "groundingFacts": [
         {
           "factText": "FACT_TEXT_2",
           "attributes": {
             "title": "TITLE_2",
             "uri": "URI_2"
           }
         },
         {
           "factText": "FACT_TEXT_3",
           "attributes": {
             "title": "TITLE_3",
             "uri": "URI_3"
           }
         }
       ]
     }
   },
   {
     "searchSource": {
       "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID_1/servingConfigs/default_search"
     }
   },
   {
     "searchSource": {
       "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID_2/servingConfigs/default_search"
     }
   }
  ]
},
"generationSpec": {
  "modelId": "MODEL_ID",
  "temperature": TEMPERATURE,
  "topP": TOP_P,
  "topK": TOP_K
},
"user_context": {
  "languageCode: "LANGUAGE_CODE",
  "latLng": {
    "latitude": LATITUDE,
    "longitude": LONGITUDE
 },
}
}'

다음을 바꿉니다.

PROJECT_NUMBER: Google Cloud 프로젝트의 수입니다.
PROMPT_TEXT: 사용자의 프롬프트입니다.
SYSTEM_INSTRUCTION: 프리앰블 또는 추가 컨텍스트를 제공하는 선택적인 필드입니다.
FACT_TEXT_N: 답변을 그라운딩하는 인라인 텍스트입니다. 최대 100개의 사실 텍스트를 제공할 수 있습니다.
TITLE_N: 인라인 텍스트에 대해 제목 메타 속성을 설정하는 선택적인 필드입니다.
URI_N: 인라인 텍스트에 대해 URI 메타 속성을 설정하는 선택적인 필드입니다.
AUTHOR_N: 인라인 텍스트에 대해 저자 메타 속성을 설정하는 선택적인 필드입니다.
APP_ID_N: Vertex AI Search 앱의 ID입니다.
MODEL_ID: 그라운딩된 답변을 생성하는 데 사용하려는 Gemini 모델의 모델 ID를 설정하는 선택적인 필드입니다. 사용 가능한 모델 ID 목록은 지원되는 모델을 참조하세요.
TEMPERATURE: 샘플링에 사용되는 강도를 설정하는 선택적인 필드입니다. Google에서는 0.0 강도가 권장됩니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
TOP_P: 모델의 Top-P 값을 설정하는 선택적인 필드입니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
TOP_K: 모델의 Top-K 값을 설정하는 선택적인 필드입니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
LANGUAGE_CODE: 생성된 답변 및 반환된 청크 텍스트의 언어를 설정하는 데 사용할 수 있는 선택적 필드입니다. 쿼리에서 언어를 확인할 수 없는 경우 이 필드가 사용됩니다. 기본값은 en입니다. 언어 코드 목록은 언어를 참고하세요.
LATITUDE: 위도를 설정하는 선택적 필드입니다. 값을 십진도 단위로 입력합니다(예: -25.34).
LONGITUDE: 경도를 설정하는 선택적 필드입니다. 값을 십진도 단위로 입력합니다(예: 131.04).

응답

다음 잘린 응답과 비슷한 JSON 응답이 수신됩니다. 응답을 확인하려면 출력 데이터를 참조하세요.

{
 "candidates": [
   {
     "content": {
       "role": "model",
       "parts": [
         {
           "text": "ANSWER_TEXT"
         }
       ]
     },
     "groundingScore": GROUNDING_SCORE,
     "groundingMetadata": {
       "supportChunks": [
         {
           "chunkText": "CHUNK_TEXT_FROM_A_DOCUMENT_IN_A_DATA_STORE ",
           "source": "4",
           "sourceMetadata": {
             "title": "DOCUMENT_TITLE",
             "uri": "gs://PATH/TO/DOCUMENT.pdf",
             "document_id": "DOCUMENT_ID",
             "page_identifier": "PAGE_NUMBER"
           }
         },
         {
           "chunkText": "CHUNK_TEXT_FROM_FACT_TEXT_1",
           "source": "0",
           "sourceMetadata": {
             "title": "TITLE_1",
             "uri": "URI_1",
             "author": "AUTHOR_1"
           }
         }
       ],
       "groundingSupport": [
         {
           "claimText": "CLAIM_TEXT_1",
           "supportChunkIndices": [
             0,
             1
           ]
         }
       ]
     }
   }
 ]
}

Python

from google.cloud import discoveryengine_v1 as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_number = "YOUR_PROJECT_NUMBER"
# engine_id = "YOUR_ENGINE_ID"

client = discoveryengine.GroundedGenerationServiceClient()

request = discoveryengine.GenerateGroundedContentRequest(
    # The full resource name of the location.
    # Format: projects/{project_number}/locations/{location}
    location=client.common_location_path(project=project_number, location="global"),
    generation_spec=discoveryengine.GenerateGroundedContentRequest.GenerationSpec(
        model_id="gemini-1.5-flash",
    ),
    # Conversation between user and model
    contents=[
        discoveryengine.GroundedGenerationContent(
            role="user",
            parts=[
                discoveryengine.GroundedGenerationContent.Part(
                    text="How did Google do in 2020? Where can I find BigQuery docs?"
                )
            ],
        )
    ],
    system_instruction=discoveryengine.GroundedGenerationContent(
        parts=[
            discoveryengine.GroundedGenerationContent.Part(
                text="Add a smiley emoji after the answer."
            )
        ],
    ),
    # What to ground on.
    grounding_spec=discoveryengine.GenerateGroundedContentRequest.GroundingSpec(
        grounding_sources=[
            discoveryengine.GenerateGroundedContentRequest.GroundingSource(
                inline_source=discoveryengine.GenerateGroundedContentRequest.GroundingSource.InlineSource(
                    grounding_facts=[
                        discoveryengine.GroundingFact(
                            fact_text=(
                                "The BigQuery documentation can be found at https://cloud.google.com/bigquery/docs/introduction"
                            ),
                            attributes={
                                "title": "BigQuery Overview",
                                "uri": "https://cloud.google.com/bigquery/docs/introduction",
                            },
                        ),
                    ]
                ),
            ),
            discoveryengine.GenerateGroundedContentRequest.GroundingSource(
                search_source=discoveryengine.GenerateGroundedContentRequest.GroundingSource.SearchSource(
                    # The full resource name of the serving config for a Vertex AI Search App
                    serving_config=f"projects/{project_number}/locations/global/collections/default_collection/engines/{engine_id}/servingConfigs/default_search",
                ),
            ),
        ]
    ),
)
response = client.generate_grounded_content(request)

# Handle the response
print(response)

인라인 텍스트 및 Vertex AI Search에서 그라운딩된 싱글턴 답변 생성 예시

다음 예시에서 요청은 하나의 인라인 사실 텍스트와 하나의 Vertex AI Search 데이터 스토어를 포함한 그라운딩 소스를 지정합니다. 이 샘플은 generateGroundedContent 메서드를 사용합니다. 이 예시에서는 또한 웃는 이모티콘으로 답변을 끝내는 시스템 명령을 사용합니다.

REST

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1/projects/123456/locations/global:generateGroundedContent" \
-d '
{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "text": "How did google do in 2020? Where can I find Bigquery docs?"
        }
      ]
    }
  ],
  "systemInstruction": {
      "parts": {
          "text": "Add a smiley emoji after the answer."
      }
  },
  "groundingSpec": {
    "groundingSources": [
      {
        "inline_source": {
          "grounding_facts": [
            {
              "fact_text": "The BigQuery documentation can be found at https://cloud.google.com/bigquery/docs/introduction",
              "attributes": {
                "title": "BigQuery Overview",
                "uri": "https://cloud.google.com/bigquery/docs/introduction"
              }
            }
          ]
        }
      },
      {
        "searchSource": {
          "servingConfig": "projects/123456/locations/global/collections/default_collection/engines/app_id_example/servingConfigs/default_search"
        }
      }
    ]
  },
  "generationSpec": {
    "modelId": "gemini-1.5-flash"
  },
  "user_context": {
    "languageCode: "en",
    "latLng": {
       "latitude": 37.422131,
       "longitude": -122.084801
    }
  }
}'

응답

다음 잘린 응답과 비슷한 JSON 응답이 수신됩니다. 응답을 확인하려면 출력 데이터를 참조하세요.

{
 "candidates": [
   {
     "content": {
       "role": "model",
       "parts": [
         {
           "text": "Google's revenue increased by 23% in 2020, reaching $182.5 billion. Google Cloud revenue was $13.1 billion for 2020. You can find BigQuery documentation at https://cloud.google.com/bigquery/docs/introduction. 😊 \n"
         }
       ]
     },
     "groundingScore": 0.86738646,
     "groundingMetadata": {
       "supportChunks": [
         {
           "chunkText": "Alphabet Announces Fourth Quarter and Fiscal Year 2020 Results\nMOUNTAIN VIEW, Calif. – February 2, 2021 – Alphabet Inc. (NASDAQ: GOOG, GOOGL) today announced\nfinancial results for the quarter and fiscal year ended December 31, 2020. Sundar Pichai, CEO of Google and Alphabet, said: “Our strong results this quarter reflect the helpfulness of our\nproducts and services to people and businesses, as well as the accelerating transition to online services and the\ncloud. Google succeeds when we help our customers and partners succeed, and we see significant opportunities to\nforge meaningful partnerships as businesses increasingly look to a digital future.” Ruth Porat, CFO of Google and Alphabet, said: “Our strong fourth quarter performance, with revenues of $56.9\nbillion, was driven by Search and YouTube, as consumer and business activity recovered from earlier in the year. Google Cloud revenues were $13.1 billion for 2020, with significant ongoing momentum, and we remain focused on\ndelivering value across the growth opportunities we see.” New reporting segment structure and operating results\nWe are now reporting results for three segments: Google Services, Google Cloud, and Other Bets. \n...\nIn 2020, we entered into derivatives that hedged the changes in fair value of certain marketable equity securities, which\nresulted in a $497 million net loss for the quarter ended December 31, 2020. The offsetting recognized gains on the\nmarketable equity securities are reflected in Gain (loss) on equity securities, net. Segment results\nThe following table presents our revenues and operating income (loss) (in millions; unaudited): Quarter Fiscal Year Q4 2019 Q1 2020 Q2 2020 Q3 2020 Q4 2020 2018 2019 2020 Revenues:\nGoogle Services $ 43,198 $ 38,198 $ 34,991 $ 42,573 $ 52,873 $ 130,524 $ 151,825 $ 168,635 Google Cloud 2,614 2,777 3,007 3,444 3,831 5,838 8,918 13,059 Other Bets 172 135 148 178 196 595 659 657 Hedging gains (losses) 91 49 151 (22) (2) (138) 455 176 Total revenues $ 46,075 $ 41,159 $ 38,297 $ 46,173 $ 56,898 $ 136,819 $ 161,857 $ 182,527 Quarter Fiscal Year Q4 2019 Q1 2020 Q2 2020 Q3 2020 Q4 2020 2018 2019 2020 Operating income (loss):\nGoogle Services $ 13,488 $ 11,548 $ 9,539 $ 14,453 $ 19,066 $ 43,137 $ 48,999 $ 54,606 Google Cloud (1,194) (1,730) (1,426) (1,208) (1,243) (4,348) (4,645) (5,607) Other Bets (2,026) (1,121) (1,116) (1,103) (1,136) \n...\nQ4 2020 financial highlights\nThe following table summarizes our consolidated financial results for the quarters ended December 31, 2019 and\n2020 (in millions, except for per share information and percentages; unaudited). Quarter Ended December 31,\n2019 2020 Revenues $ 46,075 $ 56,898 Increase in revenues year over year 17 % 23 % Increase in constant currency revenues year over year(1) 19 % 23 % Operating income $ 9,266 $ 15,651 Operating margin 20 % 28 % Other income (expense), net $ 1,438 $ 3,038 Net income $ 10,671 $ 15,227 Diluted EPS $ 15.35 $ 22.30 (1) Non-GAAP measure. See the table captioned “Reconciliation from GAAP revenues to non-GAAP constant currency\nrevenues” for more details. Q4 2020 supplemental information (in millions, except for number of employees; unaudited)\nRevenues, Traffic Acquisition Costs (TAC) and number of employees\nThe following table summarizes our revenues, total TAC and number of employees. Quarter Ended December 31,\n2019 2020 Google Search & other $ 27,185 $ 31,903 YouTube ads 4,717 6,885 Google Network Members' properties 6,032 7,411 Google advertising 37,934 46,199 Google other 5,264 6,674 Google Services total 43,198 52,873 Google Cloud 2,614 3,831 Other Bets 172 196 Hedging gains (losses) 91 (2) Total revenues $ 46,075 $ 56,898 Total TAC $ 8,501 $ 10,466 Number of employees 118,899 135,301 ",
           "source": "1",
           "sourceMetadata": {
             "title": "GOOG Exhibit 99.1 Q4'20",
             "page_identifier": "2",
             "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2020Q4_alphabet_earnings_release.pdf",
             "document_id": "projects/123456/locations/global/collections/default_collection/dataStores/data_store_id_example/branches/0/documents/217e8bedecfe08e3c43f5b289af15243"
           }
         },
         {
           "chunkText": "Alphabet Announces Fourth Quarter and Fiscal Year 2020 Results\nMOUNTAIN VIEW, Calif. – February 2, 2021 – Alphabet Inc. (NASDAQ: GOOG, GOOGL) today announced\nfinancial results for the quarter and fiscal year ended December 31, 2020. Sundar Pichai, CEO of Google and Alphabet, said: “Our strong results this quarter reflect the helpfulness of our\nproducts and services to people and businesses, as well as the accelerating transition to online services and the\ncloud. Google succeeds when we help our customers and partners succeed, and we see significant opportunities to\nforge meaningful partnerships as businesses increasingly look to a digital future.” Ruth Porat, CFO of Google and Alphabet, said: “Our strong fourth quarter performance, with revenues of $56.9\nbillion, was driven by Search and YouTube, as consumer and business activity recovered from earlier in the year. Google Cloud revenues were $13.1 billion for 2020, with significant ongoing momentum, and we remain focused on\ndelivering value across the growth opportunities we see.” New reporting segment structure and operating results\nWe are now reporting results for three segments: Google Services, Google Cloud, and Other Bets. \n...\nIn 2020, we entered into derivatives that hedged the changes in fair value of certain marketable equity securities, which\nresulted in a $497 million net loss for the quarter ended December 31, 2020. The offsetting recognized gains on the\nmarketable equity securities are reflected in Gain (loss) on equity securities, net. Segment results\nThe following table presents our revenues and operating income (loss) (in millions; unaudited): Quarter Fiscal Year Q4 2019 Q1 2020 Q2 2020 Q3 2020 Q4 2020 2018 2019 2020 Revenues:\nGoogle Services $ 43,198 $ 38,198 $ 34,991 $ 42,573 $ 52,873 $ 130,524 $ 151,825 $ 168,635 Google Cloud 2,614 2,777 3,007 3,444 3,831 5,838 8,918 13,059 Other Bets 172 135 148 178 196 595 659 657 Hedging gains (losses) 91 49 151 (22) (2) (138) 455 176 Total revenues $ 46,075 $ 41,159 $ 38,297 $ 46,173 $ 56,898 $ 136,819 $ 161,857 $ 182,527 Quarter Fiscal Year Q4 2019 Q1 2020 Q2 2020 Q3 2020 Q4 2020 2018 2019 2020 Operating income (loss):\nGoogle Services $ 13,488 $ 11,548 $ 9,539 $ 14,453 $ 19,066 $ 43,137 $ 48,999 $ 54,606 Google Cloud (1,194) (1,730) (1,426) (1,208) (1,243) (4,348) (4,645) (5,607) Other Bets (2,026) (1,121) (1,116) (1,103) (1,136) \n...\nQ4 2020 financial highlights\nThe following table summarizes our consolidated financial results for the quarters ended December 31, 2019 and\n2020 (in millions, except for per share information and percentages; unaudited). Quarter Ended December 31,\n2019 2020 Revenues $ 46,075 $ 56,898 Increase in revenues year over year 17 % 23 % Increase in constant currency revenues year over year(1) 19 % 23 % Operating income $ 9,266 $ 15,651 Operating margin 20 % 28 % Other income (expense), net $ 1,438 $ 3,038 Net income $ 10,671 $ 15,227 Diluted EPS $ 15.35 $ 22.30 (1) Non-GAAP measure. See the table captioned “Reconciliation from GAAP revenues to non-GAAP constant currency\nrevenues” for more details. Q4 2020 supplemental information (in millions, except for number of employees; unaudited)\nRevenues, Traffic Acquisition Costs (TAC) and number of employees\nThe following table summarizes our revenues, total TAC and number of employees. Quarter Ended December 31,\n2019 2020 Google Search & other $ 27,185 $ 31,903 YouTube ads 4,717 6,885 Google Network Members' properties 6,032 7,411 Google advertising 37,934 46,199 Google other 5,264 6,674 Google Services total 43,198 52,873 Google Cloud 2,614 3,831 Other Bets 172 196 Hedging gains (losses) 91 (2) Total revenues $ 46,075 $ 56,898 Total TAC $ 8,501 $ 10,466 Number of employees 118,899 135,301 ",
           "source": "1",
           "sourceMetadata": {
             "document_id": "projects/123456/locations/global/collections/default_collection/dataStores/data_store_id_example/branches/0/documents/217e8bedecfe08e3c43f5b289af15243",
             "page_identifier": "2",
             "title": "GOOG Exhibit 99.1 Q4'20",
             "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2020Q4_alphabet_earnings_release.pdf"
           }
         },
         {
           "chunkText": "The BigQuery documentation can be found at https://cloud.google.com/bigquery/docs/introduction ",
           "source": "0",
           "sourceMetadata": {
             "uri": "https://cloud.google.com/bigquery/docs/introduction",
             "title": "BigQuery Overview"
           }
         }
       ],
       "groundingSupport": [
         {
           "claimText": "Google's revenue increased by 23% in 2020, reaching $182.5 billion.",
           "supportChunkIndices": [
             0
           ]
         },
         {
           "claimText": "Google Cloud revenue was $13.1 billion for 2020.",
           "supportChunkIndices": [
             1
           ]
         },
         {
           "claimText": "You can find BigQuery documentation at https://cloud.google.com/bigquery/docs/introduction.😊 ",
           "supportChunkIndices": [
             2
           ]
         }
       ]
     }
   }
 ]
}

Google 검색으로 그라운딩된 답변 생성

공개적으로 사용 가능한 웹 데이터를 이용해서 생성된 응답을 그라운딩할 수 있습니다.

동적 검색

요청에서 동적 검색을 사용하여 Google 검색 시 그라운딩을 해제할 경우를 선택할 수 있습니다. 이 기능은 Google 검색으로 그라운딩된 답변이 프롬프트에 필요하지 않고 지원되는 모델이 그라운딩 없이도 기존 지식을 기반으로 답변을 제공할 수 있는 경우에 유용합니다. 이렇게 하면 지연 시간, 품질, 비용을 더 효과적으로 관리할 수 있습니다.

동적 검색 예측 점수 및 기준점

그라운딩된 답변을 생성하도록 요청을 전송하면 Vertex AI Agent Builder가 프롬프트에 예측 점수를 할당합니다. 예측 점수는 [0,1] 범위의 부동 소수점 값입니다. 값은 프롬프트가 Google 검색의 최신 정보로 답변을 그라운딩함으로써 이득을 얻을 수 있는지 여부에 따라 달라집니다. 따라서 웹의 최신 사실 데이터로 그라운딩된 답변이 필요한 프롬프트는 예측 점수가 더 높고, 모델에서 생성된 답변으로 충분한 프롬프트는 예측 점수가 더 낮습니다.

다음은 몇 가지 프롬프트와 해당 예측 점수에 대한 예시입니다.

프롬프트	예측 점수	의견
"피오니에 대한 시를 만들어주세요"	0.13	모델이 기본 지식에 의존할 수 있고 답변에 그라운딩이 필요하지 않습니다.
"2세 아이를 위한 장난감을 추천해주세요"	0.36	모델이 기본 지식에 의존할 수 있고 답변에 그라운딩이 필요하지 않습니다.
"아시아식 과카몰리 레시피를 알려줄 수 있을까요?"	0.55	Google 검색은 그라운딩된 답변을 제공할 수 있지만 그라운딩이 엄격하게 필요하지는 않습니다. 모델 지식으로 충분할 수 있습니다.
"Agent Builder란 무엇인가요? Agent Builder에서 그라운딩 비용은 어떻게 청구되나요?"	0.72	Google 검색으로 잘 그라운딩된 답변을 생성해야 합니다.
"최근 F1 그랑프리 우승자는 누구인가요?"	0.97	Google 검색으로 잘 그라운딩된 답변을 생성해야 합니다.

그라운딩된 답변 생성 요청에서 기준점과 함께 동적 검색 구성을 지정할 수 있습니다. 기준점은 [0,1] 범위의 부동 소수점 값이며 기본값은 0.7입니다. 기준점 값이 0이면 응답이 항상 Google 검색에서 그라운딩됩니다. 다른 모든 기준점 값에는 다음이 적용됩니다.

예측 점수가 기준점보다 크거나 같으면 답변이 Google 검색에서 그라운딩됩니다. 기준점이 낮으면 Google 검색의 그라운딩을 사용하여 생성된 답변이 포함되는 프롬프트가 증가합니다.
예측 점수가 기준점보다 낮으면 모델이 여전히 답변을 생성할 수 있지만 Google 검색으로 그라운딩되지 않습니다.

비즈니스 요구에 적합한 올바른 기준점을 찾으려면 발생할 것으로 예상되는 쿼리 대표 집합을 만들 수 있습니다. 그런 후 응답의 예측 점수에 따라 쿼리를 정렬하고 사용 사례에 적합한 기준점을 선택할 수 있습니다.

Google 검색으로 답변 그라운딩

다음 샘플은 Google 검색을 그라운딩 소스로 지정하여 프롬프트에서 그라운딩된 답변을 생성하는 방법을 보여줍니다. 이 샘플은 generateGroundedContent 메서드를 사용합니다.

REST

다음 curl 요청에 프롬프트를 전송합니다.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_NUMBER/locations/global:generateGroundedContent" \
-d '
{
"contents": [
 {
   "role": "user",
   "parts": [
     {
       "text": "PROMPT_TEXT"
     }
   ]
 }
],
"systemInstruction": {
   "parts": {
       "text": "SYSTEM_INSTRUCTION"
   }
},
"groundingSpec": {
 "groundingSources": [
 {
     "googleSearchSource": {
          "dynamicRetrievalConfig": {
              "predictor":{
                  "threshold": DYNAMIC_RETRIEVAL_THRESHOLD
              }
          }
     }
 }
]
},
"generationSpec": {
 "modelId": "MODEL_ID",
 "temperature": TEMPERATURE,
 "topP": TOP_P,
 "topK": TOP_K
},
"user_context": {
 "languageCode: "LANGUAGE_CODE",
 "latLng": {
   "latitude": LATITUDE,
   "longitude": LONGITUDE
 },
}
}'

다음을 바꿉니다.

PROJECT_NUMBER: Google Cloud 프로젝트의 수입니다.
PROMPT_TEXT: 사용자의 프롬프트입니다.
SYSTEM_INSTRUCTION: 프리앰블 또는 추가 컨텍스트를 제공하는 선택적인 필드입니다.
DYNAMIC_RETRIEVAL_THRESHOLD: 동적 검색 구성을 호출하기 위한 기준점을 설정하는 선택적인 필드입니다. [0,1] 범위의 부동 소수점 값입니다. dynamicRetrievalConfig 필드를 추가하지만 predictor 또는 threshold 필드를 설정하지 않을 때 기본 기준점 값은 0.7입니다. dynamicRetrievalConfig 필드를 설정하지 않으면 답변이 항상 그라운딩됩니다.
MODEL_ID: 그라운딩된 답변을 생성하는 데 사용하려는 Gemini 모델의 모델 ID를 설정하는 선택적인 필드입니다. 사용 가능한 모델 ID 목록은 지원되는 모델을 참조하세요.
TEMPERATURE: 샘플링에 사용되는 강도를 설정하는 선택적인 필드입니다. Google에서는 0.0 강도가 권장됩니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
TOP_P: 모델의 Top-P 값을 설정하는 선택적인 필드입니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
TOP_K: 모델의 Top-K 값을 설정하는 선택적인 필드입니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
LANGUAGE_CODE: 생성된 답변 및 반환된 청크 텍스트의 언어를 설정하는 데 사용할 수 있는 선택적 필드입니다. 쿼리에서 언어를 확인할 수 없는 경우 이 필드가 사용됩니다. 기본값은 en입니다. 언어 코드 목록은 언어를 참고하세요.
LATITUDE: 위도를 설정하는 선택적 필드입니다. 값을 십진도 단위로 입력합니다(예: -25.34).
LONGITUDE: 경도를 설정하는 선택적 필드입니다. 값을 십진도 단위로 입력합니다(예: 131.04).

응답

다음 잘린 응답과 비슷한 JSON 응답이 수신됩니다. 응답을 확인하려면 출력 데이터를 참조하세요.

{
 "candidates": [
   {
     "content": {
       "role": "model",
       "parts": [
         {
           "text": "ANSWER_TEXT"
         }
       ]
     },
     "groundingScore":GROUNDING_SCORE,
     "groundingMetadata": {
       "supportChunks": [
         {
          "source": "0",
          "sourceMetadata": {
            "uri": "REDIRECTION_URI",
            "domain": "PUBLISHER_DOMAIN"
          }
         }
       ],
       "groundingSupport": [
         {
           "claimText": "CLAIM_TEXT_1",
           "supportScore": SUPPORT_SCORE,
           "supportChunkIndices": [
             0
           ]
         },
         {
           "claimText": "CLAIM_TEXT_2",
           "supportScore": SUPPORT_SCORE,
           "supportChunkIndices": [
             0
           ]
         }
       ],
       "webSearchQueries": [
         "QUERY_BUILT_FROM_USER_PROMPT"
       ],
       "searchEntryPoint": {
         "renderedContent": "RENDERED_CONTENT"
       },
     }
   }
 ]
}
{
 "candidates": [
   {
     "content": {
       "role": "model",
       "parts": [
         {
           "text": "ANSWER_TEXT"
         }
       ]
     },
     "groundingScore":GROUNDING_SCORE,
     "groundingMetadata": {
       "supportChunks": [
         {}
       ],
       "groundingSupport": [
         {
           "claimText": "CLAIM_TEXT_1",
           "supportScore": SUPPORT_SCORE,
           "supportChunkIndices": [
             0
           ]
         },
         {
           "claimText": "CLAIM_TEXT_2",
           "supportScore": SUPPORT_SCORE,
           "supportChunkIndices": [
             0
           ]
         }
       ],
       "webSearchQueries": [
         "QUERY_BUILT_FROM_USER_PROMPT"
       ],
       "searchEntryPoint": {
         "renderedContent": "RENDERED_CONTENT"
       },
       "retrievalMetadata": [
         {
           "source": "GOOGLE_SEARCH",
           "dynamicRetrievalMetadata": {
             "predictorMetadata": {
               "version": "V1_INDEPENDENT",
               "prediction": PREDICTION_SCORE
             }
           }
         }
       ]
     }
   }
 ]
}

Python

from google.cloud import discoveryengine_v1 as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_number = "YOUR_PROJECT_NUMBER"

client = discoveryengine.GroundedGenerationServiceClient()

request = discoveryengine.GenerateGroundedContentRequest(
    # The full resource name of the location.
    # Format: projects/{project_number}/locations/{location}
    location=client.common_location_path(project=project_number, location="global"),
    generation_spec=discoveryengine.GenerateGroundedContentRequest.GenerationSpec(
        model_id="gemini-1.5-flash",
    ),
    # Conversation between user and model
    contents=[
        discoveryengine.GroundedGenerationContent(
            role="user",
            parts=[
                discoveryengine.GroundedGenerationContent.Part(
                    text="How much is Google stock?"
                )
            ],
        )
    ],
    system_instruction=discoveryengine.GroundedGenerationContent(
        parts=[
            discoveryengine.GroundedGenerationContent.Part(text="Be comprehensive.")
        ],
    ),
    # What to ground on.
    grounding_spec=discoveryengine.GenerateGroundedContentRequest.GroundingSpec(
        grounding_sources=[
            discoveryengine.GenerateGroundedContentRequest.GroundingSource(
                google_search_source=discoveryengine.GenerateGroundedContentRequest.GroundingSource.GoogleSearchSource(
                    # Optional: For Dynamic Retrieval
                    dynamic_retrieval_config=discoveryengine.GenerateGroundedContentRequest.DynamicRetrievalConfiguration(
                        predictor=discoveryengine.GenerateGroundedContentRequest.DynamicRetrievalConfiguration.DynamicRetrievalPredictor(
                            threshold=0.7
                        )
                    )
                )
            ),
        ]
    ),
)
response = client.generate_grounded_content(request)

# Handle the response
print(response)

Google 검색으로 그라운딩된 싱글턴 답변 생성 예시

다음 예시에서 요청은 Google Search를 그라운딩 소스로 지정합니다. 이 샘플은 generateGroundedContent 메서드를 사용합니다. 이 예시에서는 또한 웃는 이모티콘으로 답변을 끝내는 시스템 명령을 사용합니다.

REST

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1/projects/123456/locations/global:generateGroundedContent" \
-d '
{
"contents": [{
  "role": "user",
  "parts": [{
    "text": "What is vertex ai agent builder?"
}]
}],
"systemInstruction": {
   "parts": {
      "text": "Add a smiley emoji after the answer."
   }
},
"groundingSpec": {
  "groundingSources": [
  {
      "googleSearchSource": {
        "dynamicRetrievalConfig": {
               "predictor":{
                   "threshold": 0.6
               }
           }
      }
  }
 ]
},
"generationSpec": {
  "modelId": "gemini-1.5-flash"
}
}
'

응답

다음 잘린 응답과 비슷한 JSON 응답이 수신됩니다. 응답을 확인하려면 출력 데이터를 참조하세요.

{
 "candidates": [
   {
     "content": {
       "role": "model",
       "parts": [
         {
           "text": "Vertex AI Agent Builder is a platform developed by Google Cloud that simplifies the creation and deployment of generative AI agents. It offers both no-code and code-first approaches, allowing developers of all skill levels to build AI-powered agents. \n\nHere are some key features of Vertex AI Agent Builder:\n\n* **No-code interface:**  Use natural language to design and build agents without writing code.\n* **Code-first approach:**  Utilize powerful orchestration and customization capabilities, including LangChain on Vertex AI.\n* **Enterprise-grade security and compliance:**  Built-in security, compliance, and governance features align with industry certifications like HIPAA, ISO 27000-series, SOC-1/2/3, VPC-SC, and CMEK.\n* **Integration with enterprise data:**  Easily ground your agents in enterprise data using Vertex AI Search and Retrieval Augmented Generation (RAG) APIs.\n* **Pre-built templates:**  Rapidly prototype and experiment with pre-built templates for conversational AI and process automation agents.\n* **Advanced integrations:**  Supports integrations with frameworks like LlamaIndex and LangChain for enhanced AI capabilities.\n* **Natural language understanding (NLU):**  Accurate query responses and support for multiple languages.\n\nVertex AI Agent Builder is designed to help developers create AI agents that can:\n\n* Answer complex questions\n* Provide support and personalize user experiences\n* Automate tasks and processes\n* Interact with backend systems\n\nOverall, Vertex AI Agent Builder is a powerful tool that makes it easier for developers to build and deploy generative AI agents, regardless of their experience level. 😊 \n"
         }
       ]
     },
     "groundingScore": 0.80400103,
     "groundingMetadata": {
       "supportChunks": [
         {
          "source": "0",
          "sourceMetadata": {
          "uri": "https://vertexaisearch.cloud.google.com/grounding-api-redirect/{unique_string}",
          "domain": "example.com"
         }
        }
       ],
       "groundingSupport": [
         {
           "claimText": "Vertex AI Agent Builder is a platform developed by Google Cloud that simplifies the creation and deployment of generative AI agents.",
           "supportScore": 0.9541752,
           "supportChunkIndices": [
             0
           ]
         },
         {
           "claimText": "It offers both no-code and code-first approaches, allowing developers of all skill levels to build AI-powered agents.",
           "supportScore": 0.9648506,
           "supportChunkIndices": [
             0
           ]
         },
         {
           "claimText": "* **No-code interface:**  Use natural language to design and build agents without writing code.",
           "supportScore": 0.77115613,
           "supportChunkIndices": [
             0
           ]
         },
         {
           "claimText": "* **Code-first approach:**  Utilize powerful orchestration and customization capabilities, including LangChain on Vertex AI.",
           "supportScore": 0.8540146,
           "supportChunkIndices": [
             0
           ]
         },
         {
           "claimText": "* **Enterprise-grade security and compliance:**  Built-in security, compliance, and governance features align with industry certifications like HIPAA, ISO 27000-series, SOC-1/2/3, VPC-SC, and CMEK.",
           "supportScore": 0.9574074,
           "supportChunkIndices": [
             0
           ]
         },
         {
           "claimText": "* **Integration with enterprise data:**  Easily ground your agents in enterprise data using Vertex AI Search and Retrieval Augmented Generation (RAG) APIs.",
           "supportScore": 0.9533333,
           "supportChunkIndices": [
             0
           ]
         },
         {
           "claimText": "* **Pre-built templates:**  Rapidly prototype and experiment with pre-built templates for conversational AI and process automation agents.",
           "supportScore": 0.9457701,
           "supportChunkIndices": [
             0
           ]
         },
         {
           "claimText": "* **Advanced integrations:**  Supports integrations with frameworks like LlamaIndex and LangChain for enhanced AI capabilities.",
           "supportScore": 0.9541752,
           "supportChunkIndices": [
             0
           ]
         },
         {
           "claimText": "* **Natural language understanding (NLU):**  Accurate query responses and support for multiple languages.",
           "supportScore": 0.97726375,
           "supportChunkIndices": [
             0
           ]
         },
         {
           "claimText": "* Provide support and personalize user experiences",
           "supportScore": 0.8540146,
           "supportChunkIndices": [
             0
           ]
         },
         {
           "claimText": "* Automate tasks and processes",
           "supportScore": 0.82046676,
           "supportChunkIndices": [
             0
           ]
         }
       ],
       "webSearchQueries": [
         "what is vertex ai agent builder"
       ],
       "searchEntryPoint": {
         "renderedContent": "\u003cstyle\u003e\n.container {\n  align-items: center;\n  border-radius: 8px;\n  display: flex;\n  font-family: Google Sans, Roboto, sans-serif;\n  font-size: 14px;\n  line-height: 20px;\n  padding: 8px 12px;\n}\n.chip {\n  display: inline-block;\n  border: solid 1px;\n  border-radius: 16px;\n  min-width: 14px;\n  padding: 5px 16px;\n  text-align: center;\n  user-select: none;\n  margin: 0 8px;\n  -webkit-tap-highlight-color: transparent;\n}\n.carousel {\n  overflow: auto;\n  scrollbar-width: none;\n  white-space: nowrap;\n  margin-right: -12px;\n}\n.headline {\n  display: flex;\n  margin-right: 4px;\n}\n.gradient-container {\n  position: relative;\n}\n.gradient {\n  position: absolute;\n  transform: translate(3px, -9px);\n  height: 36px;\n  width: 9px;\n}\n@media (prefers-color-scheme: light) {\n  .container {\n    background-color: #fafafa;\n    box-shadow: 0 0 0 1px #0000000f;\n  }\n  .headline-label {\n    color: #1f1f1f;\n  }\n  .chip {\n    background-color: #ffffff;\n    border-color: #d2d2d2;\n    color: #5e5e5e;\n    text-decoration: none;\n  }\n  .chip:hover {\n    background-color: #f2f2f2;\n  }\n  .chip:focus {\n    background-color: #f2f2f2;\n  }\n  .chip:active {\n    background-color: #d8d8d8;\n    border-color: #b6b6b6;\n  }\n  .logo-dark {\n    display: none;\n  }\n  .gradient {\n    background: linear-gradient(90deg, #fafafa 15%, #fafafa00 100%);\n  }\n}\n@media (prefers-color-scheme: dark) {\n  .container {\n    background-color: #1f1f1f;\n    box-shadow: 0 0 0 1px #ffffff26;\n  }\n  .headline-label {\n    color: #fff;\n  }\n  .chip {\n    background-color: #2c2c2c;\n    border-color: #3c4043;\n    color: #fff;\n    text-decoration: none;\n  }\n  .chip:hover {\n    background-color: #353536;\n  }\n  .chip:focus {\n    background-color: #353536;\n  }\n  .chip:active {\n    background-color: #464849;\n    border-color: #53575b;\n  }\n  .logo-light {\n    display: none;\n  }\n  .gradient {\n    background: linear-gradient(90deg, #1f1f1f 15%, #1f1f1f00 100%);\n  }\n}\n\u003c/style\u003e\n\u003cdiv class=\"container\"\u003e\n  \u003cdiv class=\"headline\"\u003e\n    \u003csvg class=\"logo-light\" width=\"18\" height=\"18\" viewBox=\"9 9 35 35\" fill=\"none\" xmlns=\"http://www.w3.org/2000/svg\"\u003e\n      \u003cpath fill-rule=\"evenodd\" clip-rule=\"evenodd\" d=\"M42.8622 27.0064C42.8622 25.7839 42.7525 24.6084 42.5487 23.4799H26.3109V30.1568H35.5897C35.1821 32.3041 33.9596 34.1222 32.1258 35.3448V39.6864H37.7213C40.9814 36.677 42.8622 32.2571 42.8622 27.0064V27.0064Z\" fill=\"#4285F4\"/\u003e\n      \u003cpath fill-rule=\"evenodd\" clip-rule=\"evenodd\" d=\"M26.3109 43.8555C30.9659 43.8555 34.8687 42.3195 37.7213 39.6863L32.1258 35.3447C30.5898 36.3792 28.6306 37.0061 26.3109 37.0061C21.8282 37.0061 18.0195 33.9811 16.6559 29.906H10.9194V34.3573C13.7563 39.9841 19.5712 43.8555 26.3109 43.8555V43.8555Z\" fill=\"#34A853\"/\u003e\n      \u003cpath fill-rule=\"evenodd\" clip-rule=\"evenodd\" d=\"M16.6559 29.8904C16.3111 28.8559 16.1074 27.7588 16.1074 26.6146C16.1074 25.4704 16.3111 24.3733 16.6559 23.3388V18.8875H10.9194C9.74388 21.2072 9.06992 23.8247 9.06992 26.6146C9.06992 29.4045 9.74388 32.022 10.9194 34.3417L15.3864 30.8621L16.6559 29.8904V29.8904Z\" fill=\"#FBBC05\"/\u003e\n      \u003cpath fill-rule=\"evenodd\" clip-rule=\"evenodd\" d=\"M26.3109 16.2386C28.85 16.2386 31.107 17.1164 32.9095 18.8091L37.8466 13.8719C34.853 11.082 30.9659 9.3736 26.3109 9.3736C19.5712 9.3736 13.7563 13.245 10.9194 18.8875L16.6559 23.3388C18.0195 19.2636 21.8282 16.2386 26.3109 16.2386V16.2386Z\" fill=\"#EA4335\"/\u003e\n    \u003c/svg\u003e\n    \u003csvg class=\"logo-dark\" width=\"18\" height=\"18\" viewBox=\"0 0 48 48\" xmlns=\"http://www.w3.org/2000/svg\"\u003e\n      \u003ccircle cx=\"24\" cy=\"23\" fill=\"#FFF\" r=\"22\"/\u003e\n      \u003cpath d=\"M33.76 34.26c2.75-2.56 4.49-6.37 4.49-11.26 0-.89-.08-1.84-.29-3H24.01v5.99h8.03c-.4 2.02-1.5 3.56-3.07 4.56v.75l3.91 2.97h.88z\" fill=\"#4285F4\"/\u003e\n      \u003cpath d=\"M15.58 25.77A8.845 8.845 0 0 0 24 31.86c1.92 0 3.62-.46 4.97-1.31l4.79 3.71C31.14 36.7 27.65 38 24 38c-5.93 0-11.01-3.4-13.45-8.36l.17-1.01 4.06-2.85h.8z\" fill=\"#34A853\"/\u003e\n      \u003cpath d=\"M15.59 20.21a8.864 8.864 0 0 0 0 5.58l-5.03 3.86c-.98-2-1.53-4.25-1.53-6.64 0-2.39.55-4.64 1.53-6.64l1-.22 3.81 2.98.22 1.08z\" fill=\"#FBBC05\"/\u003e\n      \u003cpath d=\"M24 14.14c2.11 0 4.02.75 5.52 1.98l4.36-4.36C31.22 9.43 27.81 8 24 8c-5.93 0-11.01 3.4-13.45 8.36l5.03 3.85A8.86 8.86 0 0 1 24 14.14z\" fill=\"#EA4335\"/\u003e\n    \u003c/svg\u003e\n    \u003cdiv class=\"gradient-container\"\u003e\u003cdiv class=\"gradient\"\u003e\u003c/div\u003e\u003c/div\u003e\n  \u003c/div\u003e\n  \u003cdiv class=\"carousel\"\u003e\n    \u003ca class=\"chip\" href=\"https://www.google.com/search?q=what+is+vertex+ai+agent+builder&client=app-vertex-grounding&safesearch=active\"\u003ewhat is vertex ai agent builder\u003c/a\u003e\n  \u003c/div\u003e\n\u003c/div\u003e\n"
       },
       "retrievalMetadata": [
         {
           "source": "GOOGLE_SEARCH",
           "dynamicRetrievalMetadata": {
             "predictorMetadata": {
               "version": "V1_INDEPENDENT",
               "prediction": 0.671875
             }
           }
         }
       ]
     }
   }
 ]
}

멀티턴에서 그라운딩된 답변 생성

멀티턴 답변 생성의 각 요청에서는 모든 이전 턴에 사용자와 모델 사이에 교환된 모든 텍스트를 전송해야 합니다. 이렇게 하면 연속성이 보장되고 최신 프롬프트에 대해 답변을 생성하기 위한 컨텍스트가 유지됩니다.

멀티턴 답변 생성으로 그라운딩된 답변을 얻으려면 다음을 수행합니다.

REST

다음 샘플은 멀티턴으로 후속 질문 프롬프트 텍스트를 전송하는 방법을 보여줍니다. 이러한 샘플에서는 generateGroundedContent 메서드를 사용하고 Google 검색으로 답변을 그라운딩합니다. 비슷한 단계를 사용해서 다른 그라운딩 소스를 사용하여 그라운딩된 답변을 생성할 수 있습니다.

다음 curl 요청에 첫 번째 프롬프트를 전송합니다.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_NUMBER/locations/global:generateGroundedContent" \
-d '
{
"contents": [
 {
   "role": "user",
   "parts": [
     {
       "text": "PROMPT_TEXT_TURN_1"
     }
   ]
 }
],
"systemInstruction": {
   "parts": {
       "text": "SYSTEM_INSTRUCTION_TURN_1"
   }
},
"groundingSpec": {
 "groundingSources": [
   {
     "googleSearchSource": {}
   }
 ]
},
"generationSpec": {
 "modelId": "MODEL_ID",
 "temperature": TEMPERATURE,
 "topP": TOP_P,
 "topK": TOP_K
},
"user_context": {
 "languageCode: "LANGUAGE_CODE",
 "latLng": {
   "latitude": LATITUDE,
   "longitude": LONGITUDE
 },
}
}'
```
다음을 바꿉니다.
- PROJECT_NUMBER: Google Cloud 프로젝트의 수입니다.
- PROMPT_TEXT_TURN_1: 첫 번째 턴의 사용자의 프롬프트 텍스트입니다.
- SYSTEM_INSTRUCTION_TURN_1: 프리앰블 또는 추가 컨텍스트를 제공하는 선택적인 필드입니다. 멀티턴 답변 생성의 경우 모든 턴에 대해 시스템 안내를 제공해야 합니다.
- MODEL_ID: 그라운딩된 답변을 생성하는 데 사용하려는 Gemini 모델의 모델 ID를 설정하는 선택적인 필드입니다. 사용 가능한 모델 ID 목록은 지원되는 모델을 참조하세요.
- TEMPERATURE: 샘플링에 사용되는 강도를 설정하는 선택적인 필드입니다. Google에서는 0.0 강도가 권장됩니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
- TOP_P: 모델의 Top-P 값을 설정하는 선택적인 필드입니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
- TOP_K: 모델의 Top-K 값을 설정하는 선택적인 필드입니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
- LANGUAGE_CODE: 생성된 답변 및 반환된 청크 텍스트의 언어를 설정하는 데 사용할 수 있는 선택적 필드입니다. 쿼리에서 언어를 확인할 수 없는 경우 이 필드가 사용됩니다. 기본값은 en입니다. 언어 코드 목록은 언어를 참고하세요.
- LATITUDE: 위도를 설정하는 선택적 필드입니다. 값을 십진도 단위로 입력합니다(예: -25.34).
- LONGITUDE: 경도를 설정하는 선택적 필드입니다. 값을 십진도 단위로 입력합니다(예: 131.04).
응답

다음 잘린 응답과 비슷한 JSON 응답이 수신됩니다. 응답을 확인하려면 출력 데이터를 참조하세요.
```
{
"candidates": [
 {
   "content": {
     "role": "model",
     "parts": [
       {
         "text": "ANSWER_TEXT_TURN_1"
       }
     ]
   },
   "groundingScore": GROUNDING_SCORE,
   "groundingMetadata": {
     "supportChunks": [],
     "groundingSupport": [
       {
         "claimText": "CLAIM_TEXT_1",
         "supportChunkIndices": [
           0,
           1
         ]
       },
       {
         "claimText": "CLAIM_TEXT_2",
         "supportChunkIndices": [
           1
         ]
       }
     ],
     "webSearchQueries": [
       "QUERY_BUILT_FROM_USER_PROMPT"
     ],
     "searchEntryPoint": {
       "renderedContent": "RENDERED_CONTENT"
     }
   }
 }
]
} 
```
후속 질문으로 두 번째 프롬프트를 전송합니다. 컨텍스트를 위해 모델의 해당 답변과 함께 사용자의 첫 번째 프롬프트를 추가합니다.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_NUMBER/locations/global:generateGroundedContent" \
-d '
{
"contents": [
 {
   "role": "user",
   "parts": [
     {
       "text": "PROMPT_TEXT_TURN_1"
     }
   ]
 },
 {
   "role": "model",
   "parts": [
     {
       "text": "ANSWER_TEXT_TURN_1"
     }
   ]
 },
 {
   "role": "user",
   "parts": [
     {
       "text": "PROMPT_TEXT_TURN_2"
     }
   ]
 }
],
"systemInstruction": {
   "parts": {
       "text": "SYSTEM_INSTRUCTION_TURN_2"
   }
},
"groundingSpec": {
 "groundingSources": [
   {
     "googleSearchSource": {}
   }
 ]
},
"generationSpec": {
 "modelId": "MODEL_ID",
 "temperature": TEMPERATURE,
 "topP": TOP_P,
 "topK": TOP_K
},
"user_context": {
 "languageCode: "LANGUAGE_CODE",
 "latLng": {
   "latitude": LATITUDE,
   "longitude": LONGITUDE
 },
}
}'
```
다음을 바꿉니다.
- PROJECT_NUMBER: Google Cloud 프로젝트의 수입니다.
- PROMPT_TEXT_TURN_1: 첫 번째 턴의 사용자의 프롬프트 텍스트입니다.
- ANSWER_TEXT_TURN_1: 첫 번째 턴의 모델의 답변 텍스트입니다.
- PROMPT_TEXT_TURN_2: 두 번째 턴의 사용자의 프롬프트 텍스트입니다.
- SYSTEM_INSTRUCTION_TURN_2: 프리앰블 또는 추가 컨텍스트를 제공하는 선택적인 필드입니다. 멀티턴 답변 생성의 경우 모든 턴에 대해 시스템 안내를 제공해야 합니다.
- MODEL_ID: 그라운딩된 답변을 생성하는 데 사용하려는 Gemini 모델의 모델 ID를 설정하는 선택적인 필드입니다. 사용 가능한 모델 ID 목록은 지원되는 모델을 참조하세요.
- TEMPERATURE: 샘플링에 사용되는 강도를 설정하는 선택적인 필드입니다. Google에서는 0.0 강도가 권장됩니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
- TOP_P: 모델의 Top-P 값을 설정하는 선택적인 필드입니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
- TOP_K: 모델의 Top-K 값을 설정하는 선택적인 필드입니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
- LANGUAGE_CODE: 생성된 답변 및 반환된 청크 텍스트의 언어를 설정하는 데 사용할 수 있는 선택적 필드입니다. 쿼리에서 언어를 확인할 수 없는 경우 이 필드가 사용됩니다. 기본값은 en입니다. 언어 코드 목록은 언어를 참고하세요.
- LATITUDE: 위도를 설정하는 선택적 필드입니다. 값을 십진도 단위로 입력합니다(예: -25.34).
- LONGITUDE: 경도를 설정하는 선택적 필드입니다. 값을 십진도 단위로 입력합니다(예: 131.04).
응답

다음 잘린 응답과 비슷한 JSON 응답이 수신됩니다. 응답을 확인하려면 출력 데이터를 참조하세요.
```
{
"candidates": [
 {
   "content": {
     "role": "model",
     "parts": [
       {
         "text": "ANSWER_TEXT_TURN_2"
       }
     ]
   },
   "groundingScore": GROUNDING_SCORE,
   "groundingMetadata": {
     "supportChunks": [],
     "groundingSupport": [
       {
         "claimText": "CLAIM_TEXT_1",
         "supportChunkIndices": [
           0
         ]
       },
       {
         "claimText": "CLAIM_TEXT_2",
         "supportChunkIndices": [
           1,
           2
         ]
       }
     ],
     "webSearchQueries": [
       "QUERY_BUILT_FROM_USER_PROMPT"
     ],
     "searchEntryPoint": {
       "renderedContent": "RENDERED_CONTENT"
     }
   }
 }
]
}   
```
이 프로세스를 반복하여 추가 후속 질문 답변을 얻습니다. 각 턴마다 모델의 해당 답변과 함께 사용자의 이전 프롬프트를 모두 추가합니다.

멀티턴 답변 생성 예시

다음 예시에서 요청은 두 번의 턴으로 답변을 생성하기 위해 3개의 인라인 사실 텍스트를 그라운딩 소스로 지정합니다. 이 샘플은 generateGroundedContent 메서드를 사용합니다. 이 예시에서는 또한 첫 번째 턴에서 웃는 이모티콘으로 답변을 끝내는 시스템 명령을 사용합니다.

REST

다음 curl 요청에 첫 번째 프롬프트를 전송합니다.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1/projects/123456/locations/global:generateGroundedContent" \
-d '
{
"contents": [
 {
   "role": "user",
   "parts": [
     {
       "text": "Summarize what happened in 2023 in one paragraph."
     }
   ]
 }
],
"systemInstruction": {
  "parts": {
      "text": "Add a smiley emoji after the answer."
  }
},
"grounding_spec": {
 "grounding_sources": [
   {
     "inline_source": {
       "grounding_facts": [
         {
           "fact_text": "In 2023, the world population surpassed 8 billion. This milestone marked a significant moment in human history, highlighting both the rapid growth of our species and the challenges of resource management and sustainability in the years to come.",
           "attributes": {
             "title": "title_1",
             "uri": "some-uri-1"
           }
         }
       ]
     }
   },
   {
     "inline_source": {
       "grounding_facts": [
         {
           "fact_text": "In 2023, global e-commerce sales reached an estimated $5.7 trillion. The continued rise of online shopping solidified its position as a dominant force in retail, with major implications for traditional brick-and-mortar stores and the logistics networks supporting worldwide deliveries.",
           "attributes": {
             "title": "title_2",
             "uri": "some-uri-2"
           }
         }
       ]
     }
   },
   {
     "inline_source": {
       "grounding_facts": [
         {
           "fact_text": "In 2023, the global average surface temperature was approximately 0.2 degrees Celsius higher than the 20th-century average. This continued the worrying trend of global warming, underscoring the urgency of worldwide climate initiatives, carbon reduction efforts, and investment in renewable energy sources.",
           "attributes": {
             "title": "title_3",
             "uri": "some-uri-3"
           }
         }
       ]
     }
   }
 ]
},
"generationSpec": {
 "modelId": "gemini-1.5-flash"
}
}'

응답

다음 잘린 응답과 비슷한 JSON 응답이 수신됩니다. 응답을 확인하려면 출력 데이터를 참조하세요.

{
"candidates": [
 {
   "content": {
     "role": "model",
     "parts": [
       {
         "text": "In 2023, the global average surface temperature increased, the world population surpassed 8 billion, and global e-commerce sales reached an estimated $5.7 trillion.  😊 \n"
       }
     ]
   },
   "groundingScore": 1,
   "groundingMetadata": {
     "supportChunks": [
       {
         "chunkText": "In 2023, global e-commerce sales reached an estimated $5.7 trillion. The continued rise of online shopping solidified its position as a dominant force in retail, with major implications for traditional brick-and-mortar stores and the logistics networks supporting worldwide deliveries. ",
         "source": "1",
         "sourceMetadata": {
           "uri": "some-uri-2",
           "title": "title_2"
         }
       },
       {
         "chunkText": "In 2023, the world population surpassed 8 billion. This milestone marked a significant moment in human history, highlighting both the rapid growth of our species and the challenges of resource management and sustainability in the years to come. ",
         "source": "0",
         "sourceMetadata": {
           "uri": "some-uri-1",
           "title": "title_1"
         }
       },
       {
         "chunkText": "In 2023, the global average surface temperature was approximately 0.2 degrees Celsius higher than the 20th-century average. This continued the worrying trend of global warming, underscoring the urgency of worldwide climate initiatives, carbon reduction efforts, and investment in renewable energy sources. ",
         "source": "2",
         "sourceMetadata": {
           "title": "title_3",
           "uri": "some-uri-3"
         }
       }
     ],
     "groundingSupport": [
       {
         "claimText": "In 2023, the global average surface temperature increased, the world population surpassed 8 billion, and global e-commerce sales reached an estimated $5.7 trillion.",
         "supportScore": 1,
         "supportChunkIndices": [
           0,
           1,
           2
         ]
       }
     ]
   }
 }
]
}

후속 질문으로 두 번째 프롬프트를 전송합니다. 컨텍스트를 위해 모델의 해당 답변과 함께 사용자의 첫 번째 프롬프트를 추가합니다.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1/projects/123456/locations/global:generateGroundedContent" \
-d '
{
"contents": [
 {
   "role": "user",
   "parts": [
     {
       "text": "Summarize what happened in 2023 in one paragraph."
     }
   ]
 },
 {
   "role": "model",
   "parts": [
     {
       "text": "In 2023, the global average surface temperature increased, the world population surpassed 8 billion, and global e-commerce sales reached an estimated $5.7 trillion.  😊 \n"
     }
   ]
 },
 {
   "role": "user",
   "parts": [
     {
       "text": "Rephrase the answer in an abstracted list."
     }
   ]
 }
],
"grounding_spec": {
 "grounding_sources": [
   {
     "inline_source": {
       "grounding_facts": [
         {
           "fact_text": "In 2023, the world population surpassed 8 billion. This milestone marked a significant moment in human history, highlighting both the rapid growth of our species and the challenges of resource management and sustainability in the years to come.",
           "attributes": {
             "title": "title_1",
             "uri": "some-uri-1"
           }
         }
       ]
     }
   },
   {
     "inline_source": {
       "grounding_facts": [
         {
           "fact_text": "In 2023, global e-commerce sales reached an estimated $5.7 trillion. The continued rise of online shopping solidified its position as a dominant force in retail, with major implications for traditional brick-and-mortar stores and the logistics networks supporting worldwide deliveries.",
           "attributes": {
             "title": "title_2",
             "uri": "some-uri-2"
           }
         }
       ]
     }
   },
   {
     "inline_source": {
       "grounding_facts": [
         {
           "fact_text": "In 2023, the global average surface temperature was approximately 0.2 degrees Celsius higher than the 20th-century average. This continued the worrying trend of global warming, underscoring the urgency of worldwide climate initiatives, carbon reduction efforts, and investment in renewable energy sources.",
           "attributes": {
             "title": "title_3",
             "uri": "some-uri-3"
           }
         }
       ]
     }
   }
 ]
},
"generationSpec": {
 "modelId": "gemini-1.5-flash"
}
}'

응답

다음 잘린 응답과 비슷한 JSON 응답이 수신됩니다. 응답을 확인하려면 출력 데이터를 참조하세요.

{
"candidates": [
 {
   "content": {
     "role": "model",
     "parts": [
       {
         "text": "- The global average surface temperature increased in 2023.\n- The world population surpassed 8 billion in 2023.\n- Global e-commerce sales reached an estimated $5.7 trillion in 2023. \n"
       }
     ]
   },
   "groundingScore": 0.99073017,
   "groundingMetadata": {
     "supportChunks": [
       {
         "chunkText": "In 2023, the global average surface temperature was approximately 0.2 degrees Celsius higher than the 20th-century average. This continued the worrying trend of global warming, underscoring the urgency of worldwide climate initiatives, carbon reduction efforts, and investment in renewable energy sources. ",
         "source": "2",
         "sourceMetadata": {
           "uri": "some-uri-3",
           "title": "title_3"
         }
       },
       {
         "chunkText": "In 2023, the world population surpassed 8 billion. This milestone marked a significant moment in human history, highlighting both the rapid growth of our species and the challenges of resource management and sustainability in the years to come. ",
         "source": "0",
         "sourceMetadata": {
           "uri": "some-uri-1",
           "title": "title_1"
         }
       },
       {
         "chunkText": "In 2023, global e-commerce sales reached an estimated $5.7 trillion. The continued rise of online shopping solidified its position as a dominant force in retail, with major implications for traditional brick-and-mortar stores and the logistics networks supporting worldwide deliveries. ",
         "source": "1",
         "sourceMetadata": {
           "title": "title_2",
           "uri": "some-uri-2"
         }
       }
     ],
     "groundingSupport": [
       {
         "claimText": "- The global average surface temperature increased in 2023.",
         "supportScore": 0.9883382,
         "supportChunkIndices": [
           0
         ]
       },
       {
         "claimText": "- The world population surpassed 8 billion in 2023.",
         "supportScore": 0.9919262,
         "supportChunkIndices": [
           1
         ]
       },
       {
         "claimText": "- Global e-commerce sales reached an estimated $5.7 trillion in 2023.",
         "supportScore": 0.9919262,
         "supportChunkIndices": [
           2
         ]
       }
     ]
   }
 }
]
}

그라운딩된 답변 스트리밍

모델로부터 답변을 스트리밍하도록 선택할 수 있습니다. 이 기능은 답변이 특히 길고 전체 응답을 한 번에 전송할 때 상당한 지연이 발생할 수 있는 사용 사례에서 유용합니다. 답변을 스트리밍하면 답변 텍스트의 순차적 부분이 포함된 여러 후보 배열로 응답이 구분됩니다.

스트리밍되고 그라운딩된 답변을 얻으려면 다음을 수행합니다.

REST

다음 샘플은 그라운딩된 답변을 스트리밍하는 방법을 보여줍니다. 이 샘플은 streamGenerateGroundedContent 메서드를 사용하고 동적 검색 구성 없이 Google 검색으로 답변을 그라운딩합니다. 비슷한 단계를 사용해서 다른 그라운딩 소스를 사용하여 그라운딩된 답변을 생성할 수 있습니다.

다음 curl 요청에 프롬프트를 전송합니다.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_NUMBER/locations/global:streamGenerateGroundedContent" \
-d '
[
{
 "contents": [
   {
     "role": "user",
     "parts": [
       {
         "text": "PROMPT_TEXT"
       }
     ]
   }
 ],
 "systemInstruction": {
     "parts": {
         "text": "SYSTEM_INSTRUCTION"
     }
 },
 "groundingSpec": {
   "groundingSources": [
     {
       "googleSearchSource": {}
     }
   ]
 },
"generationSpec": {
 "modelId": "MODEL_ID",
 "temperature": TEMPERATURE,
 "topP": TOP_P,
 "topK": TOP_K
},
"user_context": {
 "languageCode: "LANGUAGE_CODE",
 "latLng": {
   "latitude": LATITUDE,
   "longitude": LONGITUDE
 },
}
}
]'

다음을 바꿉니다.

PROJECT_NUMBER: Google Cloud 프로젝트의 수입니다.
PROMPT_TEXT: 사용자의 프롬프트입니다.
SYSTEM_INSTRUCTION: 프리앰블 또는 추가 컨텍스트를 제공하는 선택적인 필드입니다.
MODEL_ID: 그라운딩된 답변을 생성하는 데 사용하려는 Gemini 모델의 모델 ID를 설정하는 선택적인 필드입니다. 사용 가능한 모델 ID 목록은 지원되는 모델을 참조하세요.
TEMPERATURE: 샘플링에 사용되는 강도를 설정하는 선택적인 필드입니다. Google에서는 0.0 강도가 권장됩니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
TOP_P: 모델의 Top-P 값을 설정하는 선택적인 필드입니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
TOP_K: 모델의 Top-K 값을 설정하는 선택적인 필드입니다. 자세한 내용은 Gemini 모델 매개변수를 참조하세요.
LANGUAGE_CODE: 생성된 답변 및 반환된 청크 텍스트의 언어를 설정하는 데 사용할 수 있는 선택적 필드입니다. 쿼리에서 언어를 확인할 수 없는 경우 이 필드가 사용됩니다. 기본값은 en입니다. 언어 코드 목록은 언어를 참고하세요.
LATITUDE: 위도를 설정하는 선택적 필드입니다. 값을 십진도 단위로 입력합니다(예: -25.34).
LONGITUDE: 경도를 설정하는 선택적 필드입니다. 값을 십진도 단위로 입력합니다(예: 131.04).

응답

다음 잘린 응답과 비슷한 JSON 응답이 수신됩니다. 응답을 확인하려면 출력 데이터를 참조하세요.

[{
 "candidates": [
   {
     "content": {
       "role": "model",
       "parts": [
         {
           "text": "ANSWER_TEXT_PART_1"
         }
       ]
     }
   }
 ]
},
{
 "candidates": [
   {
     "content": {
       "role": "model",
       "parts": [
         {
           "text": "ANSWER_TEXT_PART_2"
         }
       ]
     }
   }
 ]
},
{
 "candidates": [
   {
     "content": {
       "role": "model",
       "parts": [
         {
           "text": "ANSWER_TEXT_PART_3"
         }
       ]
     }
   }
 ]
},
{
 "candidates": [
   {
     "groundingMetadata": {
       "supportChunks": [
         {
          "source": "0",
          "sourceMetadata": {
            "uri": "REDIRECTION_URI",
            "domain": "PUBLISHER_DOMAIN"
          }
         }
       ],
       "groundingSupport": [
         {
           "claimText": "CLAIM_TEXT_1",
           "supportChunkIndices": [
             0
           ]
         }
       ],
       "webSearchQueries": [
         "QUERY_BUILT_FROM_USER_PROMPT"
       ],
       "searchEntryPoint": {
         "renderedContent": "RENDERED_CONTENT"
       }
     }
   }
 ]
}]

Python

from google.cloud import discoveryengine_v1 as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"

client = discoveryengine.GroundedGenerationServiceClient()

request = discoveryengine.GenerateGroundedContentRequest(
    # The full resource name of the location.
    # Format: projects/{project_number}/locations/{location}
    location=client.common_location_path(project=project_number, location="global"),
    generation_spec=discoveryengine.GenerateGroundedContentRequest.GenerationSpec(
        model_id="gemini-1.5-flash",
    ),
    # Conversation between user and model
    contents=[
        discoveryengine.GroundedGenerationContent(
            role="user",
            parts=[
                discoveryengine.GroundedGenerationContent.Part(
                    text="Summarize how to delete a data store in Vertex AI Agent Builder?"
                )
            ],
        )
    ],
    grounding_spec=discoveryengine.GenerateGroundedContentRequest.GroundingSpec(
        grounding_sources=[
            discoveryengine.GenerateGroundedContentRequest.GroundingSource(
                google_search_source=discoveryengine.GenerateGroundedContentRequest.GroundingSource.GoogleSearchSource()
            ),
        ]
    ),
)
responses = client.stream_generate_grounded_content(iter([request]))

for response in responses:
    # Handle the response
    print(response)

그라운딩된 답변 스트리밍 예시

다음 예시에서 요청은 Google 검색을 그라운딩 소스로 지정하고 동적 검색 구성 없이 답변을 스트리밍합니다. 스트리밍된 답변은 여러 응답 후보로 분산됩니다. 이 샘플은 streamGenerateGroundedContent 메서드를 사용합니다.

REST

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1alpha/projects/123456/locations/global:streamGenerateGroundedContent" \
-d '
[
{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "text": "Summarize How to delete a data store in Vertex AI Agent Builder?"
        }
      ]
    }
  ],
  "groundingSpec": {
    "groundingSources": [
      {
        "googleSearchSource": {}
      }
    ]
  },
  "generationSpec": {
    "modelId": "gemini-1.5-flash"
  }
}
]'

응답

다음 잘린 응답과 비슷한 JSON 응답이 수신됩니다. 응답을 확인하려면 출력 데이터를 참조하세요.

[{
"candidates": [
  {
    "content": {
      "role": "model",
      "parts": [
        {
          "text": "To"
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "content": {
      "role": "model",
      "parts": [
        {
          "text": " delete a data store in Vertex AI Agent Builder, you must first purge all data"
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "content": {
      "role": "model",
      "parts": [
        {
          "text": " from the data store. "
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "groundingMetadata": {
      "supportChunks": [
        {
          "source": "0",
          "sourceMetadata": {
            "uri": "https://vertexaisearch.cloud.google.com/grounding-api-redirect/{unique_string}",
            "domain": "cloud.google.com"
          }
        }
      ],
      "groundingSupport": [
        {
          "claimText": "To delete a data store in Vertex AI Agent Builder, you must first purge all data from the data store. ",
          "supportChunkIndices": [
            0
          ]
        }
      ],
      "webSearchQueries": [
        "how to delete a data store in vertex ai agent builder"
      ],
      "searchEntryPoint": {
        "renderedContent": "\u003cstyle\u003e\n.container {\n  align-items: center;\n  border-radius: 8px;\n  display: flex;\n  font-family: Google Sans, Roboto, sans-serif;\n  font-size: 14px;\n  line-height: 20px;\n  padding: 8px 12px;\n}\n.chip {\n  display: inline-block;\n  border: solid 1px;\n  border-radius: 16px;\n  min-width: 14px;\n  padding: 5px 16px;\n  text-align: center;\n  user-select: none;\n  margin: 0 8px;\n  -webkit-tap-highlight-color: transparent;\n}\n.carousel {\n  overflow: auto;\n  scrollbar-width: none;\n  white-space: nowrap;\n  margin-right: -12px;\n}\n.headline {\n  display: flex;\n  margin-right: 4px;\n}\n.gradient-container {\n  position: relative;\n}\n.gradient {\n  position: absolute;\n  transform: translate(3px, -9px);\n  height: 36px;\n  width: 9px;\n}\n@media (prefers-color-scheme: light) {\n  .container {\n    background-color: #fafafa;\n    box-shadow: 0 0 0 1px #0000000f;\n  }\n  .headline-label {\n    color: #1f1f1f;\n  }\n  .chip {\n    background-color: #ffffff;\n    border-color: #d2d2d2;\n    color: #5e5e5e;\n    text-decoration: none;\n  }\n  .chip:hover {\n    background-color: #f2f2f2;\n  }\n  .chip:focus {\n    background-color: #f2f2f2;\n  }\n  .chip:active {\n    background-color: #d8d8d8;\n    border-color: #b6b6b6;\n  }\n  .logo-dark {\n    display: none;\n  }\n  .gradient {\n    background: linear-gradient(90deg, #fafafa 15%, #fafafa00 100%);\n  }\n}\n@media (prefers-color-scheme: dark) {\n  .container {\n    background-color: #1f1f1f;\n    box-shadow: 0 0 0 1px #ffffff26;\n  }\n  .headline-label {\n    color: #fff;\n  }\n  .chip {\n    background-color: #2c2c2c;\n    border-color: #3c4043;\n    color: #fff;\n    text-decoration: none;\n  }\n  .chip:hover {\n    background-color: #353536;\n  }\n  .chip:focus {\n    background-color: #353536;\n  }\n  .chip:active {\n    background-color: #464849;\n    border-color: #53575b;\n  }\n  .logo-light {\n    display: none;\n  }\n  .gradient {\n    background: linear-gradient(90deg, #1f1f1f 15%, #1f1f1f00 100%);\n  }\n}\n\u003c/style\u003e\n\u003cdiv class=\"container\"\u003e\n  \u003cdiv class=\"headline\"\u003e\n    \u003csvg class=\"logo-light\" width=\"18\" height=\"18\" viewBox=\"9 9 35 35\" fill=\"none\" xmlns=\"http://www.w3.org/2000/svg\"\u003e\n      \u003cpath fill-rule=\"evenodd\" clip-rule=\"evenodd\" d=\"M42.8622 27.0064C42.8622 25.7839 42.7525 24.6084 42.5487 23.4799H26.3109V30.1568H35.5897C35.1821 32.3041 33.9596 34.1222 32.1258 35.3448V39.6864H37.7213C40.9814 36.677 42.8622 32.2571 42.8622 27.0064V27.0064Z\" fill=\"#4285F4\"/\u003e\n      \u003cpath fill-rule=\"evenodd\" clip-rule=\"evenodd\" d=\"M26.3109 43.8555C30.9659 43.8555 34.8687 42.3195 37.7213 39.6863L32.1258 35.3447C30.5898 36.3792 28.6306 37.0061 26.3109 37.0061C21.8282 37.0061 18.0195 33.9811 16.6559 29.906H10.9194V34.3573C13.7563 39.9841 19.5712 43.8555 26.3109 43.8555V43.8555Z\" fill=\"#34A853\"/\u003e\n      \u003cpath fill-rule=\"evenodd\" clip-rule=\"evenodd\" d=\"M16.6559 29.8904C16.3111 28.8559 16.1074 27.7588 16.1074 26.6146C16.1074 25.4704 16.3111 24.3733 16.6559 23.3388V18.8875H10.9194C9.74388 21.2072 9.06992 23.8247 9.06992 26.6146C9.06992 29.4045 9.74388 32.022 10.9194 34.3417L15.3864 30.8621L16.6559 29.8904V29.8904Z\" fill=\"#FBBC05\"/\u003e\n      \u003cpath fill-rule=\"evenodd\" clip-rule=\"evenodd\" d=\"M26.3109 16.2386C28.85 16.2386 31.107 17.1164 32.9095 18.8091L37.8466 13.8719C34.853 11.082 30.9659 9.3736 26.3109 9.3736C19.5712 9.3736 13.7563 13.245 10.9194 18.8875L16.6559 23.3388C18.0195 19.2636 21.8282 16.2386 26.3109 16.2386V16.2386Z\" fill=\"#EA4335\"/\u003e\n    \u003c/svg\u003e\n    \u003csvg class=\"logo-dark\" width=\"18\" height=\"18\" viewBox=\"0 0 48 48\" xmlns=\"http://www.w3.org/2000/svg\"\u003e\n      \u003ccircle cx=\"24\" cy=\"23\" fill=\"#FFF\" r=\"22\"/\u003e\n      \u003cpath d=\"M33.76 34.26c2.75-2.56 4.49-6.37 4.49-11.26 0-.89-.08-1.84-.29-3H24.01v5.99h8.03c-.4 2.02-1.5 3.56-3.07 4.56v.75l3.91 2.97h.88z\" fill=\"#4285F4\"/\u003e\n      \u003cpath d=\"M15.58 25.77A8.845 8.845 0 0 0 24 31.86c1.92 0 3.62-.46 4.97-1.31l4.79 3.71C31.14 36.7 27.65 38 24 38c-5.93 0-11.01-3.4-13.45-8.36l.17-1.01 4.06-2.85h.8z\" fill=\"#34A853\"/\u003e\n      \u003cpath d=\"M15.59 20.21a8.864 8.864 0 0 0 0 5.58l-5.03 3.86c-.98-2-1.53-4.25-1.53-6.64 0-2.39.55-4.64 1.53-6.64l1-.22 3.81 2.98.22 1.08z\" fill=\"#FBBC05\"/\u003e\n      \u003cpath d=\"M24 14.14c2.11 0 4.02.75 5.52 1.98l4.36-4.36C31.22 9.43 27.81 8 24 8c-5.93 0-11.01 3.4-13.45 8.36l5.03 3.85A8.86 8.86 0 0 1 24 14.14z\" fill=\"#EA4335\"/\u003e\n    \u003c/svg\u003e\n    \u003cdiv class=\"gradient-container\"\u003e\u003cdiv class=\"gradient\"\u003e\u003c/div\u003e\u003c/div\u003e\n  \u003c/div\u003e\n  \u003cdiv class=\"carousel\"\u003e\n    \u003ca class=\"chip\" href=\"https://www.google.com/search?q=how+to+delete+a+data+store+in+vertex+ai+agent+builder&client=app-vertex-grounding&safesearch=active\"\u003ehow to delete a data store in vertex ai agent builder\u003c/a\u003e\n  \u003c/div\u003e\n\u003c/div\u003e\n"
      }
    }
  }
]
}
,
{
"candidates": [
  {
    "content": {
      "role": "model",
      "parts": [
        {
          "text": "You can purge data from a data store"
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "content": {
      "role": "model",
      "parts": [
        {
          "text": " using the Google Cloud console or the command line. "
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "groundingMetadata": {
      "groundingSupport": [
        {
          "claimText": "You can purge data from a data store using the Google Cloud console or the command line. ",
          "supportChunkIndices": [
            0
          ]
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "content": {
      "role": "model",
      "parts": [
        {
          "text": "Once the data is purged, you can delete the data store. "
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "groundingMetadata": {
      "groundingSupport": [
        {
          "claimText": "Once the data is purged, you can delete the data store. ",
          "supportChunkIndices": [
            0
          ]
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "content": {
      "role": "model",
      "parts": [
        {
          "text": "You cannot delete"
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "content": {
      "role": "model",
      "parts": [
        {
          "text": " a data store that is connected to an app. "
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "groundingMetadata": {
      "groundingSupport": [
        {
          "claimText": "You cannot delete a data store that is connected to an app. ",
          "supportChunkIndices": [
            0
          ]
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "content": {
      "role": "model",
      "parts": [
        {
          "text": "You must first delete the app that the data store is connected to. "
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "groundingMetadata": {
      "groundingSupport": [
        {
          "claimText": "You must first delete the app that the data store is connected to. ",
          "supportChunkIndices": [
            0
          ]
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "content": {
      "role": "model",
      "parts": [
        {
          "text": "You also"
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "content": {
      "role": "model",
      "parts": [
        {
          "text": " cannot delete a data store that is in the process of upgrading or downgrading. "
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "groundingMetadata": {
      "groundingSupport": [
        {
          "claimText": "You also cannot delete a data store that is in the process of upgrading or downgrading. ",
          "supportChunkIndices": [
            0
          ]
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "content": {
      "role": "model",
      "parts": [
        {
          "text": "You must wait for the upgrade or downgrade to complete before deleting the data store."
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "content": {
      "role": "model",
      "parts": [
        {
          "text": " \n"
        }
      ]
    }
  }
]
}
,
{
"candidates": [
  {
    "groundingMetadata": {
      "groundingSupport": [
        {
          "claimText": "You must wait for the upgrade or downgrade to complete before deleting the data store. \n",
          "supportChunkIndices": [
            0
          ]
        }
      ]
    }
  }
]
}
]

지원되는 모델

다음 모델은 그라운딩을 지원합니다.

텍스트 입력만 지원되는 Gemini 1.5 Pro
텍스트 입력만 지원되는 Gemini 1.5 Flash
텍스트 입력만 지원되는 Gemini 1.0 Pro

이러한 Gemini 모델에 대한 자세한 내용은 Gemini 모델 버전 및 수명 주기를 참조하세요.

generateGroundedContent 메서드를 호출할 때는 다음 모델 ID를 사용할 수 있습니다.

모델 ID	자동 업데이트됨
`default`	예
`gemini-1.0-pro`	예
`gemini-1.0-pro-001`	아니요
`gemini-1.0-pro-002`	아니요
`gemini-1.5-flash`	예
`gemini-1.5-flash-001`	아니요
`gemini-1.5-flash-002`	아니요
`gemini-1.5-pro`	예
`gemini-1.5-pro-001`	아니요
`gemini-1.5-pro-002`	아니요

고화질 모델

여행 지원과 같은 범용 사용 사례의 경우 근거 기반 답변 생성 방법은 인라인 텍스트나 엔터프라이즈 데이터와 같이 제공된 컨텍스트를 모델의 학습과 병합하여 우수한 결과를 생성할 수 있습니다. 하지만 금융 서비스, 의료, 보험과 같은 전문적인 업종에서는 생성된 결과를 제공된 컨텍스트에서만 가져와야 하는 경우가 많습니다. 이러한 그라운딩 사용 사례를 지원하기 위해 다음과 같은 고화질 모델을 그라운딩된 답변 생성 방법과 함께 사용할 수 있습니다.

모델 이름	모델 ID	기준	컨텍스트 윈도우	설명
Gemini 1.5 Flash 고음질	`gemini-1.5-flash-002-high-fidelity`	Gemini 1.5 Flash 모델	32,000	텍스트 프롬프트를 입력으로 받아 맥락에 기반한 텍스트 응답을 생성합니다. 정확성, 안정성, 안전에 중점을 둡니다.

다음 단계

다른 RAG API를 통한 그라운딩된 생성 방법으로 비정형 데이터로부터 그라운딩된 답변 생성하는 방법 알아보기