Vertex AI RAG Engine で Vertex AI ベクトル検索を使用する
コレクションでコンテンツを整理必要に応じて、コンテンツの保存と分類を行います。

このページでは、Vertex AI RAG Engine を Vertex AI ベクトル検索に接続する方法について説明します。

このノートブック「Vertex AI RAG Engine と Vertex AI ベクトル検索」を使用して、手順に沿って操作することもできます。

Vertex AI RAG Engine は、Spanner を搭載した組み込みベクトルデータベースを使用して、テキストドキュメントのベクトル表現の保存と管理を行う優れたツールです。ベクトルデータベースを使用すると、指定されたクエリに対するドキュメントの意味的類似性に基づいて、関連するドキュメントを効率的に検索できます。Vertex AI ベクトル検索を追加のベクトルデータベースとして Vertex AI RAG Engine と統合することで、ベクトル検索の機能を使用して低レイテンシで大量のデータを処理し、RAG アプリケーションのパフォーマンスとスケーラビリティを向上させることができます。

Vertex AI ベクトル検索の設定

Vertex AI ベクトル検索は、Google Research が開発したベクトル検索技術をベースにしています。ベクトル検索では、Google 検索、YouTube、Google Play などの Google プロダクトの基盤と同じインフラストラクチャを利用できます。

Vertex AI RAG Engine と統合するには、空のベクトル検索インデックスが必要です。

Vertex AI SDK を設定する

Vertex AI SDK を設定するには、設定をご覧ください。

ベクトル検索インデックスを作成する

RAG コーパスと互換性のあるベクトル検索インデックスを作成するには、インデックスが次の条件を満たしている必要があります。

IndexUpdateMethod は STREAM_UPDATE にする必要があります。ストリームインデックスを作成するをご覧ください。
距離の測定タイプは、次のいずれかに明示的に設定する必要があります。
- DOT_PRODUCT_DISTANCE
- COSINE_DISTANCE
ベクトルのディメンションは、RAG コーパスで使用するエンベディングモデルと一致している必要があります。その他のパラメータは、選択内容に基づいてチューニングできます。選択内容によって、追加のパラメータをチューニングできるかどうかが決まります。

Vertex AI SDK for Python

Vertex AI SDK for Python のインストールまたは更新の方法については、Vertex AI SDK for Python をインストールするをご覧ください。詳細については、Vertex AI SDK for Python API のリファレンスドキュメントをご覧ください。

def vector_search_create_streaming_index(
    project: str, location: str, display_name: str, gcs_uri: Optional[str] = None
) -> aiplatform.MatchingEngineIndex:
    """Create a vector search index.

    Args:
        project (str): Required. Project ID
        location (str): Required. The region name
        display_name (str): Required. The index display name
        gcs_uri (str): Optional. The Google Cloud Storage uri for index content

    Returns:
        The created MatchingEngineIndex.
    """
    # Initialize the Vertex AI client
    aiplatform.init(project=project, location=location)

    # Create Index
    index = aiplatform.MatchingEngineIndex.create_tree_ah_index(
        display_name=display_name,
        contents_delta_uri=gcs_uri,
        description="Matching Engine Index",
        dimensions=100,
        approximate_neighbors_count=150,
        leaf_node_embedding_count=500,
        leaf_nodes_to_search_percent=7,
        index_update_method="STREAM_UPDATE",  # Options: STREAM_UPDATE, BATCH_UPDATE
        distance_measure_type=aiplatform.matching_engine.matching_engine_index_config.DistanceMeasureType.DOT_PRODUCT_DISTANCE,
    )

    return index

ベクトル検索インデックスエンドポイントを作成する

パブリックエンドポイントは Vertex AI RAG Engine でサポートされています。

Vertex AI SDK for Python

def vector_search_create_index_endpoint(
    project: str, location: str, display_name: str
) -> None:
    """Create a vector search index endpoint.

    Args:
        project (str): Required. Project ID
        location (str): Required. The region name
        display_name (str): Required. The index endpoint display name
    """
    # Initialize the Vertex AI client
    aiplatform.init(project=project, location=location)

    # Create Index Endpoint
    index_endpoint = aiplatform.MatchingEngineIndexEndpoint.create(
        display_name=display_name,
        public_endpoint_enabled=True,
        description="Matching Engine Index Endpoint",
    )

    print(index_endpoint.name)

インデックスをインデックスエンドポイントにデプロイする

最近傍検索を行う前に、インデックスをインデックスエンドポイントにデプロイする必要があります。

Vertex AI SDK for Python

def vector_search_deploy_index(
    project: str,
    location: str,
    index_name: str,
    index_endpoint_name: str,
    deployed_index_id: str,
) -> None:
    """Deploy a vector search index to a vector search index endpoint.

    Args:
        project (str): Required. Project ID
        location (str): Required. The region name
        index_name (str): Required. The index to update. A fully-qualified index
          resource name or a index ID.  Example:
          "projects/123/locations/us-central1/indexes/my_index_id" or
          "my_index_id".
        index_endpoint_name (str): Required. Index endpoint to deploy the index
          to.
        deployed_index_id (str): Required. The user specified ID of the
          DeployedIndex.
    """
    # Initialize the Vertex AI client
    aiplatform.init(project=project, location=location)

    # Create the index instance from an existing index
    index = aiplatform.MatchingEngineIndex(index_name=index_name)

    # Create the index endpoint instance from an existing endpoint.
    index_endpoint = aiplatform.MatchingEngineIndexEndpoint(
        index_endpoint_name=index_endpoint_name
    )

    # Deploy Index to Endpoint
    index_endpoint = index_endpoint.deploy_index(
        index=index, deployed_index_id=deployed_index_id
    )

    print(index_endpoint.deployed_indexes)

インデックスをインデックスエンドポイントに初めてデプロイする場合は、バックエンドを自動的にビルドして起動するまでに 30 分ほどかかります。その後、インデックスを保存できます。最初のデプロイ後、インデックスは数秒で準備が整います。インデックスのデプロイステータスを確認するには、ベクトル検索コンソールを開き、[インデックスエンドポイント] タブを選択して、インデックスエンドポイントを選択します。

インデックスとインデックスエンドポイントのリソース名を特定します。形式は次のとおりです。

projects/${PROJECT_ID}/locations/${LOCATION_ID}/indexes/${INDEX_ID}
projects/${PROJECT_ID}/locations/${LOCATION_ID}/indexEndpoints/${INDEX_ENDPOINT_ID}