Vertex AI RAG Engine で選択できるベクトル データベース

このページでは、Vertex AI RAG Engine でサポートされているベクトル データベースの選択について説明します。また、ベクトル データベース（ベクトルストア）を RAG コーパスに接続する方法についても説明します。

LLM の一般的な問題は、プライベート ナレッジ（組織のデータ）を理解していないことです。Vertex AI RAG Engine を使用すると、追加の非公開情報で LLM のコンテキストを拡充できます。これは、モデルがハルシネーションを低減し、質問に正確に答えることができるためです。

ベクトル データベースは、RAG アプリケーションの検索を可能にするうえで重要な役割を果たします。ベクトル データベースは、ベクトル エンベディングを保存してクエリする専用の方法を提供します。ベクトル エンベディングは、語義上の意味と関係をキャプチャするテキストなどのデータの数学的表現です。ベクトル エンベディングにより、RAG システムは、複雑なクエリや微妙なニュアンスのクエリを処理する場合でも、広大なナレッジベース内で最も関連性の高い情報を迅速かつ正確に見つけることができます。ベクトル データベースをエンベディング モデルと組み合わせると、LLM の制限を克服し、より正確で関連性の高い包括的な回答を提供できます。

サポートされているベクトル データベース

RAG コーパスを作成するときに、Vertex AI RAG Engine はベクトル データベースのデフォルトの選択肢として RagManagedDb を提供します。追加のプロビジョニングや管理は必要ありません。Vertex AI RAG Engine がベクトル データベースを自動的に作成して管理するには、RAG コーパスを作成するをご覧ください。

Vertex AI RAG Engine では、デフォルトの RagManagedDb に加えて、RAG コーパス内で使用するためにベクトル データベースをプロビジョニングして利用できます。この場合、ベクトル データベースのライフサイクルとスケーラビリティはユーザーが責任を負います。

ベクトル データベース オプションを比較する

次の表に、Vertex AI RAG Engine でサポートされているベクトル データベースの選択肢を示します。また、RAG コーパス内でベクトル データベースを使用する方法を説明するページへのリンクも示します。

ニーズに合ったベクトル データベースを特定するには、次の表を使用してベクトル データベース オプションを比較します。

ベクトル データベース 説明 利点 欠点 Vertex AI RAG Engine でサポートされている距離指標 検索のタイプ Vertex AI RAG Engine でのリリース ステージ 本番環境に対応 最適な用途
RagManagedDb (default) RagManagedDb は、整合性と高可用性を提供する、リージョン単位で分散されたスケーラブル データベース サービスです。

RagManagedDb はベクトル検索に使用できます。
  • 設定の必要はありません。クイックスタートと小規模なユースケースに最適です。
  • 整合性と高可用性。
  • 低レイテンシ。
  • トランザクション ワークロードに最適です。
  • 容量は意図的に制限されています。
  • 大規模なユースケースには推奨されません。
 cosine KNN プレビュー
  • 迅速な概念実証
  • chatbot
  • RAG アプリ
ベクトル検索 ベクトル検索は、Vertex AI 内のベクトル データベース サービスです。

ベクトル検索は ML タスク用に最適化されており、他の Google Cloud サービスと統合されています。
  • ベクトル検索は、Vertex AI や他の Google Cloud サービスと統合されています。
  • スケーラビリティと信頼性は Google Cloud インフラストラクチャによってサポートされます。
  • 従量課金制の料金が適用されます。
  • 結果整合性。つまり、更新はすぐに反映されません。
  • 進化した機能を持つ新しいサービス。
  • Google Cloudによるベンダー ロックイン。
  • ユースケースによっては費用が高くなる可能性があります。
 cosine

dot-product		 ANN GA
  • 大量のドキュメント
  • エンタープライズ規模の RAG
  • ベクトル データベース インフラストラクチャの管理
  • Google Cloud の既存のお客様、または複数の Google Cloud サービスの使用を検討している方
Vertex AI Feature Store

Vertex AI Feature Store は、ML 機能を整理、保存、提供するためのマネージド サービスです。

Vertex AI Feature Store は ML タスク用に最適化されており、他の Google Cloud サービスと統合されています。
  • Vertex AI Feature Store は、Vertex AI やその他の Google Cloud サービスと統合されています。
  • スケーラビリティと信頼性は Google Cloud インフラストラクチャによってサポートされます。
  • 既存の BigQuery インフラストラクチャを、費用対効果の高いスケーラブルなソリューションを提供する Vertex AI Feature Store として活用します。
  • 変更がオンライン ストアに反映されるのは、手動による同期が実行された後です。
  • Google Cloudによるベンダー ロックイン。
 cosine

dot-product

L2 squared		 ANN プレビュー
  • 大量のドキュメント
  • エンタープライズ規模の RAG
  • ベクトル データベース インフラストラクチャの管理
  • Google Cloud の既存のお客様、または複数の Google Cloud サービスの使用を検討しているお客様
Weaviate Weaviate は、柔軟性とモジュール性に重点を置いたオープンソースのベクトル データベースです。

Weaviate はさまざまなデータ型をサポートし、組み込みのグラフ機能を提供します。
  • Weaviate はオープンソースの活発なコミュニティを備えています。
  • 柔軟でカスタマイズ性に優れています。
  • テキストや画像など、さまざまなモダリティに対応した多様なデータ型とモジュールをサポートしています。
  • Google Cloud、AWS、Azure などのクラウド プロバイダから選択できます。
  • 結果整合性。つまり、更新はすぐに反映されません。
  • 設定と管理が複雑になる場合があります。
  • パフォーマンスは構成によって異なる場合があります。
 cosine

dot-product

L2 squared

hamming

manhattan		 ANN + ハイブリッド検索のサポート プレビュー
  • 大量のドキュメント
  • エンタープライズ規模の RAG
  • ベクトル データベース インフラストラクチャの管理
  • Weaviate の既存のお客様
Pinecone Pinecone は、高パフォーマンスの類似検索用に設計された、フルマネージドのクラウドネイティブ ベクトル データベースです。
  • 今すぐ開始できる。
  • 優れたスケーラビリティとパフォーマンス。
  • フィルタリングやメタデータ検索などの高度な機能を備えたベクトル検索に重点を置きます。
  • Google Cloud、AWS、Azure などのクラウド プロバイダから選択できます。
  • 結果整合性。つまり、更新はすぐに反映されません。
  • 他の選択肢より高額になる可能性があります。
  • 割り当てと上限によってスケールとパフォーマンスが制限されます。
  • 基盤となるインフラストラクチャの制御は限定的です。
 cosine

euclidean

dot-product		 ANN GA
  • 大量のドキュメント
  • エンタープライズ規模の RAG
  • ベクトル データベース インフラストラクチャの管理
  • Pinecone の既存のお客様

次のステップ