AlloyDB for PostgreSQL で ScaNN インデックスのチューニングに関するベスト プラクティス

このページでは、AlloyDB for PostgreSQL で再現率と秒間クエリ数（QPS）のバランスを最適化できるように、インデックス パラメータをチューニングする方法に関する推奨事項について説明します。ScaNN インデックスに推奨されるパラメータは、2 レベルのツリー インデックスと 3 レベルのツリー インデックスのどちらを構築するかによって異なります。

ScaNN インデックスの作成

詳細については、ScaNN インデックス リファレンスをご覧ください。

2 レベル ツリー インデックス

推奨事項を適用して、データセットに最適な num_leaves と num_leaves_to_search の値を見つけるには、次の推奨手順に沿って操作します。

  1. 次のケースに最適化された ScaNN インデックスを作成するには、num_leaves パラメータを次の値に設定します。ここで、「rows」はインデックス付きテーブルの行数です。
    • インデックスのビルド時間と品質のバランスを取るには、num_leaves を sqrt(rows) に設定します。
    • 品質を重視するには、num_leaves を rows/100 に設定します。
  2. 目標とする再現率の範囲（95% など）に達するまで、テストクエリを実行し、scann.num_of_leaves_to_search の値を増やします。クエリの分析の詳細については、クエリを分析するをご覧ください。
  3. scann.num_leaves_to_search と num_leaves の比率は、以降のステップで使用するのでメモしておきます。この比率は、目標の再現率を達成するために役立つデータセットの近似値を提供します。

    高次元ベクトル（500 次元以上）を扱っていて、再現率を改善したい場合は、scann.pre_reordering_num_neighbors の値をチューニングしてみてください。デフォルト値は 500 * K に設定されています。ここで、K はクエリで設定した上限です。
  4. クエリによって目標の再現率が達成された後、QPS が低すぎる場合は、次の操作を行います。
    1. インデックスを再作成し、次のガイダンスに従って num_leaves と scann.num_leaves_to_search の値を増やします。
      • num_leaves を、行数の平方根に対するより大きな係数に設定します。たとえば、インデックスの num_leaves が行数の平方根に設定されている場合は、平方根の 2 倍に設定してみてください。値がすでに 2 倍になっている場合は、平方根の 3 倍に設定してみてください。
      • 必要に応じて scann.num_leaves_to_search を増やし、ステップ 3 でメモした num_leaves との比率を維持します。
      • num_leaves は、行数を 100 で除した値以下の値に設定します。
    2. テストクエリをもう一度実行します。テストクエリを実行しながら、scann.num_leaves_to_search を減らしてみて、高い再現率を維持しつつ QPS を高める値を見つけます。インデックスを再ビルドせずに、scann.num_leaves_to_search の値を変更してみてください。
  5. QPS と再現率の範囲の両方が許容値に達するまで、手順 4 を繰り返します。

3 レベル ツリー インデックス

2 レベルツリーの ScaNN インデックスに関する推奨事項に加えて、次のガイダンスを使用してください。

推奨事項を適用して、num_leaves インデックス パラメータと max_num_levels インデックス パラメータの最適な値を見つける手順は、次のとおりです。

  1. パフォーマンス目標に基づき、次の num_leaves と max_num_levels を組み合わせて ScaNN インデックスを作成します。

    • インデックスのビルド時間と品質のバランスを取る: max_num_levels を 2 に、num_leaves を power(rows, ⅔) に設定します。
    • 品質重視で最適化: max_num_levels を 2 に、num_leaves を rows/100 に設定します。

  2. テストクエリを実行します。クエリの分析の詳細については、クエリを分析するをご覧ください。

  3. scann.num_leaves_to_search と num_leaves の比率は、以降のステップで使用するのでメモしておきます。この比率は、目標の再現率の達成に役立つデータセットの近似値を提供します。

高次元ベクトル（500 次元以上）を扱っていて、再現率を改善したい場合は、scann.pre_reordering_num_neighbors の値をチューニングしてみてください。デフォルト値は 500 * K に設定されています。ここで、K はクエリで設定した上限です。

  1. クエリによって目標の再現率が達成された後、QPS が低すぎる場合は、次の操作を行います。

    • インデックスを再作成し、次のガイダンスに従って num_leaves と scann.num_leaves_to_search の値を増やします。
    • num_leaves を、power(rows, ⅔) に対するより大きな係数に設定します。たとえば、インデックスの num_leaves が power(rows, ⅔) に設定されている場合は、power(rows, ⅔) の 2 倍に設定してみてください。値がすでに 2 倍になっている場合は、power(rows, ⅔) の 3 倍に設定してみてください。
    • 必要に応じて scann.num_leaves_to_search を増やし、ステップ 3 でメモした num_leaves との比率を維持します。
    • num_leaves は rows/100 以下の値に設定してください。
    • テストクエリをもう一度実行します。テストクエリを実行しながら、scann.num_leaves_to_search を減らしてみて、高い再現率を維持しつつ QPS を高める値を見つけます。インデックスを再ビルドせずに、scann.num_leaves_to_search の値を変更してみてください。

  2. QPS と再現率の範囲の両方が許容値に達するまで、手順 4 を繰り返します。

インデックスのメンテナンス

テーブルの更新や挿入が頻繁に発生する場合は、再現率と精度を高めるために、既存の ScaNN インデックスを定期的に再作成することをおすすめします。インデックス指標をモニタリングすることで、インデックス作成以降のベクトル分布やベクトル変異の変化を確認し、必要に応じてインデックスを再作成できます。指標の詳細については、ベクトル インデックスの指標を表示するをご覧ください。

次のステップ