Model Armor は、Service Extensions を介して Google Kubernetes Engine（GKE）と統合できます。Service Extensions を使用すると、ネットワーク トラフィック処理パスにカスタム ロジックを追加できます。トラフィック拡張機能は、トラフィックを処理するために外部サービスを統合できる特定のタイプのサービス拡張機能です。これらの拡張機能は、ロードバランサなどのさまざまな Google Cloud サービスに接続できます。GKE 推論ゲートウェイなどのアプリケーション ロードバランサでサービス拡張機能を構成して、GKE クラスタとの間のトラフィックをスクリーニングできます。これにより、AI モデルとのすべてのやり取りが Model Armor で保護されます。詳細については、Model Armor サービスを呼び出すようにトラフィック拡張機能を構成するをご覧ください。
仕組み
- GKE クラスタでホストされている LLM にトラフィックをルーティングするロードバランサでサービス拡張機能を構成します。この構成では、Model Armor を使用してプロンプトとレスポンスをスクリーニングすることを指定します。
- プロンプトとレスポンスがロードバランサに到達すると、サービス拡張機能が Model Armor サービスを呼び出します。
- Model Armor は、プロンプトとレスポンスにセキュリティ ポリシーを適用し、悪意のあるコンテンツや有害なコンテンツを特定してブロックします。
- Model Armor チェックに合格したプロンプトとレスポンスのみが、GKE クラスタに渡されるか、ユーザーに返されます。