機密データの保護には多くの強力な機能がありますが、機密データの保護でスキャンする情報量によっては、コストが非常に高くなる可能性があります。このトピックでは、コストを抑えながら正確に目的のデータを機密データの保護でスキャンする、いくつかの方法について説明します。
検査
検査費用を抑えるために、次の方法をおすすめします。
サンプリングを使用して、検査するバイト数を制限する
BigQuery テーブルや Cloud Storage バケットをスキャンする場合、機密データの保護ではデータセットの小規模なサブセットをスキャンできます。これにより、データセット全体をスキャンするというコストは発生せず、一方でスキャン結果のサンプリングを行えます。
機密データが含まれるサンプルを見つけたら、そのデータセットに対する 2 回目の包括的なスキャンのスケジュールを設定し、結果のリスト全体を見つけることができます。
詳細については、極秘データ用のストレージとデータベースの検査で検査したコンテンツの量の制限をご覧ください。
変更されたデータのみをスキャンする
前回の検査以降は変更されていないデータのスキャンをしないように機密データの保護に指示できます。期間を設定すると、データが最後に変更された時間に基づいてスキャンするデータを制御できます。
ジョブトリガーを使用している場合、TimespanConfig にフラグ enable_auto_population_of_timespan_config を設定すると、最後にスケジュールされたジョブでスキャンされたコンテンツが自動的にスキップされます。
詳細については、機密データの保護の検査ジョブの作成とスケジュール設定のスキャンを新しいコンテンツのみに制限するをご覧ください。
Cloud Storage 内のファイルのスキャンを、関連するファイルのみに制限する
CloudStorageRegexFileSet メッセージを指定すると、正規表現フィルタを使用して、バケットに含めるか除外するファイルやフォルダを細かく設定できます。
これは、バックアップ、TMP ファイル、静的ウェブ コンテンツなど、機密データが含まれていないことがわかっているファイルのスキャンをスキップする場合に便利です。
Discovery
データ プロファイリングの費用を抑えるために、次の方法をおすすめします。
見積もりを実行する
データ プロファイリングの操作を開始する前に、まず見積もりを実行することを検討してください。見積もりを実行すると、プロファイリングする BigQuery データのサイズとシェイプを把握できます。各見積もりによって、おおよそのテーブル数、データサイズ、プロファイリング コストが確認できます。また、BigQuery データの月ごとの増加予測も示されます。
推定値の実行の詳細については、以下をご覧ください。
スキャン構成にスケジュールを追加する
データ プロファイリングの費用管理に役立てるために、スケジュールの作成でフィルタと条件を設定することを検討してください。次のようなことができます。
- 特定のテーブルをプロファイリングする必要がない場合は、フィルタに一致するテーブルをプロファイリングしないように指定できます。
- 特定のテーブルのみをプロファイリングする場合は、フィルタに一致するテーブルを除き、すべてのテーブルでプロファイリングをオフにできます。
- 特定のテーブルを 1 回だけプロファイリングしてその後は行わない場合、そのテーブルを再プロファイリングしないよう指定できます。
- 古いテーブルをプロファイリングする必要がない場合は、特定の日付よりも後に作成されたテーブルのみをプロファイリングする条件を設定できます。
- 新しいテーブルをプロファイリングする必要がない場合は、特定の経過時間または最小行数に達したときにのみテーブルをプロファイリングする条件を設定できます。
ダッシュボードを使用して費用を表示し、監査ログを照会する
機密データの保護の使用量を調整できるように、課金データを表示するためのダッシュボードを作成します。また、使用パターンを分析できるように、機密データの保護への監査ログのストリーミングも検討します。
課金データを BigQuery にエクスポートして、Looker Studio などのツールで可視化できます。課金ダッシュボードの作成方法のチュートリアルについては、BigQuery と Looker Studio を使用した Google Cloud Billing の可視化をご覧ください。
また、監査ログを BigQuery にストリーミングして、ユーザー別のクエリ費用などの使用パターンに関するログを分析することもできます。
予算アラートの設定
予算アラートを設定して、特定の金額に対して利用額がどの程度になっているかを追跡します。予算を設定しても、API の使用の上限は設定されません。利用額が指定された金額に近づいた場合にのみ通知されます。