Storage Insights データセットを使用する

このページでは、Storage Insights のデータセットとデータセット構成を作成して管理する方法について説明します。Storage Insights データセットの詳細を確認する。

始める前に

データセットとデータセット構成の作成と管理を開始する前に、次のサブセクションの手順に沿って操作してください。

必要なロールを取得する

データセットの作成と管理に必要な権限を取得するには、ソース プロジェクトに対する次の IAM ロールの付与を管理者に依頼してください。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

これらの事前定義ロールには、データセットの作成と管理に必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

データセットを作成して管理するには、次の権限が必要です。

  • データセット構成を作成します。 storageinsights.datasetConfigs.create
  • データセットの構成を表示する:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
  • データセットの構成を管理する:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
  • BigQuery データセットへのリンク: storageinsights.datasetConfigs.linkDataset
  • BigQuery データセットへのリンクを解除します。 storageinsights.datasetConfigs.unlinkDataset
  • BigQuery のリンクされたデータセットに対してクエリを実行する: bigquery.jobs.create or bigquery.jobs.*

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

Storage Insights API を有効にする

コンソール

storageinsights.googleapis.com API を有効にする

コマンドライン

現在のプロジェクトで Storage Insights API を有効にするには、次のコマンドを実行します。

gcloud services enable storageinsights.googleapis.com

Google Cloud プロジェクトのサービスを有効にする方法について詳しくは、サービスの有効化と無効化をご覧ください。

Storage Intelligence の構成

データセットで分析するプロジェクト、フォルダ、または組織で、Storage Intelligence が構成されていることを確認します。

データセット構成を作成する

データセット構成を作成してデータセットを生成する手順は次のとおりです。データセット構成の作成時に指定できるフィールドの詳細については、データセット構成プロパティをご覧ください。

コンソール

  1. Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。

    Storage Insights に移動

  2. [データセットを構成] をクリックします。

  3. [データセットに名前を付ける] セクションに、データセットの名前を入力します。必要に応じて、データセットの説明を入力します。

  4. [データセットのスコープを定義する] セクションで、次の操作を行います。

    • 次のオプションのいずれかを選択します。

      • 現在の組織内のすべてのプロジェクトのストレージ メタデータを取得するには、[組織を含める] を選択します。

      • 選択したフォルダ内のすべてのプロジェクトのストレージ メタデータを取得するには、[フォルダを含める（サブ組織/部門）] を選択します。フォルダ ID を取得する方法については、フォルダとプロジェクトを表示または一覧表示するをご覧ください。フォルダを追加する手順は次のとおりです。

        1. [フォルダ 1] フィールドにフォルダ ID を入力します。
        2. 必要に応じて、複数のフォルダ ID を追加するには、[+ 別のフォルダを追加] をクリックします。

      • 選択したプロジェクトのストレージ メタデータを取得するには、[プロジェクト番号を指定してプロジェクトを含める] を選択します。プロジェクト番号を確認する方法については、プロジェクト名、番号、ID を確認するをご覧ください。プロジェクトを追加する手順は次のとおりです。

        1. [Project 1] フィールドにプロジェクト番号を入力します。
        2. 必要に応じて、複数のプロジェクト番号を追加するには、[+ 別のプロジェクトを追加] をクリックします。

      • プロジェクトまたはフォルダを一括で追加するには、[CSV ファイルを使用してプロジェクト /フォルダのリストをアップロードする] を選択します。CSV ファイルには、データセットに含めるプロジェクト番号またはフォルダ ID を含める必要があります。

    • 選択したリソースに今後作成されるバケットを自動的に含めるかどうかを指定します。

    • 必要に応じて、リージョンとバケットの接頭辞に基づいてバケットにフィルタを指定するには、[フィルタ（省略可）] セクションを開きます。フィルタはバケットに付加的に適用されます。

      特定のリージョンのバケットを追加または除外できます。たとえば、me-central1 リージョンと me-central2 リージョンにあるバケットを除外できます。接頭辞でバケットを追加または除外することもできます。たとえば、my-bucket で始まるバケットを除外する場合は、my-bucket* 接頭辞を入力します。

  5. [続行] をクリックします。

  6. [保持期間を選択] セクションで、データセット内のデータの保持期間を選択します。

  7. [構成したデータセットを保存するロケーションの選択] セクションで、データセットとデータセット構成を保存するロケーションを選択します。

  8. [サービス アカウントのタイプを選択] セクションで、データセットのサービス エージェントのタイプを選択します。このサービス エージェントは、データセットの構成を作成するときに自動的に作成されます。次のいずれかのサービス エージェントを選択できます。

    • 構成スコープのサービス アカウント: このサービス エージェントは、特定のデータセット構成によって生成されたデータセットにのみアクセスして書き込むことができます。
    • プロジェクト スコープのサービス アカウント: このサービス エージェントは、プロジェクト内のすべてのデータセット構成から生成されたデータセットにアクセスして書き込むことができます。

    サービス エージェントの作成時に、サービス エージェントに必要な権限を付与する必要があります。これらのサービス エージェントの詳細については、データセット構成プロパティをご覧ください。

  9. [構成] をクリックします。データセットを構成した後、リンクされたデータセットで最初のデータ読み込みを表示するまでに最大 48 時間かかることがあります。

コマンドライン

  1. データセット構成を作成するには、必要なフラグを指定して gcloud storage insights dataset-configs create コマンドを実行します。

    gcloud storage insights dataset-configs create DATASET_CONFG_ID \
  --source-projects=SOURCE_PROJECT_NUMBERS \
  --location=LOCATION \
  --retention-period-days=RETENTION_PERIOD_DAYS \
  --organization=ORGANIZATION_ID

    次のように置き換えます。

    • DATASET_CONFIG_ID は、データセット構成に付ける名前に置き換えます。名前はデータセット構成の識別子として使用され、変更可能です。名前には、英数字とアンダースコアを使用して最大 128 文字まで使用できます。

    • SOURCE_PROJECT_NUMBERS は、データセットに含めるプロジェクトの番号に置き換えます。例: 464036093014。1 つまたは複数のプロジェクトを指定できます。プロジェクト番号を確認する方法については、プロジェクト名、番号、ID を確認するをご覧ください。

      --source-projects フラグの代わりに、--source-projects-file=FILE_PATH フラグを使用することもできます。このフラグを使用すると、プロジェクト番号を含むファイルをアップロードして、複数のプロジェクト番号を一度に指定できます。ファイルは CSV 形式で、Cloud Storage にアップロードする必要があります。

    • LOCATION は、データセット構成とデータセットが保存されるロケーションに置き換えます。

    • データセット内のデータの保持期間を含む RETENTION_PERIOD_DAYS。

    • ORGANIZATION_ID は、ソース プロジェクトが属する組織のリソース ID に置き換えます。指定されたロケーション外のソース プロジェクトは、データセット構成から除外されます。組織 ID を確認する方法については、組織リソース ID の取得をご覧ください。

    必要に応じて、追加のフラグを使用してデータセットを細かく構成できます。

    • --include-buckets=BUCKET_NAMES_OR_REGEX を使用して、名前または正規表現で特定のバケットを追加します。このフラグを使用する場合、--exclude-buckets は使用できません。

    • --exclude-buckets=BUCKET_NAMES_OR_REGEX を使用して、名前または正規表現で特定のバケットを除外します。このフラグを使用する場合、--include-buckets は使用できません。

    • --project=DESTINATION_PROJECT_ID を使用して、データセット構成と生成されたデータセットの保存に使用するプロジェクトを指定します。このフラグを使用しない場合、宛先プロジェクトはアクティブなプロジェクトになります。プロジェクト ID の詳細については、プロジェクトの作成と管理をご覧ください。

    • --auto-add-new-buckets を使用すると、今後ソース プロジェクトに追加されるバケットが自動的に含まれます。

    • --skip-verification を使用して、検証プロセスからチェックとエラーをスキップします。これには、必要な IAM 権限のチェックが含まれます。使用されている場合、一部またはすべてのバケットがデータセットから除外される可能性があります。

    • --identity=IDENTITY_TYPE を使用して、データセット構成とともに作成されるサービス エージェントのタイプを指定します。値は IDENTITY_TYPE_PER_CONFIG または IDENTITY_TYPE_PER_PROJECT です。指定しない場合、デフォルトは IDENTITY_TYPE_PER_CONFIG になります。

    • --description=DESCRIPTION を使用して、データセット構成の説明を記述します。

REST API

JSON API

  1. gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセス トークンを生成できます。

  2. 次の情報が含まれる JSON ファイルを作成します。

    {
  "organizationNumber": "ORGANIZATION_ID",
  "sourceProjects": {
    "project_numbers": ["PROJECT_NUMBERS", ...]
  },
  "retentionPeriodDays": "RETENTION_PERIOD_DAYS",
  "identity": {
    "type": "IDENTITY_TYPE"
  }
}

    次のように置き換えます。

    • ORGANIZATION_ID: 送信元プロジェクトが属する 組織のリソース ID。組織 ID を確認する方法については、組織リソース ID の取得をご覧ください。

    • PROJECT_NUMBERS は、データセットに含めるプロジェクトの番号に置き換えます。1 つまたは複数のプロジェクトを指定できます。プロジェクトは文字列のリストとして指定する必要があります。

      または、メタデータを更新するバケットとオブジェクトを含む組織または 1 つ以上のフォルダを追加することもできます。フォルダまたは組織を含めるには、それぞれ sourceFolders フィールドまたは organizationScope フィールドを使用します。詳細については、DatasetConfig リファレンスをご覧ください。

    • RETENTION_PERIOD_DAYS は、データセット スナップショットでキャプチャするデータの日数に置き換えます。例: 90

    • IDENTITY_TYPE: データセット構成とともに作成されるサービス アカウントのタイプ。値は IDENTITY_TYPE_PER_CONFIG か IDENTITY_TYPE_PER_PROJECT です。

  3. データセット構成を作成するには、cURL を使用して、Create DatasetConfig リクエストで JSON API を呼び出します。

    curl -X POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs?datasetConfigId=DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    次のように置き換えます。

    • JSON_FILE_NAME は、前の手順で作成した JSON ファイルのパスに置き換えます。または、リクエストの本文で DatasetConfig のインスタンスを渡すこともできます。

    • PROJECT_ID は、データセット構成とデータセットが属するプロジェクトの ID に置き換えます。

    • LOCATION は、データセットとデータセット構成が存在するロケーションに置き換えます。例: us-central1

    • DATASET_CONFIG_ID は、データセット構成に付ける名前に置き換えます。名前はデータセット構成の ID として使用され、不変ではありません。名前は、英字、数字、アンダースコアを使用して最大 128 文字まで指定できます。名前の先頭は文字にする必要があります。

    • ACCESS_TOKEN は、Google Cloud CLI のインストールと初期化時に生成したアクセス トークンに置き換えます。

error_attributes_view に記録されたスナップショット処理エラーのトラブルシューティングについては、Storage Insights データセット エラーをご覧ください。

サービス エージェントに必要な権限を付与する

Google Cloud は、データセット構成を作成するときに、ユーザーに代わって構成スコープまたはプロジェクト スコープのサービス エージェントを作成します。サービス エージェントは命名形式 service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com に従い、[Google 提供のロール付与を含める] チェックボックスが選択されているときに、 Google Cloud コンソールの [IAM] ページに表示されます。JSON API を使用して DatasetConfig リソースを表示することで、サービス エージェントの名前を確認することもできます。

Storage Insights でデータセットを生成して書き込むようにするには、ソース プロジェクトを含む組織に対する Storage Insights コレクタ サービスロール（roles/storage.insightsCollectorService）をサービス エージェントに付与するよう管理者に依頼してください。このロールは、データが必要なデータセット構成ごとに作成される構成スコープのサービス エージェントすべてに付与する必要があります。プロジェクト スコープのサービス エージェントを使用している場合、このロールはサービス エージェントに 1 回だけ付与する必要があります。これにより、プロジェクト内のすべてのデータセット構成のデータセットを読み取り、書き込むことができます。

プロジェクトにロールを付与する手順については、アクセスを管理するをご覧ください。

データセットを BigQuery にリンクするには、次の操作を行います。

  1. Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。

    Storage Insights に移動

  2. リンクするデータセットを生成したデータセット構成の名前をクリックします。

  3. [BigQuery のリンクされたデータセット] セクションで、[データセットをリンク] をクリックしてデータセットをリンクします。

  1. データセットを BigQuery にリンクするには、gcloud storage insights dataset-configs create-link コマンドを実行します。

    gcloud storage insights dataset-configs create-link DATASET_CONFIG_ID --location=LOCATION

    次のように置き換えます。

    • DATASET_CONFIG_ID は、リンクするデータセットを生成したデータセット構成の名前に置き換えます。

    • LOCATION: データセットのロケーション例: us-central1

    DATASET_CONFIG_NAME と LOCATION を指定する代わりに、データセット構成の完全なパスを指定できます。次に例を示します。

    gcloud storage insights dataset-configs create-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID_

    次のように置き換えます。

    • DESTINATION_PROJECT_ID は、データセット構成を含むプロジェクトの ID に置き換えます。プロジェクト ID の詳細については、プロジェクトの作成と管理をご覧ください。

    • DATASET_CONFIG_ID は、リンクするデータセットを生成したデータセット構成の名前に置き換えます。

    • LOCATION: データセットとデータセット構成のロケーション例: us-central1

  1. gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセス トークンを生成できます。

  2. 次の情報が含まれる JSON ファイルを作成します。

    {
  "name": "DATASET_NAME"
}

    次のように置き換えます。

    • DATASET_NAME は、リンクするデータセットの名前に置き換えます。例: my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2

  3. cURL を使用して、linkDataset DatasetConfig リクエストで JSON API を呼び出します。

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:linkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    次のように置き換えます。

    • JSON_FILE_NAME は、前の手順で作成した JSON ファイルのパスに置き換えます。

    • PROJECT_ID は、データセット構成が属するプロジェクトの ID に置き換えます。

    • LOCATION は、データセットとデータセット構成が存在するロケーションに置き換えます。例: us-central1

    • DATASET_CONFIG_ID は、リンクするデータセットを生成したデータセット構成の名前に置き換えます。

    • ACCESS_TOKEN は、Google Cloud CLI のインストールと初期化時に生成したアクセス トークンに置き換えます。

リンクされたデータセットを表示してクエリする

リンクされたデータセットを表示してクエリを実行する手順は次のとおりです。

  1. Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。

    Storage Insights に移動

    プロジェクトで作成されたデータセット構成のリストが表示されます。

  2. 表示するデータセット構成の BigQuery リンクされたデータセットをクリックします。

    BigQuery のリンクされたデータセットが Google Cloud コンソールに表示されます。メタデータのデータセット スキーマについては、メタデータのデータセット スキーマをご覧ください。

  3. 他の BigQuery テーブルに対してクエリを実行するのと同じ方法で、リンクされたデータセット内のテーブルとビューに対してクエリを実行できます。

データセットの構成が BigQuery データセットに公開されないようにするには、データセットのリンクを解除します。データセットのリンクを解除するには、次の操作を行います。

  1. Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。

    Storage Insights に移動

  2. リンクを解除するデータセットを生成したデータセット構成の名前をクリックします。

  3. [BigQuery のリンクされたデータセット] セクションで、[データセットのリンクを解除] をクリックして、データセットのリンクを解除します。

  1. データセットのリンクを解除するには、gcloud storage insights dataset-configs delete-link コマンドを実行します。

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    次のように置き換えます。

    • DATASET_CONFIG_ID は、リンクを解除するデータセットを生成したデータセット構成の名前に置き換えます。

    • LOCATION: データセットとデータセット構成のロケーション例: us-central1

    DATASET_CONFIG_NAME と LOCATION を指定する代わりに、データセット構成の完全なパスを指定できます。次に例を示します。

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    次のように置き換えます。

    • DESTINATION_PROJECT_ID は、データセット構成を含むプロジェクトの ID に置き換えます。プロジェクト ID の詳細については、プロジェクトの作成と管理をご覧ください。

    • DATASET_CONFIG_ID は、リンクを解除するデータセットを生成したデータセット構成の名前に置き換えます。

    • LOCATION: データセットとデータセット構成のロケーション。例: us-central1

  1. gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセス トークンを生成できます。

  2. 次の情報が含まれる JSON ファイルを作成します。

    {
  "name": "DATASET_NAME"
}

    次のように置き換えます。

    • DATASET_NAME は、リンクを解除するデータセットの名前に置き換えます。例: my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2

  3. cURL を使用して、unlinkDataset DatasetConfig リクエストで JSON API を呼び出します。

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    次のように置き換えます。

    • JSON_FILE_NAME は、前の手順で作成した JSON ファイルのパスに置き換えます。

    • PROJECT_ID は、データセット構成が属するプロジェクトの ID に置き換えます。

    • LOCATION: データセットとデータセット構成のロケーション。例: us-central1

    • DATASET_CONFIG_ID: リンクを解除するデータセットを生成したデータセット構成の名前。

    • ACCESS_TOKEN は、Google Cloud CLI のインストールと初期化時に生成したアクセス トークンに置き換えます。

データセット構成を表示する

データセット構成を表示するには、次の操作を行います。

コンソール

  1. Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。

    Storage Insights に移動

  2. 表示するデータセット構成の名前をクリックします。

    データセット構成の詳細が表示されます。

コマンドライン

  1. データセット構成を説明するには、gcloud storage insights dataset-configs describe コマンドを実行します。

    gcloud storage insights dataset-configs describe DATASET_CONFG_ID \
  --location=LOCATION

    次のように置き換えます。

    • DATASET_CONFIG_ID は、データセット構成の名前に置き換えます。

    • LOCATION: データセットとデータセット構成のロケーション。

    DATASET_CONFIG_NAME と LOCATION を指定する代わりに、データセット構成の完全なパスを指定できます。次に例を示します。

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    次のように置き換えます。

    • DESTINATION_PROJECT_ID は、データセット構成を含むプロジェクトの ID に置き換えます。プロジェクト ID の詳細については、プロジェクトの作成と管理をご覧ください。

    • DATASET_CONFIG_ID は、表示するデータセットを生成したデータセット構成の名前に置き換えます。

    • LOCATION: データセットとデータセット構成のロケーション。例: us-central1

REST API

JSON API

  1. gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセス トークンを生成できます。

  2. cURL を使用して、Get DatasetConfig リクエストで JSON API を呼び出します。

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    次のように置き換えます。

    • PROJECT_ID は、データセット構成が属するプロジェクトの ID に置き換えます。

    • LOCATION: データセットとデータセット構成のロケーション。例: us-central1

    • DATASET_CONFIG_ID は、データセット構成の名前に置き換えます。

    • ACCESS_TOKEN は、Google Cloud CLI のインストールと初期化時に生成したアクセス トークンに置き換えます。

データセットの構成を一覧表示する

プロジェクト内のデータセット構成を一覧表示するには、次の操作を行います。

コンソール

  1. Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。

    Storage Insights に移動

    データセット構成のリストが表示されます。

コマンドライン

  1. プロジェクト内のデータセット構成を一覧表示するには、gcloud storage insights dataset-configs list コマンドを実行します。

    gcloud storage insights dataset-configs list --location=LOCATION

    次のように置き換えます。

    • LOCATION: データセットとデータセット構成のロケーション。例: us-central1

    次のオプションのフラグを使用して、リスト呼び出しの動作を指定できます。

    • --page-size を使用して、ページごとに返す結果の最大数を指定します。

    • --filter=FILTER を使用して結果をフィルタします。--filter フラグの使用方法の詳細については、gcloud topic filters を実行してドキュメントをご覧ください。

    • --sort-by=SORT_BY_VALUE を使用して、並べ替えるリソース フィールド キー名のカンマ区切りのリストを指定します。例: --sort-by=DATASET_CONFIG_NAME

REST API

JSON API

  1. gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセス トークンを生成できます。

  2. cURL を使用して、Get DatasetConfig リクエストで JSON API を呼び出します。

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    次のように置き換えます。

    • PROJECT_ID は、データセット構成が属するプロジェクトの ID に置き換えます。

    • LOCATION: データセットとデータセット構成のロケーション。例: us-central1

    • ACCESS_TOKEN は、Google Cloud CLI のインストールと初期化時に生成したアクセス トークンに置き換えます。

データセットの構成を更新する

データセットの構成を更新する手順は次のとおりです。

コンソール

  1. Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。

    Storage Insights に移動

  2. 更新するデータセット構成の名前をクリックします。

  3. 表示された [データセットの構成] タブで、[編集] をクリックしてフィールドを更新します。

コマンドライン

  1. データセット構成を更新するには、gcloud storage insights dataset-configs update コマンドを実行します。

    gcloud storage insights dataset-configs update DATASET_CONFG_ID \
  --location=LOCATION

    次のように置き換えます。

    • DATASET_CONFIG_ID は、データセット構成の名前に置き換えます。

    • LOCATION: データセットのロケーションとデータセット構成。

    次のフラグを使用して、データセット構成のプロパティを更新します。

    • --skip-verification を使用して、検証プロセスからチェックとエラーをスキップします。これには、必要な IAM 権限のチェックが含まれます。使用されている場合、一部またはすべてのバケットがデータセットから除外される可能性があります。

    • --retention-period-days=DAYS を使用して、データセット スナップショットでキャプチャするデータの移動日数を指定します。例: 90

    • --description=DESCRIPTION を使用して、データセット構成の説明を記述します。

REST API

JSON API

  1. gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセス トークンを生成できます。

  2. 次のオプション情報を含む JSON ファイルを作成します。

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": RETENTION_PERIOD"
}

    次のように置き換えます。

    • ORGANIZATION_ID: 送信元プロジェクトが属する 組織のリソース ID。

    • PROJECT_NUMBERS は、データセットに含めるプロジェクト番号に置き換えます。1 つまたは複数のプロジェクトを指定できます。プロジェクトはリスト形式で指定する必要があります。

    • RETENTION_PERIOD。データセット スナップショットでキャプチャするデータの移動日数。例: 90

  3. データセットの構成を更新するには、cURL を使用して、Patch DatasetConfig リクエストで JSON API を呼び出します。

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=RETENTION_PERIOD" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    次のように置き換えます。

    • JSON_FILE_NAME は、前の手順で作成した JSON ファイルのパスに置き換えます。

    • PROJECT_ID は、データセット構成が属するプロジェクトの ID に置き換えます。

    • LOCATION: データセットとデータセット構成のロケーション。例: us-central1

    • DATASET_CONFIG_ID は、更新するデータセット構成の名前に置き換えます。

    • RETENTION_PERIOD。データセット スナップショットでキャプチャするデータの移動日数。例: 90

    • ACCESS_TOKEN は、Google Cloud CLI のインストールと初期化時に生成したアクセス トークンに置き換えます。

データセットの構成を削除する

データセット構成を削除するには、次の操作を行います。

コンソール

  1. Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。

    Storage Insights に移動

  2. 削除するデータセット構成の名前をクリックします。

  3. [削除] をクリックします。

コマンドライン

  1. データセット構成を削除するには、gcloud storage insights dataset-configs delete コマンドを実行します。

    gcloud storage insights dataset-configs delete DATASET_CONFG_ID \
  --location=LOCATION

    次のように置き換えます。

    • DATASET_CONFIG_ID は、削除するデータセット構成の名前に置き換えます。

    • LOCATION: データセットとデータセット構成のロケーション。例: us-central1

    次のフラグを使用して、データセット構成のプロパティを更新します。

    • --auto-delete-link を使用して、削除するデータセット構成から生成されたデータセットのリンクを解除します。データセットを生成したデータセット構成を削除するには、まずデータセットのリンクを解除する必要があります。

    • --retention-period-days=DAYS を使用して、データセット スナップショットでキャプチャするデータの日数を指定します。例: 90

    DATASET_CONFIG_NAME と LOCATION を指定する代わりに、データセット構成の完全なパスを指定できます。次に例を示します。

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

REST API

JSON API

  1. gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセス トークンを生成できます。

  2. cURL を使用して、Delete DatasetConfig リクエストで JSON API を呼び出します。

    curl -X DELETE \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    次のように置き換えます。

    • PROJECT_ID は、データセット構成が属するプロジェクトの ID に置き換えます。

    • LOCATION: データセットとデータセット構成のロケーション。例: us-central1

    • DATASET_CONFIG_ID は、削除するデータセット構成の名前に置き換えます。

    • ACCESS_TOKEN は、Google Cloud CLI のインストールと初期化時に生成したアクセス トークンに置き換えます。

次のステップ