JOBS_BY_ORGANIZATION ビュー

INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION ビューは、現在のプロジェクトに関連付けられている組織で送信されたすべてのジョブに関するニア リアルタイムのメタデータを含みます。

必要なロール

INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION ビューをクエリするために必要な権限を取得するには、お客様の組織における BigQuery リソース閲覧者 （roles/bigquery.resourceViewer）IAM ロールの付与を管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

この事前定義ロールには、INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION ビューに対するクエリの実行に必要な bigquery.jobs.listAll 権限が含まれています。

カスタムロールや他の事前定義ロールを使用して、この権限を取得することもできます。

スキーマ テーブルは、Google Cloud 組織が定義されているユーザーのみが使用できます。

BigQuery の権限の詳細については、IAM でのアクセス制御をご覧ください。

スキーマ

基になるデータは creation_time 列で分割され、project_id と user_email でクラスタ化されます。query_info 列には、クエリジョブに関する追加情報が含まれます。

INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION ビューのスキーマは次のとおりです。

列名 データの種類 値
bi_engine_statistics RECORD プロジェクトが BI Engine SQL インターフェースを使用するように構成されている場合、このフィールドには BiEngineStatistics が含まれます。 それ以外の場合は NULL。
cache_hit BOOLEAN このジョブのクエリ結果がキャッシュから取得されたかどうか。 マルチクエリ ステートメント ジョブがある場合、親クエリの cache_hit は NULL です。
creation_time TIMESTAMP （パーティショニング列）このジョブの作成時間パーティショニングは、このタイムスタンプの UTC 時間に基づきます。
destination_table RECORD 結果の宛先テーブル（ある場合）。
end_time TIMESTAMP エポックからのミリ秒で示した、このジョブの終了時間。このフィールドは、ジョブが DONE 状態になった時刻を表します。
error_result RECORD ErrorProto オブジェクトとしてのエラーの詳細。
job_creation_reason.code STRING ジョブが作成された大まかな理由を指定します。
指定できる値は次のとおりです。
  • REQUESTED: ジョブの作成がリクエストされました。
  • LONG_RUNNING: QueryRequest の timeoutMs フィールドで指定されたシステム定義のタイムアウトを超えてクエリ リクエストが実行されました。その結果、ジョブが作成された長時間実行オペレーションと見なされました。
  • LARGE_RESULTS: クエリの結果がインライン レスポンスに収まりません。
  • OTHER: クエリをジョブとして実行する必要があることがシステムによって判断されました。
job_id STRING ジョブが作成された場合のジョブの ID。ジョブの ID でない場合は、短いクエリモードを使用したクエリのクエリ ID。例: bquxjob_1234
job_stages RECORD ジョブのクエリステージ。

注: 行レベルのアクセス ポリシーが適用されたテーブルから読み取るクエリでは、この列の値が空になります。詳細については、BigQuery での行レベルのセキュリティに関するベスト プラクティスをご覧ください。
job_type STRING ジョブのタイプ。QUERY、LOAD、EXTRACT、COPY、NULL のいずれかを設定できます。NULL の値は、スクリプト ジョブ ステートメントの評価やマテリアライズド ビューの更新などの内部ジョブを示します。
labels RECORD Key-Value ペアとしてジョブに適用されるラベルの配列。
parent_job_id STRING 親ジョブの ID（存在する場合）。
priority STRING このジョブの優先度。有効な値として、INTERACTIVE、BATCH などがあります。
project_id STRING （クラスタリング列）プロジェクトの ID。
project_number INTEGER プロジェクトの数。
query STRING SQL クエリテキスト。JOBS_BY_PROJECT ビューにのみクエリ列があります。
referenced_tables RECORD ジョブによって参照されるテーブルの配列。キャッシュヒットではないクエリジョブに対してのみデータが入力されます。
reservation_id STRING このジョブに割り当てられたプライマリ予約の名前（形式: RESERVATION_ADMIN_PROJECT:RESERVATION_LOCATION.RESERVATION_NAME）。
この出力で:
  • RESERVATION_ADMIN_PROJECT: 予約を管理する Google Cloud プロジェクトの名前
  • RESERVATION_LOCATION: 予約のロケーション
  • RESERVATION_NAME: 予約の名前
edition STRING このジョブに割り当てられた予約に関連付けられているエディション。エディションの詳細については、BigQuery エディションの概要をご覧ください。
session_info RECORD ジョブが実行されているセッションの詳細（存在する場合）。
start_time TIMESTAMP このジョブの開始時間（エポックからのミリ秒）。このフィールドは、ジョブが PENDING 状態から RUNNING 状態または DONE 状態へ移行した時間を表します。
state STRING ジョブの実行状態。有効な状態は PENDING、RUNNING、および DONE です。
statement_type STRING クエリ文のタイプ。DELETE: INSERT、SCRIPT、SELECT、UPDATE など有効な値の一覧については QueryStatementType をご覧ください。
timeline RECORD ジョブのクエリ タイムライン。クエリ実行のスナップショットが格納されます。
total_bytes_billed INTEGER オンデマンド料金を使用するようにプロジェクトが構成されている場合、このフィールドにはジョブに対して課金された合計バイト数が含まれます。プロジェクトが定額料金を使用するように構成されている場合、バイト数は課金されず、このフィールドは情報提供のみを目的としています。

注: 行レベルのアクセス ポリシーが適用されたテーブルから読み取るクエリでは、この列の値が空になります。詳細については、BigQuery での行レベルのセキュリティに関するベスト プラクティスをご覧ください。
total_bytes_processed INTEGER

ジョブによって処理された合計バイト数。

注: 行レベルのアクセス ポリシーが適用されたテーブルから読み取るクエリでは、この列の値が空になります。詳細については、BigQuery での行レベルのセキュリティに関するベスト プラクティスをご覧ください。
total_modified_partitions INTEGER ジョブによって変更されたパーティションの合計数。このフィールドは、LOAD ジョブと QUERY ジョブで入力されます。
total_slot_ms INTEGER RUNNING 状態（再試行を含む）のジョブの全期間におけるスロット（ミリ秒）。
transaction_id STRING このジョブが実行されたトランザクションの ID（存在する場合）。（プレビュー）
user_email STRING （クラスタリング列）ジョブを実行したユーザーのメールアドレスまたはサービス アカウント。
query_info.resource_warning STRING クエリ処理中のリソース使用量がシステムの内部しきい値を超えた場合に表示される警告メッセージ。
クエリジョブが成功すると、resource_warning フィールドに値を入力できます。resource_warning を使用すると、query_hashes を使用してクエリを最適化し、同等のクエリセットのパフォーマンス トレンドのモニタリングを設定するための追加のデータポイントを取得できます。
query_info.query_hashes.normalized_literals STRING クエリのハッシュが含まれます。normalized_literals は、コメント、パラメータ値、UDF、リテラルを無視する 16 進数の STRING ハッシュです。ハッシュ値は、基盤となるビューが変更された場合、またはクエリが SELECT * などの列を暗黙的に参照し、テーブル スキーマが変更された場合に異なります。
このフィールドは、キャッシュ ヒットではない GoogleSQL クエリが成功した場合に表示されます。
query_info.performance_insights RECORD ジョブのパフォーマンス分析情報。
query_info.optimization_details STRUCT ジョブの履歴ベースの最適化。
transferred_bytes INTEGER クロスクラウド クエリ（BigQuery Omni クロスクラウド転送ジョブなど）で転送された合計バイト数。
materialized_view_statistics RECORD クエリジョブで考慮されるマテリアライズド ビューの統計。（プレビュー）

データの保持

このビューには、現在実行中のジョブと過去 180 日間のジョブの履歴が含まれます。

スコープと構文

このビューに対するクエリでは、リージョン修飾子を指定する必要があります。次の表で、このビューのリージョン スコープを説明します。

ビュー名 リソース スコープ リージョン スコープ
[PROJECT_ID.]`region-REGION`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION 指定されたプロジェクトを含む組織 REGION
以下を置き換えます。

  • 省略可: PROJECT_ID: Google Cloud プロジェクトの ID。指定しない場合は、デフォルトのプロジェクトが使用されます。

  • REGION: 任意のデータセット リージョン名。例: `region-us`

    • 例

    デフォルト プロジェクト以外のプロジェクトに対してクエリを実行するには、次の形式でプロジェクト ID を追加します。

    `PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
     次のように置き換えます。

    • PROJECT_ID: プロジェクトの ID
    • REGION_NAME: プロジェクトのリージョン

    例: `myproject`.`region-us`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION

    今日最も多くのバイトをスキャンした上位 5 つのジョブ

    次の例は、組織で今日、最大バイト数をスキャンした 5 つのジョブを検索する方法を示しています。statement_type でフィルタを使用して、読み込み、エクスポート、クエリなどの追加情報をクエリできます。

    SELECT
  job_id,
  user_email,
  total_bytes_billed
FROM
  `region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
WHERE
  EXTRACT(DATE FROM  creation_time) = current_date()
ORDER BY
  total_bytes_billed DESC
LIMIT 5;

    次のような結果になります。

    +--------------+--------------+---------------------------+
| job_id       |  user_email  |  total_bytes_billed       |
+--------------+--------------+---------------------------+
| bquxjob_1    |  abc@xyz.com |    999999                 |
| bquxjob_2    |  def@xyz.com |    888888                 |
| bquxjob_3    |  ghi@xyz.com |    777777                 |
| bquxjob_4    |  jkl@xyz.com |    666666                 |
| bquxjob_5    |  mno@xyz.com |    555555                 |
+--------------+--------------+---------------------------+

    クエリのパフォーマンス分析結果を表示する

    次の例では、過去 30 日間の組織のパフォーマンス分析情報があるすべてのクエリジョブと、Google Cloud コンソールでクエリ実行グラフにリンクする URL を返します。

    SELECT
  `bigquery-public-data`.persistent_udfs.job_url(
    project_id || ':us.' || job_id) AS job_url,
  query_info.performance_insights
FROM
  `region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
WHERE
  DATE(creation_time) >= CURRENT_DATE - 30 -- scan 30 days of query history
  AND job_type = 'QUERY'
  AND state = 'DONE'
  AND error_result IS NULL
  AND statement_type != 'SCRIPT'
  AND EXISTS ( -- Only include queries which had performance insights
    SELECT 1
    FROM UNNEST(
      query_info.performance_insights.stage_performance_standalone_insights
    )
    WHERE slot_contention OR insufficient_shuffle_quota
    UNION ALL
    SELECT 1
    FROM UNNEST(
      query_info.performance_insights.stage_performance_change_insights
    )
    WHERE input_data_change.records_read_diff_percentage IS NOT NULL
  );