Package google.cloud.dataproc.v1

コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

string

出力専用。分析対象のワークロードの名前。

WorkloadType

出力専用。分析対象のワークロードのタイプ。

string

出力専用。通常はコントロール プレーンによって生成されるワークロードの一意の識別子。例: バッチ UUID。

Timestamp

出力専用。オペレーションが作成された時刻。

Timestamp

出力専用。オペレーションが完了した時刻。

string

出力専用。オペレーションの簡単な説明。

map<string, string>

出力専用。オペレーションに関連付けられているラベル。

string

出力専用。オペレーションの実行中に発生した警告。

Scenario

省略可。チューニングが適用されるシナリオ。

string

出力専用。バッチのリソース名。

string

出力専用。バッチ UUID（一意のユニバーサル識別子）。この値は、サービスがバッチを作成するときに生成されます。

Timestamp

出力専用。バッチが作成された時刻。

RuntimeInfo

出力専用。バッチ実行に関するランタイム情報。

State

出力専用。バッチの状態。

string

出力専用。バッチの状態の詳細（状態が FAILED の場合のエラーの説明など）。

Timestamp

出力専用。バッチが現在の状態になった時刻。

string

出力専用。バッチを作成したユーザーのメールアドレス。

map<string, string>

省略可。このバッチに関連付けるラベル。ラベルのキーは 1 ～ 63 文字で、RFC 1035 に準拠している必要があります。ラベルの値は空にできますが、指定する場合は 1 ～ 63 文字で、RFC 1035 に準拠している必要があります。1 つのバッチに関連付けることができるラベルは 32 個までです。

RuntimeConfig

省略可。バッチ実行のランタイム構成。

EnvironmentConfig

省略可。バッチ実行の環境構成。

string

出力専用。このバッチに関連付けられたオペレーションのリソース名。

StateHistory

出力専用。バッチの過去の状態情報。

PySparkBatch

省略可。PySpark バッチ構成。

SparkBatch

省略可。Spark バッチ構成。

SparkRBatch

省略可。SparkR バッチ構成。

SparkSqlBatch

省略可。SparkSql バッチ構成。

State

出力専用。履歴のこの時点でのバッチの状態。

string

出力専用。この時点の状態に関する詳細。

Timestamp

出力専用。バッチが履歴状態になった時刻。

string

オペレーションのバッチ名。

string

オペレーションのバッチ UUID。

Timestamp

オペレーションが作成された時刻。

Timestamp

オペレーションが完了した時刻。

BatchOperationType

オペレーションのタイプ。

string

オペレーションの簡単な説明。

map<string, string>

オペレーションに関連付けられているラベル。

string

オペレーションの実行中に発生した警告。

string

必須。このバッチが作成される親リソース。

認可には、指定されたリソース parent に対する次の IAM の権限が必要です。

• dataproc.batches.create

Batch

必須。作成するバッチ。

string

省略可。バッチに使用する ID。バッチのリソース名の最終的なコンポーネントになります。

この値は 4 ～ 63 文字にする必要があります。有効な文字は /[a-z][0-9]-/ です。

string

省略可。リクエストの識別に使用される一意の ID。サービスが同じ request_id を持つ 2 つの CreateBatchRequest を受信した場合、2 番目のリクエストは無視され、バックエンドで作成されて保存された最初のバッチに対応するオペレーションが返されます。

推奨: この値は UUID に設定します。

値に使用できるのは、英字（a ～ z、A ～ Z）、数字（0 ～ 9）、アンダースコア（_）、ハイフン（-）のみです。最大長は 40 文字です。

string

必須。このセッションが作成される親リソース。

認可には、指定されたリソース parent に対する次の IAM の権限が必要です。

• dataproc.sessions.create

Session

必須。作成するインタラクティブ セッション。

string

必須。セッションに使用する ID。セッションのリソース名の最終的なコンポーネントになります。

この値は 4 ～ 63 文字にする必要があります。有効な文字は /[a-z][0-9]-/ です。

string

省略可。リクエストの識別に使用される一意の ID。サービスが同じ ID の 2 つの CreateSessionRequest を受信した場合、2 番目のリクエストは無視され、最初の Session が作成されてバックエンドに保存されます。

推奨: この値は UUID に設定します。

値に使用できるのは、英字（a ～ z、A ～ Z）、数字（0 ～ 9）、アンダースコア（_）、ハイフン（-）のみです。最大長は 40 文字です。

string

必須。このセッション テンプレートが作成される親リソース。

認可には、指定されたリソース parent に対する次の IAM の権限が必要です。

• dataproc.sessionTemplates.create

SessionTemplate

必須。作成するセッション テンプレート。

string

必須。取得するバッチの完全修飾名（形式は「projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID」）。

認可には、指定されたリソース name に対する次の IAM の権限が必要です。

• dataproc.batches.delete

string

必須。削除するセッション リソースの名前。

認可には、指定されたリソース name に対する次の IAM の権限が必要です。

• dataproc.sessions.delete

string

省略可。リクエストの識別に使用される一意の ID。サービスが同じ ID の 2 つの DeleteSessionRequest を受信した場合、2 回目のリクエストは無視されます。

推奨: この値は UUID に設定します。

値に使用できるのは、英字（a ～ z、A ～ Z）、数字（0 ～ 9）、アンダースコア（_）、ハイフン（-）のみです。最大長は 40 文字です。

string

必須。削除するセッション テンプレート リソースの名前。

認可には、指定されたリソース name に対する次の IAM の権限が必要です。

• dataproc.sessionTemplates.delete

string

出力専用。診断出力の Cloud Storage URI。出力レポートは、収集された診断の概要を含むプレーン テキスト ファイルです。

ExecutionConfig

省略可。ワークロードの実行構成。

PeripheralsConfig

省略可。ワークロードがアクセスできる周辺機器の構成。

string

省略可。ワークロードの実行に使用されたサービス アカウント。

string

省略可。ネットワーク トラフィック制御に使用されるタグ。

string

省略可。暗号化に使用する Cloud KMS 鍵。

Duration

省略可。セッションにのみ適用されます。アイドル状態のときにセッションを維持する時間。このしきい値を超えると、セッションが終了します。このフィールドは、バッチ ワークロードに設定できません。最小値は 10 分で、最大値は 14 日です（Duration の JSON 表現を参照）。設定しない場合、デフォルトは 1 時間です。インタラクティブ セッションに ttl と idle_ttl の両方が指定されている場合、これらの条件は OR 条件として扱われます。ワークロードは、idle_ttl 時間アイドル状態になったとき、または ttl を超えたときに、どちらか早い方で終了します。

Duration

省略可。ワークロードが終了するまでの時間。[期間] の JSON 表現として指定します。ワークロードがこの期間を超えると、進行中の作業の終了を待たずに無条件に終了します。バッチ ワークロードに ttl が指定されていない場合、ワークロードは自然に終了するまで実行されます（終了しない場合、永続的に実行されます）。インタラクティブ セッションに ttl が指定されていない場合、デフォルトは 24 時間です。2.1 以降のランタイム バージョンを使用するバッチに ttl が指定されていない場合、デフォルトは 4 時間です。最小値は 10 分で、最大値は 14 日です。ttl と idle_ttl の両方が指定されている場合（インタラクティブ セッションの場合）、条件は OR 条件として扱われます。ワークロードは、idle_ttl 時間アイドル状態になったとき、または ttl を超えたときに、どちらか早い方で終了します。

string

省略可。ワークロードの依存関係と構成ファイルをステージングし、ワークロードの出力や、Spark 履歴ファイルなどのエフェメラル データを保存するために使用される Cloud Storage バケット。ステージング バケットを指定しない場合、Cloud Dataproc はワークロードが実行されているリージョンに応じて Cloud Storage のロケーションを決定し、プロジェクト レベルのロケーションごとのステージング バケットと一時バケットを作成して管理します。このフィールドには、Cloud Storage バケットへの gs://... URI ではなく、Cloud Storage バケット名が必要です。

string

省略可。ワークロードを接続するネットワーク URI。

string

省略可。ワークロードを接続するサブネットワークの URI。

string

必須。取得するバッチの完全修飾名（形式は「projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID」）。

認可には、指定されたリソース name に対する次の IAM の権限が必要です。

• dataproc.batches.get

string

必須。取得するセッションの名前。

認可には、指定されたリソース name に対する次の IAM の権限が必要です。

• dataproc.sessions.get

string

必須。取得するセッション テンプレートの名前。

認可には、指定されたリソース name に対する次の IAM の権限が必要です。

• dataproc.sessionTemplates.get

Kernel

省略可。カーネル

string

省略可。表示名。Jupyter の kernelspec カードに表示されます。

string

必須。このバッチのコレクションを所有する親。

認可には、指定されたリソース parent に対する次の IAM の権限が必要です。

• dataproc.batches.list

int32

省略可。各レスポンスで返されるバッチの最大数。サービスが返す値はこれよりも少ないことがあります。デフォルトのページサイズは 20 で、最大ページサイズは 1,000 です。

string

省略可。前回の ListBatches 呼び出しから受け取ったページトークン。後続のページを取得するには、このトークンを指定します。

string

省略可。レスポンスで返されるバッチのフィルタ。

フィルタは、各バッチリソースのさまざまなフィールドの値を制約する論理式です。フィルタは、大文字と小文字が区別され、論理演算子（AND/OR）で組み合わせた複数の句を含めることができます。サポートされているフィールドは batch_id、batch_uuid、state、create_time、labels です。

たとえば、state = RUNNING and create_time < "2023-01-01T00:00:00Z" は、2023 年 1 月 1 日より前に作成された RUNNING 状態のバッチをフィルタします。state = RUNNING and labels.environment=production は、本番環境ラベルを持つ RUNNING 状態のバッチをフィルタします。

フィルタ構文の詳細とサポートされている比較の一覧については、https://google.aip.dev/assets/misc/ebnf-filtering.txt をご覧ください。

string

省略可。バッチのリストを並べ替えるフィールド。

現在、サポートされている並べ替え順序は、指定なし（空）と、最近作成されたバッチを優先して並べ替える create_time desc のみです。

詳しくは、https://google.aip.dev/132#ordering をご覧ください。

Batch

出力専用。指定されたコレクションのバッチ。

string

次のページを取得するために page_token として送信できるトークン。このフィールドを省略すると、後続のページはなくなります。

string

出力専用。レスポンスに含められなかったバッチのリスト。これらのリソースのいずれかを取得しようとすると、リスト レスポンスに含まれなかった理由が示される場合があります。

string

必須。このセッション テンプレートのコレクションを所有する親。

認可には、指定されたリソース parent に対する次の IAM の権限が必要です。

• dataproc.sessionTemplates.list

int32

省略可。各レスポンスで返されるセッションの最大数。サービスが返す値はこれよりも少ないことがあります。

string

省略可。前回の ListSessions 呼び出しから受け取ったページトークン。後続のページを取得するには、このトークンを指定します。

string

省略可。レスポンスで返されるセッション テンプレートのフィルタ。フィルタでは大文字と小文字が区別され、構文は次のとおりです。

[フィールド = 値] AND [フィールド [= 値]] ...

SessionTemplate

出力専用。セッション テンプレートのリスト

string

次のページを取得するために page_token として送信できるトークン。このフィールドを省略すると、後続のページはなくなります。

string

必須。このセッション コレクションを所有する親。

認可には、指定されたリソース parent に対する次の IAM の権限が必要です。

• dataproc.sessions.list

int32

省略可。各レスポンスで返されるセッションの最大数。サービスが返す値はこれよりも少ないことがあります。

string

省略可。前回の ListSessions 呼び出しから受け取ったページトークン。後続のページを取得するには、このトークンを指定します。

string

省略可。レスポンスで返されるセッションのフィルタ。

フィルタは、各セッション リソースのさまざまなフィールドの値を制約する論理式です。フィルタは、大文字と小文字が区別され、論理演算子（AND、OR）で組み合わせた複数の句を含めることができます。サポートされているフィールドは session_id、session_uuid、state、create_time、labels です。

例: state = ACTIVE and create_time < "2023-01-01T00:00:00Z" は、2023 年 1 月 1 日より前に作成された ACTIVE 状態のセッションのフィルタです。state = ACTIVE and labels.environment=production は、本番環境ラベルを持つ ACTIVE 状態のセッションのフィルタです。

フィルタ構文の詳細とサポートされている比較演算子のリストについては、https://google.aip.dev/assets/misc/ebnf-filtering.txt をご覧ください。

Session

出力専用。指定したコレクションのセッション。

string

次のページを取得するために page_token として送信できるトークン。このフィールドを省略すると、後続のページはなくなります。

string

省略可。既存の Dataproc Metastore サービスのリソース名。

例:

• projects/[project_id]/locations/[region]/services/[service_id]

SparkHistoryServerConfig

省略可。ワークロードの Spark History Server 構成。

string

省略可。PyPi リポジトリのアドレス

string

必須。Spark ドライバとして使用するメインの Python ファイルの HCFS URI。.py ファイルを指定する必要があります。

string

省略可。ドライバに渡す引数。--conf など、バッチ プロパティとして設定できる引数は含めないでください。競合が発生して、バッチが正しく送信されない可能性があります。

string

省略可。PySpark フレームワークに渡す Python ファイルの HCFS ファイル URI。サポートされているファイル形式: .py、.egg、.zip

string

省略可。Spark ドライバとタスクのクラスパスに追加する JAR ファイルの HCFS URI。

string

省略可。各エグゼキュータの作業ディレクトリに配置されるファイルの HCFS URI。

string

省略可。各エグゼキュータの作業ディレクトリに解凍されるアーカイブの HCFS URI。サポートされているファイル形式: .jar、.tar、.tar.gz、.tgz、.zip。

PyPiRepositoryConfig

省略可。PyPi リポジトリの構成。

string

省略可。バッチ ランタイムのバージョン。

string

省略可。ジョブ ランタイム環境用のカスタム コンテナ イメージ（省略可）。指定しない場合は、デフォルトのコンテナ イメージが使用されます。

map<string, string>

省略可。ワークロードの実行の構成に使用される、プロパティ名と値のマッピング。

RepositoryConfig

省略可。依存関係リポジトリの構成。

AutotuningConfig

省略可。ワークロードの自動チューニング構成。

string

省略可。コホート ID。同じシェイプのワークロードのグループを識別します（日次 ETL ジョブなど）。

map<string, string>

出力専用。リモート アクセス エンドポイント（ウェブ インターフェースや API など）と URI のマッピング。

string

出力専用。ワークロードの stdout と stderr のロケーションを指す URI。

string

出力専用。診断用 tarball の場所を指す URI。

UsageMetrics

出力専用。ワークロードの完了時に計算されるワークロード リソースの使用量の概算（Dataproc サーバーレスの料金をご覧ください）。

注: この指標の計算は、ワークロードの実行中にワークロード リソースの累積消費量をキャプチャするなど、今後変更される可能性があります（お知らせ、変更、修正、その他の Dataproc の開発については、Dataproc サーバーレス リリースノートをご覧ください）。

UsageSnapshot

出力専用。現在のワークロードのリソース使用量のスナップショット。

string

必須。セッションのリソース名。

string

出力専用。セッション UUID（一意のユニバーサル識別子）。この値は、サービスがセッションを作成するときに生成されます。

Timestamp

出力専用。セッションが作成された時刻。

RuntimeInfo

出力専用。セッション実行に関するランタイム情報。

State

出力専用。セッションの状態。

string

出力専用。セッションの状態の詳細（状態が FAILED の場合のエラーの説明など）。

Timestamp

出力専用。セッションが現在の状態になった時刻。

string

出力専用。セッションを作成したユーザーのメールアドレス。

map<string, string>

省略可。セッションに関連付けるラベル。ラベルのキーは 1 ～ 63 文字で、RFC 1035 に準拠している必要があります。ラベルの値は空にできますが、指定する場合は 1 ～ 63 文字で、RFC 1035 に準拠している必要があります。1 つのセッションに関連付けることができるラベルは 32 個までです。

RuntimeConfig

省略可。セッション実行のランタイム構成。

EnvironmentConfig

省略可。セッション実行の環境構成。

string

省略可。セッションを所有するユーザーのメールアドレス。

SessionStateHistory

出力専用。セッションの過去の状態情報。

string

省略可。セッションで使用されるセッション テンプレート。

プロジェクト ID とロケーションを含むリソース名のみが有効です。

例: * https://www.googleapis.com/compute/v1/projects/[project_id]/locations/[dataproc_region]/sessionTemplates/[template_id] * projects/[project_id]/locations/[dataproc_region]/sessionTemplates/[template_id]

テンプレートは、セッションと同じプロジェクトと Dataproc リージョンに存在する必要があります。

JupyterConfig

省略可。Jupyter セッション構成。

SparkConnectConfig

省略可。Spark Connect セッション構成。

State

出力専用。セッション履歴のこの時点でのセッションの状態。

string

出力専用。セッション履歴のこの時点での状態に関する詳細。

Timestamp

出力専用。セッションが履歴状態になった時刻。

string

オペレーションのセッションの名前。

string

オペレーションのセッション UUID。

Timestamp

オペレーションが作成された時刻。

Timestamp

オペレーションが完了した時刻。

SessionOperationType

オペレーションのタイプ。

string

オペレーションの簡単な説明。

map<string, string>

オペレーションに関連付けられているラベル。

string

オペレーションの実行中に発生した警告。

string

必須。セッション テンプレートのリソース名。

string

省略可。テンプレートの簡単な説明。

Timestamp

出力専用。テンプレートが作成された時刻。

string

出力専用。テンプレートを作成したユーザーのメールアドレス。

map<string, string>

省略可。このテンプレートを使用して作成されたセッションに関連付けるラベル。ラベルのキーは 1 ～ 63 文字で、RFC 1035 に準拠している必要があります。ラベルの値は空にできますが、指定する場合は 1 ～ 63 文字で、RFC 1035 に準拠している必要があります。1 つのセッションに関連付けることができるラベルは 32 個までです。

RuntimeConfig

省略可。セッション実行のランタイム構成。

EnvironmentConfig

省略可。セッション実行の環境構成。

Timestamp

出力専用。テンプレートが最後に更新された日時。

string

出力専用。セッション テンプレートの UUID（一意のユニバーサル ID）。この値は、サービスがセッション テンプレートを作成するときに生成されます。

JupyterConfig

省略可。Jupyter セッション構成。

SparkConnectConfig

省略可。Spark Connect セッション構成。

string

省略可。ドライバに渡す引数。--conf など、バッチ プロパティとして設定できる引数は含めないでください。競合が発生して、バッチが正しく送信されない可能性があります。

string

省略可。Spark ドライバとタスクのクラスパスに追加する JAR ファイルの HCFS URI。

string

省略可。各エグゼキュータの作業ディレクトリに配置されるファイルの HCFS URI。

string

省略可。各エグゼキュータの作業ディレクトリに解凍されるアーカイブの HCFS URI。サポートされているファイル形式: .jar、.tar、.tar.gz、.tgz、.zip。

string

省略可。メインクラスを含む jar ファイルの HCFS URI。

string

省略可。ドライバのメインクラスの名前。クラスを含む jar ファイルは、クラスパス内にあるか、jar_file_uris で指定する必要があります。

string

省略可。ワークロードの Spark 履歴サーバーとして機能する既存の Dataproc クラスタのリソース名。

例:

• projects/[project_id]/regions/[region]/clusters/[cluster_name]

string

必須。ドライバとして使用するメインの R ファイルの HCFS URI。.R ファイルまたは .r ファイルである必要があります。

string

省略可。Spark ドライバに渡す引数。--conf など、バッチ プロパティとして設定できる引数は含めないでください。競合が発生して、バッチが正しく送信されない可能性があります。

string

省略可。各エグゼキュータの作業ディレクトリに配置されるファイルの HCFS URI。

string

省略可。各エグゼキュータの作業ディレクトリに解凍されるアーカイブの HCFS URI。サポートされているファイル形式: .jar、.tar、.tar.gz、.tgz、.zip。

string

必須。実行する Spark SQL クエリを含むスクリプトの HCFS URI。

map<string, string>

省略可。クエリ変数名と値のマッピング（Spark SQL コマンド SET name="value"; と同等）。

string

省略可。Spark CLASSPATH に追加する JAR ファイルの HCFS URI。

string

必須。終了するセッション リソースの名前。

認可には、指定されたリソース name に対する次の IAM の権限が必要です。

• dataproc.sessions.terminate

string

省略可。リクエストの識別に使用される一意の ID。サービスが同じ ID の 2 つの TerminateSessionRequest を受信した場合、2 回目のリクエストは無視されます。

推奨: この値は UUID に設定します。

値に使用できるのは、英字（a ～ z、A ～ Z）、数字（0 ～ 9）、アンダースコア（_）、ハイフン（-）のみです。最大長は 40 文字です。

SessionTemplate

必須。更新されたセッション テンプレート。

認可には、指定されたリソース sessionTemplate に対する次の IAM の権限が必要です。

• dataproc.sessionTemplates.update

int64

省略可。DCU（Dataproc コンピューティング ユニット）の使用量（milliDCU x seconds）（Dataproc Serverless の料金をご覧ください）。

int64

省略可。シャッフル ストレージの使用量（GB x seconds）（Dataproc サーバーレスの料金をご覧ください）。

int64

省略可。アクセラレータの使用量（milliAccelerator x seconds）（Dataproc Serverless の料金をご覧ください）。

string

省略可。使用されているアクセラレータのタイプ（該当する場合）

int64

省略可。ミリ（1,000 分の 1）Dataproc コンピューティング ユニット（DCU）（Dataproc サーバーレスの料金をご覧ください）。

int64

省略可。シャッフル ストレージの容量（ギガバイト単位）。（Dataproc サーバーレスの料金をご覧ください）。

int64

省略可。ミリ（1,000 分の 1）Dataproc コンピューティング ユニット（DCU）は、プレミアム ティアで課金されます（Dataproc サーバーレスの料金をご覧ください）。

int64

省略可。シャッフル ストレージ（ギガバイト単位、GB）はプレミアム ティアで課金されます。（Dataproc サーバーレスの料金をご覧ください）。

int64

省略可。ミリ（1,000 分の 1）アクセラレータ。（Dataproc サーバーレスの料金をご覧ください）。

string

省略可。使用されているアクセラレータのタイプ（該当する場合）

Timestamp

省略可。使用状況スナップショットのタイムスタンプ。