インタラクティブ セッションとセッション テンプレートを作成する

コンソール

Google Cloud コンソールを使用して Dataproc Serverless セッションを作成するには、次の操作を行います。

1. Google Cloud コンソールで、[インタラクティブ セッション] ページに移動します。

   [インタラクティブ セッション] に移動

   1. [作成] をクリックします。

2. [インタラクティブ セッションを追加する（プレビュー）] ページで、セッション構成の設定を入力または確認します。次の点にご注意ください。

   • インタラクティブ セッション名: 必須です。デフォルト名をそのまま使用するか、セッション名を指定します。
   • リージョン: 必須。デフォルトのリージョンを受け入れるか、セッションに使用可能なリージョンを指定します。
   • ランタイム構成: 省略可。選択可能なセッション ランタイムは、使用可能な Dataproc Serverless ランタイム バージョンに対応しています。セッションに使用するカスタム コンテナ イメージを指定できます。
   • プロパティ: 省略可。セッションに設定するプロパティごとに [アイテムを追加] をクリックします。詳細については、Spark プロパティをご覧ください。
   • Spark UI（プレビュー）: 省略可。Spark UI を使用して、セッション実行の詳細を収集してモニタリングできます。
   • サービス アカウント: 省略可。セッションに使用するサービス アカウント。指定しない場合、Compute Engine のデフォルトのサービス アカウントが使用されます。
   • ネットワーク構成: 必須。セッション リージョンでサブネットワークを選択します。Dataproc Serverless は、サブネットで限定公開の Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Dataproc Serverless のネットワーク構成をご覧ください。

3. [送信] をクリックしてセッションを作成します。

gcloud

gcloud beta dataproc sessions create command SESSION_NAME を使用して、Dataproc Serverless インタラクティブ セッションを作成できます。

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

以下を置き換えるか追加します。

• SESSION_ID: 必須。セッションの ID。

• REGION: 必須。セッションを配置する使用可能なリージョン。

• --version:（省略可）。サポートされている Spark ランタイム バージョン。このフラグを使用してバージョンを指定しない場合は、現在のデフォルトの Spark ランタイム バージョンが使用されます。

• --container-image:（省略可）。セッションに使用するカスタム コンテナ イメージ。

• --property:（省略可）。セッションの 1 つ以上のカンマ区切りの Spark プロパティ。

• --service-account:（省略可）。セッションに使用するサービス アカウント。指定しない場合、Compute Engine のデフォルトのサービス アカウントが使用されます。

• --subnet:（省略可）。セッション リージョンのサブネットの名前。指定しない場合、Dataproc Serverless はセッション リージョンの default サブネットを使用します。Dataproc Serverless は、サブネットで限定公開の Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Dataproc Serverless のネットワーク構成をご覧ください。

REST

Dataproc sessions.create API を使用して、Dataproc サーバーレスのインタラクティブ セッションを作成できます。

注:

• name: 必須。セッション名。

• version:（省略可）。セッションでサポートされているSpark ランタイム バージョン。バージョンを指定しない場合、現在のデフォルト バージョンが使用されます。

• containerImage:（省略可）。セッションに使用するカスタム コンテナ イメージ。

• properties:（省略可）。セッション プロパティ名と値のマッピング。Spark プロパティをご覧ください。

• serviceAccount:（省略可）。セッションの実行に使用するサービス アカウント。指定しない場合、Compute Engine のデフォルトのサービス アカウントが使用されます。

• subnetworkUri:（省略可）。セッション リージョンのサブネットの名前。指定しない場合、Dataproc Serverless はセッション リージョンの default サブネットを使用します。Dataproc Serverless は、サブネットで限定公開の Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Dataproc Serverless のネットワーク構成をご覧ください。

コンソール

Google Cloud コンソールを使用して Dataproc Serverless セッション テンプレートを作成するには、次の操作を行います。

1. Google Cloud コンソールで、[セッション テンプレート] ページに移動します。

   [セッション テンプレート] に移動

   1. [作成] をクリックします。

2. [セッション テンプレートの作成] ページで、テンプレートの構成設定を入力または確認します。次の点にご注意ください。

   • テンプレート ランタイム ID: 必須です。デフォルトの ID（名前）をそのまま使用するか、テンプレートのランタイム名を指定します。
   • リージョン: 必須。デフォルトのリージョンを受け入れるか、テンプレート セッションに使用可能なリージョンを指定します。
   • ランタイム バージョン: 省略可。選択可能なセッション ランタイムは、Dataproc Serverless ランタイム バージョンに対応しています。
     • BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブックの Spark Connect セッションに使用するテンプレートを作成する場合は、Spark ランタイム バージョン 2.3 以降を使用する必要があります。
   • テンプレート構成タイプ: 必須です。種類を選択します。Jupyter を選択する場合は、表示名を指定し、Jupyter カーネルタイプを選択します。Dataproc Serverless で Jupyter ノートブックを起動するもご覧ください。
     • BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブック セッションでは、テンプレートの構成タイプとして Spark Connect を指定する必要があります。
   • サービス アカウント: 省略可。テンプレート化されたセッションの実行に使用するサービス アカウント。指定しない場合、Compute Engine のデフォルトのサービス アカウントが使用されます。
   • カスタム コンテナ イメージ: 省略可。テンプレート化されたセッションに使用するカスタム コンテナ イメージ。
   • プロパティ: 省略可。テンプレート化されたセッションに設定するプロパティごとに [アイテムを追加] をクリックします。詳細については、Spark プロパティをご覧ください。
   • ネットワーク構成: * 必須。セッション リージョンでサブネットワークを選択します。Dataproc Serverless は、指定されたサブネットで限定公開の Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Dataproc Serverless のネットワーク構成をご覧ください。

3. [送信] をクリックして、セッション テンプレートを作成します。

gcloud

gcloud CLI を使用して Dataproc Serverless セッション テンプレートを直接作成することはできませんが、gcloud beta dataproc session-templates import コマンドを使用して既存のセッション テンプレートをインポートできます。インポートしたテンプレートを編集し、gcloud beta dataproc session-templates export コマンドを使用してエクスポートできます。

REST

Dataproc sessionTemplates.create API を使用して、Dataproc サーバーレス セッション テンプレートを作成できます。

注:

• name: 必須。セッション テンプレート名。

• version:（省略可）。テンプレート化されたセッションでサポートされている Spark ランタイム バージョン。バージョンを指定しない場合、デフォルトのバージョンが使用されます。

  • BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブックの Spark Connect セッションに使用するテンプレートを作成する場合は、Spark ランタイム バージョン 2.3 以降を使用する必要があります。

• sessionConfig: jupyter_session または spark_connect_session を指定します。jupyter_session を指定する場合は、JupyterConfig.display_name と JupyterConfig.kernel も指定します。Dataproc Serverless で Jupyter ノートブックを起動するもご覧ください。

  • BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブック セッションでは、テンプレートの構成タイプとして Spark Connect を指定する必要があります。

• containerImage:（省略可）。テンプレート化されたセッションに使用するカスタム コンテナ イメージ。

• properties:（省略可）。セッション プロパティ名と値のマッピング。Spark プロパティをご覧ください。

• serviceAccount:（省略可）。テンプレート化されたセッションの実行に使用するサービス アカウント。指定しない場合、Compute Engine のデフォルトのサービス アカウントが使用されます。

• subnetworkUri:（省略可）。セッション リージョンのサブネットの名前。指定しない場合、Dataproc Serverless はセッション リージョンの default サブネットを使用します。Dataproc Serverless は、サブネットで限定公開の Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Dataproc Serverless のネットワーク構成をご覧ください。