Dataproc Serverless for Spark のインタラクティブ セッションとセッション テンプレートを作成する

コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

Console

Google Cloud コンソールを使用して Dataproc Serverless セッションを作成するには、次の操作を行います。

1. Google Cloud コンソールで、[インタラクティブ セッション] ページに移動します。

   [インタラクティブ セッション] に移動

   1. [作成] をクリックします。

2. [インタラクティブ セッションを追加する（プレビュー）] ページで、セッション構成設定を入力または確認します。次の点にご注意ください。

   • インタラクティブ セッション名: 必須です。デフォルト名をそのまま使用するか、セッション名を指定します。
   • リージョン: 必須。デフォルトのリージョンを受け入れるか、セッションに使用可能なリージョンを指定します。
   • ランタイム構成: 省略可。選択可能なセッション ランタイムは、使用可能な Dataproc Serverless for Spark ランタイム バージョンに対応しています。セッションに使用するカスタム コンテナ イメージを指定できます。
   • プロパティ: 省略可。セッションに設定するプロパティごとに [アイテムを追加] をクリックします。詳細については、Spark プロパティをご覧ください。
   • Spark UI（プレビュー版）: 省略可。Spark UI を使用して、セッション実行の詳細を収集してモニタリングできます。
   • サービス アカウント: 省略可。セッションに使用するサービス アカウント。指定しない場合、Compute Engine のデフォルトのサービス アカウントが使用されます。
   • ネットワーク構成: 必須。セッション リージョンでサブネットワークを選択します。Dataproc Serverless は、サブネットで限定公開の Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Dataproc Serverless for Spark のネットワーク構成をご覧ください。

3. [送信] をクリックしてセッションを作成します。

gcloud

gcloud beta dataproc sessions create command SESSION_NAME を使用して、Dataproc Serverless インタラクティブ セッションを作成できます。

gcloud gcloud beta dataproc sessions create SESSION_ID \
    --region=REGION \
    optional flags ...

以下を置き換えるか追加します。

• SESSION_ID: 必須。セッションの ID。

• REGION: 必須。セッションを配置する使用可能なリージョン。

• --version:（省略可）。サポートされている Spark ランタイム バージョン。このフラグを使用してバージョンを指定しない場合は、現在のデフォルトの Spark ランタイム バージョンが使用されます。

• --container-image:（省略可）。セッションに使用するカスタム コンテナ イメージ。

• --property:（省略可）。セッションの 1 つ以上のカンマ区切りの Spark プロパティ。

• --service-account:（省略可）。セッションに使用するサービス アカウント。指定しない場合、Compute Engine のデフォルトのサービス アカウントが使用されます。

• --subnet:（省略可）。セッション リージョンのサブネットの名前。サブネットを指定しない場合、Dataproc Serverless はセッション リージョンの default サブネットを使用します。Dataproc Serverless は、サブネットで限定公開の Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Dataproc Serverless for Spark のネットワーク構成をご覧ください。

REST

Dataproc sessions.create API を使用して、Dataproc サーバーレスのインタラクティブ セッションを作成できます。

注:

• name: 必須。セッション名。

• version:（省略可）。セッションでサポートされている Spark ランタイム バージョン。バージョンを指定しない場合、現在のデフォルト バージョンが使用されます。

• containerImage:（省略可）。セッションに使用するカスタム コンテナ イメージ。

• properties:（省略可）。セッション プロパティ名と値のマッピング。Spark プロパティをご覧ください。

• serviceAccount:（省略可）。セッションの実行に使用するサービス アカウント。指定しない場合、Compute Engine のデフォルトのサービス アカウントが使用されます。

• subnetworkUri:（省略可）。セッション リージョンのサブネットの名前。指定しない場合、Dataproc Serverless はセッション リージョンの default サブネットを使用します。Dataproc Serverless は、サブネットで限定公開の Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Dataproc Serverless for Spark のネットワーク構成をご覧ください。

Console

Google Cloud コンソールを使用して Dataproc Serverless セッション テンプレートを作成する手順は次のとおりです。

1. Google Cloud コンソールで、[インタラクティブ セッション テンプレート] ページに移動します。

   [インタラクティブ セッション テンプレート] に移動

   1. [作成] をクリックします。

2. [セッション テンプレートの作成] ページで、テンプレートの構成設定を入力または確認します。次の点にご注意ください。

   • テンプレート ランタイム ID: 必須です。デフォルトの ID（名前）をそのまま使用するか、テンプレートのランタイム名を指定します。
   • リージョン: 必須。デフォルトのリージョンを受け入れるか、テンプレート セッションに使用可能なリージョンを指定します。
   • ランタイム バージョン: 省略可。選択可能なセッション ランタイムは、Dataproc Serverless for Spark ランタイム バージョンに対応しています。
   • テンプレート構成タイプ: 必須です。種類を選択します。Jupyter を選択する場合は、表示名を指定し、Jupyter カーネルタイプを選択します。詳細については、Dataproc Serverless で Jupyter ノートブックを起動するをご覧ください。
   • サービス アカウント: 省略可。テンプレート化されたセッションの実行に使用するサービス アカウント。指定しない場合、Compute Engine のデフォルトのサービス アカウントが使用されます。
   • カスタム コンテナ イメージ: 省略可。テンプレート化されたセッションに使用するカスタム コンテナ イメージ。
   • プロパティ: 省略可。テンプレート化されたセッションに設定するプロパティごとに [アイテムを追加] をクリックします。詳細については、Spark プロパティをご覧ください。
   • ネットワーク構成: 必須。セッション リージョンでサブネットワークを選択します。Dataproc Serverless は、指定されたサブネットで限定公開の Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Dataproc Serverless for Spark のネットワーク構成をご覧ください。

3. [送信] をクリックして、セッション テンプレートを作成します。

gcloud

gcloud CLI を使用して Dataproc Serverless セッション テンプレートを直接作成することはできませんが、gcloud beta dataproc session-templates import コマンドを使用して既存のセッション テンプレートをインポートできます。インポートしたテンプレートを編集し、gcloud beta dataproc session-templates export コマンドを使用してエクスポートできます。

REST

Dataproc sessionTemplates.create API を使用して、Dataproc Serverless セッション テンプレートを作成できます。

注:

• name: 必須。セッション テンプレート名。

• version:（省略可）。テンプレート化されたセッションでサポートされている Spark ランタイム バージョン。バージョンを指定しない場合、デフォルトのバージョンが使用されます。

• containerImage:（省略可）。テンプレート化されたセッションに使用するカスタム コンテナ イメージ。

• properties:（省略可）。セッション プロパティ名と値のマッピング。Spark プロパティをご覧ください。

• serviceAccount:（省略可）。テンプレート化されたセッションの実行に使用するサービス アカウント。指定しない場合、Compute Engine のデフォルトのサービス アカウントが使用されます。

• subnetworkUri:（省略可）。セッション リージョンのサブネットの名前。指定しない場合、Dataproc Serverless はセッション リージョンの default サブネットを使用します。Dataproc Serverless は、サブネットで限定公開の Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Dataproc Serverless for Spark のネットワーク構成をご覧ください。