Dataproc カスタムイメージを作成する

プリインストールされたパッケージを含むカスタムイメージを使用して Dataproc クラスタを作成できます。このページでは、カスタムイメージを作成して Dataproc クラスタにインストールする方法について説明します。

使用上の検討事項と制限事項

カスタムイメージの存続期間: クラスタが最新のサービス更新とバグ修正を確実に受け取れるようにするために、カスタムイメージを使用したクラスタの作成は、カスタムイメージの作成日から 365 日以内に制限されています。カスタムイメージを使用して作成された既存のクラスタは無期限に実行できます。

365 日を超える期間に特定のカスタムイメージを使用してクラスタを作成する場合は、自動化が必要になる場合があります。詳細については、期限切れのカスタムイメージを使用してクラスタを作成する方法をご覧ください。
Linux のみ: このドキュメントの説明は、Linux オペレーティングシステムにのみ適用されます。その他のオペレーティングシステムは、今後の Dataproc リリースでサポートされる可能性があります。
サポートされているベースイメージ: カスタムイメージのビルドは、Dataproc ベースイメージから開始する必要があります。サポートされているベースイメージは、Debian、Rocky Linux、Ubuntu です。
- ベースイメージの可用性: Dataproc リリースノートで通知された新しいイメージは、通知日から 1 週間経過するまで、カスタムイメージのベースとして使用できません。
オプションコンポーネントの使用: デフォルトでは、カスタムイメージはすべての Dataproc オプションコンポーネント（OS パッケージと構成）をベースイメージから継承します。デフォルトの OS パッケージのバージョンと構成はカスタマイズできますが、クラスタの作成時にオプションコンポーネント名を指定する必要があります。

クラスタ作成コマンドの例:
```
gcloud dataproc clusters create --optional-components=COMPONENT_NAME \
    --image=CUSTOM_IMAGE_URI  \
     ... other flags
```
クラスタを作成する際にコンポーネント名を指定しない場合、オプションコンポーネント（カスタムの OS パッケージと構成を含む）は削除されます。
ホストされているカスタムイメージの使用: 別のプロジェクトでホストされているカスタムイメージを使用する場合、プロジェクトの Dataproc サービスエージェントサービスアカウントにホストプロジェクトのイメージに対する compute.images.get 権限が必要です。この権限を付与するには、ホストされているイメージに対する roles/compute.imageUser ロールをプロジェクトの Dataproc サービスエージェントサービスアカウントに付与します（組織内でカスタムイメージを共有するを参照）。
セキュアブート MOK（マシン所有者キー）シークレットの使用: Dataproc カスタムイメージでセキュアブートを有効にするには、次の操作を行います。
1. Secret Manager API（secretmanager.googleapis.com）を有効にします。Dataproc では、鍵ペアの生成と管理に Secret Manager サービスを使用します。
2. カスタムイメージを生成するときに、generate_custom_image.py コマンドに --service-account="SERVICE_ACCOUNT" フラグを追加します。注: サービスアカウントに、プロジェクトに対する Secret Manager 閲覧者ロール（roles/secretmanager.viewer）と公開および非公開のシークレットに対する Secret Manager アクセサーロール（roles/secretmanager.secretAccessor）を付与する必要があります。
  
  例を含む詳細については、GitHub の GoogleCloudDataproc/custom-images リポジトリの examples/secure-boot ディレクトリにある README.md などのファイルをご覧ください。
  
  セキュアブートを無効にする方法: デフォルトでは、Dataproc カスタムイメージスクリプトを Dataproc クラスタから実行するとき、鍵ペアの生成と管理に Secret Manager が使用されます。カスタムイメージでセキュアブートを使用しない場合は、カスタムイメージを生成するときに、generate_custom_image.py コマンドに --trusted-cert=""（空のフラグ値）を含めます。

始める前に

カスタムイメージを生成する前に、プロジェクトを設定してください。

プロジェクトを設定する

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Dataproc API, Compute Engine API, and Cloud Storage APIs.

Enable the APIs

Install the Google Cloud CLI.

If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

To initialize the gcloud CLI, run the following command:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Dataproc API, Compute Engine API, and Cloud Storage APIs.

Enable the APIs

Install the Google Cloud CLI.

If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

To initialize the gcloud CLI, run the following command:

gcloud init

Python 3.11+ をインストールします。
カスタムパッケージのインストールまたは構成の更新を行うカスタマイズスクリプトを準備します。たとえば、次のようにします。
```
  #! /usr/bin/bash
  apt-get -y update
  apt-get install python-dev
  apt-get install python-pip
  pip install numpy
  
```

プロジェクトに Cloud Storage バケットを作成する

In the Google Cloud console, go to the Cloud Storage Buckets page.
Go to Buckets
Click Create.
On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
1. In the Get started section, do the following:
  - Enter a globally unique name that meets the bucket naming requirements.
  - To add a bucket label, expand the Labels section (), click Add label, and specify a key and a value for your label.
2. In the Choose where to store your data section, do the following:
  1. Select a Location type.
  2. Choose a location where your bucket's data is permanently stored from the Location type drop-down menu.
    - If you select the dual-region location type, you can also choose to enable turbo replication by using the relevant checkbox.
  3. To set up cross-bucket replication, select Add cross-bucket replication via Storage Transfer Service and follow these steps:
    Set up cross-bucket replication
    
    In the Bucket menu, select a bucket.
    
    In the Replication settings section, click Configure to configure settings for the replication job.
    
    The Configure cross-bucket replication pane appears.
    
    To filter objects to replicate by object name prefix, enter a prefix that you want to include or exclude objects from, then click Add a prefix.
    
    To set a storage class for the replicated objects, select a storage class from the Storage class menu. If you skip this step, the replicated objects will use the destination bucket's storage class by default.
    
    Click Done.
3. In the Choose how to store your data section, do the following:
  1. Select a default storage class for the bucket or Autoclass for automatic storage class management of your bucket's data.
  2. To enable hierarchical namespace, in the Optimize storage for data-intensive workloads section, select Enable hierarchical namespace on this bucket.
    Note: You cannot enable hierarchical namespace in existing buckets.
4. In the Choose how to control access to objects section, select whether or not your bucket enforces public access prevention, and select an access control method for your bucket's objects.
  Note: You cannot change the Prevent public access setting if this setting is enforced at an organization policy.
5. In the Choose how to protect object data section, do the following:
  - Select any of the options under Data protection that you want to set for your bucket.
    - To enable soft delete, click the Soft delete policy (For data recovery) checkbox, and specify the number of days you want to retain objects after deletion.
    - To set Object Versioning, click the Object versioning (For version control) checkbox, and specify the maximum number of versions per object and the number of days after which the noncurrent versions expire.
    - To enable the retention policy on objects and buckets, click the Retention (For compliance) checkbox, and then do the following:
      - To enable Object Retention Lock, click the Enable object retention checkbox.
      - To enable Bucket Lock, click the Set bucket retention policy checkbox, and choose a unit of time and a length of time for your retention period.
  - To choose how your object data will be encrypted, expand the Data encryption section (), and select a Data encryption method.
Click Create.

カスタムイメージを生成する

Python プログラムの generate_custom_image.py を使用して、Dataproc カスタムイメージを作成します。

仕組み

generate_custom_image.py プログラムは、指定された Dataproc ベースイメージを使用して一時的な Compute Engine VM インスタンスを起動し、VM インスタンス内でカスタマイズスクリプトを実行して、カスタムパッケージのインストールと構成の更新を行います。カスタマイズスクリプトが完了すると、VM インスタンスがシャットダウンされ、VM インスタンスのディスクから Dataproc カスタムイメージが作成されます。一時的な VM は、カスタムイメージの作成後に削除されます。カスタムイメージは保存され、Dataproc クラスタを作成するために使用できます。

generate_custom_image.py プログラムは、gcloud CLI を使用して Compute Engine で複数ステップのワークフローを実行します。

コードの実行

GitHub の Dataproc カスタムイメージで、ファイルをフォークまたはクローンします。

次に、generate_custom_image.py プログラムを実行し、Dataproc でカスタムイメージを生成して保存します。

python3 generate_custom_image.py \
    --image-name=CUSTOM_IMAGE_NAME \
    [--family=CUSTOM_IMAGE_FAMILY_NAME] \
    --dataproc-version=IMAGE_VERSION \
    --customization-script=LOCAL_PATH \
    --zone=ZONE \
    --gcs-bucket=gs://BUCKET_NAME \
    [--no-smoke-test]

必須フラグ

--image-name: カスタムイメージの出力名。注: イメージ名は、正規表現 [a-z](?:[-a-z0-9]{0,61}[a-z0-9]) と一致する必要があります。アンダースコアやスペースは使用できません。また、63 文字以下にする必要があります。
--dataproc-version: カスタムイメージで使用する Dataproc イメージバージョン。バージョンは x.y.z-os または x.y.z-rc-os の形式で指定します（例: 2.0.69-debian10）。
カスタムイメージの制限: Dataproc リリースノートで通知された新しいイメージは、通知日から 1 週間経過するまで、カスタムイメージのベースとして使用できません。
--customization-script: ツールを実行したときに、カスタムパッケージのインストールや、その他のカスタマイズが行われるスクリプトのローカルパス。このスクリプトは、カスタムイメージの作成に使用される一時的な VM でのみ、Linux 起動スクリプトとして実行されます。カスタムイメージを使用してクラスタを作成するときに実行するその他の初期化アクションには、異なる初期化スクリプトを指定できます。

プロジェクト間のイメージ: カスタムイメージを使用して異なるプロジェクトにクラスタを作成すると、イメージ内に保存されている gcloud コマンドまたは gsutil コマンドのキャッシュが原因でエラーが発生することがあります。この問題を回避するには、カスタマイズスクリプトに次のコマンドを含めて、キャッシュに保存された認証情報を消去します。
```
rm -r /root/.gsutil /root/.config/gcloud
```
--zone: Compute Engine ゾーン。generate_custom_image.py は、カスタムイメージを作成するために使用する一時的な VM をこのゾーンに作成します。
--gcs-bucket: Cloud Storage バケットを指す gs://BUCKET_NAME 形式の URI。generate_custom_image.py は、このバケットにログファイルを書き込みます。

オプションフラグ

--family: カスタムイメージのイメージファミリー。イメージファミリーは、類似したイメージをグループ化するために使用されます。クラスタを作成するときに、ファミリー内の最新イメージへのポインタとして使用できます。例: custom-2-2-debian12
--no-smoke-test: 新しくビルドされたカスタムイメージのスモークテストを無効にするオプションフラグ。スモークテストでは、新しく作成されたイメージを使用して Dataproc のテストクラスタが作成され、小さいジョブが実行され、テストの終了時にクラスタが削除されます。スモークテストは、新しく作成されたカスタムイメージによって正常に機能する Dataproc クラスタを作成できることを検証するために、デフォルトで実行されます。--no-smoke-test フラグを使用すると、この手順を無効にできます。無効にすると、カスタムイメージのビルドプロセスは速くなりますが、おすすめしません。
--subnet: カスタム Dataproc イメージをビルドする VM の作成に使用するサブネットワーク。プロジェクトが共有 VPC の一部である場合、完全なサブネットワーク URL を projects/HOST_PROJECT_ID/regions/REGION/subnetworks/SUBNET の形式で指定する必要があります。

追加のオプションフラグのリストについては、GithHub のオプションの引数をご覧ください。

generate_custom_image.py が正常に実行されると、カスタムイメージの imageURI がターミナルウィンドウの出力に表示されます（完全な imageUri が太字で示されています）。

...
managedCluster:
    clusterName: verify-image-20180614213641-8308a4cd
    config:
      gceClusterConfig:
        zoneUri: ZONE
      masterConfig:
        imageUri: https://www.googleapis.com/compute/beta/projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME
...

INFO:__main__:Successfully built Dataproc custom image: CUSTOM_IMAGE_NAME
INFO:__main__:

#####################################################################
  WARNING: DATAPROC CUSTOM IMAGE 'CUSTOM_IMAGE_NAME'
           WILL EXPIRE ON 2018-07-14 21:35:44.133000.
#####################################################################

カスタムイメージバージョンラベル（高度な使い方）

Dataproc の標準カスタムイメージツールを使用する場合、このツールによって、作成されたカスタムイメージに goog-dataproc-version ラベルが設定されます。このラベルは、Dataproc でイメージ上のソフトウェアを管理するために使用される機能と能力を反映しています。

高度な使い方: 独自のプロセスを使用してカスタム Dataproc イメージを作成する場合は、次のようにカスタムイメージに goog-dataproc-version ラベルを手動で追加する必要があります。

カスタムイメージの作成に使用されるベース Dataproc イメージから goog-dataproc-version ラベルを抽出します。

gcloud compute images describe ${BASE_DATAPROC_IMAGE} \
    --project cloud-dataproc \
    --format="value(labels.goog-dataproc-version)"

カスタムイメージにラベルを設定します。

gcloud compute images add-labels IMAGE_NAME --labels=[KEY=VALUE,...]

カスタムイメージを使用する

Dataproc クラスタを作成するときに、カスタムイメージを指定します。カスタムイメージは Cloud Compute イメージに保存され、作成日から 60 日間、Cloud Dataproc クラスタの作成に利用できます（60 日間の有効期限後にカスタムイメージを使用する方法については、期限切れのカスタムイメージを使用してクラスタを作成する方法をご覧ください）。

カスタムイメージの URI

カスタムイメージの imageUri をクラスタ作成オペレーションに渡します。この URI は、次の 3 つのいずれかの方法で指定できます。

完全 URI:
https://www.googleapis.com/compute/beta/projects/PROJECT_ID/global/images/`gs://`BUCKET_NAME`
部分 URI: projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME
略称: CUSTOM_IMAGE_NAME

カスタムイメージは、ファミリー URI で指定することもできます。これにより、イメージファミリー内の最新イメージが常に選択されます。

完全 URI:
https://www.googleapis.com/compute/beta/projects/PROJECT_ID/global/images/family/CUSTOM_IMAGE_FAMILY_NAME/var>
部分 URI: projects/PROJECT_ID/global/images/family/CUSTOM_IMAGE_FAMILY_NAME

カスタムイメージ URI の確認方法

Google Cloud CLI

次のコマンドを実行して、カスタムイメージの名前を一覧表示します。

gcloud compute images list

カスタムイメージの名前を次のコマンドに渡し、カスタムイメージの URI（selfLink）を一覧表示します。

gcloud compute images describe custom-image-name

出力スニペット:

...
name: CUSTOM_IMAGE_NAME
selfLink: https://www.googleapis.com/compute/v1/projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME
...

コンソール

Google Cloud コンソールで [Compute Engine] → [イメージ] ページを開き、イメージ名をクリックします。[filter images] フィールドにクエリを挿入して、表示されるイメージの数を制限できます。
[イメージの詳細] ページが開きます。[同等の REST] をクリックします。
REST レスポンスに、イメージの URI である selfLink など、イメージに関する詳細情報が一覧表示されます。
```
{
  ...
  "name": "my-custom-image",
  "selfLink": "projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME",
  "sourceDisk": ...,
  ...
}
```

カスタムイメージを使用してクラスタを作成する

gcloud CLI、Dataproc API、 Google Cloud コンソールを使用して、カスタムイメージを使用するマスターノードとワーカーノードからなるクラスタを作成します。

gcloud CLI

--image フラグを指定した dataproc clusters create コマンドを使用して、カスタムイメージで Dataproc クラスタを作成します。

例:

gcloud dataproc clusters create CLUSTER-NAME \
    --image=CUSTOM_IMAGE_URI \
    --region=REGION \
    ... other flags ...

REST API

カスタムイメージを使用してクラスタを作成するには、cluster.create API リクエストに含まれる masterConfig、workerConfig、および該当する場合は secondaryWorkerConfig の各オブジェクトの InstanceGroupConfig.imageUri フィールドにカスタムイメージの URI を指定します。

例: カスタムイメージで標準の Dataproc クラスタ（1 つのマスターノード、2 つのワーカーノード）を作成するための REST リクエスト。

POST /v1/projects/PROJECT_ID/regions/REGION/clusters/
{
  "clusterName": "CLUSTER_NAME",
  "config": {
    "masterConfig": {
      "imageUri": "projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME"
    },
    "workerConfig": {
      "imageUri": "projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME"
    }
  }
}

コンソール

Dataproc の [クラスタの作成] ページを開きます。[クラスタの設定] パネルが選択されています。
[バージョニング] セクションで [変更] をクリックします。[カスタムイメージ] タブを選択し、Dataproc クラスタに使用するカスタムイメージを選択して、[選択] をクリックします。選択したカスタムイメージを使用してクラスタの VM がプロビジョニングされます。

カスタムイメージを使用して Dataproc クラスタプロパティをオーバーライドする

カスタムイメージを使用して、クラスタの作成時に設定されたクラスタプロパティを上書きできます。カスタムイメージを使用してクラスタを作成するとき、クラスタ作成オペレーションでカスタムイメージによって設定された値とは異なるプロパティ値が設定される場合、カスタムイメージによって設定されたプロパティ値が優先されます。

カスタムイメージを使用してクラスタプロパティを設定するには:

カスタムイメージのカスタマイズスクリプトで、/etc/google-dataproc に dataproc.custom.properties ファイルを作成し、そのファイルでクラスタのプロパティ値を設定します。
- dataproc.custom.properties ファイルの例:
```
dataproc.conscrypt.provider.enable=VALUE
dataproc.logging.stackdriver.enable=VALUE
```
- 2 つのクラスタプロパティをオーバーライドするためのカスタマイズスクリプトファイル作成スニペットの例:
```
cat <<EOF >/etc/google-dataproc/dataproc.custom.properties
dataproc.conscrypt.provider.enable=true
dataproc.logging.stackdriver.enable=false
EOF
```

期限切れのカスタムイメージを使用してクラスタを作成する方法

デフォルトで、カスタムイメージはイメージの作成日から 365 日後に期限切れになります。次の手順に従って、期限切れのカスタムイメージを使用するクラスタを作成できます。

期限切れのカスタムイメージ、または 10 日以内に期限切れになるカスタムイメージを使用して、Dataproc クラスタの作成を試みます。
```
gcloud dataproc clusters create CLUSTER-NAME \
    --image=CUSTOM-IMAGE-NAME \
    --region=REGION \
    ... other flags ...
```
gcloud CLI によって、クラスタのプロパティ名とトークン値 dataproc:dataproc.custom.image.expiration.token を含むエラーメッセージが発行されます。

dataproc:dataproc.custom.image.expiration.token=TOKEN_VALUE

TOKEN_VALUE 文字列をクリップボードにコピーします。

gcloud CLI を使用して、コピーした TOKEN_VALUE をクラスタのプロパティとして追加し、Dataproc クラスタをもう一度作成します。

gcloud dataproc clusters create CLUSTER-NAME \
    --image=CUSTOM-IMAGE-NAME \
    --properties=dataproc:dataproc.custom.image.expiration.token=TOKEN_VALUE \
    --region=REGION \
    ... other flags ...

これで、このカスタムイメージを使用してクラスタを作成できます。

Dataproc カスタム イメージを作成する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

使用上の検討事項と制限事項

始める前に

プロジェクトを設定する

プロジェクトに Cloud Storage バケットを作成する

Set up cross-bucket replication

カスタム イメージを生成する

仕組み

コードの実行

カスタム イメージ バージョン ラベル（高度な使い方）

カスタム イメージを使用する

カスタム イメージの URI

カスタム イメージ URI の確認方法

Google Cloud CLI

コンソール

カスタム イメージを使用してクラスタを作成する

gcloud CLI

REST API

コンソール

カスタム イメージを使用して Dataproc クラスタ プロパティをオーバーライドする

期限切れのカスタム イメージを使用してクラスタを作成する方法

Dataproc カスタムイメージを作成する

カスタムイメージを生成する

カスタムイメージバージョンラベル（高度な使い方）

カスタムイメージを使用する

カスタムイメージの URI

カスタムイメージ URI の確認方法

カスタムイメージを使用してクラスタを作成する

カスタムイメージを使用して Dataproc クラスタプロパティをオーバーライドする

期限切れのカスタムイメージを使用してクラスタを作成する方法