Créer une image Dataproc personnalisée

Vous pouvez créer un cluster Dataproc avec une image personnalisée incluant vos packages préinstallés. Cette page explique comment créer une image personnalisée et l'installer sur un cluster Dataproc.

Remarques et limites concernant l'utilisation

• Durée de vie de l'image personnalisée:pour que les clusters reçoivent les dernières mises à jour de service et corrections de bugs, la création de clusters avec une image personnalisée est limitée à 365 jours à compter de la date de création de l'image personnalisée. Notez que les clusters existants créés avec une image personnalisée peuvent s'exécuter indéfiniment.

  Vous devrez peut-être utiliser l'automatisation si vous souhaitez créer des clusters avec une image personnalisée spécifique pendant une période de plus de 365 jours. Pour en savoir plus, consultez la section Créer un cluster avec une image personnalisée arrivée à expiration.

• Linux uniquement:les instructions de ce document ne s'appliquent qu'aux systèmes d'exploitation Linux. D'autres systèmes d'exploitation pourraient être compatibles dans les prochaines releases de Dataproc.

• Images de base compatibles:les compilations d'images personnalisées doivent commencer à partir d'une image de base Dataproc. Les images de base suivantes sont compatibles : Debian, Rocky Linux et Ubuntu.

  • Disponibilité des images de base:les nouvelles images annoncées dans les notes de version Dataproc ne sont disponibles en tant que base pour les images personnalisées qu'une semaine avant leur date d'annonce.

• Utiliser des composants facultatifs:par défaut, les images personnalisées héritent de tous les composants facultatifs Dataproc (paquets et configurations d'OS) de leurs images de base. Vous pouvez personnaliser les versions et les configurations de paquets d'OS par défaut, mais vous devez spécifier le nom du composant facultatif lorsque vous créez votre cluster.

  Exemple de commande de création de cluster:

  gcloud dataproc clusters create --optional-components=COMPONENT_NAME \
      --image=CUSTOM_IMAGE_URI  \
       ... other flags
  

  Si le nom du composant facultatif n'est pas spécifié lors de la création du cluster, il sera supprimé, y compris les packages et configurations d'OS personnalisés.

• Utiliser des images personnalisées hébergées:si vous utilisez une image personnalisée hébergée dans un autre projet, le compte de service de l'agent de service Dataproc dans votre projet doit disposer de l'autorisation compute.images.get sur l'image du projet hôte. Pour ce faire, attribuez le rôle roles/compute.imageUser sur l'image hébergée au compte de service de l'agent de service Dataproc de votre projet (consultez la section Partager des images personnalisées au sein d'une organisation).

• Utiliser des secrets de clé propriétaire de machine (MOK) pour le démarrage sécurisé:pour activer le démarrage sécurisé avec votre image personnalisée Dataproc, procédez comme suit:

  1. Activez l'API Secret Manager (secretmanager.googleapis.com). Dataproc génère et gère une paire de clés à l'aide du service Secret Manager.

  2. Ajoutez l'option --service-account="SERVICE_ACCOUNT" à la commande generate_custom_image.py lorsque vous générez une image personnalisée. Remarque: Vous devez attribuer au compte de service le rôle "Lecteur de Secret Manager" (roles/secretmanager.viewer) sur le projet et le rôle "Accesseur de Secret Manager" (roles/secretmanager.secretAccessor) sur les secrets publics et privés.

     Pour en savoir plus avec des exemples, consultez README.md et les autres fichiers dans le répertoire examples/secure-boot du dépôt GoogleCloudDataproc/custom-images sur GitHub.

     Pour désactiver le démarrage sécurisé:par défaut, les scripts d'image personnalisée Dataproc génèrent et gèrent une paire de clés à l'aide de Secret Manager lorsqu'ils sont exécutés à partir d'un cluster Dataproc. Si vous ne souhaitez pas utiliser le démarrage sécurisé avec votre image personnalisée, incluez --trusted-cert="" (valeur d'indicateur vide) à la commande generate_custom_image.py lorsque vous générez votre image personnalisée.

Avant de commencer

Veillez à configurer votre projet avant de générer votre image personnalisée.

Configurer votre projet

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataproc API, Compute Engine API, and Cloud Storage APIs.

   Enable the APIs

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the Dataproc API, Compute Engine API, and Cloud Storage APIs.

   Enable the APIs

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

12. Installez Python 3.11 ou version ultérieure
13. Préparez un script de personnalisation qui installe des packages personnalisés et/ou met à jour les configurations, par exemple :

      #! /usr/bin/bash
      apt-get -y update
      apt-get install python-dev
      apt-get install python-pip
      pip install numpy
      

Créer un bucket Cloud Storage dans votre projet

1. In the Google Cloud console, go to the Cloud Storage Buckets page.

   Go to Buckets page

2. Click Create bucket.
3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
   • For Name your bucket, enter a name that meets the bucket naming requirements.
   • For Choose where to store your data, do the following:
     • Select a Location type option.
     • Select a Location option.
   • For Choose a default storage class for your data, select a storage class.
   • For Choose how to control access to objects, select an Access control option.
   • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
4. Click Create.

Générer une image personnalisée

Pour créer une image personnalisée Dataproc, vous allez utiliser generate_custom_image.py, un programme Python.

Fonctionnement

Le programme generate_custom_image.py lance une instance de VM Compute Engine temporaire avec l'image de base Dataproc spécifiée, puis exécute le script de personnalisation dans l'instance de VM pour installer des packages personnalisés et/ou mettre à jour les configurations. Une fois le script de personnalisation terminé, il arrête l'instance de VM et crée une image Dataproc personnalisée à partir du disque de l'instance de VM. La VM temporaire est supprimée après la création de l'image personnalisée. L'image personnalisée est enregistrée et peut être utilisée pour créer des clusters Dataproc.

Le programme generate_custom_image.py utilise gcloud CLI pour exécuter des workflows en plusieurs étapes sur Compute Engine.

Exécuter le code

Divisez ou clonez les fichiers sur GitHub dans Images personnalisées Dataproc.

Exécutez ensuite le script generate_custom_image.py pour que Dataproc génère et enregistre votre image personnalisée.

python3 generate_custom_image.py \
    --image-name=CUSTOM_IMAGE_NAME \
    [--family=CUSTOM_IMAGE_FAMILY_NAME] \
    --dataproc-version=IMAGE_VERSION \
    --customization-script=LOCAL_PATH \
    --zone=ZONE \
    --gcs-bucket=gs://BUCKET_NAME \
    [--no-smoke-test]

Indicateurs requis

• --image-name : nom de sortie de votre image personnalisée. Remarque:Le nom de l'image doit correspondre à l'expression régulière [a-z](?:[-a-z0-9]{0,61}[a-z0-9]), sans traits de soulignement ni espaces, et comporter moins de 64 caractères.

• --dataproc-version: version de l'image Dataproc à utiliser dans votre image personnalisée. Spécifiez la version au format x.y.z-os ou x.y.z-rc-os, par exemple "2.0.69-debian10".

• --customization-script: chemin d'accès local au script que l'outil exécutera pour installer vos packages personnalisés ou effectuer d'autres personnalisations. Ce script est exécuté en tant que script de démarrage Linux uniquement sur la VM temporaire utilisée pour créer l'image personnalisée. Vous pouvez spécifier un script d'initialisation différent pour les autres actions d'initialisation que vous souhaitez effectuer lorsque vous créez un cluster avec votre image personnalisée.

  Images multiprojets:si votre image personnalisée est utilisée pour créer des clusters dans différents projets, une erreur peut se produire en raison du cache de commande gcloud ou gsutil stocké dans l'image. Pour éviter ce problème, incluez la commande suivante dans votre script de personnalisation afin d'effacer les identifiants mis en cache.

  rm -r /root/.gsutil /root/.config/gcloud
  

• --zone: zone Compute Engine où generate_custom_image.py va créer une VM temporaire à utiliser pour créer votre image personnalisée.

• --gcs-bucket: URI, au format gs://BUCKET_NAME, qui pointe vers votre bucket Cloud Storage. generate_custom_image.py écrit des fichiers journaux dans ce bucket.

Indicateurs facultatifs

• --family: famille de l'image personnalisée. Les familles d'images permettent de regrouper des images similaires et peuvent être utilisées lors de la création d'un cluster en tant que pointeur vers l'image la plus récente de la famille. Exemple :custom-2-2-debian12
• --no-smoke-test : option facultative qui désactive le test de confiance de l'image personnalisée nouvellement créée. Le test de confiance crée un cluster de test Dataproc avec l'image nouvellement créée, exécute une petite tâche, puis supprime le cluster à la fin du test. Le test de confiance s'exécute par défaut pour vérifier que l'image personnalisée nouvellement créée est en mesure de créer un cluster Dataproc fonctionnel. La désactivation de cette étape à l'aide de l'option --no-smoke-test accélère le processus de création d'image personnalisée, mais son utilisation n'est pas recommandée.
• --subnet: sous-réseau à utiliser pour créer la VM qui crée l'image Dataproc personnalisée. Si votre projet fait partie d'un VPC partagé, vous devez spécifier l'URL complète du sous-réseau au format suivant: projects/HOST_PROJECT_ID/regions/REGION/subnetworks/SUBNET.

Pour obtenir la liste des options facultatives supplémentaires, consultez la section Arguments facultatifs sur GitHub.

Si generate_custom_image.py aboutit, le imageURI de l'image personnalisée s'affiche dans le résultat de la fenêtre du terminal (le imageUri complet est affiché en gras ci-dessous):

...
managedCluster:
    clusterName: verify-image-20180614213641-8308a4cd
    config:
      gceClusterConfig:
        zoneUri: ZONE
      masterConfig:
        imageUri: https://www.googleapis.com/compute/beta/projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME
...

INFO:__main__:Successfully built Dataproc custom image: CUSTOM_IMAGE_NAME
INFO:__main__:

#####################################################################
  WARNING: DATAPROC CUSTOM IMAGE 'CUSTOM_IMAGE_NAME'
           WILL EXPIRE ON 2018-07-14 21:35:44.133000.
#####################################################################

Libellés des versions d'images personnalisées (utilisation avancée)

Lorsque vous utilisez l'outil standard de création d'image personnalisée de Dataproc, un libellé goog-dataproc-version est défini sur l'image personnalisée créée. Le libellé reflète les fonctionnalités et les protocoles de la caractéristique utilisés par Dataproc pour gérer le logiciel sur l'image.

Utilisation avancée: si vous utilisez votre propre processus pour créer une image Dataproc personnalisée, vous devez ajouter manuellement le libellé goog-dataproc-version à votre image personnalisée, comme suit:

1. Extrayez le libellé goog-dataproc-version de l'image Dataproc de base utilisée pour créer l'image personnalisée.

   gcloud compute images describe ${BASE_DATAPROC_IMAGE} \
       --project cloud-dataproc \
       --format="value(labels.goog-dataproc-version)"
   

2. Définissez le libellé sur l'image personnalisée.

   gcloud compute images add-labels IMAGE_NAME --labels=[KEY=VALUE,...]
   

Utiliser une image personnalisée

Vous spécifiez l'image personnalisée lorsque vous créez un cluster Dataproc. Une image personnalisée est enregistrée dans les Images Cloud Compute. Elle permet de créer un cluster Dataproc pendant 365 jours à compter de sa date de création (consultez la section Créer un cluster avec une image personnalisée arrivée à expiration si vous souhaitez utiliser une image personnalisée au-delà de cette période de 365 jours).

URI de l'image personnalisée

Vous transmettez l'URI de l'image personnalisée imageUri à l'opération de création de cluster. Cet URI peut être spécifié de l'une des trois manières suivantes :

1. URI complet :
   https://www.googleapis.com/compute/beta/projects/PROJECT_ID/global/images/`gs://`BUCKET_NAME`
2. URI partiel : projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME
3. Nom abrégé : CUSTOM_IMAGE_NAME

Les images personnalisées peuvent également être spécifiées par leur URI de famille, qui choisit toujours l'image la plus récente de la famille d'images.

1. URI complet :
   https://www.googleapis.com/compute/beta/projects/PROJECT_ID/global/images/family/CUSTOM_IMAGE_FAMILY_NAME/var>
2. URI partiel : projects/PROJECT_ID/global/images/family/CUSTOM_IMAGE_FAMILY_NAME

Pour trouver l'URI de l'image personnalisée, procédez comme suit :

gcloud compute images list

gcloud compute images describe custom-image-name

...
name: CUSTOM_IMAGE_NAME
selfLink: https://www.googleapis.com/compute/v1/projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME
...

Créer un cluster avec une image personnalisée

créer un cluster avec des nœuds maîtres et des nœuds de calcul qui utilisent une image personnalisée à l'aide de gcloud CLI, de l'API Dataproc ou de la console Google Cloud ;

gcloud dataproc clusters create CLUSTER-NAME \
    --image=CUSTOM_IMAGE_URI \
    --region=REGION \
    ... other flags ...

POST /v1/projects/PROJECT_ID/regions/REGION/clusters/
{
  "clusterName": "CLUSTER_NAME",
  "config": {
    "masterConfig": {
      "imageUri": "projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME"
    },
    "workerConfig": {
      "imageUri": "projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME"
    }
  }
}
  

Remplacer les propriétés du cluster Dataproc par une image personnalisée

Vous pouvez utiliser des images personnalisées pour écraser les propriétés de cluster définies lors de la création du cluster. Si vous créez un cluster avec une image personnalisée et que l'opération de création de cluster définit des propriétés avec des valeurs différentes de celles définies par votre image personnalisée, les valeurs de propriété définies par votre image personnalisée sont prioritaires.

Pour définir les propriétés de cluster avec votre image personnalisée :

1. Dans votre script de personnalisation d'image personnalisée, créez un fichier dataproc.custom.properties dans /etc/google-dataproc, puis définissez les valeurs de propriété du cluster dans le fichier.

   • Exemple de fichier dataproc.custom.properties :

   dataproc.conscrypt.provider.enable=VALUE
   dataproc.logging.stackdriver.enable=VALUE
   

   • Exemple d'extrait de fichier de création de script de personnalisation pour remplacer deux propriétés de cluster:

   cat <<EOF >/etc/google-dataproc/dataproc.custom.properties
   dataproc.conscrypt.provider.enable=true
   dataproc.logging.stackdriver.enable=false
   EOF
   

Créer un cluster avec une image personnalisée arrivée à expiration

Par défaut, les images personnalisées expirent 365 jours après leur date de création. Pour créer un cluster utilisant une image personnalisée arrivée à expiration, procédez comme suit :

1. Essayez de créer un cluster Dataproc avec une image personnalisée arrivée à expiration ou qui expirera dans les 10 jours.

   gcloud dataproc clusters create CLUSTER-NAME \
       --image=CUSTOM-IMAGE-NAME \
       --region=REGION \
       ... other flags ...
   

2. Gcloud CLI émet un message d'erreur incluant le nom de la propriété dataproc:dataproc.custom.image.expiration.token du cluster et la valeur du jeton.

dataproc:dataproc.custom.image.expiration.token=TOKEN_VALUE

Copiez la chaîne TOKEN_VALUE dans le presse-papiers.

1. Utilisez gcloud CLI pour recréer le cluster Dataproc, en ajoutant le TOKEN_VALUE copié en tant que propriété de cluster.

   gcloud dataproc clusters create CLUSTER-NAME \
       --image=CUSTOM-IMAGE-NAME \
       --properties=dataproc:dataproc.custom.image.expiration.token=TOKEN_VALUE \
       --region=REGION \
       ... other flags ...
   

La création du cluster avec l'image personnalisée devrait réussir.