Réglage automatique des charges de travail Spark

Console

Pour activer l'ajustement automatique de Dataproc sans serveur à chaque envoi d'une charge de travail par lot récurrente, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Lots de Dataproc.

   Accéder à la page "Lots" de Dataproc

2. Pour créer une charge de travail par lot, cliquez sur Créer.

3. Dans la section Container (Conteneur), renseignez les champs suivants pour votre charge de travail Spark:

   • Cohort (Cohorte) : nom de la cohorte, qui identifie le lot comme faisant partie d'une série de charges de travail récurrentes. L'ajustement automatique est appliqué au deuxième et aux suivants des charges de travail envoyées avec ce nom de cohorte. Par exemple, spécifiez daily_sales_aggregation comme nom de cohorte pour une charge de travail planifiée qui exécute une tâche d'agrégation des ventes quotidienne.

   • Scénarios de réglage automatique:un ou plusieurs scénarios de réglage automatique à utiliser pour optimiser la charge de travail, par exemple BROADCAST_HASH_JOIN, MEMORY et SCALING. Vous pouvez modifier la sélection du scénario à chaque envoi de cohorte par lot.

4. Renseignez les autres sections de la page Créer un lot si nécessaire, puis cliquez sur Envoyer. Pour en savoir plus sur ces champs, consultez la section Envoyer une charge de travail par lot.

gcloud

Pour activer l'autotuning Dataproc sans serveur à chaque envoi d'une charge de travail par lot récurrente, exécutez la commande gcloud dataproc batches submit de la gcloud CLI en local dans une fenêtre de terminal ou dans Cloud Shell.

gcloud dataproc batches submit COMMAND \
    --region=REGION \
    --cohort=COHORT \
    --autotuning-scenarios=SCENARIOS \
    other arguments ...

Remplacez les éléments suivants :

• COMMAND: type de charge de travail Spark, tel que Spark, PySpark, Spark-Sql ou Spark-R.
• REGION: région dans laquelle votre charge de travail sera exécutée.

• COHORT: nom de la cohorte, qui identifie le lot comme faisant partie d'une série de charges de travail récurrentes. L'ajustement automatique est appliqué à la deuxième charge de travail et aux suivantes envoyées avec ce nom de cohorte. Par exemple, spécifiez daily_sales_aggregation comme nom de cohorte pour une charge de travail planifiée qui exécute une tâche d'agrégation des ventes quotidienne.

• SCENARIOS: un ou plusieurs scénarios d'auto-tuning séparés par une virgule à utiliser pour optimiser la charge de travail, par exemple --autotuning-scenarios=MEMORY,SCALING. Vous pouvez modifier la liste des scénarios à chaque envoi de cohorte par lot.

API

Pour activer l'ajustement automatique de Dataproc sans serveur à chaque envoi d'une charge de travail par lot récurrente, envoyez une requête batches.create qui inclut les champs suivants:

• RuntimeConfig.cohort: nom de la cohorte, qui identifie le lot comme faisant partie d'une série de charges de travail récurrentes. L'ajustement automatique est appliqué au deuxième et aux suivants des charges de travail envoyées avec ce nom de cohorte. Par exemple, spécifiez daily_sales_aggregation comme nom de cohorte pour une charge de travail planifiée qui exécute une tâche d'agrégation des ventes quotidienne.
• AutotuningConfig.scenarios: un ou plusieurs scénarios d'auto-tuning à utiliser pour optimiser la charge de travail, par exemple BROADCAST_HASH_JOIN, MEMORY et SCALING. Vous pouvez modifier la liste des scénarios à chaque envoi de cohorte par lot.

Exemple :

...
runtimeConfig:
  cohort: daily_sales_aggregation
  autotuningConfig:
    scenarios:
    - BROADCAST_HASH_JOIN
    - MEMORY
    - SCALING
...

Java

Avant d'essayer cet exemple, suivez les instructions de configuration pour Java du guide de démarrage rapide de Dataproc sans serveur à l'aide des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Java Dataproc sans serveur.

Pour vous authentifier auprès de Dataproc sans serveur, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.

Pour activer l'ajustement automatique de Dataproc sans serveur à chaque envoi d'une charge de travail par lot récurrente, appelez BatchControllerClient.createBatch avec une CreateBatchRequest qui inclut les champs suivants:

• Batch.RuntimeConfig.cohort: nom de la cohorte, qui identifie le lot comme faisant partie d'une série de charges de travail récurrentes. L'ajustement automatique est appliqué au deuxième et aux suivants des charges de travail envoyées avec ce nom de cohorte. Par exemple, vous pouvez spécifier daily_sales_aggregation comme nom de cohorte pour une charge de travail planifiée qui exécute une tâche d'agrégation des ventes quotidienne.
• Batch.RuntimeConfig.AutotuningConfig.scenarios: un ou plusieurs scénarios d'auto-tuning à utiliser pour optimiser la charge de travail, par exemple BROADCAST_HASH_JOIN, MEMORY ou SCALING. Vous pouvez modifier la liste des scénarios à chaque envoi de cohorte par lot. Pour obtenir la liste complète des scénarios, consultez la documentation Javadoc AutotuningConfig.Scenario.

Exemple :

...
Batch batch =
  Batch.newBuilder()
    .setRuntimeConfig(
      RuntimeConfig.newBuilder()
        .setCohort("daily_sales_aggregation")
        .setAutotuningConfig(
          AutotuningConfig.newBuilder()
            .addScenarios(Scenario.SCALING))
    ...
  .build();

batchControllerClient.createBatch(
    CreateBatchRequest.newBuilder()
        .setParent(parent)
        .setBatchId(batchId)
        .setBatch(batch)
        .build());
...

Pour utiliser l'API, vous devez utiliser la version 4.43.0 ou ultérieure de la bibliothèque cliente google-cloud-dataproc. Vous pouvez utiliser l'une des configurations suivantes pour ajouter la bibliothèque à votre projet.

Maven

<dependencies>
 <dependency>
   <groupId>com.google.cloud</groupId>
   <artifactId>google-cloud-dataproc</artifactId>
   <version>4.43.0</version>
 </dependency>
</dependencies>

Gradle

implementation 'com.google.cloud:google-cloud-dataproc:4.43.0'

SBT

libraryDependencies += "com.google.cloud" % "google-cloud-dataproc" % "4.43.0"

Python

Avant d'essayer cet exemple, suivez les instructions de configuration pour Python du guide de démarrage rapide de Dataproc sans serveur à l'aide des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Python Dataproc sans serveur.

Pour vous authentifier auprès de Dataproc sans serveur, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.

Pour activer l'ajustement automatique de Dataproc sans serveur à chaque envoi d'une charge de travail par lot récurrente, appelez BatchControllerClient.create_batch avec un Batch qui inclut les champs suivants:

• batch.runtime_config.cohort: nom de la cohorte, qui identifie le lot comme faisant partie d'une série de charges de travail récurrentes. L'ajustement automatique est appliqué au deuxième et aux suivants des charges de travail envoyées avec ce nom de cohorte. Par exemple, vous pouvez spécifier daily_sales_aggregation comme nom de cohorte pour une charge de travail planifiée qui exécute une tâche d'agrégation des ventes quotidienne.
• batch.runtime_config.autotuning_config.scenarios: un ou plusieurs scénarios d'auto-tuning à utiliser pour optimiser la charge de travail, par exemple BROADCAST_HASH_JOIN, MEMORY ou SCALING. Vous pouvez modifier la liste des scénarios à chaque envoi de cohorte par lot. Pour obtenir la liste complète des scénarios, consultez la documentation de référence sur les scénarios.

Exemple :

# Create a client
client = dataproc_v1.BatchControllerClient()

# Initialize request argument(s)
batch = dataproc_v1.Batch()
batch.pyspark_batch.main_python_file_uri = "gs://bucket/run_tpcds.py"
batch.runtime_config.cohort = "daily_sales_aggregation"
batch.runtime_config.autotuning_config.scenarios = [
    Scenario.SCALING
]

request = dataproc_v1.CreateBatchRequest(
    parent="parent_value",
    batch=batch,
)

# Make the request
operation = client.create_batch(request=request)

Pour utiliser l'API, vous devez utiliser la version 5.10.1 ou ultérieure de la bibliothèque cliente google-cloud-dataproc. Pour l'ajouter à votre projet, vous pouvez utiliser l'exigence suivante:

google-cloud-dataproc>=5.10.1

Airflow

Pour activer l'ajustement automatique de Dataproc sans serveur à chaque envoi d'une charge de travail par lot récurrente, appelez BatchControllerClient.create_batch avec un Batch qui inclut les champs suivants:

• batch.runtime_config.cohort: nom de la cohorte, qui identifie le lot comme faisant partie d'une série de charges de travail récurrentes. L'ajustement automatique est appliqué au deuxième et aux suivants des charges de travail envoyées avec ce nom de cohorte. Par exemple, vous pouvez spécifier daily_sales_aggregation comme nom de cohorte pour une charge de travail planifiée qui exécute une tâche d'agrégation des ventes quotidienne.
• batch.runtime_config.autotuning_config.scenarios: un ou plusieurs scénarios d'auto-tuning à utiliser pour optimiser la charge de travail, par exemple BROADCAST_HASH_JOIN, MEMORY,SCALING. Vous pouvez modifier la liste des scénarios à chaque envoi de cohorte par lot. Pour obtenir la liste complète des scénarios, consultez la documentation de référence sur les scénarios.

Exemple :

create_batch = DataprocCreateBatchOperator(
    task_id="batch_create",
    batch={
        "pyspark_batch": {
            "main_python_file_uri": PYTHON_FILE_LOCATION,
        },
        "environment_config": {
            "peripherals_config": {
                "spark_history_server_config": {
                    "dataproc_cluster": PHS_CLUSTER_PATH,
                },
            },
        },
        "runtime_config": {
            "cohort": "daily_sales_aggregation",
            "autotuning_config": {
                "scenarios": [
                    Scenario.SCALING,
                ]
            }
        },
    },
    batch_id="BATCH_ID",
)

Pour utiliser l'API, vous devez utiliser la version 5.10.1 ou ultérieure de la bibliothèque cliente google-cloud-dataproc. Vous pouvez utiliser l'exigence d'environnement Airflow suivante:

google-cloud-dataproc>=5.10.1

Pour mettre à jour le package dans Cloud Composer, consultez la section Installer des dépendances Python pour Cloud Composer .