Como ajustar automaticamente as cargas de trabalho do Spark

Console

Ativar o ajuste automático do Dataproc sem servidor em cada envio de uma carga de trabalho em lote recorrente, siga estas etapas:

1. No console do Google Cloud, acesse a página Lotes do Dataproc.

   Acessar Lotes do Dataproc

2. Para criar uma carga de trabalho em lote, clique em Criar.

3. Na seção Contêiner, preencha campos a seguir para sua carga de trabalho do Spark:

   • Coorte:o nome da coorte, que identifica o lote como uma de uma série de cargas de trabalho recorrentes. O ajuste automático é aplicado à segunda carga de trabalho e às subsequentes enviadas a este nome de coorte. Por exemplo, especifique daily_sales_aggregation como o nome da coorte de uma carga de trabalho programada que executa uma tarefa diária de agregação de vendas.

   • Cenários de ajuste automático: um ou mais cenários de ajuste automático para usar e otimizar a carga de trabalho. Por exemplo, BROADCAST_HASH_JOIN, MEMORY e SCALING. É possível mudar a seleção de cenário a cada envio de coorte em lote.

4. Preencha outras seções da página Criar lote conforme necessário e clique em Envie. Para mais informações sobre esses campos, consulte Enviar uma carga de trabalho em lote.

gcloud

Ativar o ajuste automático do Dataproc sem servidor em cada envio de uma carga de trabalho recorrente em lote, execute a seguinte CLI gcloud gcloud dataproc batches submit localmente em uma janela de terminal ou Cloud Shell:

gcloud dataproc batches submit COMMAND \
    --region=REGION \
    --cohort=COHORT \
    --autotuning-scenarios=SCENARIOS \
    other arguments ...

Substitua:

• COMMAND: o tipo de carga de trabalho do Spark, como Spark, PySpark. Spark-Sql ou Spark-R.
• REGION: o região onde a carga de trabalho será executada.

• COHORT: o nome da coorte, que identifica o lote como uma de uma série de cargas de trabalho recorrentes. O ajuste automático é aplicado à segunda carga de trabalho e às subsequentes enviadas com esse nome de coorte. Por exemplo, especifique daily_sales_aggregation como o nome da coorte de uma carga de trabalho programada que executa uma tarefa diária de agregação de vendas.

• SCENARIOS: uma ou mais opções separadas por vírgula. cenários de ajuste automático a serem usados para otimizar a carga de trabalho, por exemplo, --autotuning-scenarios=MEMORY,SCALING. É possível alterar a lista de cenários a cada envio de coorte em lote.

API

Para ativar o ajuste automático do Dataproc Serverless em cada envio de uma carga de trabalho em lote recorrente, envie uma solicitação batches.create que inclua os seguintes campos:

• RuntimeConfig.cohort: o nome da coorte, que identifica o lote como uma de uma série de cargas de trabalho recorrentes. O ajuste automático é aplicado à segunda carga de trabalho e às subsequentes enviadas a este nome de coorte. Por exemplo, especifique daily_sales_aggregation como o nome da coorte de uma carga de trabalho programada que executa uma tarefa diária de agregação de vendas.
• AutotuningConfig.scenarios: um ou mais cenários de ajuste automático a serem usados para otimizar a carga de trabalho, por exemplo, BROADCAST_HASH_JOIN, MEMORY e SCALING. Você pode mudar a lista de cenários com cada envio de coortes em lote.

Exemplo:

...
runtimeConfig:
  cohort: daily_sales_aggregation
  autotuningConfig:
    scenarios:
    - BROADCAST_HASH_JOIN
    - MEMORY
    - SCALING
...

Java

Antes de testar este exemplo, siga as instruções de configuração do Java na Guia de início rápido do Dataproc sem servidor usando bibliotecas de cliente. Para mais informações, consulte a API Dataproc sem servidor Java documentação de referência.

Para autenticar no Dataproc sem servidor, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

Ativar o ajuste automático do Dataproc sem servidor em cada envio de um lote recorrente carga de trabalho, chame BatchControllerClient.createBatch com um objeto CreateBatchRequest que inclua os seguintes campos:

• Batch.RuntimeConfig.cohort: o nome da coorte, que identifica o lote como uma de uma série de cargas de trabalho recorrentes. O ajuste automático é aplicado à segunda carga de trabalho e às subsequentes enviadas a este nome de coorte. Por exemplo, é possível especificar daily_sales_aggregation como o nome da coorte de uma carga de trabalho programada que executa uma tarefa diária de agregação de vendas.
• Batch.RuntimeConfig.AutotuningConfig.scenarios: um ou mais cenários de ajuste automático a serem usados para otimizar a carga de trabalho, como BROADCAST_HASH_JOIN, MEMORY e SCALING. É possível alterar a lista de cenários a cada envio de coorte em lote. Para acessar a lista completa de cenários, consulte a AutotuningConfig.Scenario Javadoc.

Exemplo:

...
Batch batch =
  Batch.newBuilder()
    .setRuntimeConfig(
      RuntimeConfig.newBuilder()
        .setCohort("daily_sales_aggregation")
        .setAutotuningConfig(
          AutotuningConfig.newBuilder()
            .addScenarios(Scenario.SCALING))
    ...
  .build();

batchControllerClient.createBatch(
    CreateBatchRequest.newBuilder()
        .setParent(parent)
        .setBatchId(batchId)
        .setBatch(batch)
        .build());
...

Para usar a API, utilize a versão 4.43.0 da biblioteca de cliente da google-cloud-dataproc ou mais tarde. Você pode usar uma das seguintes configurações para adicionar a biblioteca ao seu projeto.

Maven

<dependencies>
 <dependency>
   <groupId>com.google.cloud</groupId>
   <artifactId>google-cloud-dataproc</artifactId>
   <version>4.43.0</version>
 </dependency>
</dependencies>

Gradle

implementation 'com.google.cloud:google-cloud-dataproc:4.43.0'

SBT

libraryDependencies += "com.google.cloud" % "google-cloud-dataproc" % "4.43.0"

Python

Antes de testar este exemplo, siga as instruções de configuração do Python na Guia de início rápido do Dataproc sem servidor usando bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Python do Dataproc sem servidor.

Para autenticar no Dataproc sem servidor, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

Ativar o ajuste automático do Dataproc sem servidor em cada envio de um lote recorrente carga de trabalho, chame BatchControllerClient.create_batch usando um Batch que inclua os seguintes campos:

• batch.runtime_config.cohort: o nome da coorte, que identifica o lote como um de uma série de cargas de trabalho recorrentes. O ajuste automático é aplicado à segunda carga de trabalho e às subsequentes enviadas a este nome de coorte. Por exemplo, é possível especificar daily_sales_aggregation como o nome da coorte de uma carga de trabalho programada que executa uma tarefa diária de agregação de vendas.
• batch.runtime_config.autotuning_config.scenarios: um ou mais cenários de ajuste automático a serem usados para otimizar a carga de trabalho, como BROADCAST_HASH_JOIN, MEMORY e SCALING. É possível alterar a lista de cenários a cada envio de coorte em lote. Para acessar a lista completa de cenários, consulte a Cenário de referência.

Exemplo:

# Create a client
client = dataproc_v1.BatchControllerClient()

# Initialize request argument(s)
batch = dataproc_v1.Batch()
batch.pyspark_batch.main_python_file_uri = "gs://bucket/run_tpcds.py"
batch.runtime_config.cohort = "daily_sales_aggregation"
batch.runtime_config.autotuning_config.scenarios = [
    Scenario.SCALING
]

request = dataproc_v1.CreateBatchRequest(
    parent="parent_value",
    batch=batch,
)

# Make the request
operation = client.create_batch(request=request)

Para usar a API, utilize a versão 5.10.1 da biblioteca de cliente da google-cloud-dataproc ou mais tarde. Para adicionar ao seu projeto, use o seguinte requisito:

google-cloud-dataproc>=5.10.1

Airflow

Ativar o ajuste automático do Dataproc sem servidor em cada envio de um lote recorrente carga de trabalho, chame BatchControllerClient.create_batch usando um Batch que inclua os seguintes campos:

• batch.runtime_config.cohort: o nome da coorte, que identifica o lote como um de uma série de cargas de trabalho recorrentes. O ajuste automático é aplicado à segunda carga de trabalho e às subsequentes enviadas a este nome de coorte. Por exemplo, é possível especificar daily_sales_aggregation como o nome da coorte de uma carga de trabalho programada que executa uma tarefa diária de agregação de vendas.
• batch.runtime_config.autotuning_config.scenarios: um ou mais cenários de ajuste automático a serem usados para otimizar a carga de trabalho, por exemplo, BROADCAST_HASH_JOIN, MEMORY,SCALING. É possível alterar a lista de cenários a cada envio de coorte em lote. Para acessar a lista completa de cenários, consulte a Cenário de referência.

Exemplo:

create_batch = DataprocCreateBatchOperator(
    task_id="batch_create",
    batch={
        "pyspark_batch": {
            "main_python_file_uri": PYTHON_FILE_LOCATION,
        },
        "environment_config": {
            "peripherals_config": {
                "spark_history_server_config": {
                    "dataproc_cluster": PHS_CLUSTER_PATH,
                },
            },
        },
        "runtime_config": {
            "cohort": "daily_sales_aggregation",
            "autotuning_config": {
                "scenarios": [
                    Scenario.SCALING,
                ]
            }
        },
    },
    batch_id="BATCH_ID",
)

Para usar a API, utilize a versão 5.10.1 da biblioteca de cliente da google-cloud-dataproc ou mais tarde. Use o seguinte requisito de ambiente do Airflow:

google-cloud-dataproc>=5.10.1

Para atualizar o pacote no Cloud Composer, consulte Instale as dependências do Python para o Cloud Composer .