Criar modelos e sessões interativas do Dataproc sem servidor para Spark

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Console

Para criar uma sessão do Dataproc Serverless usando o console do Google Cloud, siga estas etapas:

1. No console do Google Cloud, acesse a página Sessões interativas.

   Acessar as sessões interativas

   1. Clique em Criar.

2. Na página Adicionar uma sessão interativa (pré-lançamento), insira ou confirme as configurações da sessão. Observe o seguinte:

   • Nome da sessão interativa:obrigatório. Aceite o nome padrão ou especifique um nome de sessão.
   • Região: obrigatório. Aceite a região padrão ou especifique uma região disponível para sua sessão.
   • Configuração do ambiente de execução:opcional. Os ambientes de execução de sessão selecionáveis correspondem às versões do ambiente de execução do Dataproc sem servidor para Spark disponíveis. É possível especificar uma imagem de contêiner personalizada para usar na sessão.
   • Propriedades:opcionais. Clique em Adicionar item para cada propriedade a ser definida para sua sessão. Para mais informações, consulte Propriedades do Spark.
   • Interface do Spark (prévia): opcional. Use a interface do Spark para coletar e monitorar detalhes da execução da sessão.
   • Conta de serviço:opcional. A conta de serviço a ser usada na sessão. Se não for especificada, a conta de serviço padrão do Compute Engine será usada.
   • Configuração de rede:obrigatório. Selecione uma sub-rede na região da sessão. O Dataproc sem servidor ativa o Acesso particular do Google (PGA, na sigla em inglês) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Dataproc sem servidor para Spark.

3. Clique em Enviar para criar a sessão.

gcloud

Use o gcloud beta dataproc sessions create command SESSION_NAME para criar uma sessão interativa do Dataproc sem servidor.

gcloud gcloud beta dataproc sessions create SESSION_ID \
    --region=REGION \
    optional flags ...

Substitua ou adicione o seguinte:

• SESSION_ID: obrigatório. Um ID para a sessão.

• REGION: obrigatório. Uma região disponível para localizar sua sessão.

• --version: opcional. Uma versão do ambiente de execução do Spark com suporte. Se você não usar essa flag para especificar uma versão, a versão padrão atual do ambiente de execução do Spark será usada.

• --container-image: opcional. Uma imagem de contêiner personalizada para usar na sua sessão.

• --property: opcional. Uma ou mais propriedades do Spark separadas por vírgulas para sua sessão.

• --service-account: opcional. A conta de serviço a ser usada na sessão. Se não for especificada, a conta de serviço padrão do Compute Engine será usada.

• --subnet: opcional. O nome de uma sub-rede na região da sessão. Se você não especificar uma sub-rede, o Dataproc Serverless vai usar a sub-rede default na região da sessão. O Dataproc sem servidor ativa o Acesso particular do Google (PGA, na sigla em inglês) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Dataproc sem servidor para Spark.

REST

É possível usar a API sessions.create do Dataproc para criar uma sessão interativa sem servidor.

Observações:

• name: obrigatório. Nome da sessão.

• version: opcional. Qualquer uma das versões do ambiente de execução do Spark com suporte para sua sessão. Se você não especificar uma versão, será usada a versão padrão atual.

• containerImage: opcional. Uma imagem de contêiner personalizada para usar na sua sessão.

• properties: opcional. Um mapeamento de nomes de propriedades de sessão para valores. Consulte Propriedades do Spark.

• serviceAccount: opcional. A conta de serviço a ser usada para executar a sessão. Se não for especificada, a conta de serviço padrão do Compute Engine será usada.

• subnetworkUri: opcional. O nome de uma sub-rede na região da sessão. Se não for especificado, o Dataproc Serverless vai usar a sub-rede default na região da sessão. O Dataproc sem servidor ativa o Acesso particular do Google (PGA, na sigla em inglês) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Dataproc sem servidor para Spark.

Console

Para criar um modelo de sessão sem servidor do Dataproc usando o console do Google Cloud, siga estas etapas:

1. No console do Google Cloud, acesse a página Modelos de sessão interativa.

   Acesse "Modelos de sessão interativa"

   1. Clique em Criar.

2. Na página Criar modelo de sessão, insira ou confirme as configurações do modelo. Observe o seguinte:

   • ID do ambiente de execução do modelo:obrigatório. Aceite o ID padrão (nome) ou especifique um nome de execução de modelo.
   • Região: obrigatório. Aceite a região padrão ou especifique uma região disponível para sessões de modelo.
   • Versão do ambiente de execução:opcional. Os ambientes de execução de sessão selecionáveis correspondem às versões do ambiente de execução do Dataproc Serverless para Spark.
   • Tipo de configuração do modelo:obrigatório. Selecione um tipo. Se você selecionar Jupyter, especifique o nome de exibição e selecione o tipo de kernel do Jupyter. Para mais informações, consulte Iniciar um notebook do Jupyter no Dataproc Serverless.
   • Conta de serviço:opcional. A conta de serviço a ser usada para executar sessões de modelo. Se não for especificada, a conta de serviço padrão do Compute Engine será usada.
   • Imagem de contêiner personalizada:opcional. Uma imagem de contêiner personalizada para usar nas sessões de modelo.
   • Propriedades:opcionais. Clique em Adicionar item para cada propriedade a ser definida para suas sessões de modelo. Para mais informações, consulte Propriedades do Spark.
   • Configuração de rede:obrigatório. Selecione uma sub-rede na região da sessão. O Dataproc Serverless ativa o Acesso particular do Google (PGA, na sigla em inglês) na sub-rede especificada. Para requisitos de conectividade de rede, consulte Configuração de rede do Dataproc sem servidor para Spark.

3. Clique em Enviar para criar o modelo de sessão.

gcloud

Não é possível criar diretamente um modelo de sessão sem servidor do Dataproc usando a CLI gcloud, mas é possível usar o comando gcloud beta dataproc session-templates import para importar um modelo de sessão existente. É possível editar o modelo importado e exportá-lo usando o comando gcloud beta dataproc session-templates export.

REST

É possível usar a API sessionTemplates.create do Dataproc para criar um modelo de sessão sem servidor do Dataproc.

Observações:

• name: obrigatório. Nome do modelo da sessão.

• version: opcional. Qualquer uma das versões do ambiente de execução do Spark com suporte para suas sessões de modelo. Se você não especificar uma versão, a versão padrão será usada.

• containerImage: opcional. Uma imagem de contêiner personalizada para usar nas sessões de modelo.

• properties: opcional. Um mapeamento de nomes de propriedades de sessão para valores. Consulte Propriedades do Spark.

• serviceAccount: opcional. Uma conta de serviço para executar suas sessões de modelo. Se não for especificada, a conta de serviço padrão do Compute Engine será usada.

• subnetworkUri: opcional. O nome de uma sub-rede na região da sessão. Se não for especificado, o Dataproc Serverless vai usar a sub-rede default na região da sessão. O Dataproc sem servidor ativa o Acesso particular do Google (PGA, na sigla em inglês) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Dataproc sem servidor para Spark.