Criar sessões interativas e modelos de sessão

Console

Para criar uma sessão sem servidor do Dataproc usando o console Google Cloud , siga estas etapas:

1. No console Google Cloud , acesse a página Sessões interativas.

   Acessar as sessões interativas

   1. Clique em Criar.

2. Na página Adicionar uma sessão interativa (pré-lançamento), insira ou confirme as configurações da sessão. Observe o seguinte:

   • Nome da sessão interativa:obrigatório. Aceite o nome padrão ou especifique um nome de sessão.
   • Região: obrigatório. Aceite a região padrão ou especifique uma região disponível para sua sessão.
   • Configuração do ambiente de execução:opcional. Os ambientes de execução de sessão selecionáveis correspondem às versões de ambiente de execução sem servidor do Dataproc disponíveis. É possível especificar uma imagem de contêiner personalizada para usar na sessão.
   • Propriedades:opcionais. Clique em Adicionar item para cada propriedade a ser definida para sua sessão. Para mais informações, consulte Propriedades do Spark.
   • Interface do Spark (prévia): opcional. Use a interface do Spark para coletar e monitorar detalhes da execução da sessão.
   • Conta de serviço:opcional. A conta de serviço a ser usada na sessão. Se não for especificado, a conta de serviço padrão do Compute Engine será usada.
   • Configuração de rede:obrigatório. Selecione uma sub-rede na região da sessão. O Dataproc sem servidor ativa o Acesso particular do Google (PGA, na sigla em inglês) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Dataproc sem servidor.

3. Clique em Enviar para criar a sessão.

gcloud

É possível usar o gcloud beta dataproc sessions create command SESSION_NAME para criar uma sessão interativa do Dataproc sem servidor.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Substitua ou adicione o seguinte:

• SESSION_ID: obrigatório. Um ID para a sessão.

• REGION: obrigatório. Uma região disponível para localizar sua sessão.

• --version: opcional. Uma versão do ambiente de execução do Spark com suporte. Se você não usar essa flag para especificar uma versão, a versão padrão atual do ambiente de execução do Spark será usada.

• --container-image: opcional. Uma imagem de contêiner personalizada para usar na sua sessão.

• --property: opcional. Uma ou mais propriedades do Spark separadas por vírgulas para sua sessão.

• --service-account: opcional. A conta de serviço a ser usada na sessão. Se não for especificado, a conta de serviço padrão do Compute Engine será usada.

• --subnet: opcional. O nome de uma sub-rede na região da sessão. Se não for especificado, o Dataproc Serverless vai usar a sub-rede default na região da sessão. O Dataproc sem servidor ativa o Acesso particular do Google (PGA, na sigla em inglês) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Dataproc sem servidor.

REST

É possível usar a API sessions.create do Dataproc para criar uma sessão interativa sem servidor.

Observações:

• name: obrigatório. Nome da sessão.

• version: opcional. Qualquer uma das versões do ambiente de execução do Spark com suporte para sua sessão. Se você não especificar uma versão, a versão padrão atual será usada.

• containerImage: opcional. Uma imagem de contêiner personalizada para usar na sua sessão.

• properties: opcional. Um mapeamento de nomes de propriedades de sessão para valores. Consulte Propriedades do Spark.

• serviceAccount: opcional. A conta de serviço a ser usada para executar a sessão. Se não for especificado, a conta de serviço padrão do Compute Engine será usada.

• subnetworkUri: opcional. O nome de uma sub-rede na região da sessão. Se não for especificado, o Dataproc Serverless vai usar a sub-rede default na região da sessão. O Dataproc sem servidor ativa o Acesso particular do Google (PGA, na sigla em inglês) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Dataproc sem servidor.

Console

Para criar um modelo de sessão sem servidor do Dataproc usando o console Google Cloud , siga estas etapas:

1. No console Google Cloud , acesse a página Modelos de sessão.

   Acesse "Modelos de sessão"

   1. Clique em Criar.

2. Na página Criar modelo de sessão, insira ou confirme as configurações do modelo. Observe o seguinte:

   • ID do ambiente de execução do modelo:obrigatório. Aceite o ID padrão (nome) ou especifique um nome de execução de modelo.
   • Região: obrigatório. Aceite a região padrão ou especifique uma região disponível para sessões de modelo.
   • Versão do ambiente de execução:opcional. Os ambientes de execução de sessão selecionáveis correspondem às versões do ambiente de execução do Dataproc sem servidor.
     • Requisito da sessão do notebook do BigQuery Studio:se você estiver criando um modelo para usar nas sessões do notebook do BigQuery Studio com o Spark Connect, ele precisará usar o ambiente de execução do Spark versão 2.3 ou mais recente.
   • Tipo de configuração do modelo:obrigatório. Selecione um tipo. Se você selecionar Jupyter, especifique o Nome de exibição e selecione o Tipo de kernel do Jupyter. Consulte também Iniciar um notebook do Jupyter no Dataproc sem servidor.
     • Requisito de sessão de notebook do BigQuery Studio:as sessões de notebook do BigQuery Studio precisam especificar Spark Connect como o tipo de configuração do modelo.
   • Conta de serviço:opcional. A conta de serviço a ser usada para executar sessões de modelo. Se não for especificado, a conta de serviço padrão do Compute Engine será usada.
   • Imagem de contêiner personalizada:opcional. Uma imagem de contêiner personalizada para usar nas sessões de modelo.
   • Propriedades:opcionais. Clique em Adicionar item para cada propriedade que você quer definir para suas sessões de modelo. Para mais informações, consulte Propriedades do Spark.
   • Configuração de rede: * Obrigatório. Selecione uma sub-rede na região da sessão. O Dataproc Serverless ativa o Acesso particular do Google (PGA, na sigla em inglês) na sub-rede especificada. Para requisitos de conectividade de rede, consulte Configuração de rede do Dataproc sem servidor.

3. Clique em Enviar para criar o modelo de sessão.

gcloud

Não é possível criar diretamente um modelo de sessão sem servidor do Dataproc usando a CLI gcloud, mas é possível usar o comando gcloud beta dataproc session-templates import para importar um modelo de sessão existente. É possível editar o modelo importado e exportá-lo usando o comando gcloud beta dataproc session-templates export.

REST

É possível usar a API sessionTemplates.create do Dataproc para criar um modelo de sessão sem servidor do Dataproc.

Observações:

• name: obrigatório. Nome do modelo da sessão.

• version: opcional. Qualquer uma das versões do ambiente de execução do Spark com suporte para suas sessões de modelo. Se você não especificar uma versão, a versão padrão será usada.

  • Requisito da sessão do notebook do BigQuery Studio:se você estiver criando um modelo para usar nas sessões do notebook do BigQuery Studio com o Spark Connect, ele precisará usar o ambiente de execução do Spark versão 2.3 ou mais recente.

• sessionConfig: especifique jupyter_session ou spark_connect_session. Se você especificar jupyter_session, também especifique JupyterConfig.display_name e JupyterConfig.kernel. Consulte também Iniciar um notebook do Jupyter no Dataproc sem servidor.

  • Requisito da sessão do notebook do BigQuery Studio:as sessões do notebook do BigQuery Studio precisam especificar Spark Connect como o tipo de configuração do modelo.

• containerImage: opcional. Uma imagem de contêiner personalizada para usar nas sessões de modelo.

• properties: opcional. Um mapeamento de nomes de propriedades de sessão para valores. Consulte Propriedades do Spark.

• serviceAccount: opcional. Uma conta de serviço para executar suas sessões de modelo. Se não for especificado, a conta de serviço padrão do Compute Engine será usada.

• subnetworkUri: opcional. O nome de uma sub-rede na região da sessão. Se não for especificado, o Dataproc Serverless vai usar a sub-rede default na região da sessão. O Dataproc sem servidor ativa o Acesso particular do Google (PGA, na sigla em inglês) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Dataproc sem servidor.