Gerenciar macros, preferências e argumentos do ambiente de execução

Esta página explica como definir preferências, macros e argumentos de execução em pipelines do Cloud Data Fusion.

Termos-chave

Macros
As macros são marcadores de posição no plug-in do Cloud Data Fusion personalizadas. Elas são representadas por variáveis dentro de ${ }, como ${input_file_path}. As macros introduzem flexibilidade nos pipelines, permitindo o uso de valores de marcador de posição, que são substituídos por valores reais no momento da execução. Isso ativa a configuração dinâmica para parâmetros, como caminhos de arquivo e nomes de tabelas.
Preferências
As preferências são configurações predefinidas que se aplicam em vários níveis no Cloud Data Fusion, incluindo o próprio sistema, namespaces, aplicativos (que contêm pipelines) e programas individuais em pipelines. As preferências permitem definir valores padrão para os dados mais usados personalizadas. Os padrões podem ser herdados por pipelines e programas com níveis mais baixos de configuração, reduzindo tarefas repetitivas de configuração.
Argumentos de ambiente de execução
Os argumentos de execução são pares de chave-valor que fornecem valores para macros e podem substituir preferências quando você implanta ou executa um pipeline. Eles são altamente personalizáveis, permitindo ajustar as configurações de acordo com a execução do pipeline, sem modificar o pipeline ou as preferências subjacentes.

Configurar macros

Para usar uma macro para um valor de propriedade do plug-in, siga estas etapas:

  1. No Cloud Data Fusion Studio, acesse o nó do plug-in e clique em Propriedades.
  2. Vá para o campo onde deseja usar uma macro e clique no** M** ao lado para o campo.
  3. Insira uma chave para a macro. Por exemplo, nas propriedades do plug-in da origem do arquivo, insira a seguinte chave no campo "Formato": ${format.type}.

Definir valores macro

Defina valores para macros antes de visualizar os dados de um pipeline e antes de executá-lo. É possível definir valores de macro nos seguintes locais:

  • Plug-ins de definição de argumentos
  • Argumentos de ambiente de execução
  • Preferências do aplicativo
  • Preferências de namespace
  • Preferências do sistema

A execução de um pipeline com macros faz o seguinte:

  • O Cloud Data Fusion primeiro verifica se o pipeline inclui plug-in setter de argumentos:
    • Se tiver um setter de argumentos, o Cloud Data Fusion usará o para macros a partir dele.
    • Se não houver um conjunto de argumentos ou se houver macros que não forem atribuídas a ele, o Cloud Data Fusion vai usar os valores nos argumentos de execução do pipeline.
  • Os argumentos de ambiente de execução herdam macros das preferências do aplicativo.
  • As preferências do aplicativo herdam macros das preferências do namespace
  • As preferências do namespace herdam macros das preferências do sistema.

Exemplos

Um uso comum de macros é em campos de caminho. Em vez de usar caminhos codificados, você pode usar caminhos dinâmicos. Por exemplo, em um plug-in de origem do Cloud Storage, pode substituir o valor do caminho por várias macros. O valor a seguir divide os elementos de bucket, pasta e arquivo: gs://${bucket.name}/${folder}/${file.name}.

O exemplo a seguir carrega dados de um bucket estático e um arquivo com uma que não seja estático, insira o nome do bucket e use uma macro para a nome do arquivo: gs://<BUCKET_NAME>/${folder}/${file.name}.

Configurar preferências

A seção a seguir descreve a hierarquia de preferências, em que as preferências são definidas, herdadas ou substituídas.

Definir preferências do sistema

É possível definir preferências para o sistema. Como os nomes de macros precisam ser exclusivos, cada preferência se aplica a todos os pipelines que usam essa macro.

Por exemplo, você tem um pipeline com uma origem de banco de dados e usa macros para a nome do banco de dados e nome de usuário. É possível definir preferências de banco de dados e nome de usuário no preferências do sistema. Todos os namespaces e pipelines nessa instância herdam essas preferências.

Para definir as preferências do sistema, siga estas etapas:

  1. No Cloud Data Fusion Studio, clique em Administrador do sistema > Configuração.
  2. Clique em Sistema. preferências &gt; Editar preferências do sistema.
  3. Na caixa de diálogo Preferências, insira novas preferências ou edite as existentes. preferências.
  4. Clique em Salvar e fechar. Essas preferências estão disponíveis namespaces, aplicativos e pipelines.

Definir preferências de namespace

É possível definir preferências para namespaces individuais.

Quando você define preferências de namespace, todas as preferências do sistema herdadas são mostradas. Ao definir preferências para um namespace, é possível substituir as preferências herdadas definindo valores diferentes. Também é possível adicionar novas preferências de namespace.

Para definir as preferências de namespace, siga estas etapas:

  1. No Cloud Data Fusion Studio, clique em Administrador do sistema > Configuração.
  2. Clique em Namespaces e selecione um namespace para abrir a página de configurações dele.
  3. Para editar as preferências herdadas ou adicionar novas, acesse Preferências e clique em Editar. Uma caixa de diálogo Preferências será aberta. em que é possível inserir uma nova preferência ou substituir o sistema herdado preferências. Clique em <span class="material-icons">add</span> Adicionar e digite a chave e o novo valor da macro.
  4. Clique em Salvar e fechar. A preferência de namespace é criada com o novo , que tem precedência sobre a preferência do sistema.

Definir preferências do app

É possível definir preferências para cada pipeline implantado em um namespace. Quando você define as preferências do aplicativo, todas as preferências de sistema e de namespace herdadas aparecem. Ao definir preferências para um aplicativo, é possível substituir as preferências herdadas definindo valores diferentes ou adicionar novas preferências ao aplicativo:

  1. No Studio do Cloud Data Fusion, clique em e, depois, no menu Namespace para selecione o namespace em que você quer adicionar as preferências do aplicativo.
  2. Clique em Central de controle.
  3. Clique no ícone de chave inglesa Definir preferências. A página "Preferências" é exibida lista todas as preferências herdadas.
  4. Para editar as preferências herdadas ou adicionar novas, acesse a guia "Preferências" e clique em Editar. Uma caixa de diálogo Preferences será aberta para que você possa inserir uma nova preferência ou substituir as preferências herdadas do sistema. Clique em <span class="material-icons">add</span> Adicionar e insira a chave e o novo valor da macro.
  5. Clique em Salvar e fechar. A preferência do aplicativo é criada com o novo valor, que substitui as preferências do sistema ou de namespace. Quando você executa o pipeline implantado, as preferências do aplicativo aparecem como argumentos de tempo de execução, que podem ser editados.

Configurar argumentos do ambiente de execução

Configure argumentos de ambiente de execução para fornecer valores para macros e, possivelmente, substitua preferências ao implantar ou executar um pipeline.

Argumentos de ambiente de execução para visualizar dados

Para definir os valores de cada macro no pipeline ao visualizar dados no Cloud Data Fusion Studio, clique em Lista > Configurar.

Argumentos do ambiente de execução para executar pipelines implantados

Se um pipeline incluir macros, depois de implantá-lo, adicione o ambiente de execução , que definem os valores das macros.

Ao implantar um pipeline com macros, clique em Menu suspenso ao lado de Executar para abrir a caixa de diálogo Argumentos do ambiente de execução e definir os valores de cada .

Definir preferências de pipeline

Para definir preferências para um pipeline, siga estas etapas:

  1. No Cloud Data Fusion Studio, clique em List > Deployed e selecione um pipeline implantado para visualizá-lo.
  2. Na tela do pipeline, clique no menu suspenso ao lado de Run. A caixa de diálogo Argumentos de execução será aberta.
  3. Na caixa de diálogo Argumentos do ambiente de execução, especifique o valor de cada macro no pipeline.

Visão geral de preferências, macros e argumentos de execução

É possível definir preferências nos seguintes níveis:

  • Preferências do sistema: o nível mais alto em que você define as preferências. como padrões para toda a instância.
  • Preferências do namespace: herda as preferências das Preferências do sistema. É possível definir preferências para um namespace específico.
  • Preferências do aplicativo: herda as preferências do Namespace preferências. Eles podem ser exclusivos para aplicativos individuais (contendo pipelines).
  • Argumentos do ambiente de execução: pares de chave-valor que substituem as preferências em mais altos.

Se você definir uma preferência no nível das preferências do sistema, os valores da macro vão ser preenchidos automaticamente nas preferências de namespace, nas preferências do aplicativo e nos argumentos de execução.

Se você definir preferências no nível do namespace, elas vão aparecer na lista de preferências herdadas nas preferências do aplicativo. Se um pipeline usa uma macro definida em uma preferência, os argumentos de execução usam o par de chave-valor definido na preferência. É possível substituir os valores de preferências em cada nível de preferência e nos argumentos de execução.

Use preferências, macros e argumentos de ambiente de execução para os seguintes casos de uso:

  • Como desenvolver um pipeline. Incorporar macros onde você precisa de valores dinâmicos para propriedades do plug-in.
  • Opcional: definir preferências. Defina valores padrão para as macros nas preferências em vários níveis.
  • Como implantar e executar um pipeline. Quando você executa um pipeline, o seguinte acontece:
    • As preferências do nível relevante, como preferências do sistema ou do namespace, são aplicadas.
    • Todos os argumentos de execução fornecidos substituem os valores atribuídos às macros nas preferências.
    • O Cloud Data Fusion resolve as macros substituindo valores dos argumentos do ambiente de execução (ou preferências, se um argumento de ambiente de execução não é fornecido).

Exemplo

Um pipeline tem um coletor do BigQuery que tem um valor de nome de tabela que precisa mudam dinamicamente. Para fazer essa configuração, faça o seguinte:

  1. Defina a macro. Nas propriedades do coletor, use a seguinte macro em No campo Nome da tabela: ${output_table}.
  2. **Defina a preferência. **Nas preferências do aplicativo, defina uma preferência para ${output_table} com o seguinte valor padrão: data_staging.
  3. Definir o argumento do ambiente de execução. Ao executar o pipeline, forneça um argumento de execução, por exemplo, output_table=final_analytics_data.

Durante a execução do pipeline, a macro ${output_table}, é substituída por final_analytics_data.