Criar um pipeline de dados

Neste guia de início rápido, mostramos como fazer o seguinte:

  1. Crie uma instância do Cloud Data Fusion.
  2. Implante um pipeline de amostra fornecido com sua instância do Cloud Data Fusion. O pipeline faz o seguinte:
    1. Lê um arquivo JSON contendo dados de best-sellers do NYT a partir do Cloud Storage.
    2. Executa transformações no arquivo para analisar e limpar os dados.
    3. Carrega os livros com melhor classificação adicionados na última semana que custem menos de US$ 25 no BigQuery.

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Enable the Cloud Data Fusion API.

    Enable the API

    4.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Enable the Cloud Data Fusion API.

    Enable the API

    6.

Crie uma instância do Cloud Data Fusion

  1. Clique em Criar uma instância.

    Acesse "Instâncias"

  2. Insira um Nome de instância.
  3. Insira uma Descrição para sua instância.
  4. Insira a região em que a instância será criada.
  5. Escolha a Versão do Cloud Data Fusion que será usada.
  6. Escolha a Edição do Cloud Data Fusion.
  7. Para as versões 6.2.3 e mais recentes do Cloud Data Fusion, Autorização, escolha a conta de serviço do Dataproc para executar o pipeline do Cloud Data Fusion o Dataproc. O valor padrão, a conta do Compute Engine, é pré-selecionado.
  8. Clique em Criar. O processo de criação da instância leva até 30 minutos para ser concluído. Enquanto o Cloud Data Fusion cria a instância, um indicador de progresso é exibido ao lado do nome dela na página Instâncias. Após a conclusão, o indicador se transforma em uma marca de seleção verde, indicando que a instância já pode ser usada.

Ao usar o Cloud Data Fusion, você usa o console do Google Cloud e a interface da Web separada do Cloud Data Fusion.

  • No console do Google Cloud, é possível fazer o seguinte:

    • Criar um projeto do console do Google Cloud
    • Criar e excluir instâncias do Cloud Data Fusion
    • Confira os detalhes da instância do Cloud Data Fusion

  • Na interface da Web do Cloud Data Fusion, é possível usar várias páginas, como o Studio ou o Wrangler, para usar a funcionalidade do Cloud Data Fusion.

Para navegar na interface do Cloud Data Fusion, siga estas etapas:

  1. No console do Google Cloud, abra a página Instâncias.

    Acesse "Instâncias"

  2. Na coluna Ações da instância, clique no link Visualizar instância.
  3. Na interface da Web do Cloud Data Fusion, use o painel de navegação à esquerda para acesse a página desejada.

Implantar um pipeline de amostra

Pipelines de amostra estão disponíveis no Hub do Cloud Data Fusion. que permite compartilhar pipelines, plug-ins e pipelines reutilizáveis do Cloud Data Fusion, e soluções.

  1. Na interface da Web do Cloud Data Fusion, clique em Hub.
  2. No painel esquerdo, clique em Pipelines.
  3. Clique no pipeline do Guia de início rápido do Cloud Data Fusion.
  4. Clique em Criar.
  5. No painel de configuração do guia de início rápido do Cloud Data Fusion, clique em Concluir.

  6. Clique em Personalizar pipeline.

    Uma representação visual do pipeline aparece na página do Studio. uma interface gráfica para desenvolver pipelines de integração de dados. Os plug-ins de pipeline disponíveis são listados à esquerda, e o pipeline é exibido na área de tela principal. É possível explorar o pipeline segurando Passe o cursor sobre cada nó do pipeline e clique em Propriedades. O de propriedades de cada nó para exibir os objetos e as operações associados ao nó.

  7. No menu superior direito, clique em Implantar. Esta etapa envia o pipeline para o Cloud Data Fusion. Você executará o pipeline na próxima seção deste guia de início rápido.

Implante o pipeline.

Visualizar o pipeline

O pipeline implantado aparece na visualização de detalhes do pipeline, onde é possível fazer o seguinte:

  • Veja a estrutura e a configuração do pipeline.
  • executar o pipeline manualmente ou configurar uma programação ou um gatilho;
  • visualizar um resumo das execuções históricas do pipeline, incluindo a execução; tempos, registros e métricas.

Copie a conta de serviço.

Executar o pipeline

Na visualização de detalhes do pipeline, clique em Executar para executar o pipeline.

Executar o pipeline

Ao executar um pipeline, o Cloud Data Fusion faz o seguinte:

  1. Provisiona um cluster temporário do Dataproc
  2. Executa o pipeline no cluster usando o Apache Spark
  3. Exclui o cluster

Ver os resultados

Após alguns minutos, o pipeline é concluído. O status do pipeline muda para Concluído e o número de registros processados por cada nó é exibido.

Execução do pipeline concluída

  1. Acesse a interface da Web do BigQuery.

  2. Para conferir uma amostra dos resultados, acesse o conjunto de dados DataFusionQuickstart do seu projeto, clique no botão top_rated_inexpensive e execute uma consulta simples. Exemplo:

    SELECT * FROM PROJECT_ID.GCPQuickStart.top_rated_inexpensive LIMIT 10

    Substitua PROJECT_ID pela ID do seu projeto.

Ver resultados

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

  1. Excluir o conjunto de dados do BigQuery que o pipeline fez neste guia de início rápido.

  2. Exclua a instância do Cloud Data Fusion.

  3. Opcional: exclua o projeto.

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

A seguir