O acelerador do SAP para o processo de ordem em dinheiro é um exemplo de implementação do recurso Fonte de lote de tabela da SAP no Cloud Data Fusion. O acelerador ajuda você a começar quando cria seu pedido completo para análise e processo de dinheiro. Ele inclui pipelines de amostra do Cloud Data Fusion que podem ser configurados para realizar as seguintes tarefas:
- Conecte-se à sua fonte de dados SAP.
- Faça transformações nos dados do Cloud Data Fusion.
- Armazene seus dados no BigQuery.
- Configure análises no Looker. Isso inclui painéis e um modelo de ML, em que é possível definir os indicadores principais de desempenho (KPIs) para o pedido em dinheiro.
Este guia descreve a implementação de amostra e como começar a usar suas configurações.
O acelerador está disponível nos ambientes do Cloud Data Fusion em execução na versão 6.3.0 e posterior.
Antes de começar
-
Sign in to your Google Account.
If you don't already have one, sign up for a new account.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion and BigQuery APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion and BigQuery APIs.
- Faça o download do SAP Table Batch Source.
- Você precisa ter acesso a uma instância do Looker e ativar o recurso de laboratórios do Marketplace para instalar o bloco do Looker. É possível solicitar um teste gratuito para ter acesso a uma instância.
Habilidades necessárias
A configuração do acelerador de Pedidos para dinheiro do SAP exige as seguintes habilidades:
- Experiência em configurações e sistemas de ERP no local da SAP
- Conhecimento sobre o Cloud Data Fusion
- Conhecimento sobre o BigQuery
- Familiaridade com o Looker
- Familiaridade com contas de serviço de gerenciamento de identidade e acesso (IAM, na sigla em inglês) e controle de acesso
- Conhecimento sobre análise de dados, incluindo a criação de consultas SQL
- Familiaridade com o modelo de dados dimensionais do Kimball
Usuários obrigatórios
As configurações descritas nesta página exigem alterações no seu sistema SAP e no Google Cloud. É necessário trabalhar com os seguintes usuários desses sistemas para executar as configurações:
| Tipo de usuário | Descrição |
|---|---|
| Administrador do SAP | Administrador do sistema SAP que pode acessar o site do serviço SAP para fazer o download de software. |
| Usuário do SAP | Um usuário SAP autorizado a se conectar a um sistema SAP. |
| Administrador do GCP | Administrador que controla o acesso do IAM para sua organização, que cria e implanta contas de serviço e concede permissões para o Cloud Data Fusion, BigQuery e Looker. |
| Usuário do Cloud Data Fusion | Usuários autorizados a projetar e executar pipelines de dados no Cloud Data Fusion. |
| Proprietário de dados do BigQuery | Usuários autorizados a criar, visualizar e modificar conjuntos de dados do BigQuery. |
| Desenvolvedor do Looker | Esses usuários podem instalar o bloco do Looker pelo
Marketplace.
Eles precisam ter as permissões develop, manage_model e deploy. |
Papéis do IAM obrigatórios
Na implementação de amostra do acelerador, os papéis do IAM a seguir são obrigatórios. Talvez você precise de papéis adicionais se o seu projeto depender de outros serviços do Google Cloud.
- Administrador do BigQuery
(
roles/bigquery.admin) - Proprietário de dados do BigQuery
(
roles/bigquery.dataOwner) - Leitor de objetos do Storage
(
roles/storage.objectViewer) - O executor do Cloud Data Fusion
(
roles/datafusion.runner) precisa ser concedido à conta de serviço do Dataproc
Visão geral do processo
Você pode implementar o acelerador no seu projeto seguindo estas etapas:
- Configure o sistema ERP da SAP e instale o transporte SAP fornecido.
- Configure o ambiente do Cloud Data Fusion para usar o plug-in do SAP Table Batch Source Source.
- Crie conjuntos de dados no BigQuery. O acelerador fornece conjuntos de dados de amostra para tabelas de preparo, dimensão e fatos.
- Configure os pipelines de amostra do Cloud Data Fusion do acelerador para integrar seus dados SAP.
- No hub do Cloud Data Fusion, implante os pipelines associados ao processo de análise de pedidos em dinheiro. Esses pipelines precisam ser configurados corretamente para criar o conjunto de dados do BigQuery.
- Conecte o Looker ao projeto do BigQuery.
- Instale e implante o Looker Block.
Para mais informações, consulte Como usar o plug-in do SAP Table Batch Source Source.
Conjuntos de dados de amostra no BigQuery
No exemplo de implementação nesse acelerador, os conjuntos de dados a seguir são criados no BigQuery.
| Nome do conjunto de dados | Descrição |
|---|---|
sap_cdf_staging |
Contém todas as tabelas do sistema SAP Source, conforme identificado para esse processo comercial. |
sap_cdf_dimension |
Contém as principais entidades de dimensão, como a dimensão do cliente e a dimensão do Material Design. |
sap_cdf_fact |
Contém as tabelas de fatos geradas a partir do pipeline. |
Pipelines de amostra no Cloud Data Fusion
Os pipelines de amostra desse acelerador estão disponíveis no Cloud Data Fusion Hub.
Para receber os pipelines de amostra do Hub:
- Acesse sua instância:
No console do Google Cloud, acesse a página do Cloud Data Fusion.
Para abrir a instância no Studio do Cloud Data Fusion, Clique em Instâncias e depois em Visualizar instância.
- Clique em Hub.
- Selecione a guia SAP.
- Selecione Pipelines. Uma página de pipelines de amostra é aberta.
- Selecione os pipelines desejados para fazer o download.
Cada um dos pipelines contém macros que podem ser configuradas para serem executadas no ambiente.
Há três tipos de pipelines de amostra:
- Pipelines da camada de preparo: o conjunto de dados de preparo nesse tipo de
pipeline é um mapeamento direto para a tabela de origem original no SAP. Os pipelines de amostra de camada de preparo têm nomes que se referem à tabela de origem SAP e à tabela de destino do BigQuery. Por exemplo, um pipeline chamado KNA1_Customer_Master refere-se à tabela de origem SAP (
KNA1) e à tabela de destino do BigQuery (CustomerMaster). - Pipelines da camada de dimensão: o conjunto de dados da camada de dimensão nesse tipo
de pipeline é uma versão selecionada e refinada do conjunto de dados de preparo que
cria a dimensão e os fatos necessários para a análise. Os
pipelines de amostra têm nomes que se referem à entidade de destino no conjunto de dados
de destino do BigQuery. Por exemplo, um pipeline chamado
customer_dimension refere-se à entidade de dimensão do cliente no
conjunto de dados do BigQuery
sap_cdf_fact. - Pipelines da camada de fatos: uma coleção selecionada e
refinada do conjunto de dados de preparo que cria os fatos
necessários para a análise. Esses pipelines de amostra têm nomes que se referem à entidade de destino no conjunto de dados de destino do BigQuery.
Por exemplo, um pipeline chamado vendas_pedido_fato fornece dados selecionados para a entidade de fatos de ordem de vendas no conjunto de dados
sap_cdf_factcorrespondente do BigQuery.
As seções a seguir resumem como fazer os pipelines funcionarem no seu ambiente.
Configurar pipelines de camada de preparo
Há duas etapas de configuração para os pipelines de preparo:
- Configure o sistema SAP de origem.
- Configure a tabela e o conjunto de dados de destino do BigQuery.
Parâmetros do plug-in SAP Source Source Batch
O plug-in SAP Source Batch da SAP lê o conteúdo de uma tabela ou visualização da SAP. O acelerador fornece as macros a seguir, que podem ser modificadas para controlar as conexões SAP de forma centralizada.
| Nome da macro | Descrição | Exemplo |
|---|---|---|
${SAP Client} |
Cliente SAP para usar | 100 |
${SAP Language} |
Linguagem de logon da SAP | EN |
${SAP Application Server Host} |
Nome do servidor SAP ou endereço IP | 10.132.0.47 |
${SAP System Number} |
Número do sistema SAP | 00 |
${secure(saplogonusername)} |
Nome de usuário do SAP | Para mais informações, consulte Como usar chaves seguras. |
${secure(saplogonpassword)} |
Senha do usuário do SAP | Para mais informações, consulte Como usar chaves seguras. |
${Number of Rows to Fetch} |
Usado para limitar o número de registros extraídos. | 100000 |
Para mais informações, consulte Como configurar o agente.
Parâmetros para o destino do BigQuery
O acelerador fornece as seguintes macros para destinos do BigQuery.
Configuração do conector de destino do BigQuery
| Nome da macro | Descrição | Exemplo |
|---|---|---|
${ProjectID} |
O ID do projeto em que o conjunto de dados do BigQuery foi criado. | sap_adaptor |
${Dataset} |
Conjunto de dados de destino | sap_cdf_staging |
Pipelines de amostra usados para fazer KPIs em dinheiro
As principais entidades de negócios a seguir para processamento em dinheiro correspondem aos pipelines de amostra no acelerador. Esses pipelines fornecem os dados que compõem a análise sobre essas entidades.
| Principais entidades comerciais | Nome do pipeline de amostra correspondente |
|---|---|
Um Customer pode ser uma pessoa ou entidade com que
a organização faz negócios. Essas três tabelas de origem da SAP capturam detalhes sobre o cliente em relação à empresa. As informações dessas
tabelas contribuem para customer_dimension no
conjunto de dados sap_cdf_dimension.
|
KNA1_CustomerMaster KNVV_CustomerSales KNVP_CustomerPartnerFunction |
Material é o bem que é negociado entre a
empresa e os clientes. As informações dessas tabelas de origem SAP
contribuem para o material_dimension no
conjunto de dados sap_cdf_dimension.
|
MARA_MaterialMaster MARD_MaterialStorageLocation |
| O subprocesso de gerenciamento de pedidos do pedido para o processo em dinheiro (quando seu sistema recebe um pedido do cliente). |
VBAK_SalesDocumentHeader VBAP_SalesDocumentItem VBEP_SalesDocumentSchedule |
| Os subprocessos de fulfillment do pedido e frete. |
LIKP_DeliveryHeader LIPS_DeliveryItem |
| Os subprocessos de faturamento e pagamentos de clientes (quando o cliente recebe uma fatura). |
VBRK_BillingHeader VBRP_BillingLineItem |
| Os subprocessos de contas a receber e de relatórios (quando o pagamento é registrado no seu sistema). | ACDOCA_UniversalJournalItem |
Todos os pipelines de preparação do Cloud Data Fusion
As amostras de pipeline de preparo do Cloud Data Fusion a seguir estão disponíveis no acelerador:
- KNA1_CustomerMaster
- KNVV_CustomerSales
- KNVP_CustomerPartnerFunction
- MARA_MaterialMaster
- MARD_MaterialStorageLocation
- VBAK_SalesDocumentHeader
- VBAP_SalesDocumentItem
- VBEP_SalesDocumentSchedule
- LIKP_DeliveryHeader
- LIPS_DeliveryItem
- ACDOCA_UniversalJournalItem
- VBRK_BillingHeader
- VBRP_BillingLineItem
- BSEG_AccountDocumentItem
- BSID_AccDocCustOpenItem
- BSAD_AccDocCustCloseItem
- T001_CompanyCodes
- T006A_UnitOfMeasure
- T024D_MRPControllers
- T042ZT_PaymentMethodText
- T189T_PriceListCategory
- TCURC_CurrencyCodes
- TCURT_CurrencyCodesText
- TCURW_ExchangeRateType
- TINCT_CustomerIncotermsText
- TVAKT_SalesDocumentType
- TVAPT_SalesDocumentItemCategory
- TVFST_BillingBlockReasonText
- TVLST_DeliveryBlockText
- TVTWT_DistributionChannelText
- MAKT_MaterialDescription
- T005T_CountryNames
- T005U_RegionText
- TVAST_SalesDocBlockReasonText
- T077X_AccountGroupName
- T134T_MaterialTypeDescription
- T023T_MaterialGroupDescription
- TSPAT_SalesDivisionText
- TVKOV_DistributionChannel
- TVTA_SalesArea
- TVKOT_SalesOrgText
- TVAUT_SalesDocumentOrderText
- TVSBT_ShippingConditionText
- TVAG_SalesDocRejectionReasons
- TVAGT_SalesDocRejectionReasonDescription
Configure pipelines de camadas dimensionais
Extraia KPIs de tabelas SAP de origem. Para preparar os dados para análise, organize-os na tabela de origem para corresponder à estrutura de esquemas da tabela do BigQuery.
O acelerador cria as quatro tabelas de amostra a seguir:
| Nome da tabela | Descrição da tabela |
|---|---|
| customer_dimension | Lista selecionada* de clientes e os fatos associados, como classificação, hierarquia e informações relacionadas às vendas do cliente. |
| material_dimension | Lista selecionada de materiais e fatos associados, como número de SKU, hierarquia de produtos e classificação |
| sales_order_fact | Lista selecionada de informações de vendas, como tipos, visibilidade e quantidade e valor do pedido. Esses campos normalmente são agregados para gerar KPIs de gerenciamento de pedidos, como pedidos abertos, pedidos confirmados, pedidos recusados e pedidos faturados. |
| revenue_fact | Informações contábeis detalhadas geradas pela venda do material aos clientes. Derivada das tabelas de contabilidade, esta tabela de fatos contém informações que podem fornecer insights por meio de KPIs de receita, incluindo vendas brutas, vendas líquidas antes do desconto, vendas líquidas após o desconto ou tendências. |
*Nesse contexto, a lista selecionada vem da lógica de negócios que é aplicada à lista de colunas selecionada.
O acelerador cria a camada dimensional do conjunto de dados do BigQuery usando scripts SQL, que podem ser modificados no seu projeto. Por exemplo, é possível adaptar esses scripts para adicionar mais colunas às entidades de conjunto de dados de destino do BigQuery.
Transformação para o esquema de estrela: nomes de pipeline do executor do BigQuery
Os seguintes pipelines do executor do BigQuery no Cloud Data Fusion carregam dados em tabelas de fatos e fatos:
Todos os pipelines de transformação dimensional:
customer_dimensionmaterial_dimensionsales_order_factrevenue_fact
Configuração do executor do BigQuery
| Nome da macro | Exemplo |
|---|---|
${ProjectID} |
sap_adaptor |
${StagingDatasetName} |
sap_cdf_staging |
${TargetDatasetName} |
sap_cdf_dimension |
Conecte o Looker ao projeto do BigQuery
Para conectar o Looker ao BigQuery, consulte a documentação do Looker sobre conexões do BigQuery.
Instale o bloco
É possível acessar o SAP Looker Block no GitHub.
ABloqueio do Looker instala uma pré-configurada. LookML modelo com doisDescoberta ambientes e dois painéis.
A seguir
- Saiba mais sobre o Cloud Data Fusion.
- Saiba mais sobre Go no Google Cloud.
- BigQuery.
- Saiba mais sobre os Blocos do Looker.