Origem de lote de tabelas do SAP

O plug-in de fonte em lote da tabela SAP (plug-in de tabela SAP) permite ler dados do SAP. tabelas ou visualizações padrão e personalizadas. Permite a ingestão de dados em massa do SAP no BigQuery ou em qualquer outro sistema de destino compatível, usando o Cloud Data Fusion. O plugin tem os seguintes recursos principais:

• Usa SAP ECC, SAP S4/HANA ou SAP BW como sistema de origem.
• Não usa SAP CDC (captura de dados alterados) para acompanhar e extrair dados novos e delta nas fontes de dados
• Usa o modo de extração em lote
• Oferece suporte a tabelas SAP e visualizações ABAP CDS como fontes de dados
• Acessa dados do SAP por meio da camada do aplicativo

É possível ler dados de:

• Tabelas transparentes
• Tabelas de clusters
• Mesas de sinuca
• Visualizações de CDS ABAP
• Objetos SAP BW ADSO

Para mais informações sobre o SAP no Google Cloud, consulte a Visão geral do SAP no Google Cloud.

Antes de começar

Configure os seguintes sistemas e serviços usados pelo plug-in SAP Table:

1. Configure o sistema SAP ERP. Esse processo inclui as seguintes etapas:
   • Instale os arquivos do SAP Transport.
   • Configure as autorizações e os papéis SAP necessários.
   • Configure o conector Java do SAP.

2. Implantar o plug-in no Cloud Data Fusion.

   • Importante: escolha uma versão do plug-in compatível com a Versão do Cloud Data Fusion.
   • Se você atualizar a versão do Cloud Data Fusion instância ou plug-in, avalie o impacto das alterações no escopo funcional e desempenho do pipeline.

3. Estabeleça conectividade RFC entre o Cloud Data Fusion e o SAP.

   • Certifique-se de que a comunicação entre os instância do Cloud Data Fusion e do servidor SAP.
   • Para instâncias particulares, configure o peering de rede VPC.
   • O sistema SAP e a instância do Cloud Data Fusion precisam no mesmo projeto.

Configurar o plug-in

1. Acessar a interface da Web do Cloud Data Fusion e clique em Studio.
2. Verifique se Pipeline de dados - Lote está selecionado (não Tempo real).
3. No menu Origem, clique em Tabela SAP. O nó "SAP Table" aparece no seu pipeline.
4. Para configurar a origem, acesse o nó da tabela SAP e clique em Propriedades:

5. Insira as seguintes propriedades. Para uma lista completa, consulte Propriedades:

   1. Insira um Rótulo para o nó da tabela SAP: exemplo: SAP tables.

   2. Insira os detalhes da conexão. É possível configurar uma nova conexão única ou uma conexão existente e reutilizável.

      Nova conexão

      Para adicionar uma conexão única ao SAP, siga estas instruções etapas:

      1. Mantenha a opção Usar conexão desativada.

      2. Na seção Conexão, insira as seguintes informações da conta da SAP nestes campos:

         1. No campo Nome de referência, digite um nome para a que identifica essa origem para a linhagem.
         2. No campo Cliente SAP, insira o nome do cliente de um instância ou ambiente específico no SAP. um SAP administrador pode fornecer o nome do cliente.
         3. No campo SAP language, insira uma linguagem de logon da SAP. O padrão é EN (inglês).

         4. Selecione um dos seguintes Tipos de conexão.

            • Direto (via SAP Application Server). Se você escolher este tipo padrão, insira as informações no seguinte Campos: host do servidor de aplicativos SAP, sistema SAP número e roteador SAP.
            • Balanceado de carga (via SAP Message Server). Se você escolher desse tipo, insira as informações nos seguintes campos: Host do servidor de mensagens SAP, serviço de servidor de mensagens SAP ou número da porta, ID do sistema SAP (SID) e Logon SAP nome do grupo.

         5. No campo Nome da tabela/visualização SAP, insira o nome do tabela ou visualização de seu sistema SAP.

         6. Forneça as credenciais SAP: solicite ao seu administrador SAP Nome de usuário de logon SAP e senha.

         7. No campo Caminho do Cloud Storage da biblioteca JCo, insira o endereço de e-mail SAP caminho do conector Java (SAP JCo) no Cloud Storage que contém os arquivos da biblioteca SAP JCo que você enviou.

         8. Gerar um esquema com base nos metadados do SAP que mapeiam Tipos de dados SAP para dados correspondentes do Cloud Data Fusion tipos, clique em Ver esquema. Para mais informações, consulte Mapeamentos de tipo de dados.

         9. Opcional: para otimizar a carga de ingestão do SAP, insira nos seguintes campos:

            1. Usar Opções de filtro permite extrair registros com base nas condições de seleção, como colunas com um conjunto definido de valores. Defina as condições na sintaxe do OpenSQL em uma cláusula WHERE. Por exemplo, esta consulta retorna todas as linhas da tabela Roster, em que o A coluna SchoolID tem o valor SchoolID > 52:

               SELECT * FROM Roster WHERE SchoolID > 52;
               

               Para mais informações, consulte Filtros compatíveis.

            2. No campo Número de linhas a buscar, é possível limitar os dados extraídos fornecendo um número inteiro positivo de linhas.

            3. No campo Número de divisões, é possível criar partições diferentes para extrair registros de dados em paralelo, melhora o desempenho. O número de divisões pode afetar os processos de trabalho do SAP e precisa ser selecionado com cuidado.

            4. No campo Package size, especifique o número de registros sejam extraídos em uma única chamada de rede SAP. O o tamanho do pacote afeta o desempenho e os recursos disponíveis e precisam ser selecionados com cuidado.

      Conexão reutilizável

      Para reutilizar uma conexão existente, siga estas etapas:

      1. Ative a opção Usar conexão.
      2. Clique em Procurar conexões.

      3. Clique no nome da conexão.

      Se não houver uma conexão, siga estas etapas para criar uma conexão reutilizável:

      1. Clique em Add Connection > SapTable.
      2. Na página Criar uma conexão SapTable que é aberta, insira nome e descrição da conexão.
      3. No campo Cliente SAP, insira o nome do cliente de um instância ou ambiente específico no SAP. Um administrador do SAP pode fornecer o nome do cliente.
      4. No campo Idioma SAP, digite um idioma de logon SAP. O padrão é EN (inglês).

      5. Selecione um dos seguintes Tipos de conexão.

         • Direto (via SAP Application Server). Se você escolher este tipo padrão, insira as informações no seguinte Campos: host do servidor de aplicativos SAP, sistema SAP número e roteador SAP.
         • Carga balanceada (via SAP Message Server). Se você escolher desse tipo, insira as informações nos seguintes campos: Host do servidor de mensagens SAP, serviço de servidor de mensagens SAP ou número da porta, ID do sistema SAP (SID) e Logon SAP nome do grupo.

      6. Forneça as credenciais SAP: solicite ao seu administrador SAP os valores de nome de usuário de logon SAP e senha

      7. No campo Caminho do Cloud Storage da biblioteca JCo, insira o caminho do conector SAP Java (SAP JCo) no Cloud Storage que contém os arquivos da biblioteca SAP JCo que você enviou.

      8. Opcional: em Outras propriedades de conexão do SAP, , insira os pares de chave-valor que devem substituir o campo SAP JCo padrão.

      9. Clique em Criar.

Propriedades

    SELECT * FROM table_name WHERE column_name > value; \
    SELECT * FROM table_name WHERE column_name BETWEEN value1 AND value2;
    

    SELECT * FROM table_name WHERE column_name LIKE 'pattern%';
    

    SELECT * FROM table_name WHERE column_name \
      IN ('value1', 'value2', 'value3');
    

    SELECT * FROM table_name WHERE condition1 AND condition2; \
      SELECT * FROM table_name WHERE condition1 OR condition2; \
      SELECT * FROM table_name WHERE NOT condition;
    

    SELECT * FROM table_name \
      WHERE datetime_column >= 'start_date' AND datetime_column <= 'end_date';
    

    SELECT * FROM table_name WHERE datetime_column > 'target_date';
    

    SELECT * FROM table_name \
      WHERE datetime_column >= 'target_datetime' \
      AND datetime_column <= 'target_datetime';
    

    SELECT * FROM table_name \
      WHERE (column1 = 'value1' AND column2 > value2) \
      OR (column3 = 'value3' AND column4 < value4);
    

    ( ERNAM EQ 'LEE' AND AUDAT GT '20220722' ) \
      OR ( BSTNK EQ 'PO54321065' AND BSTDK LT '20220714' )
    

    SELECT * FROM table_name \
      WHERE (column1 = 'value1' OR (column2 = 'value2' AND column3 > value3)) \
      AND column4 = 'value4';
    

    ( ERDAT EQ '20220722' OR ( ERNAM EQ 'LEE' AND VDATU GT '20210623' ) ) \
      AND FMBDAT EQ '20220722'
    

    SELECT * FROM table_name \
      WHERE column1 IN (SELECT related_column FROM other_table WHERE condition);
    

    SELECT * FROM table_name \
      WHERE (column1 = 'value1' OR column2 = 'value2') \
      AND datetime_column > 'target_datetime';
    

    ( ERDAT EQ '20220722' OR ERNAM EQ 'LEE' ) AND VDATU GT '20210623'
    

    SELECT * FROM table_name \
      WHERE datetime_column >= 'YYYY-MM-DD HH:MM:SS' \
      AND datetime_column <= 'YYYY-M
    

    SELECT * FROM table_name \
      WHERE datetime_column >= NOW() - INTERVAL X DAY;
    

    WHERE YEAR+0(4) = 2023
    

Casos de uso

Há suporte para dois contextos de extração:

• Tabelas e visualizações do banco de dados SAP
• CDS do SAP ABAP

Em cada um dos contextos, o plug-in SAP Table dá suporte a padrões e tabelas tabelas e visualizações de bancos de dados.

Limitações

O plug-in SAP Table tem as seguintes limitações:

• Não é possível mesclar tabelas.
• Ele não oferece suporte a visualizações do CDS com parâmetros.
• Não há suporte para o recurso sem campos de chave.
• Se o recurso de snapshots estiver ativado, usando um tamanho de pacote maior que 30.000 pode causar falhas em pipelines. Esse tamanho de pacote pode variar, dependendo número de colunas na tabela SAP. É possível calcular o tamanho ideal de um pacote para uma tabela usando esta fórmula: tamanho da linha (em número de caracteres) * 5.
• O Connection Manager permite procurar no máximo 1.000 nomes de tabelas SAP.
• Quando ocorre um erro no pipeline, como um erro no sink, o plug-in da tabela SAP tenta limpar todos os processos ativos do lado do SAP relacionados à extração chamando o RFM personalizado destinado à limpeza: /GOOG/RFC_READ_TABLE_CLEANUP.

A seguir

• Saiba mais sobre Go no Google Cloud.