Fuente por lotes de ODP de SAP

En esta página se explica cómo configurar el complemento SAP ODP en Cloud Data Fusion.

El complemento ODP de SAP permite la integración de datos en bloque desde aplicaciones SAP con BigQuery u otros sistemas de destino compatibles mediante Cloud Data Fusion. El complemento tiene las siguientes funciones principales:

• Usa SAP ECC, SAP S4/HANA o SAP BW como sistema de origen
• Usa SAP CDC (captura de datos de cambios) para monitorizar y extraer datos nuevos y delta de las fuentes de datos.
• Usa el modo de extracción por lotes
• Admite fuentes de datos de SAP y vistas CDS de ABAP como fuentes de datos

Para obtener más información sobre SAP en Google Cloud, consulta la información general sobre SAP en Google Cloud.

Antes de empezar

Configura los siguientes sistemas y servicios que utiliza el complemento SAP ODP:

1. Configura el sistema ERP de SAP. Este proceso incluye los siguientes pasos:
   • Instala los archivos de transporte de SAP.
   • Configura las autorizaciones y los roles de SAP necesarios.
   • Configura SAP Java Connector.

2. Despliega el complemento de ODP en Cloud Data Fusion.

   • Importante: Elige una versión del complemento que sea compatible con la versión de Cloud Data Fusion.
   • Si actualizas la versión de tu instancia o complemento de Cloud Data Fusion, evalúa el impacto de los cambios en el ámbito funcional y el rendimiento de la canalización.

3. Establecer la conectividad RFC entre Cloud Data Fusion y SAP

   • Asegúrate de que la comunicación esté habilitada entre la instancia de Cloud Data Fusion y el servidor SAP.
   • En el caso de las instancias privadas, configura el emparejamiento entre redes de VPC.
   • Tanto el sistema SAP como la instancia de Cloud Data Fusion deben estar en el mismo proyecto.

Configurar el complemento

1. Ve a la interfaz web de Cloud Data Fusion y haz clic en Studio.
2. Comprueba que esté seleccionada la opción Flujo de procesamiento de datos - Lote (no En tiempo real).
3. En el menú Fuente, haga clic en SapODP. El nodo de SAP ODP aparece en tu canalización.
4. Para configurar la fuente, vaya al nodo SAP ODP y haga clic en Propiedades.

5. Introduce las siguientes propiedades. Para ver una lista completa, consulta Propiedades.

   1. Introduce una etiqueta para el nodo de ODP de SAP. Por ejemplo, SAP ODP tables.

   2. Introduce los detalles de la conexión. Puedes configurar una conexión nueva y puntual o una conexión reutilizable que ya tengas.

      Nueva conexión

      Para añadir una conexión única a SAP, sigue estos pasos:

      1. Mantén desactivada la opción Usar conexión.

      2. En la sección Conexión, introduce la siguiente información de la cuenta de SAP en estos campos:

         1. En el campo Nombre de referencia, introduce un nombre para la conexión que identifique esta fuente para el linaje.
         2. En el campo Cliente de SAP, introduce el nombre del cliente de una instancia o un entorno específicos de SAP. Un administrador de SAP puede proporcionar el nombre del cliente.
         3. En el campo Idioma de SAP, introduce un idioma de inicio de sesión de SAP. El valor predeterminado es EN (inglés).

         4. Seleccione uno de los siguientes tipos de conexión.

            • Directa (a través del servidor de aplicaciones de SAP). Si eliges este tipo predeterminado, introduce información en los siguientes campos: Host del servidor de aplicaciones SAP, Número del sistema SAP y Router SAP.
            • Balanceo de carga (a través de SAP Message Server). Si eliges este tipo, introduce información en los siguientes campos: Host del servidor de mensajes de SAP, Servicio del servidor de mensajes de SAP o número de puerto, ID del sistema SAP (SID) y Nombre del grupo de inicio de sesión de SAP.

         5. En el campo Contexto, selecciona el tipo de fuente de datos que estés usando.

         6. En el campo Nombre de la fuente de SAP ODP, introduce el nombre de la fuente de datos que estés usando.

         7. En el campo Tipo de extracción, selecciona el tipo de extracción de datos. El valor predeterminado es Completo (todos los datos).

         8. Proporciona las credenciales de SAP: pide al administrador de SAP el nombre de usuario de inicio de sesión de SAP y la contraseña.

         9. En el campo Ruta de Cloud Storage de la biblioteca JCo, introduce la ruta de SAP Java Connector (SAP JCo) en Cloud Storage que contiene los archivos de la biblioteca SAP JCo que has subido.

         10. Para generar un esquema basado en los metadatos de SAP que asigna los tipos de datos de SAP a los tipos de datos correspondientes de Cloud Data Fusion, haga clic en Obtener esquema. Para obtener más información, consulta Asignaciones de tipos de datos.

         11. Opcional: para optimizar la carga de ingestión de SAP, introduce información en los siguientes campos:

             1. En el campo Nombre de suscriptor de ODP de SAP, identifica el suscriptor de la extracción de datos de una fuente de datos válida.
             2. Las opciones de filtro te permiten extraer registros en función de las condiciones de selección.
             3. En el campo Número de divisiones, puedes crear particiones para extraer registros de datos en paralelo, lo que mejora el rendimiento. El número de divisiones puede afectar a los procesos de trabajo de SAP y debe seleccionarse con cuidado.
             4. En el campo Tamaño del paquete, especifica el número de registros que se extraerán en una sola llamada de red SAP. El tamaño del paquete influye en el rendimiento y los recursos disponibles, por lo que debe seleccionarse con cuidado.

      Conexión reutilizable

      Para reutilizar una conexión, sigue estos pasos:

      1. Activa Usar conexión.
      2. Haz clic en Ver conexiones.

      3. Haz clic en el nombre de la conexión.

         .

      Si no existe ninguna conexión, sigue estos pasos para crear una conexión reutilizable:

      1. Haz clic en Añadir conexión > SapOdp.
      2. En la página Crear una conexión SapOdp que se abre, introduzca un nombre y una descripción para la conexión.
      3. En el campo Cliente de SAP, introduzca el nombre del cliente de una instancia o un entorno específicos de SAP. Un administrador de SAP puede proporcionar el nombre del cliente.
      4. En el campo Idioma de SAP, introduce un idioma de inicio de sesión de SAP. El valor predeterminado es EN (inglés).

      5. Seleccione uno de los siguientes tipos de conexión.

         • Directa (a través del servidor de aplicaciones de SAP). Si eliges este tipo predeterminado, introduce información en los siguientes campos: Host del servidor de aplicaciones SAP, Número del sistema SAP y Router SAP.
         • Balanceo de carga (a través de SAP Message Server). Si eliges este tipo, introduce información en los siguientes campos: Host del servidor de mensajes de SAP, Servicio del servidor de mensajes de SAP o número de puerto, ID de sistema de SAP (SID) y Nombre del grupo de inicio de sesión de SAP.

      6. En el nombre de la fuente de SAP ODP, introduzca el nombre de la fuente de datos de ODP de SAP.

      7. Proporciona las credenciales de SAP: pide al administrador de SAP los valores de nombre de usuario de inicio de sesión de SAP y contraseña.

      8. En el campo Ruta de Cloud Storage de la biblioteca JCo, introduce la ruta de SAP Java Connector (SAP JCo) en Cloud Storage que contiene los archivos de la biblioteca SAP JCo que has subido.

      9. En el campo Tiempo de espera, introduce el tiempo que quieres esperar (en segundos) antes del siguiente reintento. Por ejemplo, 60.

      10. En el campo Número de reintentos, introduce el número máximo de reintentos. Por ejemplo, 3.

      11. Opcional: En el campo Propiedades de conexión SAP adicionales, introduzca los pares clave-valor que deban anular los valores predeterminados de SAP JCo.

      12. Haz clic en Crear.

Propiedades

Propiedad	Compatible con macros	Propiedad obligatoria	Descripción
Etiqueta	No	Sí	El nombre del nodo de su canalización de datos.
Usar conexión	No	No	Usar una conexión reutilizable. Si se usa una conexión, no es necesario que proporcione las credenciales. Para obtener más información, consulta Gestionar conexiones.
Nombre	No	Sí	Nombre de la conexión reutilizable.
Cliente de SAP	Sí	Sí	La instancia o el entorno específicos de un sistema SAP.
Idioma de SAP	Sí	Sí	El idioma en el que se muestran y se procesan la interfaz de usuario y los datos de SAP.
Tipo de conexión	No	Sí	El tipo de conexión SAP: Direct o Load balanced (Balanceo de carga).
Host del servidor de aplicaciones SAP	Sí	No	En el caso del tipo de conexión Direct (Directa), este nombre de host procede del servidor de aplicaciones SAP, que actúa como capa intermedia entre los clientes SAP (como la interfaz web de SAP, los navegadores web o las aplicaciones móviles) y la base de datos subyacente.
Número de sistema de SAP	Sí	No	Solo en el caso del tipo de conexión Direct, este número es el identificador único asignado a cada sistema SAP. Por ejemplo, 00.
SAP Router	Sí	No	Solo para el tipo de conexión Directa, esta es la cadena del router del servidor proxy, que proporciona un canal seguro para la comunicación entre los sistemas SAP y los clientes o partners externos.
Host del servidor de mensajes de SAP	Sí	No	Solo para el tipo de conexión Equilibrada de carga, este es el nombre del host, que facilita el equilibrio de carga entre varios servidores de aplicaciones de SAP.
Servicio o número de puerto del servidor de mensajes de SAP	Sí	No	Solo para el tipo de conexión Balanceo de carga, este es el puerto de red en el que el servidor de mensajes de SAP escucha las conexiones entrantes de los clientes y servidores de aplicaciones de SAP.
ID de sistema SAP (SID)	Sí	No	Este ID solo se asigna a cada sistema SAP en el tipo de conexión Balanceo de carga.
Nombre del grupo de inicio de sesión de SAP	Sí	No	Nombre de la agrupación lógica o configuración de varios servidores de aplicaciones SAP. El valor predeterminado es PUBLIC.
Tipo de objeto	N/A	N/A	Los tipos de objetos admitidos son DataSources/Extractors o ABAP Core Data Services.
Nombre de la fuente de SAP ODP	Sí	Sí	Nombre de la fuente de datos de SAP o de la vista CDS (por ejemplo, 2LIS_02_ITM).
Tipo de extracción	Sí	Sí	El complemento admite los dos tipos de extracción de datos siguientes: Completa (todos los datos): extrae todos los datos disponibles. Sincronización (selección automática basada en la ejecución anterior): determina si se debe ejecutar el modo completo, delta (incremental) o de recuperación (recuperar datos de la última ejecución) en función del tipo y el estado de la ejecución anterior disponibles en SAP. Extrae datos completos en la ejecución inicial de la canalización (modo F de ODP) y cambia los datos en las ejecuciones posteriores de la canalización (modos D y R de ODP).
Nombre de usuario de inicio de sesión de SAP	Sí	Sí	Nombre de usuario de SAP Recomendación: Si el nombre de usuario cambia periódicamente, usa una macro.
Contraseña de inicio de sesión de SAP	Sí	Sí	Contraseña de SAP. Recomendación: usa macros seguras.
ID del proyecto de GCP	Sí	Sí	Google Cloud ID de proyecto.
Ruta de GCS de la biblioteca SAP JCo	Sí	Sí	Ruta a Cloud Storage donde has subido los archivos de la biblioteca SAP JCo.
Obtener esquema	N/A	N/A	El complemento genera un esquema basado en los metadatos de SAP, que asigna los tipos de datos de SAP a los tipos de datos correspondientes de Cloud Data Fusion. Consulta Asignación de tipos de datos.
Nombre del suscriptor de ODP de SAP	Sí	Sí	El suscriptor de ODP para la extracción de datos de un DataSource o una vista CDS de SAP válidos. Debe tener lo siguiente: Un máximo de 32 caracteres, sin espacios Contener solo a a z, A a Z, 0 a 9, _ o / Único para diferentes flujos de procesamiento que extraen datos de la misma fuente de datos de SAP Si el campo se deja en blanco, Cloud Data Fusion genera un ID con una combinación del ID del proyecto, el espacio de nombres y los nombres de las canalizaciones. Puedes reutilizar una suscripción anterior, como una creada por una herramienta de terceros.
Tiempo de espera	Sí	No	Esta propiedad permite a los ingenieros de datos seleccionar un tiempo de espera adecuado después de cada llamada de red de Cloud Data Fusion a SAP.
Número de reintentos	Sí	No	Número de intentos de reintento mientras se espera a que se complete la llamada de red.
Opciones de filtro (igual)	Sí	No	El valor que debe tener un campo para leerse. Las opciones de filtro son listas de nombres de campos de metadatos y sus pares de valores. Definen la condición de filtro que se aplica al leer datos de un elemento DataSource de SAP. Solo se extraen los registros que cumplen las condiciones. La clave de filtro corresponde a un campo del esquema. Debe ser de un tipo simple (no ARRAY, RECORD ni UNION). Ejemplo de uso: Nombre del campo: MTART Valor: FERT
Opciones de filtro (intervalo)	Sí	No	Los límites inferior y superior del valor que debe tener un campo para que se lea. Las opciones de filtro son listas de nombres de campos de metadatos y sus pares de valores. Definen la condición de filtro que se aplica al leer datos de un elemento DataSource de SAP. Solo se extraen los registros que cumplen las condiciones. La clave de filtro corresponde a un campo del esquema. Tiene el formato bajo Y alto. Ejemplo de uso: Nombre del campo: ERDAT Valor mínimo: 2023-11-01 Valor máximo: 2023-11-30
Opciones de filtro (menor o igual)	Sí	No	El valor que debe ser inferior o igual a un campo. Las opciones de filtro son listas de nombres de campos de metadatos y sus pares de valores. Definen la condición de filtro que se aplica al leer datos de un elemento DataSource de SAP. Solo se extraen los registros que cumplen las condiciones. La clave de filtro corresponde a un campo del esquema. Debe ser de un tipo simple (no ARRAY, RECORD ni UNION). Ejemplo de uso: Nombre del campo: MATNR Valor: 10008
Opciones de filtro (mayor o igual que)	Sí	No	Valor que debe superar un campo para poder leerse. Las opciones de filtro son listas de nombres de campos de metadatos y sus pares de valores. Definen la condición de filtro que se aplica al leer datos de un elemento DataSource de SAP. Solo se extraen los registros que cumplen las condiciones. La clave de filtro corresponde a un campo del esquema. Debe ser de un tipo simple (no ARRAY, RECORD ni UNION). Ejemplo de uso: Nombre del campo: MATNR Valor: 10008
Opciones de filtro (distinto de)	Sí	No	Define el valor que no debe tener un campo para poder leerse. Las opciones de filtro son listas de nombres de campos de metadatos y sus pares de valores. Definen la condición de filtro que se aplica al leer datos de un elemento DataSource de SAP. Solo se extraen los registros que cumplen las condiciones. La clave de filtro corresponde a un campo del esquema. Debe ser de un tipo simple (no ARRAY, RECORD ni UNION). Ejemplo de uso: Nombre del campo: MTART Valor: FERT
Número de divisiones que se van a generar	Sí	No	Crea particiones para extraer registros en paralelo. El motor de tiempo de ejecución crea el número especificado de particiones (y conexiones SAP) al extraer los registros. Aumenta este valor con precaución, ya que incrementa las conexiones simultáneas con SAP. Recomendación: planifica las conexiones de SAP para cada pipeline y el número total de pipelines que se ejecutan simultáneamente. Si el valor es 0 o se deja en blanco, Cloud Data Fusion elige un valor adecuado en función del número de ejecutores disponibles, los registros que se van a extraer y el tamaño del paquete.
Tamaño del paquete (en KB)	Sí	No	Número de registros que se van a extraer en una sola llamada de red de SAP. Es el número de registros que SAP almacena en búfer en la memoria durante cada llamada de extracción de red. Ten cuidado al definir esta propiedad. Si hay varias canalizaciones de datos que extraen datos, el uso de memoria puede alcanzar su punto máximo, lo que provoca errores de Out of memory. Introduce un número entero positivo. Si se deja en blanco o se introduce 0, el complemento usa el valor estándar 70000 o un valor calculado de forma adecuada. Si la canalización de datos falla debido a errores de Out of memory, disminuya el tamaño del paquete o aumente la memoria disponible para sus procesos de trabajo de SAP.
Propiedades de conexión de SAP adicionales	Sí	No	Defina propiedades adicionales de SAP JCo para anular los valores predeterminados de SAP JCo. Por ejemplo, si se define jco.destination.pool_capacity = 10 , se anula la capacidad predeterminada del grupo de conexiones.

Limitaciones

Para asegurarse de que las canalizaciones se definen y ejecutan correctamente, consulte las siguientes limitaciones de los complementos:

• No se admiten tamaños de paquete superiores a 50.000.
• Las fuentes de datos que no admiten la extracción delta fallan en el modo Sincronización.
• En una fuente de datos personalizada, si no se gestiona el tamaño del paquete, la pipeline fallará en las extracciones de datos de gran tamaño.

Casos prácticos

Se admiten dos contextos de extracción:

• Fuentes de datos o extractores (SAPI)
• Contexto de ODP ABAP CDS (ABAP_CDS)

El complemento ODP admite las siguientes fuentes de datos estándar y personalizadas para ambos contextos:

Fuente de datos ODP	Contexto	Extracción completa	Extracción delta
SAP Standard pre-delivered	SAPI	Compatible	Compatible
Personalizado (Z*)	SAPI	Compatible	Compatible
SAP Standard pre delivered	ABAP_CDS	Compatible	Compatible
Personalizado (Z*)	ABAP_CDS	Compatible	Compatible

Siguientes pasos

• Consulta más información sobre Cloud Data Fusion.
• Consulta más información sobre SAP en Google Cloud.