El complemento de SAP ODP habilita la integración masiva de datos desde aplicaciones de SAP con BigQuery o con otros sistemas de destino compatibles mediante Cloud Data Fusion. El complemento tiene las siguientes funciones clave:
- Usa SAP ECC, SAP S4/HANA o SAP BW como sistema de origen
- Usa SAP CDC (Captura de datos de cambio) para hacer un seguimiento y extraer datos nuevos y delta en las fuentes de datos
- Usa el modo de extracción por lotes
- Admite vistas de SAP DataSources y vistas de CDS de ABAP como fuentes de datos.
Versiones de software compatibles
Software | Versiones |
---|---|
SAP S4/HANA | SAP S4/HANA 1909 y versiones posteriores |
SAP ECC | SAP ERP6 NW 7.31 SP16 y posterior |
SAP JCo | SAP JCo versión 3.0.20 y posteriores |
Cloud Data Fusion | 6.3 y posteriores |
Para obtener más información sobre SAP en Google Cloud, consulta la Descripción general de SAP en Google Cloud.
Antes de comenzar
Configura los siguientes sistemas y servicios que usa el complemento de SAP ODP:
- Configura el sistema SAP ERP.
En este proceso, se incluyen los siguientes pasos:
- Instala los archivos de transporte de SAP.
- Configura las autorizaciones y los roles de SAP necesarios.
- Configura el conector de Java de SAP.
Implementa el complemento de ODP en Cloud Data Fusion.
- Importante: Elige una versión del complemento que sea compatible con la versión de Cloud Data Fusion.
- Si actualizas la versión de tu instancia o complemento de Cloud Data Fusion, evalúa el impacto de los cambios en el alcance funcional y el rendimiento de la canalización.
Establece la conectividad RFC entre Cloud Data Fusion y SAP.
- Asegúrate de que la comunicación esté habilitada entre la instancia de Cloud Data Fusion y el servidor de SAP.
- Para las instancias privadas, configura el intercambio de tráfico entre redes de VPC.
- El sistema SAP y la instancia de Cloud Data Fusion deben estar en el mismo proyecto.
Cómo configurar el complemento
- Ve a la interfaz web de Cloud Data Fusion y haz clic en Studio.
- Comprueba que la opción Data Pipeline - Batch esté seleccionada (no Realtime).
- En el menú Fuente, haz clic en SapODP. El nodo de SAP ODP aparece en tu canalización.
- Para configurar la fuente, ve al nodo de SAP ODP y haz clic en Properties.
Ingresa las siguientes propiedades. Para obtener una lista completa, consulta Propiedades.
- Ingresa una Etiqueta para el nodo de SAP ODP, por ejemplo,
SAP ODP tables
. Ingresa los detalles de la conexión. Puedes configurar una conexión nueva de un solo uso, o una existente y reutilizable.
Nueva conexión
Para agregar una conexión de un solo uso a SAP, sigue estos pasos:
- Mantén desactivada la opción Usar conexión.
En la sección Conexión, ingresa la siguiente información de la cuenta de SAP en estos campos:
- En el campo Nombre de referencia, ingresa un nombre para la conexión que identifica esta fuente para el linaje.
- En el campo Cliente de SAP, ingresa el nombre de cliente de una instancia o entorno específico dentro de SAP. Un administrador de SAP puede proporcionar el nombre del cliente.
- En el campo Idioma de SAP, ingresa un idioma de inicio de sesión de SAP. El valor predeterminado es EN (inglés).
Selecciona uno de los siguientes Tipos de conexión.
- Directo (a través de SAP Application Server). Si eliges este tipo predeterminado, ingresa la información en los siguientes campos: SAP application server host, SAP system number, y SAP router.
- Carga balanceada (a través de SAP Message Server). Si eliges este tipo, ingresa la información en los siguientes campos: SAP Message Server host, SAP Message Server service or port number, SAP System ID (SID) (ID del sistema de SAP (SID)) y SAP signn group name (Nombre del grupo de inicio de sesión de SAP).
En el campo Contexto, selecciona el tipo de fuente de datos que usas.
En el campo Nombre de origen de SAP ODP, ingresa el nombre de la fuente de datos que usas.
En el campo Tipo de extracción, selecciona el tipo de extracción de datos. La configuración predeterminada es Full (todos los datos).
Proporciona las credenciales de SAP: solicita al administrador de SAP el nombre de usuario de inicio de sesión de SAP y la contraseña.
En el campo Ruta de acceso de la biblioteca de JCo de Cloud Storage, ingresa la ruta de acceso del conector de SAP Java (SAP JCo) en Cloud Storage que contiene los archivos de la biblioteca de SAP JCo que subiste.
Para generar un esquema basado en los metadatos de SAP que asigne los tipos de datos de SAP a los tipos de datos de Cloud Data Fusion correspondientes, haz clic en Obtener esquema. Para obtener más información, consulta Asignaciones de tipos de datos.
Para optimizar la carga de transferencia desde SAP, ingresa la información en los siguientes campos (opcional):
- En el campo Nombre del suscriptor de SAP ODP, identifica el suscriptor para la extracción de datos de una fuente de datos válida.
- El uso de las Opciones de filtro te permite extraer registros según las condiciones de selección.
- En el campo Cantidad de divisiones, puedes crear particiones para extraer registros de datos en paralelo, lo que mejora el rendimiento. La cantidad de divisiones puede afectar los procesos de trabajo de SAP y debe seleccionarse con cuidado.
- En el campo Tamaño del paquete, especifica la cantidad de registros que se extraerán en una llamada de red única de SAP. El tamaño del paquete afecta el rendimiento y los recursos disponibles y debe seleccionarse con cuidado.
Conexión reutilizable
Para volver a usar una conexión existente, sigue estos pasos:
- Activa Usar conexión.
- Haz clic en Browse connections.
Haz clic en el nombre de la conexión.
Si no existe una conexión, sigue estos pasos para crear una reutilizable:
- Haz clic en Agregar conexión > SapOdp.
- En la página Crear una conexión de SapOdp que se abre, ingresa el nombre y la descripción de la conexión.
- En el campo Cliente de SAP, ingresa el nombre de cliente de una instancia o entorno específico en SAP. Un administrador de SAP puede proporcionar el nombre del cliente.
- En el campo Idioma de SAP, ingresa un idioma de inicio de sesión de SAP. El valor predeterminado es EN (inglés).
Selecciona uno de los siguientes Tipos de conexión.
- Directo (a través de SAP Application Server). Si eliges este tipo predeterminado, ingresa la información en los siguientes campos: Host del servidor de aplicaciones de SAP, Número de sistema de SAP y Router de SAP.
- Carga balanceada (a través de SAP Message Server). Si eliges este tipo, ingresa información en los siguientes campos: SAP Message Server host, SAP Message Server service or port, SAP System ID (SID) (ID del sistema de SAP (SID)) y Nombre del grupo de inicio de sesión de SAP (SAP).
En el nombre de origen de ODP de SAP, ingresa el nombre de DataSource de ODP de SAP.
Proporciona las credenciales de SAP: solicita al administrador de SAP los valores de Nombre de usuario de inicio de sesión de SAP y Contraseña.
En el campo Ruta de acceso de la biblioteca de JCo de Cloud Storage, ingresa la ruta de acceso del conector de Java de SAP (SAP JCo) en Cloud Storage que contiene los archivos de la biblioteca de SAP JCo que subiste.
En el campo Tiempo de espera, ingresa un tiempo de espera (en segundos) antes del próximo reintento, por ejemplo,
60
.En el campo Recuento de reintentos, ingresa la cantidad máxima de reintentos, por ejemplo,
3
.Opcional: En el campo Propiedades adicionales de conexión de SAP, ingresa los pares clave-valor que deben anular los valores predeterminados de SAP JCo.
Haz clic en Crear.
- Ingresa una Etiqueta para el nodo de SAP ODP, por ejemplo,
Propiedades
Propiedad | Macro habilitado | Propiedad obligatoria | Descripción |
---|---|---|---|
Etiqueta | No | Sí | El nombre del nodo en tu canalización de datos. |
Usar conexión | No | No | Usa una conexión reutilizable. Si se usa una conexión, no necesitas proporcionar las credenciales. Para obtener más información, consulta Administra conexiones. |
Nombre | No | Sí | El nombre de la conexión reutilizable. |
Cliente SAP | Sí | Sí | La instancia o el entorno específicos en un sistema SAP. |
Lenguaje de SAP | Sí | Sí | El idioma en el que se muestran y procesan la interfaz de usuario y los datos de SAP. |
Tipo de conexión | No | Sí | El tipo de conexión de SAP: directa o balanceo de cargas. |
Host del servidor de aplicaciones de SAP | Sí | No | Solo para el tipo de conexión directa, este nombre de host proviene de SAP Application Server, que funciona como una capa de middleware entre clientes SAP (como la interfaz web de SAP, navegadores web o apps para dispositivos móviles) y la base de datos subyacente. |
Número del sistema SAP | Sí | No | Solo para el tipo de conexión directa, este número es el identificador único asignado a cada sistema SAP. Por ejemplo, 00 . |
Router SAP | Sí | No | Solo para el tipo de conexión directa, esta es la string del router del servidor proxy, que proporciona un canal seguro para la comunicación entre los sistemas SAP y los clientes o socios externos. |
Host del servidor de mensajes de SAP | Sí | No | Solo para el tipo de conexión de balanceo de cargas, este es el nombre del host, lo que facilita el balanceo de cargas entre varios servidores de aplicaciones en SAP. |
Número de puerto o servicio del servidor de mensajes de SAP | Sí | No | Solo para el tipo de conexión Balanceo de cargas, este es el puerto de red en el que el servidor de mensajes de SAP escucha las conexiones entrantes de los clientes de SAP y los servidores de aplicaciones dentro de SAP. |
ID del sistema SAP (SID) | Sí | No | Solo para el tipo de conexión de balanceo de cargas, este ID se asigna a cada sistema SAP. |
Nombre del grupo de inicio de sesión de SAP | Sí | No | El nombre de la agrupación lógica o la configuración de varios servidores de aplicaciones de SAP. El valor predeterminado es PUBLIC . |
Tipo de objeto | N/A | N/A | Los tipos de objetos admitidos: DataSources/Extractors o ABAP Core Data Services. |
Nombre de origen de SAP ODP | Sí | Sí | El nombre de la vista de SAP DataSources o CDS (por ejemplo, 2LIS_02_ITM ). |
Tipo de extracción | Sí | Sí | El complemento admite los dos tipos siguientes de extracción de datos:
|
Nombre de usuario de inicio de sesión de SAP | Sí | Sí | Nombre de usuario para SAP Recomendado: Si el nombre de usuario cambia de forma periódica, usa una macro. |
Contraseña de inicio de sesión de SAP | Sí | Sí | Contraseña de SAP. Recomendación: Utilice macros seguras. |
ID del proyecto de GCP | Sí | Sí | ID del proyecto de Google Cloud. |
Ruta de acceso de GCS de la biblioteca de SAP JCo | Sí | Sí | Es la ruta de acceso a Cloud Storage en la que subiste los archivos de la biblioteca SAP JCo. |
Obtener esquema | N/A | N/A | El complemento genera un esquema basado en los metadatos de SAP, que asigna los tipos de datos de SAP a los tipos de datos de Cloud Data Fusion correspondientes. Consulta Asignación de tipos de datos. |
Nombre del suscriptor de SAP ODP | Sí | Sí | El suscriptor de ODP para la extracción de datos desde una vista válida de SAP DataSource o CDS. Debe incluir lo siguiente:
|
Tiempo de espera | Sí | No | Esta propiedad permite que los ingenieros de datos seleccionen un tiempo de espera adecuado después de cada llamada de red de Cloud Data Fusion a SAP. |
Recuento de reintentos | Sí | No | La cantidad de reintentos mientras se espera a que se complete la llamada de red. |
Opciones de filtro (igual a) | Sí | No | El valor que se debe leer en un campo. Las opciones de filtro son listas de nombres de campos de metadatos y sus pares de valores. Definen la condición de filtro que se aplica cuando se leen datos de una DataSource de SAP. Solo se extraen los registros que cumplen con las condiciones. La clave de filtro corresponde a un campo en el esquema. Debe ser de un tipo simple (no ARRAY , RECORD ni UNION ). Ejemplo de uso:Nombre del campo: MTART Valor: FERT |
Opciones de filtro (rango) | Sí | No | Los límites bajo y alto del valor que debe leer un campo. Las opciones de filtro son listas de nombres de campos de metadatos y sus pares de valores. Definen la condición de filtro que se aplica cuando se leen datos de una DataSource de SAP. Solo se extraen los registros que cumplen con las condiciones. La clave de filtro corresponde a un campo en el esquema. Tiene el formato bajo Y alto. Uso de ejemplo: Nombre del campo: ERDAT Valor bajo: 2023-11-01 Valor alto: 2023-11-30 |
Opciones de filtro (menos igual) | Sí | No | El valor de un campo que debe ser menor o igual. Las opciones de filtro son listas de nombres de campos de metadatos y sus pares de valores. Definen la condición de filtro que se aplica cuando se leen datos de una DataSource de SAP. Solo se extraen los registros que cumplen con las condiciones. La clave de filtro corresponde a un campo en el esquema. Debe ser de un tipo simple (no ARRAY , RECORD ni UNION ). Ejemplo de uso:Nombre del campo: MATNR Valor: 10008 |
Opciones de filtro (mayor igual) | Sí | No | El valor que debe ser mayor que el valor de lectura de un campo. Las opciones de filtro son listas de nombres de campos de metadatos y sus pares de valores. Definen la condición de filtro que se aplica cuando se leen datos de una DataSource de SAP. Solo se extraen los registros que cumplen con las condiciones. La clave de filtro corresponde a un campo en el esquema. Debe ser de un tipo simple (no ARRAY , RECORD ni UNION ). Ejemplo de uso:Nombre del campo: MATNR Valor: 10008 |
Opciones de filtro (no igual) | Sí | No | Define el valor de lectura de un campo. Las opciones de filtro son listas de nombres de campos de metadatos y sus pares de valores. Definen la condición de filtro que se aplica cuando se leen datos de una DataSource de SAP. Solo se extraen los registros que cumplen con las condiciones. La clave de filtro corresponde a un campo en el esquema. Debe ser de un tipo simple (no ARRAY , RECORD ni UNION ). Ejemplo de uso:Nombre del campo: MTART Valor: FERT |
Cantidad de divisiones que se generarán | Sí | No | Crea particiones para extraer registros en paralelo. El motor del entorno de ejecución crea la cantidad especificada de particiones (y conexiones de SAP) mientras extrae los registros. Ten cuidado cuando aumentes este valor, ya que aumenta las conexiones simultáneas con SAP. Recomendado: Planifica las conexiones de SAP para cada canalización y la cantidad total de canalizaciones que se ejecutan de forma simultánea. Si el valor es 0 o se deja en blanco, Cloud Data Fusion elige un valor apropiado según la cantidad de ejecutores disponibles, los registros que se extraerán y el tamaño del paquete. |
Tamaño del paquete (en KB) | Sí | No | La cantidad de registros que se extraerán en una sola llamada de red de SAP. Es la cantidad de registros que SAP almacena en búfer en la memoria durante cada llamada de extracción de red. Ten cuidado cuando configures esta propiedad. Varias canalizaciones de datos que extraen datos pueden aumentar el uso de memoria, lo que causa fallas debido a errores Out of memory .
|
Propiedades adicionales de conexión de SAP | Sí | No | Establecer propiedades adicionales de SAP JCo para anular los valores predeterminados de SAP JCo.
Por ejemplo, si se configura jco.destination.pool_capacity = 10 , se anula la capacidad predeterminada del grupo de conexiones. |
Asignaciones de tipos de datos
En la siguiente tabla, se muestra una lista de los tipos de datos de SAP con los tipos correspondientes de Cloud Data Fusion.
Tipo de datos SAP | Tipo de ABAP | SAP description | Tipo de datos de Cloud Data Fusion |
---|---|---|---|
INT1 (numérico) |
b | Número entero de 1 byte | int |
INT2 (numérico) |
s | Número entero de 2 bytes | int |
INT4 (numérico) |
i | Número entero de 4 bytes | int |
INT8 (numérico) |
8 | Número entero de 8 bytes | long |
DEC (numérico) |
p | Número empaquetado en formato BCD (DEC) | decimal |
DF16_DEC , DF16_RAW (números numéricos) |
a | Número de punto flotante decimal 8 bytes IEEE 754r | double |
DF34_DEC , DF34_RAW (números numéricos) |
e | Número de punto flotante decimal, 16 bytes, IEEE 754r | double |
FLTP (numérico) |
f | Número de punto flotante binario | double |
CHAR , LCHR (Personaje) |
c | Cadena de caracteres | string |
SSTRING , GEOM_EWKB (Personaje) |
string | Cadena de caracteres | string |
STRING (Personaje) |
string | CLOB de string de caracteres | bytes |
NUMC , ACCP (Personaje) |
n | Texto numérico | string |
RAW , LRAW (Byte) |
x | Datos binarios | bytes |
RAWSTRING (Byte) |
xstring | BLOB de cadenas de bytes | bytes |
DATS (fecha/hora) |
d | Fecha | date |
TIMS (fecha/hora) |
t | Tiempo | hora |
TIMS (fecha/hora) |
CLCL | Utclong, TimeStamp | timestamp |
Limitaciones
Para asegurarte de que las canalizaciones se definan y ejecuten de forma correcta, revisa las siguientes limitaciones de complementos:
- No se admiten paquetes de más de 50,000.
- Las fuentes de datos que no admiten la extracción delta fallan en el modo de sincronización.
- En una fuente de datos personalizada, si no se controla el tamaño del paquete, la canalización falla en las extracciones de datos grandes.
Casos de uso
Se admiten dos contextos de extracción:
- Fuentes de datos o extractores (SAPI)
- CDS de ABAP del contexto de ODP (ABAP_CDS)
El complemento de ODP admite las siguientes fuentes de datos estándar y personalizadas para ambos contextos:
Fuente de datos de ODP | Contexto | Extracción completa | Extracción delta |
---|---|---|---|
Entrega previa de SAP Standard | SAPI | Admitido | Admitido |
Personalizada (Z*) | SAPI | Admitido | Admitido |
SAP Standard entregado previamente | ABAP_CDS | Admitido | Admitido |
Personalizada (Z*) | ABAP_CDS | Admitido | Admitido |
Notas de la versión
¿Qué sigue?
- Obtén más información sobre Cloud Data Fusion.
- Obtén más información sobre SAP en Google Cloud.