Fuente por lotes de SAP BW Open Hub

En esta guía, se describe cómo implementar, configurar y ejecutar canalizaciones de datos que usan el complemento de origen por lotes de SAP BW Open Hub. Puedes usar SAP como fuente para la extracción de datos por lotes y por delta en Cloud Data Fusion Servicio de BW Open Hub.

Este complemento permite la integración masiva de datos desde aplicaciones de SAP con Cloud Data Fusion. Puedes configurar y ejecutar transferencias de datos masivas DataSources de SAP sin ningún tipo de código.

Si quieres conocer las aplicaciones SAP y los objetos para extracción compatibles, consulta Detalles de asistencia. Para obtener más información sobre cómo ejecutar SAP en Google Cloud, consulta Descripción general de SAP en Google Cloud.

Objetivos

  • Configura el sistema SAP BW.
  • Implementar el complemento en tu entorno de Cloud Data Fusion.
  • Descarga el transporte de SAP desde Cloud Data Fusion y, luego, instálalo en SAP.
  • Usa Cloud Data Fusion y la fuente de lotes de SAP BW Open Hub para crear canalizaciones de datos y, así, integrar datos de SAP.

Antes de comenzar

Para utilizar este complemento, debes tener conocimientos de dominio en las siguientes áreas:

Funciones de usuario

Las tareas de esta página las realizan personas con las siguientes funciones en Google Cloud o en su sistema SAP:

Tipo de usuario Descripción
Administrador de Google Cloud Los usuarios con esta función son administradores de cuentas de Google Cloud.
Usuario de Cloud Data Fusion Los usuarios a los que se les asigna esta función están autorizados para diseñar y ejecutar canalizaciones de datos. Se les otorga, como mínimo, la función de visualizador de Data Fusion (roles/datafusion.viewer). Si usas el control de acceso basado en funciones, es posible que necesites funciones adicionales.
Administrador de SAP Los usuarios con esta función son administradores del sistema SAP. Tienen acceso para descargar software del sitio de servicio de SAP. No es una función de IAM.
Usuario de SAP Los usuarios a los que se les asignó esta función están autorizados para conectarse a un sistema SAP. No es una función de IAM.

Requisitos previos para SAP BW

Necesitas SAP HANA Studio para crear y editar procesos y procesos de transferencia de datos Cadenas.

Requisitos previos para Cloud Data Fusion

  • Se requiere una red de VPC para crear instancias de Cloud Data Fusion.
  • Se requiere una instancia de Cloud Data Fusion, versión 6.8.0 o posterior, de cualquier edición.
  • Los roles obligatorios deben otorgarse a la cuenta de servicio asignada al instancia de Cloud Data Fusion. Para obtener más información, consulta Otorga permiso de usuario a la cuenta de servicio.
  • Debes usar una conexión de intercambio de tráfico entre tu VPC y red de VPC compartida de Google.

Configura el sistema SAP BW

La fuente de lotes de SAP BW Open Hub usa un Remote Function Module (RFM), que debe instalarse en cada SAP Server en la que se extraen los datos. Este RFM se entrega como un transporte de SAP.

Para configurar tu sistema SAP, sigue estos pasos:

  1. El usuario de Cloud Data Fusion debe descargar el archivo ZIP que contiene el el transporte de SAP y se lo proporcionan al administrador de SAP. Para obtener más información, consulta Configura Cloud Data Fusion.
  2. El administrador de SAP debe importar el transporte SAP al sistema SAP y verificar los objetos creados. Para obtener más información, consulta Cómo instalar el transporte de SAP.
  3. Opcional: El usuario de SAP puede modificar los objetos de autorización estándar de SAP de entregó la función /GOOG/BWOH_CDF_AUTH en función de la seguridad de su organización y políticas de seguridad.

Instala los archivos de transporte de SAP

Para diseñar y ejecutar canalizaciones de datos en Cloud Data Fusion, el SAP Los componentes se entregan en archivos de transporte de SAP, que se archivan en un archivo ZIP . La descarga estará disponible cuando implementes el complemento en el Centro de noticias de Cloud Data Fusion.

Descargar el archivo ZIP de transporte de SAP BW OH

Los IDs de solicitud de transporte de SAP y los archivos asociados se proporcionan en lo siguiente: tabla:

Transporte de SAP

ID de transporte Coarchivo Archivo de datos Contenido
BW1K900054 K900054.BW1 R900054.BW1 Conector de BWOH Cloud Data Fusion versión 1.0
Módulos de funciones:
/GOOG/BWOH_GET_PC_LOG
/GOOG/BWOH_GET_PRO_CHA_DETAILS
/GOOG/BWOH_API_OHS_ETL_READ
/GOOG/BWOH_GET_PC_RUNS
/GOOG/BWOH_SET_LAST_RUN
/GOOG/BWOH_GET_PC_OHD_LIST
BW1K900055 K900055.BW1 R900055.BW1 Rol de autorización /GOOG/BWOH_CDF_AUTH

Para instalar el transporte de SAP, sigue estos pasos:

Paso 1: Sube los archivos de solicitud de transporte

  1. Accede al sistema operativo de la instancia de SAP.
  2. Usa el código de transacción AL11 de SAP para obtener la ruta de acceso de la carpeta DIR_TRANS. Por lo general, la ruta es /usr/sap/trans/.
  3. Copia los coarchivos a la carpeta DIR_TRANS/cofiles.
  4. Copia los archivos de datos en la carpeta DIR_TRANS/data.
  5. Configura el usuario y el grupo de datos, y copia en <sid>adm y sapsys.

Paso 2: Importa los archivos de solicitud de transporte

El administrador de SAP puede importar los archivos de solicitud de transporte con uno de las siguientes opciones:

Opción 1: Importar los archivos de solicitud de transporte con el sistema de administración de transporte de SAP
  1. Accede al sistema de SAP como administrador de SAP.
  2. Ingresa el STMS de la transacción.
  3. Haz clic en Descripción general &gt; Importaciones.
  4. En la columna Queue, haz doble clic en el SID actual.
  5. Haz clic en Adicionales > Otras solicitudes > Agregar.
  6. Selecciona el ID de solicitud de transporte y haz clic en Continuar.
  7. Selecciona la solicitud de transporte en la cola de importación y, luego, haz clic en Solicitud > Importar.
  8. Ingresa el número de cliente.
  9. En la pestaña Options, selecciona Overwrite Originals y, luego, Ignore Invalid Component Version.

    Opcional: Selecciona Leave Transports Requests in Queue for Later Import. Esto hace que las solicitudes se importen de nuevo en el orden correcto con la siguiente la importación de todas las solicitudes. Esta opción es útil si tienes que realizar importaciones preliminares para solicitudes individuales.

  10. Haga clic en Continuar.

  11. Verifica que el módulo de función y los roles de autorización se hayan importado de forma correcta mediante las transacciones adecuadas, como SE80 y PFCG.

Opción 2: Importa los archivos de solicitud de transporte a nivel del sistema operativo
  1. Accede al sistema de SAP como administrador de SAP.
  2. Agrega las solicitudes adecuadas al búfer de importación:

    tp addtobuffer TRANSPORT_REQUEST_ID SID
    

    Por ejemplo: tp addtobuffer BW1K900054 DD1

  3. Importa las solicitudes de transporte:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
    

    Reemplaza NNN por el número de cliente. Por ejemplo:

    tp import BW1K900054 DD1 client=100 U1238
    
  4. Verifica que el módulo de función y los roles de autorización se hayan importado de forma correcta mediante las transacciones adecuadas, como SE80 y PFCG.

Autorizaciones necesarias de SAP

Para ejecutar una canalización de datos en Cloud Data Fusion, necesitas un usuario de SAP. El usuario de SAP debe ser de los tipos Communications o Dialog. Para evitar usar recursos de diálogo de SAP, se recomienda el tipo Communications. El administrador de SAP puede crear usuarios con el código de transacción SU01 de SAP.

Se requieren autorizaciones de SAP para configurar el conector para SAP. Los objetos de autorización de SAP específicos del conector se envían como parte del Solicitud de transporte. Importa el transporte de roles de autorización como se describe en Instala el transporte de SAP para incorporar el rol en tu y genera el rol a partir del código de transacción de PFCG.

Para los objetos de autorización estándar de SAP, tu organización administra los permisos con su propio mecanismo de seguridad. Puedes mantener objetos de autorización según las políticas de seguridad de tu organización.

Cree una cadena de proceso (PC) y un proceso de transferencia de datos (DTP)

Crear una cadena de procesos y un proceso de transferencia de datos habilidades y conocimientos previos.

Conceptos básicos

Para crear o editar una PC y un DTP, usa SAP HANA Studio.

Habilidades de requisito previo

  • Usaste transformaciones para definir el flujo de datos entre la fuente y el objeto de destino.
  • Estar familiarizado con conceptos básicos de BW y HANA, como los objetos DataStore (DSO), Data Transformations, InfoCubes, optimización de consultas, modelado de HANA y Funciones de base de datos de HANA con HANA Studio. Para obtener más información sobre estos conceptos, consulta los instructivos de SAP sobre BW y HANA.

Tipo de extracción

Hay dos modos de extracción de datos para un proceso de transferencia de datos: completo y Delta.

  • Full: Selecciona todos los datos disponibles en la fuente según el filtro. condiciones mencionadas en la DTP. Si la fuente de datos es una de las los siguientes InfoProviders, solo está disponible el modo de extracción completa:

    • InfoObjects
    • InfoSets
    • Objetos de DataStore para actualización directa
  • Delta: A diferencia de InfoPackage, la transferencia Delta con un DTP no requiere una inicialización explícita. Cuando se ejecuta un DTP con la extracción delta por primera vez, todas las solicitudes existentes hasta el momento de la extracción se recupera de la fuente, y luego se inicializa delta automáticamente.

    Las siguientes opciones están disponibles para un DTP con el modo de extracción delta:

    • Obtener el valor delta una sola vez
    • Obtén todas las solicitudes de datos nuevas por solicitud
    • Recupera hasta no haber más datos nuevos

Tamaño del paquete: Es el número de registros de datos presentes en una persona. en un paquete de datos. El valor predeterminado es 50,000.

Crea una cadena de procesos

Para crear una cadena de proceso (PC), usa la RSPC de transacción en la GUI de SAP. Define un iniciar proceso y, luego, agregar los pasos del proceso y la DTP. Para obtener más información, consulta la documentación de SAP Creación de cadenas de procesos.

Hay varias opciones disponibles en HANA Studio para supervisar y administrar PCs. Para obtener más información, consulta Operaciones de cadena de procesos de SAP BW/4HANA.

Crear un proceso de transferencia de datos con una cadena de procesos

Ve a la vista Planificación de la cadena de procesos que deseas usar para la Proceso de Transferencia de Datos. En la vista Planificación, puede crear el DTP utilizando HANA Studio. Para obtener más información, consulta la documentación de SAP sobre cómo crear un proceso de transferencia de datos.

Para obtener más información sobre las opciones de configuración, consulta Todo sobre el proceso de transferencia de datos (DTP) – SAP BW 7.

Conexión de RFC

Para notificar al sistema de devolución de llamada, como el complemento de origen por lotes SAP BW Open Hub, de que los datos estén disponibles, la cadena de procesos debe actualizarse para usar una RFC destino:

  1. En SM59, crea una conexión RFC de tipo Conexiones TCP/IP para notificar al sistema de destino desde BW una vez que se complete la carga de datos en IE.

  2. Haz doble clic en la conexión RFC para asegurarte de que el ID del programa esté configurado en ella. El ID del programa debe ser único para a cada destino RFC para evitar conflictos con los objetos de escucha en el entorno de ejecución.

  3. Usa la conexión TCP/IP recién creada en la cadena de procesos para enviar para que se complete un trabajo por lotes de Cloud Data Fusion. Nombre de la cadena de proceso no distingue mayúsculas de minúsculas. Se debe especificar correctamente en letras mayúsculas en el proceso de integración de extremo a extremo.

Cómo mostrar los registros de las cadenas de procesos y los procesos de transferencia de datos

  1. Ve a Tcode : RSPC y haz clic en Process Chains.

  2. Haz clic con el botón derecho en la cadena de procesos de la que deseas mostrar los registros. Haz clic en Mostrar registros.

Configura el clúster de Dataproc cuando uses la cadena de procesos

Para habilitar la comunicación a través del servidor de RFC, debes agregar las entradas de puerto de SAP Gateway en el archivo /etc/services en los nodos del clúster de Dataproc. Se recomienda usar un init action, la secuencia de comandos que se ejecutará cuando se inicialice el clúster. Para obtener más información, consulta Acciones de inicializaciones.

Crear un archivo de secuencia de comandos y guardarlo en un bucket de Cloud Storage Lo siguiente En este ejemplo, se muestra el contenido del archivo de secuencia de comandos:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

En el ejemplo anterior, ten en cuenta lo siguiente:

  • Las entradas tienen el formato sapgwxx 33xx/tcp, en el que XX es el número de instancia de SAP.

  • Se agregaron los puertos para las instancias de SAP 00 a 04.

Sigue estos pasos si usas una red efímera persistentes o un clúster de Dataproc persistente existente.

Clúster efímero de Dataproc

Si usas un clúster efímero de Dataproc, agrega la ruta de acceso de la secuencia de comandos init a las propiedades del clúster:

  1. En el supervisor de trabajos, en la página de canalización en Cloud Data Fusion, Haz clic en Configurar.
  2. Selecciona el perfil de Compute y haz clic en Customize.
  3. En Configuración avanzada, en el campo Acciones de inicialización, ingresa la ruta de acceso a la secuencia de comandos init.

Nuevo clúster persistente de Dataproc

Si usas un clúster de Dataproc persistente recién creado, usa init. en el comando de gcloud para crear el clúster. Por ejemplo:

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Clúster de Dataproc persistente existente

Si usas un clúster de Dataproc persistente existente, sigue estos pasos:

Si el clúster ya se creó sin usar la secuencia de comandos init, agrega las entradas de forma manual en los nodos principal y trabajador del clúster de Dataproc.

  1. SSH a la instancia principal y al nodo de clúster.
  2. Accede al ID de usuario raíz.
  3. Navega a /etc/ y abre el archivo /etc/services en un editor VI.
  4. Agrega la entrada sapgwxx 33xx/tcp. Reemplaza xx por tu instancia de SAP. de la fila.
  5. Guarda el archivo /etc/services.

Configura Cloud Data Fusion

Asegúrate de que la comunicación entre Cloud Data Fusion esté habilitada y el servidor SAP. Para las instancias privadas, configura intercambio de tráfico entre redes. Después de establecer el intercambio de tráfico entre redes con el proyecto en el que se instalan los sistemas SAP alojado, no se necesita configuración adicional para conectarse a tu instancia de Cloud Data Fusion. El sistema SAP y Cloud Data Fusion debe estar dentro del mismo proyecto.

Pasos para los usuarios de Cloud Data Fusion

  1. Ve a los detalles de la instancia:
    1. En Google Cloud Console, ve a la página de Cloud Data Fusion.

    2. Haz clic en Instancias y, luego, en el nombre de la instancia para ir a la página Detalles de la instancia.

      Ir a Instancias

  2. Verifica que la instancia se haya actualizado a la versión 6.8.0 o una posterior. Si Si la instancia está en una versión anterior, debes actualizarla.
  3. Abre la instancia. Cuando se abra la IU de Cloud Data Fusion, haz clic en Hub.
  4. Selecciona la pestaña SAP &gt; SAP. Si la pestaña SAP no está visible, consulta Soluciona problemas de integraciones de SAP.
  5. Haz clic en Implementar el complemento SAP BW. El complemento aparecerá en el menú Source de la página de Studio.

Pasos para los administradores de SAP y Google Cloud Admin

El administrador de SAP descarga los siguientes artefactos de JCo desde el sitio de asistencia de SAP y se la entrega al administrador de Google Cloud.

  • Un dispositivo independiente de la plataforma (sapjco3.jar)
  • Uno que depende de la plataforma (libsapjco3.so en Unix)

Para descargar los archivos, sigue estos pasos:

  1. Ve a SAP Connectors (Conectores de SAP). .
  2. Haz clic en Conector Java de SAP/Herramientas y servicios. Puedes seleccionar vínculos específicos de cada plataforma para la descarga.
  3. Selecciona la plataforma en la que se ejecuta tu instancia de Cloud Data Fusion:

    1. Si usas imágenes estándar de Google Cloud para las VMs de tu clúster, que es la configuración predeterminada de Cloud Data Fusion, Linux para procesadores compatibles con Intel de 64 bits x86.
    2. Si usas una imagen personalizada, selecciona la plataforma correspondiente.
  4. El administrador de Google Cloud debe copiar los archivos JCo en un archivo bucket de Cloud Storage. Proporciona la ruta de acceso del bucket que el usuario de Cloud Data Fusion debe ingresarlo en la propiedad del complemento correspondiente en Cloud Data Fusion: Ruta de GCS de la biblioteca SAP JCo. Consulta Configura el complemento.

  5. El administrador de Google Cloud debe otorgar acceso de lectura a los dos archivos a la cuenta de servicio de Cloud Data Fusion para el entorno de diseño y a la cuenta de servicio de Dataproc para el entorno de ejecución. Para obtener más información, consulta Cuentas de servicio de Cloud Data Fusion.

Cómo configurar el complemento

El complemento de origen por lotes de SAP BW Open Hub lee el contenido de un DataSource de SAP.

Para filtrar los registros, puedes configurar las siguientes propiedades del Fuente de lotes de SAP BW Open Hub.

Se usan los siguientes indicadores para definir los campos:

  • (M): Indica que las macros son compatibles con el campo respectivo
  • (O): Campo opcional

Label: Etiqueta del complemento en el lienzo.

Básico

En la siguiente lista de propiedades, (M) significa que la opción admite macros, y pueden usarse para administrar de forma centralizada las conexiones SAP. Por ejemplo, puede usar macros para las propiedades de conexión y establecer los valores en el entorno de ejecución con parámetros de entorno de ejecución o un complemento de método set de argumentos.

  • Nombre de referencia: Es el nombre que se usa para identificar de forma única esta fuente para el linaje y anotar los metadatos.
  • Usar conexión (botón de activación/desactivado): Indica si se debe usar una conexión existente. (consulta Cómo administrar conexiones). Si eliges usar una conexión existente, no tienes que proporcionar ningún SAP los detalles de la conexión.

  • Conexión (Explorar conexiones): Elige la conexión existente que deseas usar. También puedes usar la función de macro ${conn(connection-name)}.

  • Cliente SAP (M): El cliente SAP que se usará. Por ejemplo, 100

  • SAP Language (M): lenguaje de inicio de sesión de SAP. Por ejemplo, EN

  • Connection Type: Tipo de conexión SAP (directa o con balanceo de cargas). Las conexiones de balanceo de cargas no son compatibles con la cadena de procesos de datos y la extracción de datos. Para obtener más información, consulta los Detalles de la asistencia.

    Cuando seleccionas un tipo de conexión, se cambian los campos disponibles.

    Para una conexión directa, están disponibles los siguientes campos:

    • Host del servidor de aplicaciones de SAP (M): el nombre o la dirección IP del servidor SAP.
    • Número de sistema SAP (M): el número del sistema SAP. Por ejemplo, 00
    • Router de SAP (M, O): Es la cadena del router.

    Para una conexión con balanceo de cargas, están disponibles los siguientes campos:

    • Host de servidor de mensajes de SAP (M): el nombre de host o la dirección IP del mensaje de SAP.
    • Servicio de servidor de mensajes de SAP o número de puerto (M): el servidor de mensajes de SAP servicio o número de puerto. Por ejemplo, sapms02
    • SAP System ID (SID) (M): Es el ID del sistema SAP. Por ejemplo, N75
    • Nombre del grupo de inicio de sesión de SAP (M): el nombre del grupo de inicio de sesión de SAP. Por ejemplo, PUBLIC
  • Use Process Chain (M): Este campo contiene dos opciones.

    Si habilitas la cadena de procesos con la opción , ocurrirá lo siguiente: del siguiente modo:

    • Resolver automáticamente errores de PC y DTP: controla el comportamiento cuando un antes de una ejecución con errores. Cuando se inhabilita, el complemento falla en con errores relevantes. Cuando está habilitado (predeterminado), el complemento comprueba la cadena de procesos y el estado del proceso de transferencia de datos en SAP. Si alguno de los se identifican los siguientes errores, el complemento intenta y resolverlos:

    • Data Transfer Process in error state: El complemento borra la solicitud anterior.

    • Cadena de procesos en estado rojo con error previous request status has not been set: El complemento borra la solicitud de bloqueo después de obtener el ID de solicitud del registro de la cadena de procesos y, luego, intenta ejecutar la PC.

    • Tiempo de espera de la notificación de estado de la cadena de procesos (en minutos) (M, O): Espera el tiempo determinado, en minutos, para que la cadena de procesos complete la etapa de preparación de datos y notifique a la canalización que inicie la extracción. Si especificas 0 o déjalo en blanco, el valor se toma como 10 minutos, que es el valor predeterminado.

    • Cadena de procesos (M): Es el nombre de la cadena de procesos de SAP. Por ejemplo, PC_RFC

    Si inhabilitas la cadena de procesos con la opción No, se habilitarán las siguientes propiedades:

    • Open Hub Destination (M): Nombre de destino de Open Hub que se leerá.
    • ID de solicitud (M,O): Es el ID de solicitud del proceso de transferencia de datos que ya se ejecutó.

Credenciales

  • Nombre de usuario del inicio de sesión de SAP (M): nombre de usuario de SAP. Recomendación: Si el nombre de usuario de inicio de sesión de SAP cambia de forma periódica, usa una macro.
  • Contraseña de inicio de sesión de SAP (M): contraseña de usuario de SAP Recomendación: Para valores sensibles, como Contraseña de usuario, usa macros seguras

Detalles de SAP JCo

  • ID del proyecto de GCP (M): El ID del proyecto de Google Cloud, que identifica identifica un proyecto. Puedes encontrarlo en el Panel, en Consola de Google Cloud
  • Ruta de GCS de la biblioteca SAP JCo (M): La ruta de acceso de Cloud Storage que contiene los archivos de la biblioteca SAP JCo subidos por el usuario.
  • Get Schema: Haz clic en esta opción si deseas que el complemento genere un esquema. según los metadatos de SAP, con asignación automática de los tipos de datos de SAP a los tipos de datos correspondientes de Cloud Data Fusion. La funcionalidad de esto es lo mismo que el botón Validar.

Para obtener más información sobre los certificados de cliente, consulta Usa certificados de cliente X.509 en SAP NetWeaver Application Server para ABAP.

Avanzado

  • Cantidad de divisiones que se generarán (M, O): Se usa la cantidad de divisiones para para particionar los datos de entrada. Más particiones aumentan el nivel de paralelismo, pero requieren más recursos y sobrecarga. En el caso de una instalación local de SAP si el valor no se especifica en la IU, las divisiones son el 50% de la los procesos de trabajo de diálogo disponibles en SAP. De lo contrario, las divisiones se optimizan entre las especificaciones del usuario y el 50% de los procesos de trabajo disponibles.

    Recomendación: Deja la propiedad en blanco, a menos que conozcas Configuración del sistema SAP.

  • Propiedades de conexión de SAP adicionales (M, O): Configura SAP JCo adicionales. que anulan los valores predeterminados de SAP JCo. Por ejemplo, la configuración de jco.destination.pool_capacity = 10 anula la capacidad predeterminada del grupo de conexiones.

    En la siguiente tabla, se enumeran las propiedades compatibles de SAP JCo:

    Propiedad Descripción
    jco.destination.peak_limit Cantidad máxima de conexiones activas que se pueden crear para un destino al mismo tiempo.
    jco.destination.pool_capacity Cantidad máxima de conexiones inactivas que el destino mantiene abiertas. Un valor de 0 tiene el efecto de que no hay agrupación de conexiones, es decir, las conexiones se cerrarán después de cada solicitud.
    jco.destination.expiration_time Es el tiempo en ms después del cual se pueden cerrar las conexiones que mantiene el grupo interno.
    jco.destination.expiration_check_period Es el intervalo en ms con el que el subproceso de verificación de tiempo de espera verifica si las conexiones del grupo están vencidas.
    jco.destination.max_get_client_time Es el tiempo máximo en ms para esperar una conexión, si la aplicación asigna la cantidad máxima de conexiones permitidas.

Comportamiento de los modos de extracción de datos

El modo de extracción de datos se controla a través del proceso de transferencia de datos configuración. El comportamiento es diferente cuando se usa una cadena de procesos Abrir destino de Hub

Cuando se usa una cadena de procesos

La configuración a nivel del proceso de transferencia de datos controla si se aplica una configuración la carga de trabajo. El ID de solicitud llega como una notificación de SAP al . El complemento lee los datos del paquete asociados con este ID de solicitud único.

Cuando se usa el destino de Open Hub sin ID de solicitud

Carga completa: Cuando se ejecuta la canalización por primera vez, se obtienen todos los datos IDs de solicitud en la tabla de Open Hub. El complemento lee los datos de paquetes asociados. con estos IDs de solicitud.

Carga delta: Ejecutar la misma canalización por próxima vez recupera todas las los IDs de solicitud delta disponibles, después del último ID de solicitud recuperado. El complemento lee los datos del paquete asociados con estos IDs de solicitud.

Cuando se usa el destino de Open Hub con el ID de solicitud

Carga completa: Cuando se ejecuta la canalización por primera vez, se ponen todos los siguientes disponibles los IDs de solicitud son mayores que el especificado. El complemento lee los datos de paquetes. asociados con estos IDs de solicitud.

Carga delta: Ejecutar la misma canalización por próxima vez recupera todas las los IDs de solicitud delta disponibles, después del último ID de solicitud recuperado. El complemento lee datos de paquetes asociados con estos IDs de solicitud.

Asignación de tipos de datos

En la siguiente tabla, se muestra la asignación entre los tipos de datos usados en SAP BW y Cloud Data Fusion.

Tipo de datos BW Tipo de ABAP Descripción (SAP) Tipo de datos de Cloud Data Fusion
Numérico
INT1 b Número entero de 1 byte integer
INT2 s Número entero de 2 bytes integer
INT4 i Número entero de 4 bytes integer
INT8 8 Número entero de 8 bytes long
DIC p Número de empaque en formato BCD (DEC) decimal
DF16_DEC
DF16_RAW
a Punto flotante decimal de 8 bytes IEEE 754r decimal
DF34_DEC
DF34_RAW
e Punto flotante decimal de 16 bytes IEEE 754r decimal
FLTP f Número de punto flotante binario double
Regla
CHAR
LCHR
c Cadena de caracteres string
SSTRING
GEOM_EWKB
string String de caracteres string
STRING string CLOB de string de caracteres bytes
NUMC
ACCP
n Texto numérico string
Byte
RAW
LRAW
x Datos binarios bytes
STRING SIN PROCESAR xstring BLOB de cadena de bytes bytes
fecha/hora
DATS d Fecha date
TIMS t Hora time
TIMESTAMP utcl TimeStamp
UtClong
timestamp

Validación

Haz clic en Validar o en Obtener esquema (Get Schema).

El complemento valida las propiedades y genera un esquema basado en los metadatos. desde SAP. Asigna automáticamente los tipos de datos de SAP al Tipos de datos de Cloud Data Fusion.

Ejecuta una canalización de datos

  1. Después de implementar la canalización, haz clic en Configurar.
  2. Selecciona Recursos.
  3. Si es necesario, cambia la CPU del ejecutor y la memoria según el tamaño general de los datos y la cantidad de transformaciones usadas en la canalización.
  4. Haz clic en Guardar.
  5. Para iniciar la canalización de datos, haz clic en Ejecutar.

Optimiza el rendimiento

Cómo optimizar la configuración de complementos

Usa las siguientes propiedades para obtener un rendimiento óptimo cuando ejecutes el pipeline:

  • Number of Splits to Generate en el complemento de Cloud Data Fusion propiedades: Controlan directamente el paralelismo en la Cloud Data Fusion. El motor de entorno de ejecución crea la cantidad especificada de particiones y conexiones SAP mientras se extraen los registros de la tabla. Se recomiendan valores entre 8 y 16, pero puedes aumentar hasta 32 o 64 con la configuración adecuada en el lado de SAP, asignando los recursos de memoria adecuados para los procesos de trabajo en SAP.

    Si el valor es 0 o se deja en blanco (recomendado), el sistema se activará automáticamente. selecciona un valor apropiado en función de la cantidad de trabajo de SAP disponible los procesos, los registros que se extraerán y el tamaño del paquete.

  • Tamaño del paquete en las propiedades del proceso de transferencia de datos de BW: este control la cantidad de registros de datos presentes en un paquete de datos individual. El valor predeterminado es 50,000. Aumentar este valor podría mejorar el rendimiento, mayor carga de recursos. Si ya usas valores más altos, disminúyelo a permiten una mejor paralelización de la extracción.

Configuración de recursos de Cloud Data Fusion

Recomendado: Usa 1 CPU y 4 GB de memoria por ejecutor. Este valor se aplica a cada proceso ejecutor. Establece estos valores en la Diálogo Configure &gt; Resources.

Configuración del clúster de Dataproc

Recomendación: Como mínimo, asigna un total de CPU entre los trabajadores, mayor que la cantidad prevista de divisiones. Consulta Configuración de complementos.

Por ejemplo, si tienes 16 divisiones, define 20 o más CPU en total. en todos los trabajadores. Hay una sobrecarga de 4 CPUs usadas para y la coordinación.

Recomendado: Usa un clúster de Dataproc persistente para reducir el tiempo de ejecución de la canalización de datos. Esto elimina el paso de aprovisionamiento, que podría requerir unos minutos o más. Establece esto en la sección de configuración de Compute Engine.

Información sobre la asistencia

Productos y versiones de SAP compatibles

Fuentes admitidas:

  • SAP NW BW 7.5 y versiones posteriores
  • SAP BW4HANA 2.0 SP9 (para incluir la API de Open Hub Destination; anterior las versiones de BW4HANA no son compatibles con la API de Open Hub Destination)

Compatibilidad con la conexión con balanceo de cargas (servidor de mensajes) de SAP

La conexión con balanceo de cargas de SAP (servidor de mensajes) es compatible con Open Hub Extracción basada en el destino, en la que no se usa un servidor RFC.

No se admite la conexión con balanceo de cargas de SAP (servidor de mensajes) para el proceso. en una cadena de extracción. El motivo es una limitación de SAP cuando proporciona data ready al sistema del cliente, lo que requiere registrar el RFC Server (objeto de escucha de complementos) en cada servidor SAP en el panorama de BW, lo que aumenta la huella del conector, lo que podría afectar el rendimiento de SAP el uso de recursos. Para obtener más información, consulta Nota de SAP 2572564 (se requiere el acceso de asistencia de SAP para ver).

Modelos de implementación de SAP compatibles

El complemento se prueba con servidores SAP implementados en Google Cloud.

Objetos de SAP compatibles

Fuentes de datos para el destino de Open Hub: InfoProviders (InfoObject, InfoCube, objeto de DataStore, objeto de almacén de datos avanzado, proveedor compuesto)

Cadenas de procesos para ejecutar automáticamente el proceso de transferencia de datos en el destino de Open Hub

Licencia independiente para usar Oracle HTTP Server con el objetivo de extraer datos de SAP

No necesitas una licencia aparte para usar Servidor HTTP de Oracle (OHS) para extraer datos de SAP Sin embargo, consulta con tu representante de SAP sobre tu acuerdo específico y caso de uso.

Capacidad de procesamiento esperada del complemento

Para un entorno configurado según los lineamientos de Optimiza el rendimiento, el complemento puede extraer 38 GB por hora. El rendimiento real puede variar con el Cloud Data Fusion y la carga del sistema SAP o el tráfico de red.

¿Qué sigue?