Paso 5: Configura la implementación

En esta página, se describe el quinto paso para implementar Cortex Framework Data Foundation, el núcleo de Cortex Framework. En este paso, modificarás el archivo de configuración en el repositorio de Data Foundation de Cortex Framework para que coincida con tus requisitos.

Archivo de configuración

El comportamiento de la implementación se controla con el archivo de configuración config.json en la Cortex Framework Data Foundation. Este archivo contiene la configuración global y la configuración específica para cada carga de trabajo. Edita el archivo config.json según tus necesidades con los siguientes pasos:

1. Abre el archivo config.json desde Cloud Shell.

2. Edita el archivo config.json según los siguientes parámetros:

   Parámetro	Significado	Valor predeterminado	Descripción
   testData	Implementa datos de prueba	true	Es el proyecto en el que se encuentra el conjunto de datos de origen y se ejecuta la compilación. Nota: La implementación de datos de prueba solo se ejecutará si el conjunto de datos sin procesar está vacío y no tiene tablas.
   deploySAP	Implementa SAP	true	Ejecuta la implementación para la carga de trabajo de SAP (ECC o S/4HANA).
   deploySFDC	Implementa Salesforce	true	Ejecuta la implementación de la carga de trabajo de Salesforce.
   deployMarketing	Implementa el marketing	true	Ejecuta la implementación para las fuentes de marketing (Google Ads, CM360 y TikTok).
   deployOracleEBS	Implementa Oracle EBS	true	Ejecuta la implementación para la carga de trabajo de Oracle EBS.
   deployDataMesh	Implementa la malla de datos	true	Ejecuta la implementación de la malla de datos. Para obtener más información, consulta la Guía del usuario de Data Mesh.
   enableTaskDependencies	DAGs dependientes de tareas	false	Habilita los DAGs dependientes de tareas para que las tablas SQL compatibles se ejecuten según el orden de dependencia, dentro de DAGs individuales. Para obtener más información, consulta DAGs dependientes de tareas.
   turboMode	Implementa en modo Turbo.	true	Ejecuta todas las compilaciones de vistas como un paso en el mismo proceso de Cloud Build, en paralelo para una implementación más rápida. Si se configura como false, cada vista de informes se genera en su propio paso de compilación secuencial. Recomendamos que solo establezcas el valor en true cuando uses datos de prueba o después de que se haya resuelto cualquier discrepancia entre las columnas de informes y los datos fuente.
   projectIdSource	ID del proyecto fuente	-	Es el proyecto en el que se encuentra el conjunto de datos de origen y se ejecuta la compilación.
   projectIdTarget	ID del proyecto de destino	-	Es el proyecto de destino para los conjuntos de datos orientados al usuario.
   targetBucket	Bucket de destino para almacenar los scripts de DAG generados	-	Bucket creado anteriormente en el que se generan los DAG (y los archivos temporales de Dataflow). Evita usar el bucket de Airflow real.
   location	Ubicación o región	"US"	Ubicación en la que se encuentran el conjunto de datos de BigQuery y los buckets de Cloud Storage. Consulta las restricciones que se indican en Ubicaciones de conjuntos de datos de BigQuery.
   testDataProject	Fuente del agente de prueba	kittycorn-public	Es la fuente de los datos de prueba para las implementaciones de demostración. Se aplica cuando testData es true. No cambies este valor, a menos que tengas tu propio arnés de prueba.
   k9.datasets.processing	Conjuntos de datos de K9: procesamiento	"K9_PROCESSING"	Ejecuta plantillas de varias cargas de trabajo (por ejemplo, dimensión de fecha) según se define en el archivo de configuración de K9. Por lo general, las cargas de trabajo de downstream requieren estas plantillas.
   k9.datasets.reporting	Conjuntos de datos de K9: Informes	"K9_REPORTING"	Ejecuta plantillas entre cargas de trabajo y fuentes de datos externas (por ejemplo, el clima) según se definen en el archivo de configuración de K9. Está comentado de forma predeterminada.
   DataMesh.deployDescriptions	Malla de datos: Descripciones de los recursos	true	Implementa descripciones del esquema de activos de BigQuery.
   DataMesh.deployLakes	Data Mesh: Lakes y zonas	false	Implementa lakes y zonas de Dataplex Universal Catalog que organizan las tablas por capa de procesamiento. Requiere configuración antes de habilitarse.
   DataMesh.deployCatalog	Data Mesh: Etiquetas y plantillas de catálogo	false	Implementa etiquetas de Data Catalog que permiten metadatos personalizados en los recursos o campos de BigQuery. Requiere configuración antes de habilitarse.
   DataMesh.deployACLs	Data Mesh: Control de acceso	false	Implementa el control de acceso a nivel de recursos, filas o columnas en los recursos de BigQuery. Requiere configuración antes de habilitarse.

3. Configura las cargas de trabajo necesarias según sea necesario. No es necesario que los configures si el parámetro de implementación (por ejemplo, deploySAP o deployMarketing) de la carga de trabajo está establecido en False. Para obtener más información, consulta Paso 3: Determina el mecanismo de integración.

Para personalizar mejor tu implementación, consulta los siguientes pasos opcionales:

• Inhabilitar la telemetría
• Configuración de conjuntos de datos externos para K9.
• Verifica si hay etiquetas CORTEX-CUSTOMER.

Optimización del rendimiento para las vistas de informes

Los artefactos de informes se pueden crear como vistas o como tablas que se actualizan periódicamente a través de DAGs. Por un lado, las vistas calculan los datos en cada ejecución de una consulta, lo que mantiene los resultados siempre actualizados. Por otro lado, la tabla ejecuta los cálculos una vez, y los resultados se pueden consultar varias veces sin incurrir en costos de procesamiento más altos y lograr un tiempo de ejecución más rápido. Cada cliente crea su propia configuración según sus necesidades.

Los resultados materializados se actualizan en una tabla. Estas tablas se pueden ajustar aún más si se les agregan particiones y clústeres.

Los archivos de configuración de cada carga de trabajo se encuentran en las siguientes rutas de acceso dentro del repositorio de Cortex Framework Data Foundation:

Cómo personalizar el archivo de configuración de informes

Los archivos reporting_settings determinan cómo se crean los objetos de BigQuery (tablas o vistas) para los conjuntos de datos de informes. Personaliza tu archivo con las siguientes descripciones de parámetros. Ten en cuenta que este archivo contiene dos secciones:

1. bq_independent_objects: Todos los objetos de BigQuery que se pueden crear de forma independiente, sin ninguna otra dependencia. Cuando Turbo mode está habilitado, estos objetos de BigQuery se crean en paralelo durante el tiempo de implementación, lo que acelera el proceso de implementación.
2. bq_dependent_objects: Todos los objetos de BigQuery que deben crearse en un orden específico debido a dependencias de otros objetos de BigQuery. Turbo mode no se aplica a esta sección.

Primero, el implementador crea todos los objetos de BigQuery que se indican en bq_independent_objects y, luego, todos los objetos que se indican en bq_dependent_objects. Define las siguientes propiedades para cada objeto:

1. sql_file: Nombre del archivo SQL que crea un objeto determinado.
2. type: Es el tipo de objeto de BigQuery. Valores posibles:
   • view : Si deseas que el objeto sea una vista de BigQuery.
   • table: Si deseas que el objeto sea una tabla de BigQuery.
   • script: Se usa para crear otros tipos de objetos (por ejemplo, funciones y procesos almacenados de BigQuery).
3. Si type se establece en table, se pueden definir las siguientes propiedades opcionales:
   • load_frequency: Es la frecuencia con la que se ejecuta un DAG de Composer para actualizar esta tabla. Consulta la documentación de Airflow para obtener detalles sobre los valores posibles.
   • partition_details: Indica cómo se debe particionar la tabla. Este valor es opcional. Para obtener más información, consulta la sección Partición de tablas.
   • cluster_details: Es la forma en que se debe agrupar la tabla. Este valor es opcional. Para obtener más información, consulta la sección Configuración del clúster.

Partición de tabla

Algunos archivos de configuración te permiten configurar tablas materializadas con opciones personalizadas de agrupamiento y partición. Esto puede mejorar significativamente el rendimiento de las consultas en conjuntos de datos grandes. Esta opción solo se aplica a los archivos SAP cdc_settings.yaml y a todos los archivos reporting_settings.yaml.

Para habilitar la partición de tablas, especifica lo siguientepartition_details:

- base_table: vbap
  load_frequency: "@daily"
  partition_details: {
    column: "erdat", partition_type: "time", time_grain: "day" }

Usa los siguientes parámetros para controlar los detalles de la partición de una tabla determinada:

Para obtener más información sobre las opciones y las limitaciones relacionadas, consulta Partición de tablas de BigQuery.

Configuración del clúster

Para habilitar la agrupación en clústeres de tablas, especifica cluster_details:

  - base_table: vbak
    load_frequency: "@daily"
    cluster_details: {columns: ["vkorg"]}

Usa los siguientes parámetros para controlar los detalles del clúster de una tabla determinada:

Para obtener más información sobre las opciones y las limitaciones relacionadas, consulta la documentación sobre clústeres de tablas.

Próximos pasos

Después de completar este paso, continúa con el siguiente paso de implementación:

1. Establece cargas de trabajo.
2. Clona el repositorio.
3. Determina el mecanismo de integración.
4. Configura los componentes.
5. Configura la implementación (esta página).
6. Ejecuta la implementación.