Recopilar la configuración de Cloud Composer

En esta página se describe cómo recopilar la configuración de Cloud Composer para automatizar los datos en el framework de Cortex.

Si Cloud Composer está disponible, debes crear conexiones en Cloud Composer que apunten al proyecto de origen donde residen tus datos, con los siguientes nombres en función de la carga de trabajo que se vaya a implementar. Para obtener más información sobre las cargas de trabajo, consulta Fuentes de datos y cargas de trabajo. Si va a crear tablas en la capa de informes, asegúrese de crear conexiones independientes para los DAGs de informes.

Desplegar una carga de trabajo	Crear para Raw	Crear para los CDC	Crear para informes
SAP	N/A	sap_cdc_bq	sap_reporting_bq
SFDC	sfdc_cdc_bq	sfdc_cdc_bq	sfdc_reporting_bq
Google Ads	googleads_raw_dataflow	googleads_cdc_bq	googleads_reporting_bq
CM360	cm360_raw_dataflow	cm360_cdc_bq	cm360_reporting_bq
Meta	meta_raw_dataflow	meta_cdc_bq	meta_reporting_bq
TikTok	tiktok_raw_dataflow	tiktok_cdc_bq	tiktok_reporting_bq
LiveRamp	N/A	liveramp_cdc_bq	N/A
SFMC	sfmc_raw_dataflow	sfmc_cdc_bq	sfmc_reporting_bq
DV360	N/A	dv360_cdc_bq	dv360_reporting_bq
GA4	N/A	N/A	ga4_reporting_bq
Oracle EBS	N/A	N/A	oracleebs_reporting_bq
Sostenibilidad	N/A	N/A	k9_reporting_bq
Dimensiones habituales	N/A	N/A	k9_reporting

Convenciones de nomenclatura de conexiones

Ten en cuenta las siguientes especificaciones para las convenciones de nomenclatura de las conexiones:

• Sufijos de conexión: los nombres de las conexiones incluyen sufijos que indican su finalidad:
  • _bq: se usa para acceder a los datos de BigQuery.
  • _dataflow: se usa para ejecutar tareas de Dataflow.
• Conexiones de datos sin procesar: solo tienes que crear conexiones de datos sin procesar si usas los módulos de ingestión de datos que proporciona Cortex.
• Varias fuentes de datos: si va a implementar varias fuentes de datos (por ejemplo, SAP y Salesforce), le recomendamos que cree conexiones independientes para cada una, siempre que se apliquen limitaciones de seguridad a las cuentas de servicio individuales. También puede modificar el nombre de la conexión en la plantilla antes de la implementación para usar la misma conexión para escribir en BigQuery.

Prácticas recomendadas de seguridad

• Evita las conexiones predeterminadas: no se recomienda usar las conexiones y las cuentas de servicio predeterminadas que ofrece Airflow, sobre todo en entornos de producción. Esto se ajusta al principio de mínimos accesos, que hace hincapié en conceder solo los permisos de acceso mínimos necesarios.
• Integración de Secret Manager: si tienes Secret Manager habilitado en Airflow, puedes crear estas conexiones en Secret Manager con los mismos nombres. Las conexiones almacenadas en Secret Manager tienen prioridad sobre las que se definen directamente en Airflow.