Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Cloud Composer-Einstellungen abrufen
Auf dieser Seite wird beschrieben, wie Sie die Cloud Composer-Einstellungen erfassen, um Daten im Cortex-Framework zu automatisieren.
Wenn Cloud Composer verfügbar ist, müssen Sie in Cloud Composer Verbindungen erstellen, die auf das Quellprojekt verweisen, in dem sich Ihre Daten befinden. Die folgenden Namen basieren auf der Arbeitslast für die Bereitstellung. Weitere Informationen zu Arbeitslasten finden Sie unter Datenquellen und Arbeitslasten.
Wenn Sie Tabellen in der Berichtsebene erstellen, müssen Sie separate Verbindungen für DAGs für die Berichterstellung erstellen.
Arbeitslast bereitstellen
Für Raw erstellen
Für CDC erstellen
Für die Berichterstellung erstellen
SAP
–
sap_cdc_bq
sap_reporting_bq
SFDC
sfdc_cdc_bq
sfdc_cdc_bq
sfdc_reporting_bq
Google Ads
googleads_raw_dataflow
googleads_cdc_bq
googleads_reporting_bq
CM360
cm360_raw_dataflow
cm360_cdc_bq
cm360_reporting_bq
Meta
meta_raw_dataflow
meta_cdc_bq
meta_reporting_bq
TikTok
tiktok_raw_dataflow
tiktok_cdc_bq
tiktok_reporting_bq
LiveRamp
–
liveramp_cdc_bq
–
SFMC
sfmc_raw_dataflow
sfmc_cdc_bq
sfmc_reporting_bq
DV360
–
dv360_cdc_bq
dv360_reporting_bq
GA4
–
–
ga4_reporting_bq
Oracle EBS
–
–
oracleebs_reporting_bq
Nachhaltigkeit
–
–
k9_reporting_bq
Häufig verwendete Dimensionen
–
–
k9_reporting
Namenskonventionen für Verbindungen
Beachten Sie die folgenden Spezifikationen für Namenskonventionen für Verbindungen:
Suffixe für Verbindungen: Die Verbindungsnamen enthalten Suffixe, die ihren beabsichtigten Zweck angeben:
_bq: Wird zum Zugriff auf BigQuery-Daten verwendet.
_dataflow: Wird zum Ausführen von Dataflow-Jobs verwendet.
Verbindungen für Rohdaten: Sie müssen nur Verbindungen für Rohdaten erstellen, wenn Sie die von Cortex bereitgestellten Datenaufnahmemodule verwenden.
Mehrere Datenquellen: Wenn Sie mehrere Datenquellen bereitstellen (z. B. SAP und Salesforce), sollten Sie für jede eine separate Verbindung erstellen, sofern Sicherheitseinschränkungen auf einzelne Dienstkonten angewendet werden. Alternativ können Sie den Verbindungsnamen in der Vorlage vor der Bereitstellung ändern, um dieselbe Verbindung zum Schreiben in BigQuery zu verwenden.
Best Practices für Sicherheit
Standardverbindungen vermeiden: Die Verwendung der von Airflow angebotenen Standardverbindungen und Standarddienstkonten wird nicht empfohlen, insbesondere nicht in Produktionsumgebungen. Das entspricht dem Prinzip der geringsten Berechtigung, bei dem nur die minimal erforderlichen Zugriffsberechtigungen gewährt werden.
Secret Manager-Integration: Wenn Sie Secret Manager für Airflow aktiviert haben, können Sie diese Verbindungen in Secret Manager mit denselben Namen erstellen. In Secret Manager gespeicherte Verbindungen haben Vorrang vor direkt in Airflow definierten Verbindungen.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-09-04 (UTC)."],[[["\u003cp\u003eThis guide details how to gather Cloud Composer settings for automating data within the Cortex Framework.\u003c/p\u003e\n"],["\u003cp\u003eWhen using Cloud Composer, you must establish connections that link to the source project of your data, with specific names based on the intended workload and deployment, such as \u003ccode\u003esap_cdc_bq\u003c/code\u003e or \u003ccode\u003esfdc_reporting_bq\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eConnection names should include suffixes like \u003ccode\u003e_bq\u003c/code\u003e for BigQuery access or \u003ccode\u003e_dataflow\u003c/code\u003e for Dataflow jobs and separate connections are recommended for multiple data sources to ensure security.\u003c/p\u003e\n"],["\u003cp\u003eRaw data connections are only required when utilizing Cortex's data ingestion modules, and default Airflow connections should be avoided in production for security purposes.\u003c/p\u003e\n"],["\u003cp\u003eConnections can be managed within Secret Manager, taking precedence over Airflow-defined connections, enhancing security by adhering to the principle of least privilege.\u003c/p\u003e\n"]]],[],null,["# Gathering Cloud Composer settings\n=================================\n\nThis page describes how the gather Cloud Composer settings to automate data\nwithin the Cortex Framework.\n\nIf Cloud Composer is available, you need to\n[create connections](/composer/docs/how-to/managing/connections#creating_new_airflow_connections) within Cloud Composer that point to the source project\nwhere your data resides, with the following names based on\nthe workload to deployment. For details about workloads, see [Data sources and workloads](/cortex/docs/data-sources-and-workloads).\nIf you are creating [tables in the Reporting layer](/cortex/docs/deployment-step-five#performance_optimization_for_reporting_views),\nmake sure to create separate connections for Reporting DAGs.\n\n| **Note:** Not all data sources requires individual connections for their Raw or CDC layer.\n\nConnection Naming Conventions\n-----------------------------\n\nConsider the following specifications for connection naming conventions:\n\n- **Connection suffixes** : The connection names include suffixes that indicate their intended purpose:\n - `_bq`: used for accessing BigQuery data.\n - `_dataflow`: Used for running Dataflow jobs.\n- **Raw data connections**: You only need to create connections for Raw data if you are using the data ingestion modules provided by Cortex.\n- **Multiple data sources**: If you are deploying multiple data sources (for example, both SAP and Salesforce), it's recommended to create separate connections for each, assuming security limitations are applied to individual service accounts. Alternatively, you can modify the connection name in the template before deployment to use the same connection for writing to BigQuery.\n\nSecurity Best Practices\n-----------------------\n\n- **Avoid Default Connections** : It's not recommended using the default connections and service accounts offered by Airflow, especially in production environments. This aligns with the [principle of least privilege](/iam/docs/using-iam-securely#least_privilege) which emphasizes granting only the minimum access permissions necessary.\n- **Secret Manager Integration**: If you have Secret Manager enabled for Airflow, you can create these connections within Secret Manager using the same names. Connections stored in Secret Manager take precedence over those defined directly in Airflow."]]
