Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Dieses Dokument bietet einen Überblick über Pipelines für verwaltete Verbindungen, über die Sie Metadaten aus Drittanbieterquellen in Dataplex Universal Catalog importieren können.
Über verwaltete Verbindungen können Sie Metadaten in großem Umfang in Dataplex Universal Catalog importieren. Eine Pipeline für verwaltete Verbindungen extrahiert Metadaten aus Ihren Datenquellen und importiert sie dann in Dataplex Universal Catalog. Bei Bedarf werden mit der Pipeline auch Dataplex Universal Catalog-Eintragsgruppen in IhremGoogle Cloud -Projekt erstellt. Sie können die Workflows orchestrieren und die Importjobs nach Bedarf planen.
Sie erstellen Ihre eigenen benutzerdefinierten Connectors, um Metadaten aus Drittanbieterquellen zu extrahieren. Sie können beispielsweise einen Connector erstellen, um Metadaten aus Quellen wie MySQL, SQL Server, Oracle, Snowflake und Databricks zu extrahieren. Eine Anleitung zum Erstellen eines benutzerdefinierten Connectors finden Sie unter Benutzerdefinierten Connector für den Metadatenimport entwickeln.
Sie können auch die von der Community erstellten benutzerdefinierten Connectors verwenden, die für eine Vielzahl von Drittanbieterquellen verfügbar sind.
Die Pipeline für verwaltete Verbindungen erledigt diese Aufgaben:
Sie erstellt anhand Ihrer Konfiguration eine Zieleintragsgruppe, sofern diese noch nicht vorhanden ist.
Sie führt den Connector aus. Der Connector extrahiert die Metadaten aus Ihrer Datenquelle und generiert eine Metadaten-Importdatei, die in Dataplex Universal Catalog importiert werden kann.
Sie überwacht den Fortschritt der Metadatenextraktion.
Sie führt einen Metadatenimportjob aus, um die Metadaten in Dataplex Universal Catalog zu importieren.
Sie überwacht den Fortschritt des Metadatenimportjobs.
Die Pipeline für verwaltete Verbindungen nutzt Dataproc Serverless, um den Connector auszuführen, und die API-Methoden von Dataplex Universal Catalog für den Metadatenimport, um den Metadatenimportjob auszuführen.
Die Metadaten, die Sie importieren, bestehen aus Dataplex Universal Catalog-Einträgen und ihren Aspekten. Weitere Informationen zu Dataplex Universal Catalog-Metadaten finden Sie unter Data Catalog-Verwaltung im Dataplex Universal Catalog.
Von der Community erstellte benutzerdefinierte Connectors
Zum Importieren von Metadaten aus Drittanbieterquellen können Sie benutzerdefinierte Connectors verwenden, die von der Community erstellt wurden. Eine Einrichtungsanleitung und weitere Informationen zum Connector finden Sie in der README-Datei des jeweiligen Connectors.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-08-08 (UTC)."],[[["\u003cp\u003eManaged connectivity pipelines facilitate the import of metadata from various third-party sources into Dataplex at scale.\u003c/p\u003e\n"],["\u003cp\u003eUsers can create custom connectors to extract metadata from sources like MySQL, SQL Server, Oracle, Snowflake, and Databricks.\u003c/p\u003e\n"],["\u003cp\u003eThe managed connectivity pipeline uses Dataproc Serverless to run connectors and imports the metadata into Dataplex Catalog.\u003c/p\u003e\n"],["\u003cp\u003eThe pipeline automatically creates Dataplex Catalog entry groups if they don't exist, and then runs the connector to extract and import metadata.\u003c/p\u003e\n"],["\u003cp\u003eThe workflows used in the pipelines allow for the scheduling and orchestration of metadata import jobs based on user needs.\u003c/p\u003e\n"]]],[],null,["# Managed connectivity overview\n\nThis document provides an overview of the managed connectivity pipelines that\nyou can use to import metadata from third-party sources into Dataplex Universal Catalog.\n\nManaged connectivity lets you import metadata into Dataplex Universal Catalog at\nscale. A managed connectivity pipeline extracts metadata from your data sources\nand then imports the metadata into Dataplex Universal Catalog. If necessary, the pipeline\nalso creates Dataplex Universal Catalog entry groups in your\nGoogle Cloud project. You can orchestrate the workflows, and schedule the\nimport jobs based on your requirements.\n\nYou build your own custom connectors to extract metadata from third-party\nsources. For example, you can build a connector to extract metadata from sources\nlike MySQL, SQL Server, Oracle, Snowflake, Databricks, and others. For steps to build\na sample custom connector, see\n[Develop a custom connector for metadata import](/dataplex/docs/develop-custom-connector).\nYou can also use the\n[community-contributed custom connectors](#community-contributed-connectors)\nthat are available for a variety of third-party sources.\n\nFor steps to run a managed connectivity pipeline, see\n[Import metadata from a custom source using Workflows](/dataplex/docs/import-using-workflows-custom-source).\n\nHow managed connectivity works\n------------------------------\n\nThe following diagram shows a managed connectivity pipeline.\n\nAt a high level, here's how managed connectivity works:\n\n1. You\n [build a connector for your data source](/dataplex/docs/develop-custom-connector).\n\n The connector must be an Artifact Registry image that can run on\n Dataproc Serverless.\n2. You [run the managed connectivity pipeline](/dataplex/docs/import-using-workflows-custom-source)\n in Workflows, an orchestration platform.\n\n3. The managed connectivity pipeline does the following things:\n\n 1. Creates a target entry group based on your configuration, if the entry group doesn't exist yet.\n 2. Runs the connector. The connector extracts the metadata from your data source and generates a metadata import file that can be imported into Dataplex Universal Catalog.\n 3. Monitors the progress of the metadata extraction.\n 4. Runs a metadata import job to import the metadata into Dataplex Universal Catalog.\n 5. Monitors the progress of the metadata import job.\n\nThe managed connectivity pipeline uses Dataproc Serverless to run the\nconnector, and Dataplex Universal Catalog metadata import API methods\nto run the metadata import job.\n\nThe metadata that you import consists of Dataplex Universal Catalog\nentries and their aspects. For more information about\nDataplex Universal Catalog metadata, see\n[About metadata management in Dataplex Universal Catalog](/dataplex/docs/catalog-overview).\n\nCommunity-contributed custom connectors\n---------------------------------------\n\nTo import metadata from third-party sources, you can use custom connectors that\nare contributed by the community. See each connector's README file for setup\ninstructions and more information about the connector.\n| **Note:** These connectors are not officially supported by Google.\n\nWhat's next\n-----------\n\n- [Import metadata from a custom source using Workflows](/dataplex/docs/import-using-workflows-custom-source)\n- [Develop a custom connector for metadata import](/dataplex/docs/develop-custom-connector)\n- [Import metadata using a custom pipeline](/dataplex/docs/import-metadata)"]]
