Erfordert das Apache Beam SDK für Java Version 2.58.0 oder höher.
Konfiguration
Für die verwaltete E/A werden die folgenden Konfigurationsparameter für Apache Iceberg verwendet:
Konfiguration lesen und schreiben
Datentyp
Beschreibung
table
String
Die Kennung der Apache Iceberg-Tabelle. Beispiel:
"db.table1".
catalog_name
String
Der Name des Katalogs. Beispiel: "local".
catalog_properties
Karte
Eine Zuordnung von Konfigurationseigenschaften für den Apache Iceberg-Katalog. Welche Properties erforderlich sind, hängt vom Katalog ab. Weitere Informationen finden Sie in der Apache Iceberg-Dokumentation unter CatalogUtil.
config_properties
Karte
Optionale Hadoop-Konfigurationseigenschaften. Weitere Informationen finden Sie in der Apache Iceberg-Dokumentation unter CatalogUtil.
Schreibkonfiguration
Datentyp
Beschreibung
triggering_frequency_seconds
integer
Für Streaming-Schreibpipelines die Häufigkeit, mit der die Senke versucht, Snapshots zu erstellen, in Sekunden.
Weitere Informationen und Codebeispiele finden Sie unter folgenden Themen:
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-04-03 (UTC)."],[[["Managed I/O for Apache Iceberg supports various catalogs, including Hadoop, Hive, REST-based catalogs, and BigQuery metastore, enabling batch and streaming read and write operations."],["Write capabilities include batch writes, streaming writes, dynamic destinations, and dynamic table creation, providing flexibility in data management."],["For BigQuery tables, the `BigQueryIO` connector with the BigQuery Storage API is used, but dynamic table creation is not supported."],["Configuration parameters like `table`, `catalog_name`, `catalog_properties`, `config_properties`, and `triggering_frequency_seconds` allow for customization of Apache Iceberg operations."],["The usage of this feature requires Apache Beam SDK for Java version 2.58.0 or later, while using the BigQuery Metastore requires 2.62.0 or later if not using Runner V2."]]],[]]
