I seguenti SDK supportano I/O gestito per Apache Iceberg:
Apache Beam SDK per Java versione 2.58.0 o successive
SDK Apache Beam per Python versione 2.61.0 o successive
Configurazione
L'I/O gestito utilizza i seguenti parametri di configurazione per Apache Iceberg:
Configurazione di lettura e scrittura
Tipo di dati
Descrizione
table
string
L'identificatore della tabella Apache Iceberg. Esempio:
"db.table1".
catalog_name
string
Il nome del catalogo. Esempio: "local".
catalog_properties
mappa
Una mappa delle proprietà di configurazione per il catalogo Apache Iceberg. Le proprietà richieste dipendono dal catalogo. Per saperne di più, consulta
CatalogUtil nella documentazione di Apache Iceberg.
config_properties
mappa
Un insieme facoltativo di proprietà di configurazione Hadoop. Per saperne di più, consulta
CatalogUtil nella documentazione di Apache Iceberg.
Scrivere la configurazione
Tipo di dati
Descrizione
triggering_frequency_seconds
integer
Per le pipeline di scrittura in streaming, la frequenza con cui il sink
tenta di produrre snapshot, in secondi.
Per ulteriori informazioni ed esempi di codice, consulta i seguenti argomenti:
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Difficile da capire","hardToUnderstand","thumb-down"],["Informazioni o codice di esempio errati","incorrectInformationOrSampleCode","thumb-down"],["Mancano le informazioni o gli esempi di cui ho bisogno","missingTheInformationSamplesINeed","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2025-07-11 UTC."],[[["Managed I/O for Apache Iceberg supports various catalogs, including Hadoop, Hive, REST-based catalogs, and BigQuery metastore, enabling batch and streaming read and write operations."],["Write capabilities include batch writes, streaming writes, dynamic destinations, and dynamic table creation, providing flexibility in data management."],["For BigQuery tables, the `BigQueryIO` connector with the BigQuery Storage API is used, but dynamic table creation is not supported."],["Configuration parameters like `table`, `catalog_name`, `catalog_properties`, `config_properties`, and `triggering_frequency_seconds` allow for customization of Apache Iceberg operations."],["The usage of this feature requires Apache Beam SDK for Java version 2.58.0 or later, while using the BigQuery Metastore requires 2.62.0 or later if not using Runner V2."]]],[]]
