SDK berikut mendukung I/O terkelola untuk Apache Iceberg:
Apache Beam SDK untuk Java versi 2.58.0 atau yang lebih baru
Apache Beam SDK untuk Python versi 2.61.0 atau yang lebih baru
Konfigurasi
I/O Terkelola menggunakan parameter konfigurasi berikut untuk Apache Iceberg:
Konfigurasi baca dan tulis
Jenis data
Deskripsi
table
string
ID tabel Apache Iceberg. Contoh:
"db.table1".
catalog_name
string
Nama katalog. Contoh: "local".
catalog_properties
map
Peta properti konfigurasi untuk katalog Apache Iceberg. Properti yang diperlukan bergantung pada katalog. Untuk mengetahui informasi selengkapnya, lihat CatalogUtil dalam dokumentasi Apache Iceberg.
config_properties
map
Kumpulan properti konfigurasi Hadoop opsional. Untuk mengetahui informasi selengkapnya, lihat CatalogUtil dalam dokumentasi Apache Iceberg.
Menulis konfigurasi
Jenis data
Deskripsi
triggering_frequency_seconds
bilangan bulat
Untuk pipeline penulisan streaming, frekuensi saat sink
berupaya membuat snapshot, dalam detik.
Untuk informasi dan contoh kode selengkapnya, lihat topik berikut:
[[["Mudah dipahami","easyToUnderstand","thumb-up"],["Memecahkan masalah saya","solvedMyProblem","thumb-up"],["Lainnya","otherUp","thumb-up"]],[["Sulit dipahami","hardToUnderstand","thumb-down"],["Informasi atau kode contoh salah","incorrectInformationOrSampleCode","thumb-down"],["Informasi/contoh yang saya butuhkan tidak ada","missingTheInformationSamplesINeed","thumb-down"],["Masalah terjemahan","translationIssue","thumb-down"],["Lainnya","otherDown","thumb-down"]],["Terakhir diperbarui pada 2025-07-11 UTC."],[[["Managed I/O for Apache Iceberg supports various catalogs, including Hadoop, Hive, REST-based catalogs, and BigQuery metastore, enabling batch and streaming read and write operations."],["Write capabilities include batch writes, streaming writes, dynamic destinations, and dynamic table creation, providing flexibility in data management."],["For BigQuery tables, the `BigQueryIO` connector with the BigQuery Storage API is used, but dynamic table creation is not supported."],["Configuration parameters like `table`, `catalog_name`, `catalog_properties`, `config_properties`, and `triggering_frequency_seconds` allow for customization of Apache Iceberg operations."],["The usage of this feature requires Apache Beam SDK for Java version 2.58.0 or later, while using the BigQuery Metastore requires 2.62.0 or later if not using Runner V2."]]],[]]
