Os seguintes SDKs são compatíveis com E/S gerenciada para o Apache Iceberg:
SDK do Apache Beam para Java versão 2.58.0 ou mais recente
SDK do Apache Beam para Python versão 2.61.0 ou mais recente
Configuração
A E/S gerenciada usa os seguintes parâmetros de configuração para o Apache Iceberg:
Ler e gravar configuração
Tipo de dado
Descrição
table
string
O identificador da tabela do Apache Iceberg. Exemplo:
"db.table1".
catalog_name
string
O nome do catálogo. Exemplo: "local".
catalog_properties
mapa
Mapa das propriedades de configuração do Apache Iceberg
no seu catálogo. As propriedades obrigatórias dependem do catálogo. Para mais
informações, consulte
CatalogUtil na documentação do Apache Iceberg.
config_properties
mapa
Um conjunto opcional de propriedades de configuração do Hadoop. Para mais
informações, consulte
CatalogUtil na documentação do Apache Iceberg.
Gravar configuração
Tipo de dado
Descrição
triggering_frequency_seconds
integer
Para pipelines de gravação de streaming, a frequência com que o sink
tenta produzir snapshots, em segundos.
Para mais informações e exemplos de código, consulte os seguintes tópicos:
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-07-11 UTC."],[[["Managed I/O for Apache Iceberg supports various catalogs, including Hadoop, Hive, REST-based catalogs, and BigQuery metastore, enabling batch and streaming read and write operations."],["Write capabilities include batch writes, streaming writes, dynamic destinations, and dynamic table creation, providing flexibility in data management."],["For BigQuery tables, the `BigQueryIO` connector with the BigQuery Storage API is used, but dynamic table creation is not supported."],["Configuration parameters like `table`, `catalog_name`, `catalog_properties`, `config_properties`, and `triggering_frequency_seconds` allow for customization of Apache Iceberg operations."],["The usage of this feature requires Apache Beam SDK for Java version 2.58.0 or later, while using the BigQuery Metastore requires 2.62.0 or later if not using Runner V2."]]],[]]
