E/S gerenciada pelo Dataflow para o Apache Iceberg

A E/S gerenciada oferece suporte aos seguintes recursos do Apache Iceberg:

Catálogos
  • Hadoop
  • Hive
  • Catálogos baseados em REST
  • Metastore do BigQuery: requer o SDK do Apache Beam 2.62.0 ou mais recente se você não estiver usando o Runner v2.
Capacidades de leitura Leitura em lote
Recursos de gravação

Para tabelas do BigQuery para o Apache Iceberg, use o conector BigQueryIO com a API BigQuery Storage. A tabela já precisa existir. A criação de tabelas dinâmicas não é compatível.

Requisitos

Requer a versão 2.58.0 ou posterior do SDK do Apache Beam para Java.

Configuração

A E/S gerenciada usa os seguintes parâmetros de configuração para o Apache Iceberg:

Ler e gravar configuração Tipo de dado Descrição
table string O identificador da tabela do Apache Iceberg. Exemplo: "db.table1".
catalog_name string O nome do catálogo. Exemplo: "local".
catalog_properties mapa Mapa das propriedades de configuração do Apache Iceberg no seu catálogo. As propriedades obrigatórias dependem do catálogo. Para mais informações, consulte CatalogUtil na documentação do Apache Iceberg.
config_properties mapa Um conjunto opcional de propriedades de configuração do Hadoop. Para mais informações, consulte CatalogUtil na documentação do Apache Iceberg.
Gravar configuração Tipo de dado Descrição
triggering_frequency_seconds integer Para pipelines de gravação de streaming, a frequência com que o sink tenta produzir snapshots, em segundos.

Para mais informações e exemplos de código, consulte os seguintes tópicos: