Connettore Bigtable Beam

Il connettore Beam Bigtable (BigtableIO) è un connettore I/O di Apache Beam open source che può aiutarti a eseguire operazioni in batch e in streaming su dati Bigtable in una pipeline utilizzando Dataflow.

Se esegui la migrazione da HBase a Bigtable o se esegui un'applicazione che utilizza l'API HBase anziché le API Bigtable, utilizza il connettore Beam HBase Bigtable (CloudBigtableIO) anziché il connettore descritto in questa pagina.

Dettagli del connettore

Il connettore Beam Bigtable è un componente del repository GitHub di Apache Beam. La documentazione Javadoc è disponibile all'indirizzo Class BigtableIO.

Prima di creare una pipeline Dataflow, controlla il supporto del runtime Apache Beam per assicurarti di utilizzare una versione di Java supportata per Dataflow. Utilizza la versione supportata più recente di Apache Beam.

Il connettore Beam Bigtable viene utilizzato in combinazione con il client Bigtable per Java, una libreria client che chiama le API Bigtable. Scrivi il codice per eseguire il deployment di una pipeline che utilizza il connettore per Dataflow, che gestisce il provisioning e la gestione delle risorse e contribuisce alla scalabilità e all'affidabilità dell'elaborazione dei dati.

Per ulteriori informazioni sul modello di programmazione Apache Beam, consulta la documentazione di Beam.

Controllo del flusso di scrittura batch

Quando invii scritture collettive (incluse le richieste di eliminazione) a una tabella utilizzando il connettore Bigtable Beam, puoi attivare il controllo del flusso di scrittura collettiva. Quando viene attivata questa funzionalità, Bigtable esegue automaticamente quanto segue:

  • Imposta un limite di velocità per il traffico per evitare di sovraccaricare il cluster Bigtable
  • Garantisce che il carico del cluster sia sufficiente per attivare la scalabilità automatica di Bigtable (se abilitata), in modo che altri nodi vengano aggiunti automaticamente al cluster in caso di necessità

Per ulteriori informazioni, consulta la sezione Controllo del flusso di scrittura in batch. Per un esempio di codice, vedi Attivare il controllo del flusso di scrittura batch.

Passaggi successivi