Connettore BigQuery

Puoi utilizzare un connettore BigQuery per attivare l'accesso programmatico in lettura e scrittura a BigQuery. Questo è un modo ideale per elaborare i dati archiviati in BigQuery. L'accesso da riga di comando non è esposto. Il connettore BigQuery è una libreria che consente alle applicazioni Spark e Hadoop di elaborare i dati da BigQuery e scriverli in BigQuery utilizzando la sua terminologia nativa.

Prezzi

Quando utilizzi il connettore, gli addebiti includono le tariffe di utilizzo di BigQuery. Potrebbero essere applicati anche i seguenti costi specifici per il servizio:

  • Cloud Storage: il connettore scarica i dati in un bucket Cloud Storage prima o durante l'esecuzione del job. Una volta completato correttamente il job, i dati vengono eliminati da Cloud Storage. Ti viene addebitato questo spazio di archiviazione in base ai prezzi di Cloud Storage. Per evitare addebiti eccessivi, controlla il tuo account Cloud Storage e rimuovi i file temporanei non necessari.
  • API BigQuery Storage: per ottenere prestazioni migliori, il connettore legge i dati utilizzando l'API BigQuery Storage. L'utilizzo viene addebitato in base ai prezzi dell'API BigQuery Storage.

Connettori disponibili

I seguenti connettori BigQuery sono disponibili per l'utilizzo nell'ecosistema Hadoop:

  1. Lo Spark BigQuery Connector aggiunge un'origine dati Spark, che consente ai DataFrame di interagire direttamente con le tabelle BigQuery utilizzando le operazioni read e write di Spark.
  2. Il connettore Hive BigQuery aggiunge un gestore di archiviazione, che consente ad Apache Hive di interagire direttamente con le tabelle BigQuery utilizzando la sintassi HiveQL.
  3. Il connettore Hadoop BigQuery consente ai mapper e ai reducer Hadoop di interagire con le tabelle BigQuery utilizzando versioni astratte delle classi InputFormat e OutputFormat.

Utilizzare i connettori

Per iniziare rapidamente a utilizzare il connettore BigQuery, consulta i seguenti esempi:

Passaggi successivi