Conector de BigQuery

Puedes usar un conector de BigQuery para habilitar el acceso de lectura y escritura programático a BigQuery. Es una forma ideal de procesar datos almacenados en BigQuery. No se expone el acceso mediante línea de comandos. El conector de BigQuery es una biblioteca que permite que las aplicaciones de Spark y Hadoop procesen datos de BigQuery y escriban datos en BigQuery usando su terminología nativa.

Precios

Cuando se usa el conector, los cargos incluyen tarifas de uso de BigQuery. También se pueden aplicar los siguientes cargos específicos del servicio:

  • Cloud Storage: el conector descarga los datos en un segmento de Cloud Storage antes o durante la ejecución del trabajo. Una vez que la tarea se haya completado correctamente, los datos se eliminarán de Cloud Storage. Se te cobrará por este almacenamiento según los precios de Cloud Storage. Para evitar cargos excesivos, comprueba tu cuenta de Cloud Storage y elimina los archivos temporales que no necesites.
  • API Storage de BigQuery: para mejorar el rendimiento, el conector lee los datos mediante la API Storage de BigQuery. Este uso se te cobra de acuerdo con los precios de la API Storage de BigQuery.

Conectores disponibles

Los siguientes conectores de BigQuery se pueden usar en el ecosistema de Hadoop:

  1. El conector Spark BigQuery añade una fuente de datos de Spark que permite que los DataFrames interactúen directamente con las tablas de BigQuery mediante las operaciones read y write de Spark.
  2. El conector de Hive a BigQuery añade un controlador de almacenamiento que permite que Apache Hive interactúe directamente con las tablas de BigQuery mediante la sintaxis de HiveQL.
  3. El conector de Hadoop BigQuery permite que los mappers y los reducers de Hadoop interactúen con las tablas de BigQuery mediante versiones abstractas de las clases InputFormat y OutputFormat.

Usar los conectores

Para empezar a usar el conector de BigQuery rápidamente, consulta los siguientes ejemplos:

Siguientes pasos