Cargar datos desde exportaciones de Firestore

Consola

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y selecciona un conjunto de datos.
3. En la sección Información del conjunto de datos, haz clic en add_box Crear tabla.
4. En el panel Crear tabla, especifica los siguientes detalles:
1. En la sección Fuente, selecciona Google Cloud Storage en la lista Crear tabla a partir de. A continuación, siga estos pasos:
   1. Selecciona un archivo del segmento de Cloud Storage o introduce el URI de Cloud Storage. No puedes incluir varias URIs en la consola Google Cloud , pero sí caracteres comodín. El segmento de Cloud Storage debe estar en la misma ubicación que el conjunto de datos que contiene la tabla que quieres crear, añadir o sobrescribir.
      El URI del archivo de exportación de Firestore debe terminar con KIND_COLLECTION_ID.export_metadata. Por ejemplo, en default_namespace_kind_Book.export_metadata, Book es el ID de la colección y default_namespace_kind_Book es el nombre de archivo generado por Firestore. Si el URI no termina con KIND_COLLECTION_ID.export_metadata, recibirás el siguiente mensaje de error: does not contain valid backup metadata. (código de error: no válido).
   2. En Formato de archivo, selecciona Copia de seguridad de Cloud Datastore. Firestore y Datastore comparten el formato de exportación.
2. En la sección Destino, especifica los siguientes detalles:
   1. En Conjunto de datos, selecciona el conjunto de datos en el que quieras crear la tabla.
   2. En el campo Tabla, introduce el nombre de la tabla que quieras crear.
   3. Verifica que el campo Tipo de tabla sea Tabla nativa.
3. En la sección Esquema, no es necesario que haga nada. El esquema se infiere para una exportación de Firestore.
4. Opcional: Especifica la configuración de partición y clúster. Para obtener más información, consulta los artículos sobre cómo crear tablas con particiones y cómo crear y usar tablas agrupadas en clústeres.
5. Haz clic en Opciones avanzadas y haz lo siguiente:
   • En Write preference (Preferencia de escritura), deja seleccionada la opción Write if empty (Escribir si está vacía). Con esta opción se crea una tabla y se cargan los datos en ella.
   • Si quieres ignorar los valores de una fila que no estén presentes en el esquema de la tabla, selecciona Valores desconocidos.
   • En Encriptado, haz clic en Clave gestionada por el cliente para usar una clave de Cloud Key Management Service. Si dejas el ajuste Google-managed key, BigQuery cifra los datos en reposo.
6. Haz clic en Crear tabla.

bq

Usa el comando bq load con source_format definido como DATASTORE_BACKUP. Proporcione la marca --location y asigne el valor a su ubicación. Si vas a sobrescribir una tabla, añade la marca --replace.

Para cargar solo campos específicos, usa la marca --projection_fields.

bq --location=LOCATION load \
--source_format=FORMAT \
DATASET.TABLE \
PATH_TO_SOURCE

Haz los cambios siguientes:

• LOCATION: tu ubicación. La marca --location es opcional.
• FORMAT: DATASTORE_BACKUP. Datastore Backup es la opción correcta para Firestore. Firestore y Datastore comparten un formato de exportación.
• DATASET: el conjunto de datos que contiene la tabla en la que vas a cargar los datos.
• TABLE: la tabla en la que está cargando datos. Si la tabla no existe, se crea.
• PATH_TO_SOURCE: el URI de Cloud Storage.

Por ejemplo, el siguiente comando carga el archivo de exportación de Firestore gs://mybucket/20180228T1256/default_namespace/kind_Book/default_namespace_kind_Book.export_metadata en una tabla llamada book_data. mybucket y mydataset se crearon en la ubicación multirregional US.

bq --location=US load \
--source_format=DATASTORE_BACKUP \
mydataset.book_data \
gs://mybucket/20180228T1256/default_namespace/kind_Book/default_namespace_kind_Book.export_metadata

API

Define las siguientes propiedades para cargar datos de exportación de Firestore mediante la API.

1. Crea una load configuración de trabajo que apunte a los datos de origen en Cloud Storage.

2. Especifica tu ubicación en la propiedad location de la sección jobReference del recurso de empleo.

3. El sourceUris debe estar completo y tener el formato gs://BUCKET/OBJECT en la configuración de la tarea de carga. El nombre del archivo (objeto) debe terminar en KIND_NAME.export_metadata. Solo se permite un URI para las exportaciones de Firestore y no se puede usar un comodín.

4. Para especificar el formato de los datos, asigna el valor DATASTORE_BACKUP a la propiedad sourceFormat en la configuración de la tarea de carga. Datastore Backup es la opción correcta para Firestore. Firestore y Datastore comparten un formato de exportación.

5. Para cargar solo campos específicos, define la propiedad projectionFields.

6. Si va a sobrescribir una tabla, especifique la disposición de escritura asignando el valor WRITE_TRUNCATE a la propiedad writeDisposition.

Python

# TODO(developer): Set table_id to the ID of the table to create.
table_id = "your-project.your_dataset.your_table_name"

# TODO(developer): Set uri to the path of the kind export metadata
uri = (
    "gs://cloud-samples-data/bigquery/us-states"
    "/2021-07-02T16:04:48_70344/all_namespaces/kind_us-states"
    "/all_namespaces_kind_us-states.export_metadata"
)

# TODO(developer): Set projection_fields to a list of document properties
#                  to import. Leave unset or set to `None` for all fields.
projection_fields = ["name", "post_abbr"]

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

job_config = bigquery.LoadJobConfig(
    source_format=bigquery.SourceFormat.DATASTORE_BACKUP,
    projection_fields=projection_fields,
)

load_job = client.load_table_from_uri(
    uri, table_id, job_config=job_config
)  # Make an API request.

load_job.result()  # Waits for the job to complete.

destination_table = client.get_table(table_id)
print("Loaded {} rows.".format(destination_table.num_rows))