从 Firestore 导出文件中加载数据

控制台

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在浏览器窗格中，展开您的项目，然后选择数据集。
3. 在数据集信息部分中，点击 add_box 创建表。
4. 在创建表面板中，指定以下详细信息：
1. 在来源部分中，从基于以下数据源创建表列表中选择 Google Cloud Storage。之后，执行以下操作：
   1. 从 Cloud Storage 存储桶中选择一个文件，或输入 Cloud Storage URI。您无法在 Google Cloud 控制台中添加多个 URI，但支持使用通配符。Cloud Storage 存储桶必须与您要创建、附加或覆盖的表所属的数据集位于同一位置。
      Firestore 导出文件的 URI 必须以 KIND_COLLECTION_ID.export_metadata 结尾。例如，在 default_namespace_kind_Book.export_metadata 中，Book 是集合 ID，default_namespace_kind_Book 是 Firestore 生成的文件名。如果 URI 不以 KIND_COLLECTION_ID.export_metadata 结尾，则您会收到以下错误消息： 不包含有效的备份元数据。（错误代码：无效）。
   2. 在文件格式部分，选择 Cloud Datastore 备份。Firestore 和 Datastore 具有相同的导出格式。
2. 在目标部分，指定以下详细信息：
   1. 在数据集部分，选择您要在其中创建表的数据集。
   2. 在表字段中，输入您要创建的表的名称。
   3. 确认表类型字段是否设置为原生表。
3. 在架构部分中，无需执行任何操作。系统会推断 Firestore 导出文件的架构。
4. 可选：指定分区和聚簇设置。如需了解详情，请参阅创建分区表和创建和使用聚簇表。
5. 点击高级选项，然后执行以下操作：
   • 在写入偏好设置部分，选中只写入空白表。此选项创建一个新表并向其中加载数据。
   • 如果要忽略表架构中不存在的行中的值，请选择未知值。
   • 在加密部分，点击客户管理的密钥，以使用 Cloud Key Management Service 密钥。如果保留 Google 管理的密钥设置，BigQuery 将对静态数据进行加密。
6. 点击创建表。

bq

使用 bq load 命令并将 source_format 设置为 DATASTORE_BACKUP。添加 --location 标志并将其值设置为您的位置。如果要覆盖现有表，请添加 --replace 标志。

要仅加载特定字段，请使用 --projection_fields 标志。

bq --location=LOCATION load \
--source_format=FORMAT \
DATASET.TABLE \
PATH_TO_SOURCE

替换以下内容：

• LOCATION：您所在的位置。--location 标志是可选的。
• FORMAT：DATASTORE_BACKUP。“Datastore 备份”是 Firestore 的正确选项。Firestore 和 Datastore 具有相同的导出格式。
• DATASET：您要向其中加载数据的表所属的数据集。
• TABLE：要向其中加载数据的表。如果该表不存在，系统会创建表。
• PATH_TO_SOURCE：Cloud Storage URI。

例如，以下命令将 gs://mybucket/20180228T1256/default_namespace/kind_Book/default_namespace_kind_Book.export_metadata Firestore 导出文件加载到名为 book_data 的表中。mybucket 和 mydataset 是在 US 多区域位置创建的。

bq --location=US load \
--source_format=DATASTORE_BACKUP \
mydataset.book_data \
gs://mybucket/20180228T1256/default_namespace/kind_Book/default_namespace_kind_Book.export_metadata

API

设置以下属性可使用 API 加载 Firestore 导出数据。

1. 创建一个指向 Cloud Storage 中的源数据的 load 作业配置。

2. 在作业资源 jobReference 部分的 location 属性中指定您的位置。

3. 在加载作业配置中，sourceUris 必须是完全限定的，格式为 gs://BUCKET/OBJECT。文件（对象）名必须以 KIND_NAME.export_metadata 结尾。只能指定一个 Firestore 导出文件 URI，且不能使用通配符。

4. 在加载作业配置中将 sourceFormat 属性设置为 DATASTORE_BACKUP，以指定数据格式。“Datastore 备份”是 Firestore 的正确选项。Firestore 和 Datastore 具有相同的导出格式。

5. 要仅加载特定字段，请设置 projectionFields 属性。

6. 如果要覆盖现有表，请将 writeDisposition 属性设置为 WRITE_TRUNCATE，以指定写入处置方式。

Python

# TODO(developer): Set table_id to the ID of the table to create.
table_id = "your-project.your_dataset.your_table_name"

# TODO(developer): Set uri to the path of the kind export metadata
uri = (
    "gs://cloud-samples-data/bigquery/us-states"
    "/2021-07-02T16:04:48_70344/all_namespaces/kind_us-states"
    "/all_namespaces_kind_us-states.export_metadata"
)

# TODO(developer): Set projection_fields to a list of document properties
#                  to import. Leave unset or set to `None` for all fields.
projection_fields = ["name", "post_abbr"]

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

job_config = bigquery.LoadJobConfig(
    source_format=bigquery.SourceFormat.DATASTORE_BACKUP,
    projection_fields=projection_fields,
)

load_job = client.load_table_from_uri(
    uri, table_id, job_config=job_config
)  # Make an API request.

load_job.result()  # Waits for the job to complete.

destination_table = client.get_table(table_id)
print("Loaded {} rows.".format(destination_table.num_rows))