從 Firestore 匯出檔案載入資料

主控台

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在「Explorer」窗格中展開專案，然後選取資料集。
3. 在「資料集資訊」部分，按一下 add_box「建立資料表」。
4. 在「Create table」面板中，指定下列詳細資料：
1. 在「Source」部分，選取「Create table from」清單中的「Google Cloud Storage」。接著，按照下列步驟操作：
   1. 從 Cloud Storage 值區選取檔案，或輸入 Cloud Storage URI。您無法在 Google Cloud 控制台中輸入多個 URI，但支援使用萬用字元。Cloud Storage 值區的位置必須與要建立、附加或覆寫的表格所屬的資料集位置相同。
      Firestore 匯出檔案的 URI 結尾必須為 KIND_COLLECTION_ID.export_metadata。例如，在 default_namespace_kind_Book.export_metadata 中，Book 是集合 ID，而 default_namespace_kind_Book 是 Firestore 產生的檔案名稱。如果 URI 結尾不是 KIND_COLLECTION_ID.export_metadata，您會收到以下錯誤訊息：does not contain valid backup metadata. (錯誤代碼：無效)。
   2. 在「File format」部分，選取「Cloud Datastore Backup」。Firestore 和 Datastore 共用匯出格式。
2. 在「Destination」(目的地) 部分中，指定下列詳細資料：
   1. 在「Dataset」(資料集) 部分，選取要建立資料表的資料集。
   2. 在「Table」(資料表) 欄位中，輸入要建立的資料表名稱。
   3. 確認「Table type」欄位已設為「Native table」。
3. 在「Schema」(結構定義) 區段中，無需採取任何行動。系統會推測 Firestore 匯出檔案的結構定義。
4. 選用步驟：指定「分區與叢集設定」。如需更多資訊，請參閱「建立分區資料表」和「建立及使用叢集資料表」。
5. 按一下「進階選項」，然後執行下列操作：
   • 讓「Write preference」(寫入偏好設定) 的 [Write if empty] (空白時寫入) 選項維持在已選取狀態。這個選項能建立新的資料表，並將您的資料載入其中。
   • 如果您想忽略資料列中不在資料表結構定義中的值，請選取「不明的值」。
   • 針對「Encryption」(加密)，請按一下「Customer-managed key」(客戶管理的金鑰)，以使用 Cloud Key Management Service 金鑰。如果您保留 Google-managed key 設定，BigQuery 會加密靜態資料。
6. 點選「建立資料表」。

bq

在 source_format 設為 DATASTORE_BACKUP 的情況下使用 bq load 指令。加上 --location 標記，並該標記值設為您的位置。如果您要覆寫現有資料表，請加上 --replace 旗標。

如果只要載入特定欄位，請使用 --projection_fields 旗標。

bq --location=LOCATION load \
--source_format=FORMAT \
DATASET.TABLE \
PATH_TO_SOURCE

更改下列內容：

• LOCATION：您的位置。--location 是選用旗標。
• FORMAT：DATASTORE_BACKUP。[Datastore Backup] (Datastore 備份) 是 Firestore 的所需選項。Firestore 與 Datastore 共用一種匯出格式。
• DATASET：資料集包含您要載入資料的資料表。
• TABLE：您要載入資料的資料表。如果該資料表不存在，系統就會建立新資料表。
• PATH_TO_SOURCE：Cloud Storage URI。

舉例來說，下列指令會在名為 book_data 的資料表中載入 gs://mybucket/20180228T1256/default_namespace/kind_Book/default_namespace_kind_Book.export_metadata Firestore 匯出檔案。mybucket 和 mydataset 是在 US 多地區位置建立的。

bq --location=US load \
--source_format=DATASTORE_BACKUP \
mydataset.book_data \
gs://mybucket/20180228T1256/default_namespace/kind_Book/default_namespace_kind_Book.export_metadata

API

設定下列屬性，以便使用 API 載入 Firestore 匯出資料。

1. 建立 load 工作設定指向 Cloud Storage 中的來源資料。

2. 在工作資源的 jobReference 區段中，在 location 屬性指定您的位置。

3. 在載入工作設定中，sourceUris 屬性必須完整且符合下列格式：gs://BUCKET/OBJECT。檔案 (物件) 名稱的結尾必須是 KIND_NAME.export_metadata。您只能針對 Firestore 匯出檔案指定一個 URI，且不得使用萬用字元。

4. 在載入工作設定中，將 sourceFormat 屬性設為 DATASTORE_BACKUP 以指定資料格式。[Datastore Backup] (Datastore 備份) 是 Firestore 的所需選項。Firestore 與 Datastore 共用一種匯出格式。

5. 如要僅載入特定欄位，請設定 projectionFields 屬性。

6. 如果您要覆寫現有資料表，請將 writeDisposition 屬性設為 WRITE_TRUNCATE 以指定寫入配置。

Python

# TODO(developer): Set table_id to the ID of the table to create.
table_id = "your-project.your_dataset.your_table_name"

# TODO(developer): Set uri to the path of the kind export metadata
uri = (
    "gs://cloud-samples-data/bigquery/us-states"
    "/2021-07-02T16:04:48_70344/all_namespaces/kind_us-states"
    "/all_namespaces_kind_us-states.export_metadata"
)

# TODO(developer): Set projection_fields to a list of document properties
#                  to import. Leave unset or set to `None` for all fields.
projection_fields = ["name", "post_abbr"]

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

job_config = bigquery.LoadJobConfig(
    source_format=bigquery.SourceFormat.DATASTORE_BACKUP,
    projection_fields=projection_fields,
)

load_job = client.load_table_from_uri(
    uri, table_id, job_config=job_config
)  # Make an API request.

load_job.result()  # Waits for the job to complete.

destination_table = client.get_table(table_id)
print("Loaded {} rows.".format(destination_table.num_rows))