在 BigQuery 中設定 BigLake Iceberg 資料表

本頁面說明如何設定 Datastream,將資料複製到 BigQuery 中的 BigLake Iceberg 資料表。

將資料串流至 BigLake Iceberg 資料表,可讓您以符合成本效益的方式,將資料儲存為 PARQUET 格式。這樣一來,您就能將資料保留在 Cloud Storage 值區中,同時使用 BigQuery 查詢及分析資料。

設定串流至 BigLake Iceberg 資料表

如要設定串流,將資料擷取至 BigLake Iceberg 資料表,請完成下列步驟:

  1. 建立 Cloud Storage bucket,用來儲存資料。
  2. 在 BigQuery 中建立 Cloud 資源連線。如要瞭解如何建立這類連線,請參閱「建立及設定 Cloud 資源連線」。
  3. 取得連線服務帳戶的 ID:

    bq show --location=LOCATION --connection --project_id=PROJECT_ID
    CONNECTION_NAME
    
  4. 向所建立的 Cloud Storage bucket 授予 Cloud 資源連線存取權。如要這麼做,請將 storage.admin IAM 權限新增至連線服務帳戶:

    gcloud storage buckets add-iam-policy-binding gs://YOUR_GCS_BUCKET \
    --member=serviceAccount:YOUR_SERVICE_ACCOUNT_ID \
    --role=roles/storage.admin
    
  5. 建立 BigLake Iceberg 資料表串流。

    如要瞭解如何使用 Google Cloud 控制台建立 BigLake Iceberg 資料表串流,請參閱「建立串流」。

    如要瞭解如何使用 REST Google Cloud CLI 或 Terraform 建立要求,將資料串流至 BigLake Iceberg 表格,請參閱「使用 API 管理串流」。

後續步驟