本頁面說明如何設定 Datastream,將資料複製到 BigQuery 中的 BigLake Iceberg 資料表。
將資料串流至 BigLake Iceberg 資料表,可讓您以符合成本效益的方式,將資料儲存為 PARQUET
格式。這樣一來,您就能將資料保留在 Cloud Storage 值區中,同時使用 BigQuery 查詢及分析資料。
設定串流至 BigLake Iceberg 資料表
如要設定串流,將資料擷取至 BigLake Iceberg 資料表,請完成下列步驟:
- 建立 Cloud Storage bucket,用來儲存資料。
- 在 BigQuery 中建立 Cloud 資源連線。如要瞭解如何建立這類連線,請參閱「建立及設定 Cloud 資源連線」。
取得連線服務帳戶的 ID:
bq show --location=LOCATION --connection --project_id=PROJECT_ID CONNECTION_NAME
向所建立的 Cloud Storage bucket 授予 Cloud 資源連線存取權。如要這麼做,請將
storage.admin
IAM 權限新增至連線服務帳戶:gcloud storage buckets add-iam-policy-binding gs://YOUR_GCS_BUCKET \ --member=serviceAccount:YOUR_SERVICE_ACCOUNT_ID \ --role=roles/storage.admin
建立 BigLake Iceberg 資料表串流。
如要瞭解如何使用 Google Cloud 控制台建立 BigLake Iceberg 資料表串流,請參閱「建立串流」。
如要瞭解如何使用 REST
Google Cloud CLI
或 Terraform 建立要求,將資料串流至 BigLake Iceberg 表格,請參閱「使用 API 管理串流」。
後續步驟
- 如要進一步瞭解串流,請參閱「串流生命週期」。
- 如要瞭解如何建立串流,請參閱「建立串流」。
- 如要瞭解如何建立可搭配 BigLake Iceberg 資料表串流使用的連線設定檔,請參閱「為 BigQuery 建立連線設定檔」。