從 Spark 建立及查詢 metastore 資料表
您可以使用 Spark 等開放原始碼引擎,在 BigQuery 筆記本中查詢 Apache Spark Iceberg 資料表。這些資料表是儲存在 BigLake Metastore 的一般 Iceberg 資料表。您可以透過 BigQuery 和 Spark 查詢同一個資料表。
事前準備
- 在 BigQuery 筆記本中使用 Spark 時,建立 Iceberg 資料表。資料表結構定義會儲存在 BigLake 中繼資料儲存庫。舉例來說,您可以使用 Dataproc、Google Cloud Serverless for Apache Spark 或預存程序建立資料表。
查看及查詢資料表
在 Spark 中建立 BigQuery 資源後,您可以在Google Cloud 控制台中查看及查詢這些資源。以下範例說明使用互動式 Spark 查詢中繼存放區資料表的一般步驟:
使用自訂 Iceberg 目錄:
USE `CATALOG_NAME`;
更改下列內容:
CATALOG_NAME
:您在 SQL 工作中使用的 Spark 目錄名稱。
建立命名空間:
CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME;
更改下列內容:
NAMESPACE_NAME
:參照 Spark 資料表的命名空間名稱。
使用建立的命名空間:
USE NAMESPACE_NAME;
建立 Iceberg 資料表:
CREATE TABLE TABLE_NAME (id int, data string) USING ICEBERG;
更改下列內容:
TABLE_NAME
:Iceberg 資料表的名稱。
插入表格列:
INSERT INTO TABLE_NAME VALUES (1, "first row");
使用 Google Cloud 控制台執行下列其中一項操作:
SELECT * FROM `TABLE_NAME`;