Membuat dan mengkueri tabel metastore dari Spark

Anda dapat membuat kueri tabel Apache Spark Iceberg di notebook BigQuery menggunakan mesin open source, seperti Spark. Tabel ini adalah tabel Iceberg reguler dengan metadata yang disimpan di metastore BigLake. Tabel yang sama dapat dikueri dari BigQuery dan Spark.

Sebelum memulai

• Buat tabel Iceberg saat menggunakan Spark di notebook BigQuery. Skema tabel disimpan di metastore BigLake. Misalnya, Anda dapat membuat tabel dengan Dataproc, Dataproc Serverless, atau prosedur tersimpan.

Pertimbangan

• Hanya tabel Iceberg yang didukung.

• Saat menjalankan kueri, jangan lupa untuk memetakan nama namespace dan database sebagai nama set data BigQuery. Tabel berikut mencantumkan pemetaan tombol yang berlaku untuk digunakan:

  Open source	BigQuery
  Namespace	Set data BigQuery
  Database	Set data BigQuery
  Tabel (berpartisi atau tidak berpartisi)	Tabel BigQuery

Melihat dan membuat kueri tabel

Setelah membuat resource BigQuery di Spark, Anda dapat melihat dan membuat kueri di konsolGoogle Cloud . Contoh berikut menunjukkan langkah-langkah umum untuk membuat kueri tabel metastore menggunakan Spark interaktif:

1. Gunakan katalog Iceberg kustom:

   USE `CATALOG_NAME`;

   Ganti kode berikut:

   • CATALOG_NAME: nama katalog Spark yang Anda gunakan dengan tugas SQL.

2. Buat namespace

   CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME;

   Ganti kode berikut:

   • NAMESPACE_NAME: nama namespace yang mereferensikan tabel Spark Anda.

3. Gunakan namespace yang dibuat:

   USE NAMESPACE_NAME;

4. Buat tabel Iceberg:

   CREATE TABLE TABLE_NAME (id int, data string) USING ICEBERG;

   Ganti kode berikut:

   • TABLE_NAME: nama untuk tabel Iceberg Anda.

5. Menyisipkan baris tabel:

   INSERT INTO TABLE_NAME VALUES (1, "first row");

6. Gunakan konsol Google Cloud untuk melakukan salah satu hal berikut:

   • Melihat metadata tabel
   • Membuat kueri tabel

    SELECT * FROM `TABLE_NAME`;

Langkah berikutnya

• Siapkan fitur metastore BigLake tambahan.