Membuat tabel eksternal hanya baca Apache Iceberg

Tabel eksternal hanya baca Apache Iceberg memungkinkan Anda mengakses tabel Apache Iceberg dengan kontrol akses yang lebih terperinci dalam format hanya baca. Kemampuan ini berbeda dengan tabel BigLake untuk Apache Iceberg di BigQuery, yang memungkinkan Anda membuat tabel Iceberg di BigQuery dalam format yang dapat ditulis.

Iceberg adalah format tabel open source yang mendukung tabel data berskala petabyte. Spesifikasi terbuka Iceberg memungkinkan Anda menjalankan beberapa mesin kueri pada satu salinan data yang disimpan di penyimpanan objek. Tabel eksternal hanya baca Apache Iceberg (selanjutnya disebut tabel hanya baca Iceberg) mendukung spesifikasi Iceberg versi 2, termasuk gabungkan saat dibaca.

Sebagai administrator BigQuery, Anda dapat menerapkan kontrol akses tingkat baris dan kolom, termasuk penyamaran data pada tabel. Untuk informasi tentang cara menyiapkan kontrol akses di tingkat tabel, lihat Menyiapkan kebijakan kontrol akses. Kebijakan akses tabel juga diterapkan saat Anda menggunakan BigQuery Storage API sebagai sumber data untuk tabel di Dataproc dan Serverless Spark.

Anda dapat membuat tabel hanya baca Iceberg dengan cara berikut:

• Dengan metastore BigLake (direkomendasikan untuk Google Cloud). Metastore BigLake didasarkan pada katalog BigQuery dan terintegrasi langsung dengan BigQuery. Tabel di metastore BigLake dapat diubah dari beberapa mesin open source, dan tabel yang sama dapat dikueri dari BigQuery. BigLake Metastore juga mendukung integrasi langsung dengan Apache Spark.

• Dengan AWS Glue Data Catalog (direkomendasikan untuk AWS). AWS Glue adalah metode yang direkomendasikan untuk AWS karena merupakan repositori metadata terpusat tempat Anda menentukan struktur dan lokasi data yang disimpan di berbagai layanan AWS serta menyediakan kemampuan seperti penemuan skema otomatis dan integrasi dengan alat analisis AWS.

• Dengan file metadata JSON Iceberg (direkomendasikan untuk Azure). Jika menggunakan file metadata JSON Iceberg, Anda harus mengupdate file metadata terbaru secara manual setiap kali ada update tabel. Anda dapat menggunakan prosedur tersimpan BigQuery untuk Apache Spark guna membuat tabel hanya baca Iceberg yang mereferensikan file metadata Iceberg.

Untuk daftar lengkap batasan, lihat Batasan.

Sebelum memulai

• Enable the BigQuery Connection and BigQuery Reservation APIs.

  Enable the APIs

• Jika menggunakan prosedur tersimpan untuk Spark di BigQuery guna membuat tabel hanya baca Iceberg, Anda harus mengikuti langkah-langkah berikut:

  1. Buat koneksi Spark.
  2. Siapkan kontrol akses untuk koneksi tersebut.

• Untuk menyimpan metadata dan file data tabel hanya baca Iceberg di Cloud Storage, buat bucket Cloud Storage. Anda harus terhubung ke bucket Cloud Storage untuk mengakses file metadata. Untuk melakukannya, ikuti langkah-langkah berikut:

  1. Buat koneksi resource Cloud.
  2. Siapkan akses untuk koneksi tersebut.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat tabel hanya baca Iceberg, minta administrator untuk memberi Anda peran IAM berikut pada project:

• Admin BigQuery (roles/bigquery.admin)
• Storage Object Admin (roles/storage.objectAdmin)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat tabel hanya baca Iceberg. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Membuat tabel dengan metastore BigLake

Sebaiknya buat tabel hanya baca Iceberg dengan metastore BigLake. Anda dapat menggunakan Apache Spark untuk membuat tabel ini. Cara yang mudah untuk melakukannya adalah menggunakan prosedur tersimpan BigQuery. Untuk mengetahui contohnya, lihat Membuat dan menjalankan prosedur tersimpan.

Membuat tabel dengan file metadata

Anda dapat membuat tabel hanya baca Iceberg dengan file metadata JSON. Namun, ini bukan metode yang direkomendasikan karena Anda harus mengupdate URI file metadata JSON secara manual agar tabel hanya baca Iceberg selalu terbaru. Jika URI tidak selalu terbaru, kueri di BigQuery dapat gagal atau memberikan hasil yang berbeda dari mesin kueri lain yang langsung menggunakan katalog Iceberg.

File metadata tabel Iceberg dibuat di bucket Cloud Storage yang Anda tentukan saat membuat tabel Iceberg menggunakan Spark.

Pilih salah satu opsi berikut:

  CREATE EXTERNAL TABLE myexternal-table
  WITH CONNECTION `myproject.us.myconnection`
  OPTIONS (
         format = 'ICEBERG',
         uris = ["gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json"]
   )

bq mk 

    --table 

    --external_table_definition=TABLE_FORMAT=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID 

    PROJECT_ID:DATASET.EXTERNAL_TABLE

Mengupdate metadata tabel

Jika Anda menggunakan file metadata JSON untuk membuat tabel Iceberg hanya baca, update definisi tabel ke metadata tabel terbaru. Untuk mengupdate skema atau file metadata, pilih salah satu opsi berikut:

PATCH https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables/TABLE?autodetect_schema=true

{
     "externalDataConfiguration": {
      "sourceFormat": "ICEBERG",
      "sourceUris": [
        "URI"
      ]
    },
    "schema": null
  }'

Menyiapkan kebijakan kontrol akses

Anda dapat mengontrol akses ke tabel hanya baca Iceberg melalui keamanan tingkat kolom, keamanan tingkat baris, dan penyamaran data.

Membuat kueri tabel Iceberg hanya baca

Untuk informasi selengkapnya, lihat Membuat kueri data Iceberg.

Pemetaan data

BigQuery mengonversi jenis data Iceberg menjadi jenis data BigQuery seperti yang ditampilkan dalam tabel berikut:

Batasan

Tabel hanya baca Iceberg memiliki batasan tabel eksternal dan batasan berikut:

• Tabel yang menggunakan gabungkan saat dibaca memiliki batasan berikut:

  • Setiap file data dapat dikaitkan dengan hingga 10.000 file penghapusan.
  • Maksimal 100.000 ID kesetaraan dapat diterapkan ke file penghapusan.
  • Anda dapat mengatasi batasan ini dengan sering memadatkan file penghapusan, atau membuat tampilan di atas tabel Iceberg yang menghindari partisi yang sering dimutasi.

• BigQuery mendukung pruning manifes menggunakan semua fungsi transformasi partisi Iceberg kecuali untuk Bucket. Untuk informasi tentang cara melakukan pruning partisi, lihat Membuat kueri tabel berpartisi. Kueri yang merujuk pada tabel hanya baca Iceberg harus berisi literal dalam predikat dibandingkan dengan kolom yang dipartisi.

• Hanya file data Apache Parquet yang didukung.

Biaya gabung saat dibaca

Penagihan sesuai permintaan untuk data gabung saat dibaca adalah jumlah pemindaian data berikut:

• Semua byte logis yang dibaca dalam file data (termasuk baris yang ditandai sebagai dihapus berdasarkan posisi dan penghapusan kesamaan).
• Byte logis yang dibaca saat memuat penghapusan kesamaan dan penghapusan posisi file untuk menemukan baris yang dihapus dalam file data.

Perlu filter partisi

Anda dapat mewajibkan penggunaan filter predikat dengan mengaktifkan opsi wajibkan filter partisi untuk tabel Iceberg Anda. Jika Anda mengaktifkan opsi ini, upaya untuk mengkueri tabel tanpa menentukan klausa WHERE yang sesuai dengan setiap file manifes akan menghasilkan error berikut:

Cannot query over table project_id.dataset.table without a
filter that can be used for partition elimination.

Setiap file manifes memerlukan setidaknya satu predikat yang sesuai untuk penghapusan partisi.

Anda dapat mengaktifkan require_partition_filter dengan cara berikut saat membuat tabel Iceberg :

  CREATE EXTERNAL TABLE TABLE
  WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
  OPTIONS (
         format = 'ICEBERG',
         uris = [URI],
         require_partition_filter = true
   )

bq mk \
    --table \
    --external_table_definition=ICEBERG=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID \
    PROJECT_ID:DATASET.EXTERNAL_TABLE \
    --require_partition_filter

Anda juga dapat memperbarui tabel Iceberg untuk mengaktifkan filter partisi yang diperlukan.

Jika Anda tidak mengaktifkan opsi wajibkan filter partisi saat membuat tabel berpartisi, Anda dapat memperbarui tabel untuk menambahkan opsi tersebut.

bq update --require_partition_filter PROJECT_ID:DATASET.TABLE

Langkah berikutnya

• Pelajari prosedur tersimpan untuk Spark.
• Pelajari kebijakan kontrol akses.
• Pelajari cara menjalankan kueri di BigQuery.
• Pelajari pernyataan dan dialek SQL yang didukung di BigQuery.