Membuat replika tampilan terwujud

Dokumen ini menjelaskan cara membuat replika tampilan terwujud di BigQuery. Replika tampilan terwujud adalah replikasi data eksternal Amazon Simple Storage Service (Amazon S3), Apache Iceberg, atau Salesforce Data Cloud dalam kumpulan data BigQuery sehingga data tersedia secara lokal di BigQuery, yang dapat membantu Anda menghindari biaya keluar data dan meningkatkan performa kueri.

Sebelum memulai

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Pastikan Anda memiliki izin Identity and Access Management (IAM) yang diperlukan untuk melakukan tugas dalam dokumen ini.

    7. Peran yang diperlukan

    Untuk mendapatkan izin yang diperlukan untuk melakukan tugas dalam dokumen ini, minta administrator Anda untuk memberikan peran IAM BigQuery Admin (roles/bigquery.admin). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

    Peran bawaan ini berisi izin yang diperlukan untuk melakukan tugas dalam dokumen ini. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

    Izin yang diperlukan

    Izin berikut diperlukan untuk melakukan tugas dalam dokumen ini:

    • bigquery.tables.create
    • bigquery.tables.get
    • bigquery.tables.getData
    • bigquery.tables.replicateData
    • bigquery.jobs.create

    Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

    Untuk mengetahui informasi selengkapnya tentang IAM BigQuery, lihat Pengantar IAM di BigQuery.

    Menyiapkan set data untuk replika tampilan terwujud

    Sebelum membuat replika tampilan terwujud, Anda harus menyelesaikan tugas berikut:

    1. Buat set data di region yang mendukung Amazon S3
    2. Buat tabel sumber di set data yang Anda buat pada langkah sebelumnya. Tabel sumber dapat berupa salah satu jenis tabel berikut:

    Membuat replika tampilan terwujud

    Pilih salah satu opsi berikut:

    Konsol

    1. Di Google Cloud konsol, buka halaman BigQuery.

      Buka BigQuery

    2. Di panel Explorer, buka project dan set data tempat Anda ingin membuat replika tampilan yang di-materialisasi, lalu klik View actions > Create table.

    3. Di bagian Sumber pada dialog Buat tabel, lakukan hal berikut:

      1. Untuk Buat tabel dari, pilih Tabel/tampilan yang ada.
      2. Untuk Project, masukkan project tempat tabel atau tampilan sumber berada.
      3. Untuk Set data, masukkan set data tempat tabel atau tampilan sumber berada.
      4. Untuk Tampilan, masukkan tabel atau tampilan sumber yang Anda replikasi. Jika Anda memilih tampilan, tampilan tersebut harus berupa tampilan yang diotorisasi, atau jika tidak, semua tabel yang digunakan untuk membuat tampilan tersebut harus berada di set data tampilan.

    4. Opsional: Untuk Maksimum ketidakberlakuan tampilan terwujud lokal, masukkan nilai max_staleness untuk tampilan terwujud lokal Anda.

    5. Di bagian Destination pada dialog Create table, lakukan hal berikut:

      1. Untuk Project, masukkan project tempat Anda ingin membuat replika tampilan terwujud.
      2. Untuk Set data, masukkan set data tempat Anda ingin membuat replika tampilan terwujud.
      3. Untuk Nama tampilan terwujud replika, masukkan nama untuk replika Anda.

    6. Opsional: Tentukan tag dan opsi lanjutan untuk replika tampilan terwujud Anda. Jika Anda tidak menentukan set data untuk Set Data Tampilan Materialisir Lokal, set data akan otomatis dibuat di project dan region yang sama dengan data sumber dan diberi nama bq_auto_generated_local_mv_dataset. Jika Anda tidak menentukan nama untuk Nama Tampilan Materialisir Lokal, maka nama tersebut akan otomatis dibuat di project dan region yang sama dengan data sumber dan diberi prefiks bq_auto_generated_local_mv_.

    7. Klik Create table.

    Tampilan terwujud lokal baru dibuat (jika tidak ditentukan) dan diizinkan dalam set data sumber. Kemudian, replika tampilan terwujud dibuat di set data tujuan.

    SQL

    1. Buat tampilan terwujud di atas tabel dasar dalam set data yang Anda buat. Anda juga dapat membuat tampilan terwujud dalam set data lain yang berada di region Amazon S3.
    2. Otorisasi tampilan terwujud pada set data yang berisi tabel sumber yang digunakan dalam kueri yang membuat tampilan terwujud.
    3. Jika Anda mengonfigurasi pemuatan ulang cache metadata manual untuk tabel sumber, jalankan prosedur sistem BQ.REFRESH_EXTERNAL_METADATA_CACHE untuk memuat ulang cache metadata.
    4. Jalankan prosedur sistem BQ.REFRESH_MATERIALIZED_VIEW untuk memuat ulang tampilan terwujud.

    5. Buat replika tampilan terwujud menggunakan pernyataan CREATE MATERIALIZED VIEW AS REPLICA OF:

      CREATE MATERIALIZED VIEW PROJECT_ID.BQ_DATASET.REPLICA_NAME
OPTIONS(replication_interval_seconds=REPLICATION_INTERVAL)
AS REPLICA OF PROJECT_ID.S3_DATASET.MATERIALIZED_VIEW_NAME;

      Ganti kode berikut:

      • PROJECT_ID: nama project tempat Anda ingin membuat replika tampilan terwujud—misalnya, myproject.
      • BQ_DATASET: nama set data BigQuery tempat Anda ingin membuat replika tampilan yang di-materialisasi—misalnya, bq_dataset. Set data harus berada di region BigQuery yang dipetakan ke region tampilan materialis sumber.
      • REPLICA_NAME: nama replika tampilan terwujud yang ingin Anda buat—misalnya, my_mv_replica.
      • REPLICATION_INTERVAL: menentukan seberapa sering data direplikasi dari tampilan terwujud sumber ke replika, dalam detik. Harus berupa nilai antara 60 dan 3.600, inklusif. Nilai defaultnya adalah 300 (5 menit).
      • S3_DATASET: nama set data yang berisi tampilan terwujud sumber—misalnya, s3_dataset.
      • MATERIALIZED_VIEW_NAME: nama tampilan terwujud yang akan direplikasi—misalnya, my_mv.

      Contoh berikut membuat replika tampilan terwujud bernama mv_replica di bq_dataset:

      CREATE MATERIALIZED VIEW `myproject.bq_dataset.mv_replica`
OPTIONS(
replication_interval_seconds=600
)
AS REPLICA OF `myproject.s3_dataset.my_s3_mv`

    Setelah Anda membuat replika tampilan terwujud, proses replikasi akan melakukan polling pada tampilan terwujud sumber untuk mengetahui perubahan dan mereplikasi data ke replika tampilan terwujud, dengan memperbarui data pada interval yang Anda tentukan dalam opsi replication_interval_seconds atau max_staleness. Jika Anda membuat kueri replika sebelum pengisian ulang pertama selesai, Anda akan mendapatkan error backfill in progress. Anda dapat membuat kueri data di replika tampilan terwujud setelah replikasi pertama selesai.