Memesan kapasitas BI Engine

Anda membeli kapasitas BI Engine dengan membuat reservasi BI Engine, yang diukur dalam GiB memori. Pemesanan dilampirkan ke project dan region yang Anda identifikasi saat pemesanan dibuat. BI Engine menggunakan kapasitas ini untuk menyimpan data dalam cache. Untuk mengetahui informasi tentang ukuran pemesanan maksimum untuk BI Engine, lihat Kuota dan batas.

Saat menggunakan BI Engine, tagihan Anda didasarkan pada kapasitas BI Engine yang dibeli untuk project Anda. Reservasi BI Engine dikenai biaya per GiB/jam, dengan harga per region, lihat Harga BI Engine.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat dan menghapus reservasi, minta administrator untuk memberi Anda peran IAM BigQuery Resource Admin (roles/bigquery.resourceAdmin) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat pemesanan

Untuk memesan kapasitas BI Engine sesuai permintaan, ikuti langkah-langkah berikut:

Konsol

  1. Di halaman BigQuery, di Administrasi, buka halaman BI Engine.

    Buka BI Engine

  2. Klik Buat pemesanan.

  3. Di halaman Buat pemesanan, untuk Langkah 1:

    • Verifikasi nama project Anda.
    • Pilih lokasi Anda. Lokasi harus cocok dengan lokasi set data yang Anda kueri.
    • Sesuaikan penggeser ke jumlah kapasitas memori yang Anda pesan. Contoh berikut menetapkan kapasitas ke 2 GB. Ukuran maksimum saat ini adalah 250 GB. Anda dapat meminta peningkatan kapasitas pemesanan maksimum untuk project Anda. Peningkatan pemesanan tersedia di sebagian besar wilayah, dan dapat memerlukan waktu pemrosesan antara 3 hari hingga satu minggu.

      Lokasi kapasitas BI Engine

  4. Klik Berikutnya.

  5. Tabel pilihan (opsional). Tabel pilihan memungkinkan Anda membatasi akselerasi BI Engine ke kumpulan tabel tertentu. Semua tabel lainnya menggunakan slot BigQuery reguler.

    Di kolom ID Tabel, tentukan tabel yang ingin dipercepat menggunakan pola: PROJECT.DATASET.TABLE.

    Ganti kode berikut:

    • PROJECT: Google Cloud project ID Anda
    • DATASET: set data
    • TABLE: tabel yang ingin diakselerasi
  6. Klik Berikutnya.

  7. Untuk Langkah 3, tinjau detail pemesanan Anda, lalu klik Buat.

Setelah mengonfirmasi pemesanan, detailnya akan ditampilkan di halaman Pemesanan.

SQL

Gunakan pernyataan DDL ALTER BI_CAPACITY SET OPTIONS untuk membuat atau mengubah pemesanan BI Engine.

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
    SET OPTIONS (
      size_gb = VALUE,
      preferred_tables =
        ['TABLE_PROJECT_ID.DATASET.TABLE1',
        'TABLE_PROJECT_ID.DATASET.TABLE2']);

    Ganti kode berikut:

    • PROJECT_ID: ID opsional project yang akan mendapatkan manfaat dari akselerasi BI Engine. Jika dihilangkan, project default akan digunakan.
    • LOCATION_ID: lokasi tempat data perlu di-cache, diawali dengan region-. Contoh: region-us, region-us-central1.
    • VALUE: ukuran INT64 pemesanan untuk kapasitas BI Engine dalam gigabyte, 1 hingga 250 GB. Anda dapat meminta peningkatan kapasitas pemesanan maksimum untuk project Anda. Peningkatan pemesanan tersedia di sebagian besar region, dan dapat memerlukan waktu pemrosesan antara 3 hari hingga satu minggu. Menetapkan VALUE akan menggantikan nilai yang sudah ada, jika ada. Menetapkan ke NULL akan menghapus nilai untuk opsi tersebut.
    • TABLE_PROJECT_ID.DATASET.TABLE: daftar opsional tabel yang dirujuk tempat akselerasi harus diterapkan. Format: TABLE_PROJECT_ID.DATASET.TABLE or DATASET.TABLE. Jika project dihilangkan, maka project default akan digunakan.

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat artikel Menjalankan kueri interaktif.

bq

Gunakan perintah bq update dan berikan pernyataan bahasa definisi data (DDL) sebagai parameter kueri:

bq --project_id=PROJECT_ID update \
    --bi_reservation_size=SIZE \
    --location=LOCATION \
    --reservation

Ganti kode berikut:

  • PROJECT_ID: ID project Anda
  • SIZE: kapasitas memori pemesanan dalam gigabyte, 1 hingga 250 GB. Anda dapat meminta peningkatan kapasitas pemesanan maksimum untuk project Anda. Peningkatan pemesanan tersedia di sebagian besar wilayah, dan dapat memerlukan waktu pemrosesan antara 3 hari hingga satu minggu.
  • LOCATION: lokasi set data yang Anda kueri

Memperkirakan dan mengukur kapasitas

Untuk memperkirakan persyaratan kapasitas untuk pemesanan BI Engine, ikuti langkah-langkah berikut:

  1. Lihat tampilan TOTAL_LOGICAL_BYTES untuk menentukan ukuran logis tabel, lalu gunakan ukuran tersebut untuk pemesanan BI Engine awal Anda. Contoh:

    SELECT
      SUM(TOTAL_LOGICAL_BYTES) / 1024.0 / 1024.0 / 1024.0 AS logical_size_gb
    FROM
      `region-us.INFORMATION_SCHEMA.TABLE_STORAGE`
    WHERE
      TABLE_NAME IN UNNEST(["Table1", "Table2"]);

    Misalnya, untuk kueri terhadap sekumpulan tabel yang berisi total data sebesar 200 GiB, sebagai praktik terbaik, Anda dapat memulai dengan reservasi BI Engine sebesar 200 GiB. Kueri yang lebih selektif yang hanya menggunakan subset kolom atau partisi yang tersedia dapat dimulai dengan ukuran reservasi yang lebih kecil.

  2. Jalankan semua kueri yang perlu dioptimalkan dan yang dibuat dalam project dan region yang sama dengan pemesanan BI Engine. Tujuannya adalah untuk memperkirakan workload yang perlu Anda optimalkan. Peningkatan beban memerlukan lebih banyak memori untuk menangani kueri. Data dimuat ke BI Engine setelah kueri diterima.

  3. Bandingkan reservasi RAM BI Engine Anda dengan jumlah byte yang digunakan, reservation/used_bytes di metrik Cloud Monitoring bigquerybiengine.

  4. Sesuaikan kapasitas reservasi Anda berdasarkan hasilnya. Dalam banyak kasus penggunaan, reservasi yang lebih kecil dapat mempercepat sebagian besar kueri Anda, sehingga menghemat uang dan resource. Untuk mengetahui informasi selengkapnya tentang Pemantauan untuk BI Engine, lihat Pemantauan BI Engine.

Faktor berikut memengaruhi ukuran reservasi BI Engine:

  • BI Engine hanya meng-cache kolom dan baris yang sering diakses yang diperlukan untuk memproses kueri.
  • Saat reservasi digunakan sepenuhnya, BI Engine akan mencoba menghapus data yang paling jarang digunakan untuk mengosongkan kapasitas bagi kueri baru.
  • Jika beberapa kueri yang intensif secara komputasi menggunakan set data yang sama, BI Engine akan memuat salinan data tambahan untuk mendistribusikan ulang dan mengoptimalkan waktu respons.

Mengubah reservasi

Untuk mengubah reservasi yang ada, selesaikan langkah-langkah berikut:

Konsol

Untuk menentukan kumpulan tabel untuk akselerasi di pemesanan yang ada, ikuti langkah-langkah berikut:

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi BigQuery, klik BI Engine.

    Jika project Anda dikonfigurasi untuk tabel pilihan, kumpulan tabel akan ditampilkan di kolom Tabel Pilihan.

    gambar

  3. Pada baris untuk pemesanan yang ingin Anda edit, klik ikon di kolom Tindakan, lalu pilih Edit.

  4. Sesuaikan penggeser GiB of Capacity ke jumlah kapasitas memori yang Anda pesan. Klik Next.

  5. Tabel pilihan: Untuk menentukan kumpulan tabel untuk akselerasi di pemesanan yang ada, di kolom ID Tabel, tentukan tabel yang ingin dipercepat menggunakan pola: PROJECT.DATASET.TABLE.

    Ganti kode berikut:

    • PROJECT: Google Cloud project ID Anda
    • DATASET: set data
    • TABLE: tabel yang ingin diakselerasi

    Diperlukan waktu hingga sepuluh detik untuk menerapkan perubahan. Hanya tabel dalam daftar tabel pilihan yang dapat menggunakan akselerasi BI Engine.

    Klik Berikutnya.

  6. Konfirmasi reservasi yang telah diubah. Jika Anda setuju, klik Perbarui.

SQL

Anda dapat menggunakan pernyataan DDL ALTER BI_CAPACITY SET OPTIONS untuk membuat atau mengubah reservasi BI Engine.

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
    SET OPTIONS (
      size_gb = VALUE,
      preferred_tables =
        [`TABLE_PROJECT_ID.DATASET.TABLE1`,
        `TABLE_PROJECT_ID.DATASET.TABLE2`]);

    Ganti kode berikut:

    • PROJECT_ID: ID opsional project yang akan mendapatkan manfaat dari akselerasi BI Engine. Jika dihilangkan, project default akan digunakan.
    • LOCATION_ID: lokasi tempat data perlu di-cache, dengan awalan region-. Contoh: region-us, region-us-central1.
    • VALUE: ukuran INT64 pemesanan untuk kapasitas BI Engine dalam gigabyte, 1 hingga 250 GB. Anda dapat meminta peningkatan kapasitas pemesanan maksimum untuk project Anda. Peningkatan pemesanan tersedia di sebagian besar region, dan dapat memerlukan waktu pemrosesan antara 3 hari hingga satu minggu. Menetapkan VALUE akan menggantikan nilai yang sudah ada, jika ada. Menetapkan ke NULL akan menghapus nilai untuk opsi tersebut.
    • TABLE_PROJECT_ID.DATASET.TABLE: daftar opsional tabel pilihan tempat akselerasi harus diterapkan. Format: TABLE_PROJECT_ID.DATASET.TABLE or DATASET.TABLE. Jika project dihilangkan, maka project default akan digunakan.

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat artikel Menjalankan kueri interaktif.

Hapus pemesanan

Untuk menghapus pemesanan kapasitas, ikuti langkah-langkah berikut:

Konsol

  1. Di halaman BigQuery, di Administrasi, buka halaman BI Engine.

    Buka BI Engine

  2. Di bagian Pemesanan, cari pemesanan Anda.

  3. Di kolom Tindakan, klik ikon di sebelah kanan pemesanan, lalu pilih Hapus.

  4. Dalam dialog Hapus pemesanan?, masukkan Delete, lalu klik HAPUS.

SQL

Menetapkan opsi kapasitas BI Engine.

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
    SET OPTIONS (
      size_gb = 0);

    Ganti kode berikut:

    • PROJECT_ID: ID opsional project yang akan mendapatkan manfaat dari akselerasi BI Engine. Jika dihilangkan, project default akan digunakan.
    • LOCATION_ID: lokasi tempat data perlu di-cache, dengan awalan region-. Contoh: region-us, region-us-central1.

    Saat Anda menghapus semua pemesanan kapasitas dalam sebuah project, BI Engine akan dinonaktifkan untuk project tersebut.

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat artikel Menjalankan kueri interaktif.

bq

Gunakan perintah bq update dan berikan pernyataan DDL sebagai parameter kueri.

bq --project_id="PROJECT_ID" \
update --reservation
    --bi_reservation_size=0 \
    --location=LOCATION

Ganti kode berikut:

  • PROJECT_ID: ID project Anda
  • LOCATION: lokasi set data yang Anda kueri

Memverifikasi informasi BI Engine

Anda dapat memperoleh informasi tentang kapasitas BI Engine dengan meng-kueri tabel INFORMATION_SCHEMA.

Verifikasi status reservasi

Untuk memverifikasi status pemesanan, termasuk kumpulan tabel pilihan, lihat tampilan INFORMATION_SCHEMA.BI_CAPACITIES menggunakan kueri SQL. Misalnya:

SELECT
  *
FROM
  `<PROJECT_ID>.region-<REGION>.INFORMATION_SCHEMA.BI_CAPACITIES`;

Di konsol Google Cloud , hasil kueri SQL ini terlihat mirip dengan gambar berikut:

gambar

Melihat perubahan reservasi

Untuk melihat histori perubahan pemesanan tertentu, gunakan tampilan INFORMATION_SCHEMA.BI_CAPACITY_CHANGES menggunakan kueri SQL. Contoh:

SELECT
  *
FROM
  `<PROJECT_ID>.region-<REGION>.INFORMATION_SCHEMA.BI_CAPACITY_CHANGES`
ORDER BY
  change_timestamp DESC
LIMIT 3;

Di konsol Google Cloud , hasil kueri SQL ini terlihat mirip dengan gambar berikut:

baris hasil dengan change_timestamp project_id project_number

Langkah berikutnya