Mendeklarasikan sumber data

Dokumen ini menunjukkan cara mendeklarasikan sumber data BigQuery dengan Dataform core.

Anda dapat mendeklarasikan jenis tabel BigQuery sebagai sumber data di Dataform. Dengan mendeklarasikan sumber data BigQuery yang eksternal ke Dataform, Anda dapat memperlakukan sumber data tersebut sebagai objek Dataform.

Mendeklarasikan sumber data bersifat opsional, tetapi dapat berguna saat Anda ingin melakukan hal berikut:

  • Mereferensikan atau menyelesaikan sumber yang dideklarasikan dengan cara yang sama seperti tabel lainnya di Dataform.
  • Melihat sumber yang dideklarasikan dalam grafik Dataform yang divisualisasikan.
  • Gunakan Dataform untuk mengelola deskripsi tingkat tabel dan tingkat kolom dari tabel yang dibuat secara eksternal.
  • Memicu pemanggilan alur kerja yang mencakup semua dependen sumber data eksternal.

Anda dapat mendeklarasikan sumber data menggunakan file JavaScript atau SQLX. Dalam file JavaScript, Anda dapat mendeklarasikan beberapa sumber data per file. Dalam file SQLX, Anda dapat mendeklarasikan satu sumber data per file.

Sebelum memulai

Sebelum mendeklarasikan sumber data, buat dan lakukan inisialisasi ruang kerja pengembangan di repositori Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna mendeklarasikan sumber data, minta administrator untuk memberi Anda peran IAM Dataform Editor (roles/dataform.editor) di ruang kerja. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran kustom atau peran yang telah ditentukan lainnya.

Membuat file JavaScript untuk beberapa deklarasi sumber data

Simpan file JavaScript untuk deklarasi sumber data di direktori definitions/. Untuk membuat file JavaScript baru di direktori definitions/, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Dataform.

    Buka halaman Dataform

  2. Pilih repositori.

  3. Pilih ruang kerja pengembangan.

  4. Di panel Files, di samping definitions/, klik menu More.

  5. Klik Create file.

  6. Di panel Create new file, lakukan hal berikut:

    1. Di kolom Add a file path, setelah definitions/, masukkan nama file yang diikuti dengan .js. Contoh, definitions/declarations.js.

      Nama file hanya boleh berisi angka, huruf, tanda hubung, dan garis bawah.

    2. Klik Create file.

Menambahkan deklarasi ke file JavaScript

Anda dapat mendeklarasikan beberapa sumber data per file JavaScript. Untuk menambahkan pernyataan baru, ikuti langkah-langkah berikut:

  1. Di ruang kerja pengembangan Anda, di panel Files, klik file JavaScript Anda untuk deklarasi sumber data.

  2. Di file, untuk setiap sumber data, tambahkan cuplikan kode berikut:

      declare({
    database: "DATABASE_PROJECT_ID",
    schema: "BIGQUERY_SCHEMA",
    name: "RELATION_NAME",
  });

    Ganti kode berikut:

    • DATABASE_PROJECT_ID: project ID project yang berisi sumber data.
    • BIGQUERY_SCHEMA: set data BigQuery tempat sumber data berada.
    • RELATION_NAME: nama tabel atau tampilan yang ingin Anda gunakan sebagai sumber data. Anda dapat menggunakan nama tersebut nanti untuk mereferensikan sumber data di Dataform.

Membuat file SQLX untuk deklarasi sumber data

Simpan file SQLX untuk deklarasi sumber data di direktori definitions/. Untuk membuat file SQLX baru di direktori definitions/, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Dataform.

    Buka halaman Dataform

  2. Pilih repositori.

  3. Pilih ruang kerja pengembangan.

  4. Di panel Files, di samping definitions/, klik menu More.

  5. Klik Create file.

  6. Di panel Create new file, lakukan hal berikut:

    1. Di kolom Add a file path, setelah definitions/, masukkan nama file yang diikuti dengan .sqlx. Contoh, definitions/dataset-declaration.sqlx.

      Nama file hanya boleh berisi angka, huruf, tanda hubung, dan garis bawah.

    2. Klik Create file.

Mendeklarasikan sumber data

Anda dapat mendeklarasikan satu sumber data per file deklarasi SQLX. Untuk mendeklarasikan sumber data dalam blok konfigurasi file SQLX, ikuti langkah-langkah berikut:

  1. Di ruang kerja pengembangan Anda, di panel Files, klik file SQLX Anda untuk deklarasi sumber data.

  2. Di file tersebut, masukkan cuplikan kode berikut:

    config {
  type: "declaration",
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
}

    Ganti kode berikut:

    • DATABASE: project ID project yang berisi sumber data.
    • SCHEMA: set data BigQuery tempat sumber data berada.
    • NAME: nama tabel atau tampilan yang ingin Anda gunakan sebagai sumber data. Anda dapat menggunakan nama tersebut nanti untuk mereferensikan sumber data di Dataform.

  3. Opsional: Klik Format.

Contoh kode berikut menunjukkan contoh deklarasi tabel shakespeare dalam set data samples project bigquery-public-data sebagai sumber data:

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

Langkah berikutnya