Mengonfigurasi kompilasi

Dokumen ini menunjukkan cara melakukan hal berikut di Dataform:

Sebelum memulai

  1. Di konsol Google Cloud , buka halaman Dataform.

    Buka Dataform

  2. Pilih atau buat repositori.

  3. Pilih atau buat ruang kerja pengembangan.

  4. Opsional: Untuk mengganti project Google Cloud default dalam konfigurasi rilis, beri akun layanan Dataform Anda akses ke project yang akan Anda gunakan.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menyelesaikan tugas dalam dokumen ini, minta administrator Anda untuk memberi Anda peran IAM Admin Dataform (roles/dataform.admin) di repositori. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk dapat memperbarui versi rilis dari konfigurasi rilis untuk repositori Dataform saat mode bertindak sebagai yang ketat diaktifkan, Anda harus memiliki izin iam.serviceAccounts.actAs di setiap akun layanan dalam konfigurasi alur kerja yang menggunakan konfigurasi rilis ini. Izin ini tersedia dalam peran Service Account User (roles/iam.serviceAccountUser).

Pengantar siklus proses alur kerja di Dataform

Bagian ini menjelaskan siklus proses alur kerja di Dataform dan cara mengonfigurasi kompilasi dan eksekusi dalam Dataform.

Siklus proses alur kerja Dataform terdiri dari fase berikut:

Pengembangan
Anda mengembangkan alur kerja di ruang kerja Dataform.
Kompilasi

Dataform mengompilasi kode alur kerja di ruang kerja Anda menjadi SQL secara real time, sehingga membuat hasil kompilasi ruang kerja yang dapat Anda jalankan di BigQuery. Dataform menggunakan setelan yang Anda tentukan dalam file setelan alur kerja untuk membuat hasil kompilasi.

Kompilasi Dataform bersifat hermetik untuk memastikan konsistensi kompilasi, yang berarti bahwa kode yang sama akan dikompilasi menjadi hasil kompilasi SQL yang sama setiap saat. Dataform mengompilasi kode Anda di lingkungan sandbox tanpa akses internet. Tidak ada tindakan tambahan, seperti memanggil API eksternal, yang tersedia selama kompilasi.

Eksekusi

Dalam pemanggilan alur kerja, Dataform menjalankan hasil kompilasi ruang kerja di BigQuery.

Untuk menyesuaikan siklus proses alur kerja Dataform dengan kebutuhan Anda, Anda dapat mengonfigurasi hasil kompilasi untuk memengaruhi tempat dan cara Dataform menjalankan alur kerja Anda. Kemudian, Anda dapat memicu atau menjadwalkan eksekusi secara manual untuk memengaruhi waktu Dataform menjalankan seluruh alur kerja atau elemen yang dipilih.

Cara mengonfigurasi kompilasi Dataform

Secara default, Dataform menggunakan setelan dalam file setelan alur kerja untuk membuat hasil kompilasi. Anda dapat mengganti setelan default dengan penggantian kompilasi untuk membuat hasil kompilasi kustom. Kemudian, Anda dapat memicu eksekusi hasil kompilasi kustom secara manual, atau menjadwalkan eksekusi.

Dataform menyediakan opsi berikut untuk mengonfigurasi hasil kompilasi:

Penggantian kompilasi Workspace
Anda dapat mengonfigurasi penggantian kompilasi yang berlaku untuk semua ruang kerja dalam repositori. Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan yang terisolasi.
Konfigurasi rilis
Anda dapat membuat konfigurasi rilis untuk mengonfigurasi template guna membuat hasil kompilasi repositori Dataform. Kemudian, Anda dapat membuat konfigurasi alur kerja untuk menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih.
Penggantian kompilasi Dataform API
Anda dapat meneruskan permintaan Dataform API di terminal untuk membuat dan menjalankan satu hasil kompilasi dengan penggantian kompilasi.

Mengonfigurasi penggantian kompilasi ruang kerja

Dengan penggantian kompilasi ruang kerja, Anda dapat membuat penggantian kompilasi untuk semua ruang kerja di repositori Dataform. Anda dapat membuat satu konfigurasi penggantian kompilasi ruang kerja untuk setiap repositori.

Saat Anda memulai eksekusi secara manual di ruang kerja dalam repositori dengan penggantian kompilasi ruang kerja, Dataform menerapkan penggantian ini ke hasil kompilasi ruang kerja.

Anda dapat mengonfigurasi penggantian kompilasi ruang kerja berikut:

  • ProjectGoogle Cloud tempat Dataform menjalankan konten ruang kerja
  • Awalan tabel
  • Akhiran skema

Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan yang terisolasi dengan mengisolasi hasil kompilasi ruang kerja di BigQuery dengan penggantian kompilasi dinamis. Penggantian kompilasi akhiran skema dan awalan tabel dinamis berisi variabel ${workspaceName}. Saat Anda memicu eksekusi di ruang kerja, Dataform akan mengganti variabel ${workspaceName} dengan nama ruang kerja saat ini, sehingga membuat penggantian kompilasi yang unik untuk ruang kerja tersebut.

Perlu diingat bahwa Anda tidak dapat menjadwalkan eksekusi hasil kompilasi yang dibuat dengan penggantian kompilasi ruang kerja.

Membuat konfigurasi rilis

Dengan konfigurasi rilis, Anda dapat mengonfigurasi template setelan untuk membuat hasil kompilasi repositori.

Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi setelan alur kerja, variabel kompilasi, dan frekuensi pembuatan hasil kompilasi seluruh repositori Anda.

Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi berikut:

Anda dapat membuat beberapa konfigurasi rilis di repositori Dataform, satu untuk setiap tahap siklus proses pengembangan, sehingga menghasilkan hasil kompilasi repositori yang terisolasi.

Kemudian, Anda dapat membuat konfigurasi alur kerja untuk menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih.

Anda juga dapat secara manual memicu eksekusi hasil kompilasi dalam konfigurasi rilis yang dipilih.

Mengonfigurasi satu hasil kompilasi dengan penggantian kompilasi Dataform API

Dengan meneruskan permintaan Dataform API di terminal, Anda dapat mengonfigurasi penggantian kompilasi untuk satu hasil kompilasi.

Dalam permintaan compilationResults.create, Anda dapat membuat satu hasil kompilasi ruang kerja Dataform atau commit Git tertentu.

Dalam objek CodeCompilationConfig permintaan compilationResults.create, Anda dapat mengonfigurasi penggantian kompilasi untuk permintaan kompilasi.

Anda dapat mengonfigurasi penggantian kompilasi Dataform API berikut:

Perlu diingat bahwa penggantian kompilasi Dataform API berlaku untuk satu hasil kompilasi dan satu eksekusi. Anda tidak dapat menggunakannya untuk menjadwalkan eksekusi Dataform.

Anda dapat menjalankan hasil kompilasi dalam permintaan workflowInvocations.create.

Cara mengonfigurasi eksekusi Dataform

Dataform menyediakan opsi berikut untuk mengonfigurasi eksekusi:

Eksekusi manual di ruang kerja
Anda dapat memicu eksekusi alur kerja secara instan secara manual di ruang kerja Dataform, di luar jadwal apa pun. Anda dapat menjalankan tindakan yang dipilih dalam alur kerja.
Konfigurasi alur kerja
Anda dapat menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih. Anda dapat memilih tindakan alur kerja yang akan dijalankan, dan menetapkan frekuensi dan zona waktu eksekusi.

Memicu eksekusi instan di ruang kerja

Di ruang kerja Dataform, Anda dapat memicu eksekusi alur kerja secara instan di ruang kerja Anda secara manual, di luar jadwal apa pun.

Anda dapat menjalankan elemen alur kerja berikut secara manual di ruang kerja Anda:

Jika repositori Anda berisi penggantian kompilasi ruang kerja, Anda dapat melihat penggantian kompilasi yang akan diterapkan Dataform ke hasil kompilasi ruang kerja.

Membuat konfigurasi alur kerja

Dengan konfigurasi alur kerja, Anda dapat menjadwalkan eksekusi hasil kompilasi dari konfigurasi rilis yang dipilih. Anda dapat membuat beberapa konfigurasi alur kerja di repositori Dataform.

Dalam konfigurasi alur kerja, Anda dapat mengonfigurasi setelan eksekusi berikut:

  • Konfigurasi rilis kompilasi yang diterapkan.
  • Pemilihan tindakan alur kerja yang akan dijalankan.
  • Jadwal dan zona waktu eksekusi.

Anda dapat memilih tindakan alur kerja berikut untuk dijalankan:

  • Semua tindakan
  • Tindakan yang dipilih
  • Tindakan dengan tag yang dipilih

Kemudian, selama eksekusi terjadwal konfigurasi alur kerja Anda, Dataform akan men-deploy pilihan tindakan Anda dari hasil kompilasi yang diterapkan ke BigQuery.

Konfigurasi rilis dan konfigurasi alur kerja Dataform memungkinkan Anda mengonfigurasi kompilasi dan menjadwalkan eksekusi dalam Dataform, tanpa perlu mengandalkan layanan tambahan.

Masa berlaku resource siklus proses berakhir

Dataform menyimpan hasil kompilasi dan pemanggilan alur kerja selama jangka waktu tertentu.

Masa berlaku pemanggilan alur kerja

Pemanggilan alur kerja berakhir setelah 90 hari, atau saat Anda menghapusnya secara manual.

Dalam konfigurasi alur kerja, Anda dapat melihat daftar pemanggilan alur kerja terbaru yang dibuat oleh konfigurasi. Saat pemanggilan alur kerja yang dibuat oleh konfigurasi alur kerja berakhir, Dataform akan menghapus pemanggilan alur kerja tersebut dari daftar pemanggilan terbaru.

Masa berlaku hasil kompilasi

Masa berlaku hasil kompilasi bergantung pada apakah hasil tersebut dibuat di ruang kerja pengembangan, dalam konfigurasi rilis, atau dengan pemanggilan alur kerja.

Saat Anda mengembangkan alur kerja di ruang kerja Dataform, Dataform mengompilasi kode Anda menjadi hasil kompilasi secara real time untuk memberikan validasi kueri. Hasil kompilasi yang dibuat dengan cara ini akan berakhir setelah 24 jam.

Dalam konfigurasi rilis, hasil kompilasi terbaru menjadi hasil kompilasi aktif. Hasil kompilasi baru menggantikan hasil kompilasi aktif saat ini. Dataform mempertahankan hasil kompilasi langsung hingga digantikan dengan hasil kompilasi baru. Hasil kompilasi yang diganti akan berakhir dalam waktu hingga 24 jam.

Dataform menghapus hasil kompilasi yang sudah tidak berlaku dari daftar hasil kompilasi sebelumnya di halaman Detail konfigurasi rilis.

Dataform menyimpan hasil kompilasi yang dibuat oleh pemanggilan alur kerja selama masa aktif pemanggilan alur kerja, hingga 24 jam setelah pemanggilan alur kerja berakhir atau dihapus.

Membuat penggantian kompilasi ruang kerja

Bagian berikut menunjukkan cara membuat penggantian kompilasi ruang kerja untuk mengisolasi tabel dan tampilan yang dibuat dari ruang kerja Dataform Anda di BigQuery. Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan Dataform yang terisolasi.

Saat Anda mengembangkan kode alur kerja di ruang kerja Dataform, Dataform mengompilasi kode di ruang kerja Anda secara real-time untuk membuat hasil kompilasi ruang kerja. Dataform menggunakan setelan yang ditentukan dalam file setelan alur kerja untuk membuat hasil kompilasi ruang kerja. Kemudian, saat Anda memicu eksekusi di ruang kerja, Dataform akan menjalankan hasil kompilasi ruang kerja di BigQuery.

Untuk mengganti setelan default yang ditetapkan di setelan alur kerja untuk semua ruang kerja di repositori, Anda dapat membuat penggantian kompilasi ruang kerja.

Dengan penggantian kompilasi ruang kerja, Anda dapat mengganti setelan berikut untuk semua ruang kerja di repositori Anda:

Project
Project Google Cloud tempat Dataform menjalankan hasil kompilasi ruang kerja, ditetapkan di workflow_settings.yaml sebagai defaultProject atau di dataform.json sebagai defaultDatabase.
Awalan tabel
Awalan kustom yang ditambahkan ke semua nama tabel di semua ruang kerja dalam repositori.
Akhiran skema
Sufiks kustom yang ditambahkan ke skema tabel. Tetapkan sebagai defaultDataset di workflow_settings.yaml, defaultSchema di dataform.json, atau di parameter schema dalam blok config tabel.

Untuk membuat lingkungan pengembangan terisolasi, Anda dapat mengisolasi ruang kerja dengan penggantian kompilasi unik. Anda dapat mengubah awalan tabel dan penggantian kompilasi akhiran skema secara dinamis dengan variabel ${workspaceName}.

Saat Anda memicu eksekusi secara manual di ruang kerja, variabel ${workspaceName} akan menyuntikkan nama ruang kerja ke penggantian kompilasi ruang kerja.

Saat Anda menetapkan ${workspaceName} sebagai awalan tabel, Dataform akan menambahkan nama ruang kerja ke nama semua tabel di ruang kerja. Setelah dieksekusi, di BigQuery, Anda dapat mengidentifikasi dari ruang kerja mana tabel berasal.

Saat Anda menetapkan ${workspaceName} sebagai akhiran skema, Dataform akan menambahkan nama ruang kerja ke defaultSchema, sehingga membuat skema kustom yang dikhususkan untuk ruang kerja. Setelah eksekusi, di BigQuery, Anda dapat menemukan semua tabel yang dijalankan dari ruang kerja tertentu dalam skema khusus.

Contoh penggantian kompilasi ruang kerja dinamis

Contoh berikut menunjukkan penggantian kompilasi ruang kerja dinamis yang diterapkan ke repositori yang berisi ruang kerja yang dinamai menurut developer yang mengerjakan repositori tersebut: Sasha dan Kai.

Tujuan penggantian kompilasi ruang kerja dalam contoh ini adalah untuk membuat lingkungan pengembangan terisolasi untuk Sasha dan Kai.

Setelan default berikut ditetapkan di workflow_settings.yaml:

  • defaultProject : analytics
  • defaultDataset: dataform

Penggantian kompilasi ruang kerja berikut membuat awalan tabel dinamis dan akhiran skema untuk setiap ruang kerja di repositori:

  • ID Project Google Cloud: analytics_dev
  • Awalan tabel: ${workspaceName}
  • Sufiks skema: ${workspaceName}

Saat Sasha memicu eksekusi secara manual di ruang kerja Sasha, Dataform menjalankan kontennya dengan setelan berikut:

  • Google Cloud project: analytics_dev
  • Skema: dataform_sasha
  • Nama tabel: sasha_name, misalnya, sasha_orders

Saat Kai memicu eksekusi secara manual di ruang kerja Kai, Dataform menjalankan kontennya dengan setelan berikut:

  • Google Cloud project: analytics_dev
  • Skema: dataform_kai
  • Nama tabel: kai_name, misalnya, kai_orders

Membuat penggantian kompilasi ruang kerja

Untuk membuat penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Settings.
  2. Klik Edit.
  3. Di panel Penggantian kompilasi Workspace, di kolom ID Project Google Cloud, masukkan ID project.
  4. Di kolom Awalan tabel, masukkan awalan untuk semua nama tabel.
    1. Opsional: Untuk membuat awalan tabel dinamis yang unik untuk setiap ruang kerja, masukkan ${workspaceName} sebagai awalan tabel.
  5. Di kolom Sufiks skema, masukkan sufiks yang akan ditambahkan ke skema tabel atau tampilan yang dibuat.
    1. Opsional: Untuk membuat akhiran skema dinamis yang unik untuk setiap ruang kerja, masukkan ${workspaceName} sebagai akhiran tabel.
  6. Klik Simpan.

Dataform menerapkan penggantian kompilasi ruang kerja ke semua ruang kerja di repositori Anda.

Mengedit penggantian kompilasi ruang kerja

Untuk mengedit penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Settings.
  2. Klik Edit.
  3. Edit penggantian kompilasi ruang kerja, lalu klik Simpan.

Menghapus penggantian kompilasi ruang kerja

Untuk menghapus penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Settings.
  2. Klik Edit.
  3. Di panel Penggantian kompilasi ruang kerja, klik Hapus semua, lalu klik Simpan.

Mengonfigurasi penggantian kompilasi dengan Dataform API

Bagian ini menunjukkan cara membuat dan menjalankan hasil kompilasi dengan penggantian kompilasi menggunakan Dataform API.

Tentang penggantian kompilasi Dataform API

Untuk menjalankan alur kerja, Dataform mengompilasi kode Anda ke SQL untuk membuat hasil kompilasi. Kemudian, selama pemanggilan alur kerja, Dataform menjalankan hasil kompilasi di BigQuery.

Secara default, Dataform menggunakan setelan dalam file setelan alur kerja untuk membuat hasil kompilasi. Untuk mengisolasi data yang dijalankan pada berbagai tahap siklus proses pengembangan, Anda dapat mengganti setelan default dengan penggantian kompilasi.

Dengan meneruskan permintaan Dataform API di terminal, Anda dapat membuat dan menjalankan satu hasil kompilasi dengan penggantian kompilasi. Anda dapat membuat hasil kompilasi ruang kerja atau committish Git yang dipilih.

Untuk membuat hasil kompilasi dengan penggantian kompilasi, Anda harus mengajukan permintaan compilationResults.create Dataform API. Dalam permintaan, Anda perlu menentukan sumber, yang harus berupa ruang kerja atau commitish Git, agar Dataform dikompilasi ke dalam hasil kompilasi. Dalam objek CodeCompilationConfig dari permintaan compilationResults.create, Anda dapat mengonfigurasi penggantian kompilasi.

Kemudian, Anda dapat menjalankan hasil kompilasi yang dibuat dalam permintaan workflowInvocations.create Dataform API.

Anda dapat mengonfigurasi penggantian kompilasi berikut menggunakan Dataform API:

Google Cloud project
Project tempat Dataform menjalankan hasil kompilasi, yang ditetapkan dalam file workflow_settings.yaml sebagai properti defaultProject atau dalam file dataform.json sebagai properti defaultDatabase.
Awalan tabel
Awalan kustom yang ditambahkan ke semua nama tabel dalam hasil kompilasi.
Akhiran skema
Sufiks kustom yang ditambahkan ke skema tabel yang ditentukan dalam properti defaultDataset dalam file workflow_settings.yaml, properti defaultSchema dalam file dataform.json, atau dalam parameter schema dalam blok config tabel.
Nilai variabel kompilasi
Nilai variabel kompilasi yang akan digunakan dalam hasil kompilasi. Anda dapat menggunakan variabel kompilasi untuk menjalankan tabel secara bersyarat.

Sebagai alternatif penggantian kompilasi Dataform API yang hanya dapat Anda gunakan untuk satu hasil kompilasi, Anda dapat mengonfigurasi penggantian kompilasi ruang kerja di konsol Google Cloud .

Untuk mempelajari cara alternatif mengonfigurasi penggantian kompilasi di Dataform, lihat Pengantar siklus proses alur kerja di Dataform.

Menetapkan sumber hasil kompilasi

Untuk mengajukan permintaan compilationResults.create Dataform API, Anda harus menentukan sumber untuk hasil kompilasi.

Anda dapat menetapkan ruang kerja Dataform atau cabang Git, tag Git, atau SHA commit Git sebagai sumber dalam permintaan compilationResults.create.

Menetapkan ruang kerja sebagai sumber hasil kompilasi

  • Dalam permintaan compilationResults.create, isi properti workspace dengan jalur ruang kerja Dataform yang dipilih dalam format berikut:

    {
"workspace": "projects/PROJECT_NAME/locations/LOCATION/repositories/REPOSITORY_NAME/workspaces/WORKSPACE_NAME"
}

    Ganti kode berikut:

    • PROJECT_NAME: nama project Google Cloud Anda.
    • LOCATION: lokasi repositori Dataform Anda, yang ditetapkan di setelan alur kerja.
    • REPOSITORY_NAME: nama repositori Dataform Anda.
    • WORKSPACE_NAME: nama ruang kerja Dataform Anda.

Contoh kode berikut menunjukkan properti workspace dalam permintaan compilationResults.create yang ditetapkan ke ruang kerja bernama "sales-test":

{
"workspace": "projects/analytics/locations/europe-west4/repositories/sales/workspaces/sales-test"
}

Menetapkan commit Git sebagai sumber hasil kompilasi

  • Dalam permintaan compilationResults.create, isi properti gitCommitish dengan cabang Git, tag, atau SHA commit yang dipilih dalam format berikut:

    {
  "gitCommitish": "GIT_COMMITISH"
}

    Ganti GIT_COMMITISH dengan cabang Git, tag Git, atau SHA commit Git yang dipilih untuk hasil kompilasi.

Contoh kode berikut menunjukkan properti gitCommitish dalam set permintaan compilationResults.create yang ditetapkan ke "staging":

{
  "gitCommitish": "staging"
}

Mengganti project default

Untuk membuat tabel penyiapan atau produksi di project Google Cloud yang terpisah dari project yang digunakan untuk pengembangan, Anda dapat meneruskan ID project yang berbeda dalam objek CodeCompilationConfig di permintaan compilationResults.create Dataform API.

Meneruskan ID project default terpisah dalam permintaan compilationResults.create akan menggantikan ID project default yang dikonfigurasi dalam file setelan alur kerja, tetapi tidak akan menggantikan ID project yang dikonfigurasi dalam setiap tabel.

  • Untuk mengganti project ID default, tetapkan properti defaultDatabase ke project ID yang dipilih dalam objek CodeCompilationConfig dalam format berikut:

    {
  "codeCompilationConfig": {
    "defaultDatabase": "PROJECT_NAME"
  }
}

    Ganti PROJECT_NAME dengan project ID yang ingin Anda tetapkan untuk hasil kompilasi.

Menambahkan awalan tabel

Untuk mengidentifikasi tabel dengan cepat dari hasil kompilasi, Anda dapat menambahkan awalan ke semua nama tabel dalam hasil kompilasi dengan meneruskan awalan tabel dalam objek CodeCompilationConfig di permintaan compilationResults.create Dataform API.

  • Untuk menambahkan awalan tabel, tetapkan properti tablePrefix di objek CodeCompilationConfig dalam format berikut:

    {
  "codeCompilationConfig": {
    "tablePrefix": "PREFIX",
  }
}

    Ganti PREFIX dengan awalan yang ingin Anda tambahkan, misalnya, staging.

    Misalnya, jika nama tabel Anda adalah table_name, Dataform akan membuat tabel dengan nama staging_table_name.

Menambahkan akhiran skema

Untuk memisahkan data pengembangan, penyiapan, dan produksi, Anda dapat menambahkan akhiran ke skema dalam hasil kompilasi dengan meneruskan akhiran skema dalam objek CodeCompilationConfig di permintaan compilationResults.create Dataform API.

  • Untuk menambahkan akhiran skema, tetapkan properti schemaSuffix di objek CodeCompilationConfig dalam format berikut:

    {
  "codeCompilationConfig": {
    "schemaSuffix": "SUFFIX",
  }
}

    Ganti SUFFIX dengan akhiran yang ingin Anda tambahkan, misalnya, _staging.

    Misalnya, jika properti defaultDataset dalam file workflow_settings.yaml ditetapkan ke dataform, Dataform akan membuat tabel dalam skema dataform_staging.

Menjalankan file yang dipilih secara kondisional dengan variabel kompilasi

Untuk menjalankan tabel yang dipilih saja dalam setelan eksekusi tertentu, Anda dapat membuat variabel kompilasi untuk setelan eksekusi, lalu meneruskan nilainya dalam objek CodeCompilationConfig di permintaan compilationResults.create Dataform API.

Untuk menjalankan tabel secara bersyarat dalam setelan eksekusi tertentu menggunakan Dataform API, ikuti langkah-langkah berikut:

  1. Buat variabel kompilasi dan tambahkan ke tabel yang dipilih.

  2. Tetapkan pasangan nilai kunci YOUR_VARIABLE dan VALUE di blok codeCompilationConfig permintaan kompilasi Dataform API dalam format berikut:

    {
  "codeCompilationConfig": {
    "vars": {
      "YOUR_VARIABLE": "VALUE"
    }
  }
}

  3. Ganti YOUR_VARIABLE dengan nama variabel Anda, misalnya executionSetting.

  4. Ganti VALUE dengan nilai variabel untuk hasil kompilasi ini yang memenuhi kondisi when yang ditetapkan dalam tabel yang dipilih.

Contoh kode berikut menunjukkan variabel executionSetting yang diteruskan ke permintaan kompilasi Dataform API:

{
  "gitCommitish": "staging",
  "codeCompilationConfig": {
    "vars": {
      "executionSetting": "staging"
    }
  }
}

Menjalankan hasil kompilasi dengan penggantian kompilasi

Contoh kode berikut menunjukkan ID hasil kompilasi yang diteruskan dalam permintaan workflowInvocations.create:

{
  "compilationResult": "projects/my-project-name/locations/europe-west4/repositories/my-repository-name/compilationResults/7646b4ed-ac8e-447f-93cf-63c43249ff11"
}

Membuat konfigurasi rilis

Bagian berikut menunjukkan cara membuat konfigurasi rilis di Dataform untuk mengonfigurasi template setelan kompilasi, yang dapat Anda jalankan sesuai jadwal. Anda dapat menggunakan konfigurasi rilis untuk mengonfigurasi lingkungan eksekusi, misalnya, staging dan produksi.

Untuk menjalankan alur kerja di BigQuery, Dataform mengompilasi kode alur kerja SQL menjadi hasil kompilasi. Proses ini terjadi secara otomatis saat Anda mengembangkan alur kerja di ruang kerja Dataform.

Konfigurasi rilis memungkinkan Anda menyesuaikan hasil kompilasi. Anda dapat menggunakannya untuk membuat lingkungan eksekusi, misalnya, staging.

Setelan konfigurasi rilis

Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi setelan alur kerja, menetapkan variabel kompilasi, dan menetapkan frekuensi pembuatan hasil kompilasi.

Konfigurasi rilis Dataform berisi setelan kompilasi berikut:

Setelan rilis
ID rilis, commit Git untuk hasil kompilasi, dan frekuensi pembuatan hasil kompilasi. Frekuensi adalah setelan opsional. Jika disetel, frekuensi minimum adalah 1 jam.
Penggantian kompilasi
Penggantian Google Cloud project, awalan tabel, akhiran skema, dan variabel kompilasi yang ditentukan dalam setelan alur kerja.

Cara kerja konfigurasi rilis

Dataform membuat hasil kompilasi dari konfigurasi rilis pada frekuensi yang ditentukan, atau saat Anda memicu kompilasi. Frekuensi adalah setelan opsional dan tidak diperlukan untuk membuat konfigurasi rilis. Jika ditetapkan, frekuensi minimum adalah 1 jam. Anda dapat memicu kompilasi secara manual di halaman Detail konfigurasi rilis, atau memicu kompilasi dengan metode Dataform API releaseConfigs.

Selama kompilasi, Dataform menarik kode dari commit Git yang ditentukan dari repositori Anda. Kemudian, Dataform mengompilasi kode dengan penggantian kompilasi yang diterapkan (jika ada), dan membuat hasil kompilasi. Hasil kompilasi terbaru yang dibuat untuk konfigurasi rilis adalah hasil kompilasi aktif.

Anda dapat menjadwalkan eksekusi hasil kompilasi dari konfigurasi rilis di konfigurasi alur kerja. Anda juga dapat menjalankan konfigurasi rilis yang dipilih di luar jadwal apa pun. Selama eksekusi konfigurasi alur kerja, Dataform menjalankan hasil kompilasi langsung dari konfigurasi rilis yang dipilih.

Membuat konfigurasi rilis

Untuk membuat konfigurasi rilis Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di bagian Konfigurasi rilis, klik Buat.

  3. Di panel Create release configuration, konfigurasikan setelan rilis.

    1. Di kolom Release ID, masukkan ID unik untuk konfigurasi rilis.

      ID hanya boleh berisi angka, huruf, tanda hubung, dan garis bawah.

    2. Di kolom Git commitish, masukkan cabang Git atau SHA commit Git untuk rilis.

      Di repositori Dataform yang tidak terhubung ke repositori jarak jauh, nilainya selalu main.

    3. Opsional: Di kolom Frekuensi, pilih frekuensi pembuatan hasil kompilasi.

      Jika disetel, frekuensi minimumnya adalah 1 jam.

      Untuk menonaktifkan rilis otomatis, biarkan kolom Frekuensi kosong.

  4. Opsional: Di bagian Penggantian kompilasi, konfigurasikan setelan kompilasi.

    1. Di kolom Google Cloud Project ID, masukkan ID projectGoogle Cloud tempat Anda ingin menyimpan hasil kompilasi.
    2. Di kolom Sufiks skema, masukkan sufiks untuk ditambahkan ke skema yang dikonfigurasi di setelan alur kerja.
    3. Di kolom Awalan tabel, masukkan awalan untuk semua nama tabel.

  5. Opsional: Di bagian Variabel kompilasi, tetapkan variabel kompilasi.

    1. Klik Tambahkan variabel.
    2. Di kolom Key, masukkan variabel kompilasi.
    3. Di kolom Nilai, masukkan nilai untuk variabel kompilasi.
    4. Untuk menambahkan variabel kompilasi lain, klik Tambahkan variabel.

  6. Klik Buat.

Jika Anda mengganti project default, pastikan akun layanan Dataform Anda memiliki akses ke project yang ditetapkan dalam konfigurasi rilis.

Misalnya, konfigurasi rilis berikut membuat hasil kompilasi production dari cabang main setiap jam, tanpa penggantian kompilasi:

  • ID Rilis: production
  • Git commitish: main
  • Frekuensi: setiap jam
  • Tidak ada penggantian kompilasi

Melihat detail konfigurasi rilis

Anda dapat melihat detail konfigurasi rilis berikut:

  • Setelan rilis
    • Git commitish
    • Stempel waktu hasil kompilasi terbaru
    • Jadwal cron
    • Penggantian kompilasi
    • Variabel kompilasi
  • Hasil kompilasi langsung
    • Stempel waktu pembuatan
    • Git commitish
    • SHA Commit
  • Hasil kompilasi sebelumnya

Untuk melihat detail konfigurasi rilis, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Pilih konfigurasi rilis.
  3. Di halaman Release configuration details, periksa detail konfigurasi rilis.

Tabel Hasil kompilasi terjadwal menampilkan hasil kompilasi sebelumnya yang dibuat secara otomatis oleh konfigurasi rilis.

Tabel Hasil kompilasi manual/API menampilkan hasil kompilasi yang dibuat secara manual atau melalui panggilan ke Dataform API dari 1000 hasil kompilasi terbaru di repositori.

Memicu kompilasi secara manual

Untuk membuat hasil kompilasi secara manual dari konfigurasi rilis yang dipilih, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Pilih konfigurasi rilis.
  3. Di halaman Detail konfigurasi rilis, klik Kompilasi baru.

Jika Anda menggunakan UI, hasil yang baru dikompilasi akan otomatis ditayangkan untuk konfigurasi rilis Anda. Jika menggunakan API, Anda harus membuat hasil kompilasi baru dari konfigurasi rilis, lalu memperbarui konfigurasi rilis untuk menetapkan kolom releaseCompilationResult dengan nilai baru ini.

Hasil kompilasi manual ditampilkan dalam tabel Hasil kompilasi Manual/API di halaman Detail konfigurasi rilis.

Memicu eksekusi konfigurasi rilis

Untuk memicu eksekusi hasil kompilasi langsung dalam konfigurasi rilis yang dipilih ke BigQuery, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di bagian Release configurations, klik Start execution.
  3. Di panel Execute manual workflow, pada daftar Release configuration, pilih konfigurasi rilis.
  4. Pilih tindakan alur kerja yang akan dijalankan:
    1. Untuk menjalankan seluruh alur kerja, klik Semua tindakan.
    2. Untuk menjalankan tindakan yang dipilih dalam alur kerja, klik Pemilihan tindakan, lalu pilih tindakan.
    3. Untuk menjalankan tindakan dengan tag yang dipilih, klik Pemilihan tag, lalu pilih tag.
  5. Opsional: Untuk menjalankan tindakan atau tag yang dipilih dan dependensinya, pilih opsi Sertakan dependensi.
  6. Opsional: Untuk menjalankan tindakan atau tag yang dipilih dan dependensinya, pilih opsi Sertakan dependensi.

  7. Opsional: Untuk membangun ulang semua tabel dari awal, pilih opsi Jalankan dengan refresh penuh.

    Tanpa opsi ini, Dataform akan memperbarui tabel inkremental tanpa membangunnya kembali dari awal.

  8. Klik Start execution.

Mengedit konfigurasi rilis

Untuk mengedit konfigurasi rilis, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di samping konfigurasi rilis yang ingin diedit, klik menu Lainnya, lalu klik Edit.
  3. Di panel Edit konfigurasi rilis, edit setelan konfigurasi rilis, lalu klik Simpan.

Menghapus konfigurasi rilis

Untuk menghapus konfigurasi rilis, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di konfigurasi rilis yang ingin Anda hapus, klik menu Lainnya, lalu klik Hapus.
  3. Pada dialog Hapus konfigurasi rilis, klik Hapus.

Langkah berikutnya