Mengonfigurasi kompilasi

Dokumen ini menunjukkan cara melakukan hal berikut di Dataform:

Sebelum memulai

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Pilih atau buat repositori.

  3. Pilih atau buat ruang kerja pengembangan.

  4. Opsional: Untuk mengganti project Google Cloud default dalam konfigurasi rilis, berikan akses akun layanan Dataform Anda ke project yang ingin Anda gunakan.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menyelesaikan tugas dalam dokumen ini, minta administrator Anda untuk memberi Anda peran IAM berikut di repositori:

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Pengantar siklus proses kode di Dataform

Bagian ini menjelaskan siklus proses kode di Dataform dan cara mengonfigurasi kompilasi dan eksekusi dalam Dataform.

Siklus proses kode Dataform terdiri dari fase berikut:

Pengembangan
Anda mengembangkan alur kerja di ruang kerja Dataform.
Kompilasi

Dataform mengompilasi kode alur kerja di ruang kerja Anda ke SQL secara real time, sehingga membuat hasil kompilasi ruang kerja yang dapat Anda jalankan di BigQuery. Dataform menggunakan setelan yang Anda tentukan dalam file setelan alur kerja untuk membuat hasil kompilasi.

Kompilasi Dataform bersifat hermetis untuk memastikan konsistensi kompilasi, yang berarti bahwa kode yang sama dikompilasi ke hasil kompilasi SQL yang sama setiap saat. Dataform mengompilasi kode Anda di lingkungan sandbox tanpa akses internet. Tidak ada tindakan tambahan, seperti memanggil API eksternal, yang tersedia selama kompilasi.

Eksekusi

Dalam pemanggilan alur kerja, Dataform mengeksekusi hasil kompilasi ruang kerja di BigQuery.

Untuk menyesuaikan siklus proses kode Dataform dengan kebutuhan Anda, Anda dapat mengonfigurasi hasil kompilasi untuk memengaruhi tempat dan cara Dataform menjalankan alur kerja Anda. Kemudian, Anda dapat memicu atau menjadwalkan eksekusi secara manual untuk memengaruhi kapan Dataform mengeksekusi seluruh alur kerja atau elemennya yang dipilih.

Cara mengonfigurasi kompilasi Dataform

Secara default, Dataform menggunakan setelan dalam file setelan alur kerja untuk membuat hasil kompilasi. Anda dapat mengganti setelan default dengan penggantian kompilasi untuk membuat hasil kompilasi kustom. Kemudian, Anda dapat memicu eksekusi hasil kompilasi kustom secara manual, atau menjadwalkan eksekusi.

Dataform menyediakan opsi berikut untuk mengonfigurasi hasil kompilasi:

Penggantian kompilasi Workspace
Anda dapat mengonfigurasi penggantian kompilasi yang berlaku untuk semua ruang kerja di repositori. Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan yang terisolasi.
Konfigurasi rilis
Anda dapat membuat konfigurasi rilis untuk mengonfigurasi template guna membuat hasil kompilasi repositori Dataform. Kemudian, Anda dapat membuat konfigurasi alur kerja untuk menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih.
Penggantian kompilasi Dataform API
Anda dapat meneruskan permintaan Dataform API di terminal untuk membuat dan menjalankan satu hasil kompilasi dengan penggantian kompilasi.

Mengonfigurasi penggantian kompilasi ruang kerja

Dengan penggantian kompilasi ruang kerja, Anda dapat membuat penggantian kompilasi untuk semua ruang kerja di repositori Dataform. Anda dapat membuat satu konfigurasi penggantian kompilasi ruang kerja untuk setiap repositori.

Saat Anda memicu eksekusi secara manual di ruang kerja di repositori dengan penggantian kompilasi ruang kerja, Dataform akan menerapkan penggantian ini ke hasil kompilasi ruang kerja.

Anda dapat mengonfigurasi penggantian kompilasi ruang kerja berikut:

  • Project Google Cloud tempat Dataform mengeksekusi konten workspace
  • Awalan tabel
  • Akhiran skema

Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan terisolasi dengan mengisolasi hasil kompilasi ruang kerja di BigQuery dengan penggantian kompilasi dinamis. Penggantian kompilasi akhiran skema dan awalan tabel dinamis berisi variabel ${workspaceName}. Saat Anda memicu eksekusi di ruang kerja, Dataform akan mengganti variabel ${workspaceName} dengan nama ruang kerja saat ini, sehingga membuat penggantian kompilasi yang unik untuk ruang kerja.

Perlu diingat bahwa Anda tidak dapat menjadwalkan eksekusi hasil kompilasi yang dibuat dengan penggantian kompilasi ruang kerja.

Membuat konfigurasi rilis

Dengan konfigurasi rilis, Anda dapat mengonfigurasi template setelan untuk membuat hasil kompilasi repositori.

Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi dari setelan alur kerja, variabel kompilasi, dan frekuensi pembuatan hasil kompilasi dari seluruh repositori Anda.

Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi berikut:

Anda dapat membuat beberapa konfigurasi rilis di repositori Dataform, satu untuk setiap tahap siklus proses pengembangan, yang menghasilkan hasil kompilasi repositori terpisah.

Kemudian, Anda dapat membuat konfigurasi alur kerja untuk menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih.

Anda juga dapat memicu eksekusi hasil kompilasi dalam konfigurasi rilis yang dipilih secara manual.

Mengonfigurasi satu hasil kompilasi dengan penggantian kompilasi Dataform API

Dengan meneruskan permintaan Dataform API di terminal, Anda dapat mengonfigurasi penggantian kompilasi untuk satu hasil kompilasi.

Dalam permintaan compilationResults.create, Anda dapat membuat satu hasil kompilasi dari ruang kerja Dataform atau comittish Git yang ditentukan.

Dalam objek CodeCompilationConfig dari permintaan compilationResults.create, Anda dapat mengonfigurasi penggantian kompilasi untuk permintaan kompilasi.

Anda dapat mengonfigurasi penggantian kompilasi Dataform API berikut:

Perlu diingat bahwa penggantian kompilasi Dataform API berlaku untuk satu hasil kompilasi dan satu eksekusi. Anda tidak dapat menggunakannya untuk menjadwalkan eksekusi Dataform.

Anda dapat menjalankan hasil kompilasi dalam permintaan workflowInvocations.create.

Cara mengonfigurasi eksekusi Dataform

Dataform menyediakan opsi berikut untuk mengonfigurasi eksekusi:

Eksekusi manual di ruang kerja
Anda dapat memicu eksekusi instan alur kerja secara manual di ruang kerja Dataform, di luar jadwal apa pun. Anda dapat menjalankan tindakan yang dipilih dalam alur kerja.
Konfigurasi alur kerja
Anda dapat menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih. Anda dapat memilih tindakan alur kerja yang akan dieksekusi, dan menetapkan frekuensi serta zona waktu eksekusi.

Memicu eksekusi instan di ruang kerja

Di ruang kerja Dataform, Anda dapat memicu eksekusi alur kerja secara instan di ruang kerja secara manual, di luar jadwal apa pun.

Anda dapat mengeksekusi elemen alur kerja berikut secara manual di ruang kerja:

Jika repositori Anda berisi penggantian kompilasi ruang kerja, Anda dapat melihat penggantian kompilasi yang akan diterapkan Dataform ke hasil kompilasi ruang kerja.

Membuat konfigurasi alur kerja

Dengan konfigurasi alur kerja, Anda dapat menjadwalkan eksekusi hasil kompilasi dari konfigurasi rilis yang dipilih. Anda dapat membuat beberapa konfigurasi alur kerja di repositori Dataform.

Dalam konfigurasi alur kerja, Anda dapat mengonfigurasi setelan eksekusi berikut:

  • Konfigurasi rilis kompilasi yang diterapkan.
  • Pemilihan tindakan alur kerja yang akan dijalankan.
  • Jadwal dan zona waktu eksekusi.

Anda dapat memilih tindakan alur kerja berikut untuk dijalankan:

  • Semua tindakan
  • Tindakan yang dipilih
  • Tindakan dengan tag yang dipilih

Kemudian, selama eksekusi terjadwal konfigurasi alur kerja, Dataform men-deploy pilihan tindakan Anda dari hasil kompilasi yang diterapkan ke BigQuery.

Konfigurasi rilis Dataform dan konfigurasi alur kerja memungkinkan Anda mengonfigurasi kompilasi dan menjadwalkan eksekusi dalam Dataform, tanpa perlu mengandalkan layanan tambahan.

Akhir masa berlaku resource siklus proses

Dataform menyimpan hasil kompilasi dan pemanggilan alur kerja selama jangka waktu tertentu.

Masa berlaku pemanggilan alur kerja

Pemanggilan alur kerja akan berakhir setelah 90 hari, atau saat Anda menghapusnya secara manual.

Dalam konfigurasi alur kerja, Anda dapat melihat daftar pemanggilan alur kerja terbaru yang dibuat oleh konfigurasi. Saat masa berlaku pemanggilan alur kerja yang dibuat oleh konfigurasi alur kerja berakhir, Dataform akan menghapus pemanggilan alur kerja tersebut dari daftar pemanggilan terbaru.

Masa berlaku hasil kompilasi

Masa berlaku hasil kompilasi bergantung pada apakah hasil tersebut dibuat di ruang kerja pengembangan, dalam konfigurasi rilis, atau oleh pemanggilan alur kerja.

Saat Anda mengembangkan alur kerja di ruang kerja Dataform, Dataform akan mengompilasi kode Anda menjadi hasil kompilasi secara real time untuk memberikan validasi kueri. Masa berlaku hasil kompilasi yang dibuat dengan cara ini akan berakhir setelah 24 jam.

Dalam konfigurasi rilis, hasil kompilasi terbaru menjadi hasil kompilasi live. Hasil kompilasi baru akan menggantikan hasil kompilasi live saat ini. Dataform mempertahankan hasil kompilasi langsung hingga diganti dengan hasil kompilasi baru. Masa berlaku hasil kompilasi yang diganti akan berakhir dalam waktu hingga 24 jam.

Dataform menghapus hasil kompilasi yang sudah tidak berlaku dari daftar hasil kompilasi sebelumnya di halaman Detail konfigurasi rilis.

Dataform mempertahankan hasil kompilasi yang dibuat oleh pemanggilan alur kerja selama seluruh masa aktif pemanggilan alur kerja, hingga 24 jam setelah masa berlaku pemanggilan alur kerja berakhir atau dihapus.

Membuat penggantian kompilasi ruang kerja

Bagian berikut menunjukkan cara membuat penggantian kompilasi ruang kerja untuk mengisolasi tabel dan tampilan yang dibuat dari ruang kerja Dataform di BigQuery. Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan Dataform yang terisolasi.

Saat Anda mengembangkan kode alur kerja di ruang kerja Dataform, Dataform akan mengompilasi kode di ruang kerja secara real-time untuk membuat hasil kompilasi ruang kerja. Dataform menggunakan setelan yang ditentukan dalam file setelan alur kerja untuk membuat hasil kompilasi ruang kerja. Kemudian, saat Anda memicu eksekusi di ruang kerja, Dataform akan mengeksekusi hasil kompilasi ruang kerja di BigQuery.

Untuk mengganti setelan default yang ditetapkan di setelan alur kerja untuk semua ruang kerja di repositori, Anda dapat membuat penggantian kompilasi ruang kerja.

Dengan penggantian kompilasi ruang kerja, Anda dapat mengganti setelan berikut untuk semua ruang kerja di repositori:

Project
Project Google Cloud tempat Dataform mengeksekusi hasil kompilasi ruang kerja, yang ditetapkan di workflow_settings.yaml sebagai defaultProject atau di dataform.json sebagai defaultDatabase.
Awalan tabel
Awalan kustom yang ditambahkan ke semua nama tabel di semua ruang kerja dalam repositori.
Akhiran skema
Suffiks kustom yang ditambahkan ke skema tabel. Tetapkan sebagai defaultDataset di workflow_settings.yaml, defaultSchema di dataform.json, atau di parameter schema di blok config tabel.

Untuk membuat lingkungan pengembangan terpisah, Anda dapat mengisolasi ruang kerja dengan penggantian kompilasi yang unik. Anda dapat mengubah awalan tabel dan penggantian kompilasi akhiran skema secara dinamis dengan variabel ${workspaceName}.

Saat Anda memicu eksekusi secara manual di ruang kerja, variabel ${workspaceName} akan memasukkan nama ruang kerja ke penggantian kompilasi ruang kerja.

Saat Anda menetapkan ${workspaceName} sebagai awalan tabel, Dataform akan menambahkan nama ruang kerja ke nama semua tabel di ruang kerja. Setelah eksekusi, di BigQuery, Anda dapat mengidentifikasi ruang kerja tempat tabel berasal.

Saat Anda menetapkan ${workspaceName} sebagai akhiran skema, Dataform akan menambahkan nama ruang kerja ke defaultSchema, sehingga membuat skema kustom yang didedikasikan untuk ruang kerja. Setelah eksekusi, di BigQuery, Anda dapat menemukan semua tabel yang dieksekusi dari ruang kerja tertentu dalam skema khusus.

Contoh penggantian kompilasi ruang kerja dinamis

Contoh berikut menunjukkan penggantian kompilasi ruang kerja dinamis yang diterapkan ke repositori yang berisi ruang kerja yang dinamai sesuai developer yang mengerjakan repositori: Sasha dan Kai.

Tujuan penggantian kompilasi ruang kerja dalam contoh ini adalah untuk membuat lingkungan pengembangan yang terisolasi untuk Sasha dan Kai.

Setelan default berikut ditetapkan di workflow_settings.yaml:

  • defaultProject : analytics
  • defaultDataset: dataform

Penggantian kompilasi ruang kerja berikut membuat awalan tabel dan akhiran skema dinamis untuk setiap ruang kerja dalam repositori:

  • ID Project Google Cloud: analytics_dev
  • Awalan tabel: ${workspaceName}
  • Akhiran skema: ${workspaceName}

Saat Sasha memicu eksekusi secara manual di ruang kerja Sasha, Dataform akan mengeksekusi kontennya dengan setelan berikut:

  • Project Google Cloud: analytics_dev
  • Skema: dataform_sasha
  • Nama tabel: sasha_name, misalnya, sasha_orders

Saat Kai memicu eksekusi secara manual di ruang kerja Kai, Dataform akan mengeksekusi kontennya dengan setelan berikut:

  • Project Google Cloud: analytics_dev
  • Skema: dataform_kai
  • Nama tabel: kai_name, misalnya, kai_orders

Membuat penggantian kompilasi ruang kerja

Untuk membuat penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Setelan.
  2. Klik Edit.
  3. Di panel Penggantian kompilasi Workspace, di kolom ID Project Google Cloud, masukkan ID project.
  4. Di kolom Table prefix, masukkan awalan untuk semua nama tabel.
    1. Opsional: Untuk membuat awalan tabel dinamis yang unik untuk setiap ruang kerja, masukkan ${workspaceName} sebagai awalan tabel.
  5. Di kolom Schema suffix, masukkan akhiran untuk ditambahkan ke skema tabel atau tampilan yang dibuat.
    1. Opsional: Untuk membuat akhiran skema dinamis yang unik untuk setiap ruang kerja, masukkan ${workspaceName} sebagai akhiran tabel.
  6. Klik Simpan.

Dataform menerapkan penggantian kompilasi ruang kerja ke semua ruang kerja di repositori Anda.

Mengedit penggantian kompilasi ruang kerja

Untuk mengedit penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Setelan.
  2. Klik Edit.
  3. Edit penggantian kompilasi ruang kerja, lalu klik Simpan.

Menghapus penggantian kompilasi ruang kerja

Untuk menghapus penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Setelan.
  2. Klik Edit.
  3. Di panel Workspace compilation overrides, klik Clear all, lalu klik Save.

Mengonfigurasi penggantian kompilasi dengan Dataform API

Bagian ini menunjukkan cara membuat dan menjalankan hasil kompilasi dengan penggantian kompilasi menggunakan Dataform API.

Tentang penggantian kompilasi Dataform API

Untuk menjalankan alur kerja, Dataform mengompilasi kode Anda ke SQL untuk membuat hasil kompilasi. Kemudian, selama pemanggilan alur kerja, Dataform akan mengeksekusi hasil kompilasi di BigQuery.

Secara default, Dataform menggunakan setelan dalam file setelan alur kerja untuk membuat hasil kompilasi. Untuk mengisolasi data yang dijalankan pada berbagai tahap siklus proses pengembangan, Anda dapat mengganti setelan default dengan penggantian kompilasi.

Dengan meneruskan permintaan Dataform API di terminal, Anda dapat membuat dan menjalankan satu hasil kompilasi dengan penggantian kompilasi. Anda dapat membuat hasil kompilasi dari ruang kerja atau commit Git yang dipilih.

Untuk membuat hasil kompilasi dengan penggantian kompilasi, Anda perlu mengajukan permintaan compilationResults.create Dataform API. Dalam permintaan, Anda perlu menentukan sumber, yang harus berupa ruang kerja atau commitish Git, agar Dataform dapat dikompilasi ke dalam hasil kompilasi. Dalam objek CodeCompilationConfig dari permintaan compilationResults.create, Anda dapat mengonfigurasi penggantian kompilasi.

Kemudian, Anda dapat menjalankan hasil kompilasi yang dibuat dalam permintaan workflowInvocations.create Dataform API.

Anda dapat mengonfigurasi penggantian kompilasi berikut menggunakan Dataform API:

Project Google Cloud
Project tempat Dataform mengeksekusi hasil kompilasi, yang ditetapkan dalam file workflow_settings.yaml sebagai properti defaultProject atau dalam file dataform.json sebagai properti defaultDatabase.
Awalan tabel
Awalan kustom yang ditambahkan ke semua nama tabel dalam hasil kompilasi.
Akhiran skema
Akhiran kustom yang ditambahkan ke skema tabel yang ditentukan dalam properti defaultDataset di file workflow_settings.yaml, properti defaultSchema di file dataform.json, atau dalam parameter schema di blok config tabel.
Nilai variabel kompilasi
Nilai variabel kompilasi yang akan digunakan dalam hasil kompilasi. Anda dapat menggunakan variabel kompilasi untuk mengeksekusi tabel secara bersyarat.

Sebagai alternatif penggantian kompilasi Dataform API yang hanya dapat Anda gunakan untuk satu hasil kompilasi, Anda dapat mengonfigurasi penggantian kompilasi ruang kerja di konsol Google Cloud.

Untuk mempelajari cara alternatif mengonfigurasi penggantian kompilasi di Dataform, lihat Pengantar siklus proses kode.

Menetapkan sumber hasil kompilasi

Untuk mengajukan permintaan compilationResults.create Dataform API, Anda harus menentukan sumber untuk hasil kompilasi.

Anda dapat menetapkan ruang kerja Dataform atau cabang Git, tag Git, atau SHA commit Git sebagai sumber dalam permintaan compilationResults.create.

Menetapkan ruang kerja sebagai sumber hasil kompilasi

  • Dalam permintaan compilationResults.create, isi properti workspace dengan jalur ruang kerja Dataform yang dipilih dalam format berikut:

    {
"workspace": "projects/PROJECT_NAME/locations/LOCATION/repositories/REPOSITORY_NAME/workspaces/WORKSPACE_NAME"
}

    Ganti kode berikut:

    • PROJECT_NAME: nama project Google Cloud Anda.
    • LOCATION: lokasi repositori Dataform Anda, yang ditetapkan di setelan alur kerja.
    • REPOSITORY_NAME: nama repositori Dataform Anda.
    • WORKSPACE_NAME: nama ruang kerja Dataform Anda.

Contoh kode berikut menunjukkan properti workspace dalam permintaan compilationResults.create yang ditetapkan ke ruang kerja bernama "sales-test":

{
"workspace": "projects/analytics/locations/europe-west4/repositories/sales/workspaces/sales-test"
}

Menetapkan commitish Git sebagai sumber hasil kompilasi

  • Dalam permintaan compilationResults.create, isi properti gitCommitish dengan cabang, tag, atau SHA commit Git yang dipilih dalam format berikut:

    {
  "gitCommitish": "GIT_COMMITISH"
}

    Ganti GIT_COMMITISH dengan cabang Git, tag Git, atau SHA commit Git yang dipilih untuk hasil kompilasi.

Contoh kode berikut menunjukkan properti gitCommitish dalam permintaan compilationResults.create yang ditetapkan ke "staging":

{
  "gitCommitish": "staging"
}

Mengganti project default

Untuk membuat tabel staging atau produksi di project Google Cloud yang terpisah dari project yang digunakan untuk pengembangan, Anda dapat meneruskan ID project yang berbeda dalam objek CodeCompilationConfig dalam permintaan compilationResults.create Dataform API.

Meneruskan project ID default terpisah dalam permintaan compilationResults.create akan mengganti project ID default yang dikonfigurasi di file setelan alur kerja, tetapi tidak akan mengganti project ID yang dikonfigurasi di setiap tabel.

  • Untuk mengganti project ID default, tetapkan properti defaultDatabase ke project ID yang dipilih dalam objek CodeCompilationConfig dalam format berikut:

    {
  "codeCompilationConfig": {
    "defaultDatabase": "PROJECT_NAME"
  }
}

    Ganti PROJECT_NAME dengan project ID yang ingin Anda tetapkan untuk hasil kompilasi.

Menambahkan awalan tabel

Untuk mengidentifikasi tabel dengan cepat dari hasil kompilasi, Anda dapat menambahkan awalan ke semua nama tabel dalam hasil kompilasi dengan meneruskan awalan tabel dalam objek CodeCompilationConfig dalam permintaan compilationResults.create Dataform API.

  • Untuk menambahkan awalan tabel, tetapkan properti tablePrefix dalam objek CodeCompilationConfig dalam format berikut:

    {
  "codeCompilationConfig": {
    "tablePrefix": "PREFIX",
  }
}

    Ganti PREFIX dengan awalan yang ingin ditambahkan, misalnya, staging.

    Misalnya, jika nama tabel Anda adalah table_name, Dataform akan membuat tabel dengan nama staging_table_name.

Menambahkan akhiran skema

Untuk memisahkan data pengembangan, staging, dan produksi, Anda dapat menambahkan akhiran ke skema dalam hasil kompilasi dengan meneruskan akhiran skema dalam objek CodeCompilationConfig dalam permintaan compilationResults.create Dataform API.

  • Untuk menambahkan akhiran skema, tetapkan properti schemaSuffix dalam objek CodeCompilationConfig dalam format berikut:

    {
  "codeCompilationConfig": {
    "schemaSuffix": "SUFFIX",
  }
}

    Ganti SUFFIX dengan akhiran yang ingin ditambahkan, misalnya, _staging.

    Misalnya, jika properti defaultDataset Anda dalam file workflow_settings.yaml ditetapkan ke dataform, Dataform akan membuat tabel dalam skema dataform_staging.

Menjalankan file yang dipilih secara kondisional dengan variabel kompilasi

Untuk menjalankan tabel yang dipilih hanya dalam setelan eksekusi tertentu, Anda dapat membuat variabel kompilasi untuk setelan eksekusi, lalu meneruskan nilainya dalam objek CodeCompilationConfig dalam permintaan compilationResults.create Dataform API.

Untuk mengeksekusi tabel secara kondisional dalam setelan eksekusi tertentu menggunakan Dataform API, ikuti langkah-langkah berikut:

  1. Membuat variabel kompilasi dan menambahkannya ke tabel yang dipilih.

  2. Tetapkan pasangan nilai kunci YOUR_VARIABLE dan VALUE di blok codeCompilationConfig permintaan kompilasi Dataform API dalam format berikut:

    {
  "codeCompilationConfig": {
    "vars": {
      "YOUR_VARIABLE": "VALUE"
    }
  }
}

  3. Ganti YOUR_VARIABLE dengan nama variabel Anda, misalnya executionSetting.

  4. Ganti VALUE dengan nilai variabel untuk hasil kompilasi ini yang memenuhi kondisi when yang ditetapkan dalam tabel yang dipilih.

Contoh kode berikut menunjukkan variabel executionSetting yang diteruskan ke permintaan kompilasi Dataform API:

{
  "gitCommitish": "staging",
  "codeCompilationConfig": {
    "vars": {
      "executionSetting": "staging"
    }
  }
}

Menjalankan hasil kompilasi dengan penggantian kompilasi

Contoh kode berikut menunjukkan ID hasil kompilasi yang diteruskan dalam permintaan workflowInvocations.create:

{
  "compilationResult": "projects/my-project-name/locations/europe-west4/repositories/my-repository-name/compilationResults/7646b4ed-ac8e-447f-93cf-63c43249ff11"
}

Membuat konfigurasi rilis

Bagian berikut menunjukkan cara membuat konfigurasi rilis di Dataform untuk mengonfigurasi template setelan kompilasi, yang dapat Anda jalankan sesuai jadwal. Anda dapat menggunakan konfigurasi rilis untuk mengonfigurasi lingkungan eksekusi, misalnya, staging dan produksi.

Untuk menjalankan alur kerja di BigQuery, Dataform mengompilasi kode alur kerja SQL menjadi hasil kompilasi. Proses ini terjadi secara otomatis saat Anda mengembangkan alur kerja di ruang kerja Dataform.

Konfigurasi rilis memungkinkan Anda menyesuaikan hasil kompilasi. Anda dapat menggunakannya untuk membuat lingkungan eksekusi, misalnya, staging.

Setelan konfigurasi rilis

Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi setelan alur kerja, menetapkan variabel kompilasi, dan menetapkan frekuensi pembuatan hasil kompilasi.

Konfigurasi rilis Dataform berisi setelan kompilasi berikut:

Setelan rilis
ID rilis, commitish Git untuk hasil kompilasi, dan frekuensi pembuatan hasil kompilasi. Frekuensi adalah setelan opsional. Jika ditetapkan, frekuensi minimumnya adalah 1 jam.
Penggantian kompilasi
Penggantian project Google Cloud, awalan tabel, akhiran skema, dan variabel kompilasi yang ditentukan di setelan alur kerja.

Cara kerja konfigurasi rilis

Dataform membuat hasil kompilasi dari konfigurasi rilis pada frekuensi yang ditentukan, atau saat Anda memicu kompilasi. Frekuensi adalah setelan opsional dan tidak diperlukan untuk membuat konfigurasi rilis. Jika ditetapkan, frekuensi minimumnya adalah 1 jam. Anda dapat memicu kompilasi secara manual di halaman Detail konfigurasi rilis, atau memicu kompilasi dengan metode releaseConfigs Dataform API.

Selama kompilasi, Dataform mengambil kode dari commitish Git yang ditentukan dari repositori Anda. Kemudian, Dataform mengompilasi kode dengan penggantian kompilasi yang diterapkan (jika ada), dan membuat hasil kompilasi. Hasil kompilasi terbaru yang dibuat untuk konfigurasi rilis adalah hasil kompilasi live.

Anda dapat menjadwalkan eksekusi hasil kompilasi dari konfigurasi rilis di konfigurasi alur kerja. Anda juga dapat menjalankan konfigurasi rilis yang dipilih di luar jadwal apa pun. Selama eksekusi konfigurasi alur kerja, Dataform akan mengeksekusi hasil kompilasi langsung dari konfigurasi rilis yang dipilih.

Membuat konfigurasi rilis

Untuk membuat konfigurasi rilis Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di bagian Release configurations, klik Create.

  3. Di panel Create release configuration, konfigurasikan setelan rilis.

    1. Di kolom Release ID, masukkan ID unik untuk konfigurasi rilis.

      ID hanya boleh berisi angka, huruf, tanda hubung, dan garis bawah.

    2. Di kolom Git commitish, masukkan cabang Git atau SHA commit Git untuk rilis.

      Dalam repositori Dataform yang tidak terhubung ke repositori jarak jauh, nilainya selalu main.

    3. Opsional: Dalam daftar Frequency, pilih frekuensi pembuatan hasil kompilasi.

      Jika ditetapkan, frekuensi minimumnya adalah 1 jam.

  4. Opsional: Di bagian Penggantian kompilasi, konfigurasikan setelan kompilasi.

    1. Di kolom Google Cloud Project ID, masukkan ID project Google Cloud tempat Anda ingin menyimpan hasil kompilasi.
    2. Di kolom Schema suffix, masukkan akhiran untuk ditambahkan ke skema yang dikonfigurasi di setelan alur kerja.
    3. Di kolom Table prefix, masukkan awalan untuk semua nama tabel.

  5. Opsional: Di bagian Compilation variables, tetapkan variabel kompilasi.

    1. Klik Tambahkan variabel.
    2. Di kolom Key, masukkan variabel kompilasi.
    3. Di kolom Value, masukkan nilai untuk variabel kompilasi.
    4. Untuk menambahkan variabel kompilasi lain, klik Tambahkan variabel.

  6. Klik Buat.

Jika Anda mengganti project default, pastikan akun layanan Dataform Anda memiliki akses ke project yang ditetapkan dalam konfigurasi rilis.

Misalnya, konfigurasi rilis berikut membuat hasil kompilasi production dari cabang main setiap jam, tanpa penggantian kompilasi:

  • ID Rilis: production
  • Git commitish: main
  • Frekuensi: setiap jam
  • Tidak ada penggantian kompilasi

Melihat detail konfigurasi rilis

Anda dapat melihat detail konfigurasi rilis berikut:

  • Setelan rilis
    • Git commitish
    • Stempel waktu hasil kompilasi terbaru
    • Jadwal cron
    • Penggantian kompilasi
    • Variabel kompilasi
  • Hasil kompilasi live
    • Stempel waktu pembuatan
    • Git commitish
    • SHA Commit
  • Hasil kompilasi sebelumnya

Untuk melihat detail konfigurasi rilis, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Pilih konfigurasi rilis.
  3. Di halaman Release configuration details, periksa detail konfigurasi rilis.

Tabel Hasil kompilasi terjadwal menampilkan hasil kompilasi sebelumnya yang dibuat secara otomatis oleh konfigurasi rilis.

Tabel Hasil kompilasi Manual/API menampilkan hasil kompilasi yang dibuat secara manual atau melalui panggilan ke Dataform API dari 1.000 hasil kompilasi terbaru di repositori.

Memicu kompilasi secara manual

Untuk membuat hasil kompilasi secara manual dari konfigurasi rilis yang dipilih, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Pilih konfigurasi rilis.
  3. Di halaman Detail konfigurasi rilis, klik Kompilasi baru.

Hasil kompilasi yang baru dibuat menjadi hasil aktif untuk konfigurasi rilis tersebut.

Hasil kompilasi manual ditampilkan dalam tabel Hasil kompilasi manual/API di halaman Detail konfigurasi rilis.

Memicu eksekusi konfigurasi rilis

Untuk memicu eksekusi hasil kompilasi live dalam konfigurasi rilis yang dipilih ke BigQuery, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di bagian Release configurations, klik Start execution.
  3. Di panel Execute manual workflow, dalam daftar Release configuration, pilih konfigurasi rilis.
  4. Pilih tindakan alur kerja yang akan dijalankan:
    1. Untuk menjalankan seluruh alur kerja, klik Semua tindakan.
    2. Untuk menjalankan tindakan yang dipilih dalam alur kerja, klik Pemilihan tindakan, lalu pilih tindakan.
    3. Untuk menjalankan tindakan dengan tag yang dipilih, klik Pemilihan tag, lalu pilih tag.
  5. Opsional: Untuk menjalankan tindakan atau tag yang dipilih dan dependensinya, pilih opsi Sertakan dependensi.
  6. Opsional: Untuk menjalankan tindakan atau tag yang dipilih dan dependensinya, pilih opsi Sertakan dependensi.

  7. Opsional: Untuk mem-build ulang semua tabel dari awal, pilih opsi Jalankan dengan pembaruan penuh.

    Tanpa opsi ini, Dataform akan memperbarui tabel inkremental tanpa membangun ulang dari awal.

  8. Klik Mulai eksekusi.

Mengedit konfigurasi rilis

Untuk mengedit konfigurasi rilis, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di konfigurasi rilis yang ingin diedit, klik menu Lainnya, lalu klik Edit.
  3. Di panel Edit konfigurasi rilis, edit setelan konfigurasi rilis, lalu klik Simpan.

Menghapus konfigurasi rilis

Untuk menghapus konfigurasi rilis, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di konfigurasi rilis yang ingin Anda hapus, klik menu Lainnya, lalu klik Hapus.
  3. Pada dialog Hapus konfigurasi rilis, klik Hapus.

Langkah berikutnya