Membuat ruang kerja pengembangan Dataform

Dokumen ini membantu Anda melakukan hal berikut:

Ringkasan ruang kerja pengembangan

Di Dataform, Anda berinteraksi dengan kode alur kerja di ruang kerja pengembangan, yang merupakan salinan repositori Anda sendiri yang dapat diedit. Di ruang kerja, Anda dapat membuat, mengedit, atau menghapus konten repositori tanpa memengaruhi orang lain yang mengerjakan repositori yang sama, lalu melakukan commit dan mengirim perubahan ke repositori.

Anda dapat mengembangkan alur kerja dengan Dataform core atau JavaScript. Dataform mengompilasi kode Anda menjadi kueri SQL secara real time.

Di ruang kerja pengembangan, Anda dapat melakukan tugas berikut:

Komponen ruang kerja pengembangan

Ruang kerja pengembangan Dataform terdiri dari tab yang dijelaskan di bagian berikut.

Tab Kode

Anda dapat menggunakan lingkungan pengembangan di tab Code untuk menjelajahi file, mengembangkan kueri, mengontrol versi perubahan, dan memicu eksekusi ke BigQuery. Tab ini berisi komponen berikut yang memungkinkan Anda mengembangkan alur kerja:

  • Panel File: menampilkan struktur file ruang kerja Anda dan menyimpan otomatis hasil edit Anda ke struktur file. File yang dipilih akan terbuka di tab panel pengembangan. Di kolom Ketik untuk menelusuri, Anda dapat menelusuri file atau direktori di ruang kerja Anda berdasarkan jalur.
  • Panel Kontrol versi: menampilkan status kontrol versi ruang kerja Anda dan opsi kontrol versi.
  • Panel Pengembangan: menampilkan file yang terbuka di tab. Menyimpan perubahan Anda secara otomatis ke file yang diedit.
  • Tombol Jalankan: menjalankan pratinjau kueri SQL yang dikompilasi.
  • Tombol Format: memformat kode JavaScript atau inti Dataform Anda.
  • Status kompilasi: menampilkan status kompilasi kode di ruang kerja Anda.
  • Panel Metadata: menampilkan metadata file yang diedit.
  • Panel Compiled queries: mengompilasi kueri dalam file yang diedit ke SQL. Jika kompilasi kueri gagal, panel akan menampilkan error kompilasi. Jika kompilasi kueri berhasil, panel akan menampilkan kueri yang dikompilasi dan memvalidasinya melalui uji coba terhadap BigQuery. Jika validasi kueri gagal, panel akan menampilkan error validasi. Jika validasi kueri berhasil, panel akan menampilkan jumlah byte yang akan digunakan oleh eksekusi kueri ke BigQuery.
  • Menu Mulai eksekusi: menampilkan opsi untuk memicu eksekusi seluruh alur kerja di ruang kerja Anda atau elemen yang dipilih.

Tab grafik yang dikompilasi

Di tab Compiled graph, Anda dapat melihat alur kerja yang dikompilasi yang ditentukan di ruang kerja Anda sebagai directed acyclic graph (DAG) interaktif. Grafik ini menampilkan semua tindakan dalam alur kerja Anda dan hubungan di antara tindakan tersebut. Jika ada error kompilasi dalam alur kerja Anda, tab akan menampilkan pesan error, bukan grafik.

Anda dapat memperbesar dan memperkecil serta menggunakan navigasi tarik lalu lepas dalam grafik.

Anda dapat memfilter grafik berdasarkan properti berikut:

  • Nama
  • Tag
  • Jenis
    • Pernyataan
    • Pernyataan
    • Tabel inkremental
    • Tampilan terwujud
    • Operasi
    • Tabel
    • Tidak diketahui
    • Lihat

Anda dapat memilih beberapa filter sekaligus. Dataform menerapkannya dengan kondisi OR.

Anda dapat mengklik tindakan dalam grafik untuk melihat detailnya di panel berikut:

  • Panel Metadata: menampilkan nama lengkap, jenis, dependensi, dan dependen dari tindakan yang dipilih.
  • Panel Kueri: menampilkan kueri SQL yang dikompilasi dari tindakan yang dipilih.

Tab Eksekusi

Tab ini menampilkan log semua eksekusi yang dipicu di ruang kerja. Anda juga dapat melihat tindakan dan detailnya untuk eksekusi yang dipilih. Untuk mengetahui informasi selengkapnya, lihat Memantau log eksekusi.

Kontrol versi di ruang kerja

Di ruang kerja, Anda berinteraksi dengan repositori melalui kontrol versi berbasis Git. Pengeditan yang Anda lakukan pada file di ruang kerja dimulai sebagai perubahan lokal yang belum di-commit yang dapat Anda commit lalu kirim ke repositori agar tersedia bagi semua pengguna repositori.

Jika repositori Anda terhubung ke penyedia Git jarak jauh, Anda dapat mengirim perubahan dari ruang kerja ke cabang pengembangan utama. Anda memilih cabang utama saat menghubungkan repositori ke penyedia Git jarak jauh. Di repositori Dataform yang tidak terhubung, Anda mengirimkan perubahan ke cabang default.

Anda juga dapat menarik perubahan apa pun dari repositori Dataform atau repositori jarak jauh dan menggabungkannya dengan perubahan lokal di ruang kerja pengembangan Anda. Untuk mengetahui informasi selengkapnya tentang kontrol versi di Dataform, lihat Mengontrol versi kode Anda.

Sebelum memulai

Jika Anda belum melakukannya, buat repositori Dataform.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna membuat, menginisialisasi, dan menghapus ruang kerja pengembangan, minta administrator untuk memberi Anda peran IAM Dataform Editor (roles/dataform.editor) di ruang kerja. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat ruang kerja pengembangan Dataform

Saat Anda membuat ruang kerja pengembangan di repositori baru untuk pertama kalinya, Dataform akan meminta Anda untuk melakukan inisialisasi ruang kerja pengembangan dengan sekumpulan file konfigurasi yang diperlukan agar Dataform dapat berfungsi.

Ruang kerja pengembangan yang diinisialisasi berisi direktori dan file berikut:

  • definitions/: direktori untuk definisi aset, di Dataform core atau JavaScript.

  • includes/: direktori kosong untuk skrip dan variabel yang dapat Anda gunakan kembali di seluruh repositori.

  • workflow_settings.yaml: file konfigurasi Dataform default yang berisi ID project Google Cloud dan skema BigQuery untuk memublikasikan aset. Anda dapat mengganti setelan default untuk menyesuaikannya dengan kebutuhan Anda, tetapi penyesuaian bukan persyaratan untuk mulai menggunakan Dataform.

  • package.json: file konfigurasi dependensi Dataform default dengan @dataform/core versi terbaru. Anda dapat menggunakan file ini untuk mengimpor paket.

  • definitions/sample.sqlx: file SQLX contoh untuk membantu Anda memulai.

Untuk membuat ruang kerja pengembangan Dataform baru, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Dataform.

    Buka Dataform

  2. Pilih repositori tempat Anda ingin membuat ruang kerja pengembangan baru.

  3. Di halaman repositori Anda, klik Create development workspace.

  4. Di jendela Create development workspace, lakukan hal berikut:

    1. Di kolom Workspace ID, masukkan ID unik untuk ruang kerja pengembangan.

      ID hanya boleh berisi angka, huruf, tanda hubung, dan garis bawah.

    2. Klik Buat.

Melakukan inisialisasi ruang kerja di repositori Dataform

Untuk melakukan inisialisasi ruang kerja pengembangan Dataform, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Dataform.

    Buka Dataform

  2. Pilih repositori tempat Anda ingin menginisialisasi ruang kerja kosong.

  3. Di tab Development workspaces, klik nama ruang kerja kosong yang ingin Anda inisialisasi.

  4. Di halaman ruang kerja pengembangan, klik Initialize workspace.

Menghapus ruang kerja Dataform

Tidak ada biaya yang terkait dengan pembuatan ruang kerja pengembangan Dataform. Namun, jika Anda ingin menghapus ruang kerja pengembangan, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Dataform.

    Buka Dataform

  2. Pilih repositori yang berisi ruang kerja yang ingin Anda hapus.

  3. Untuk menghindari penghapusan perubahan yang belum di-commit, commit dan kirim perubahan ke repositori Git Anda.

  4. Di tab Development workspaces, pilih ruang kerja pengembangan yang ingin Anda hapus, lalu klik Delete selected workspaces.

    Anda dapat menghapus beberapa ruang kerja sekaligus.

  5. Untuk mengonfirmasi, klik Hapus.

Langkah berikutnya