Langkah 5: Konfigurasi deployment

Halaman ini menjelaskan langkah kelima untuk men-deploy Cortex Framework Data Foundation, inti dari Cortex Framework. Pada langkah ini, Anda mengubah file konfigurasi di repositori Data Foundation Cortex Framework agar sesuai dengan persyaratan Anda.

File konfigurasi

Perilaku deployment dikontrol oleh file konfigurasi config.json di Cortex Framework Data Foundation. File ini berisi konfigurasi global, konfigurasi khusus untuk setiap beban kerja. Edit file config.json sesuai kebutuhan Anda dengan langkah-langkah berikut:

1. Buka file config.json dari Cloud Shell.

2. Edit file config.json sesuai dengan parameter berikut:

   Parameter	Arti	Nilai Default	Deskripsi
   testData	Men-deploy Data Pengujian	true	Project tempat set data sumber berada dan build berjalan. Catatan: Deployment data pengujian hanya akan dijalankan jika set data mentah kosong dan tidak memiliki tabel.
   deploySAP	Men-deploy SAP	true	Jalankan deployment untuk workload SAP (ECC atau S/4 HANA).
   deploySFDC	Men-deploy Salesforce	true	Jalankan deployment untuk workload Salesforce.
   deployMarketing	Deploy Marketing	true	Lakukan deployment untuk Sumber pemasaran (Google Ads, CM360, dan TikTok).
   deployOracleEBS	Men-deploy Oracle EBS	true	Jalankan deployment untuk workload Oracle EBS.
   deployDataMesh	Men-deploy Mesh Data	true	Jalankan deployment untuk Data Mesh. Untuk mengetahui informasi selengkapnya, lihat Panduan Pengguna Data Mesh.
   enableTaskDependencies	DAG yang bergantung pada tugas	false	Aktifkan DAG yang bergantung pada tugas sehingga tabel SQL yang didukung akan dijalankan berdasarkan urutan dependensi, dalam DAG tunggal. Untuk mengetahui informasi selengkapnya, lihat DAG yang bergantung pada tugas.
   turboMode	Deploy dalam mode Turbo.	true	Jalankan semua build tampilan sebagai langkah dalam proses Cloud Build yang sama, secara paralel untuk deployment yang lebih cepat. Jika disetel ke false, setiap tampilan pelaporan dibuat dalam langkah build berurutan sendiri. Sebaiknya setel hanya ke true saat menggunakan data pengujian atau setelah ketidakcocokan antara kolom pelaporan dan data sumber diselesaikan.
   projectIdSource	ID Project Sumber	-	Project tempat set data sumber berada dan build berjalan.
   projectIdTarget	ID Project Target	-	Project target untuk set data yang ditampilkan kepada pengguna.
   targetBucket	Bucket Target untuk menyimpan skrip DAG yang dibuat	-	Bucket yang dibuat sebelumnya tempat DAG (dan file sementara Dataflow) dibuat. Hindari penggunaan bucket Airflow yang sebenarnya.
   location	Lokasi atau Wilayah	"US"	Lokasi tempat set data BigQuery dan bucket Cloud Storage berada. Lihat batasan yang tercantum di bagian Lokasi set data BigQuery.
   testDataProject	Sumber untuk tes otomatis	kittycorn-public	Sumber data pengujian untuk deployment demo. Berlaku jika testData adalah true. Jangan ubah nilai ini, kecuali jika Anda memiliki test harness sendiri.
   k9.datasets.processing	Set data K9 - Pemrosesan	"K9_PROCESSING"	Jalankan template lintas beban kerja (misalnya, dimensi tanggal) seperti yang ditentukan dalam file konfigurasi K9. Template ini biasanya diperlukan oleh workload hilir.
   k9.datasets.reporting	Set data K9 - Pelaporan	"K9_REPORTING"	Jalankan template lintas beban kerja dan sumber data eksternal (misalnya: cuaca) seperti yang ditentukan dalam file konfigurasi K9. Secara default diberi komentar.
   DataMesh.deployDescriptions	Data Mesh - Deskripsi aset	true	Men-deploy deskripsi skema aset BigQuery.
   DataMesh.deployLakes	Data Mesh - Lakes & Zones	false	Men-deploy Lake dan Zona Katalog Universal Dataplex yang mengatur tabel menurut lapisan pemrosesan, memerlukan konfigurasi sebelum diaktifkan.
   DataMesh.deployCatalog	Data Mesh - Tag dan Template Katalog	false	Men-deploy Tag Data Catalog yang memungkinkan metadata kustom pada aset atau kolom BigQuery, memerlukan konfigurasi sebelum diaktifkan.
   DataMesh.deployACLs	Data Mesh - Kontrol Akses	false	Men-deploy kontrol akses tingkat aset, baris, atau kolom pada aset BigQuery, memerlukan konfigurasi sebelum diaktifkan.

3. Konfigurasi workload yang diperlukan sesuai kebutuhan. Anda tidak perlu mengonfigurasinya jika parameter deployment (misalnya, deploySAP atau deployMarketing) untuk workload disetel ke False. Untuk mengetahui informasi selengkapnya, lihat Langkah 3: Tentukan mekanisme integrasi.

Untuk penyesuaian deployment yang lebih baik, lihat langkah opsional berikut:

• Penonaktifan Telemetri.
• Konfigurasi set data eksternal untuk K9.
• Periksa tag CORTEX-CUSTOMER.

Pengoptimalan performa untuk tampilan pelaporan

Artefak pelaporan dapat dibuat sebagai tampilan atau sebagai tabel yang diperbarui secara rutin melalui DAG. Di satu sisi, tampilan menghitung data pada setiap eksekusi kueri, yang membuat hasilnya selalu baru. Di sisi lain, tabel menjalankan komputasi satu kali, dan hasilnya dapat dikueri beberapa kali tanpa menimbulkan biaya komputasi yang lebih tinggi dan mencapai runtime yang lebih cepat. Setiap pelanggan membuat konfigurasinya sendiri sesuai dengan kebutuhannya.

Hasil terwujud diperbarui ke dalam tabel. Tabel ini dapat dioptimalkan lebih lanjut dengan menambahkan Partisi dan Pengelompokan ke tabel ini.

File konfigurasi untuk setiap workload berada di jalur berikut dalam repositori Cortex Framework Data Foundation:

Menyesuaikan file setelan pelaporan

File reporting_settings menentukan cara objek BigQuery (tabel atau tampilan) dibuat untuk set data pelaporan. Sesuaikan file Anda dengan deskripsi parameter berikut. Pertimbangkan bahwa file ini berisi dua bagian:

1. bq_independent_objects: Semua objek BigQuery yang dapat dibuat secara independen, tanpa dependensi lain. Jika Turbo mode diaktifkan, objek BigQuery ini akan dibuat secara paralel selama waktu deployment, sehingga mempercepat proses deployment.
2. bq_dependent_objects: Semua objek BigQuery yang perlu dibuat dalam urutan tertentu karena dependensi pada objek BigQuery lainnya. Turbo mode tidak berlaku untuk bagian ini.

Deployer pertama-tama membuat semua objek BigQuery yang tercantum di bq_independent_objects, lalu semua objek yang tercantum di bq_dependent_objects. Tentukan properti berikut untuk setiap objek:

1. sql_file: Nama file SQL yang membuat objek tertentu.
2. type: Jenis objek BigQuery. Nilai yang mungkin:
   • view : Jika Anda ingin objek menjadi tampilan BigQuery.
   • table: Jika Anda ingin objek menjadi tabel BigQuery.
   • script: Ini untuk membuat jenis objek lain (misalnya, fungsi BigQuery dan proses tersimpan).
3. Jika type disetel ke table, properti opsional berikut dapat ditentukan:
   • load_frequency: Frekuensi DAG Composer dijalankan untuk memperbarui tabel ini. Lihat dokumentasi Airflow untuk mengetahui detail tentang kemungkinan nilai.
   • partition_details: Cara tabel harus dipartisi. Nilai ini bersifat opsional. Untuk mengetahui informasi selengkapnya, lihat bagian Partisi tabel.
   • cluster_details: Cara pengelompokan tabel. Nilai ini bersifat opsional. Untuk mengetahui informasi selengkapnya, lihat bagian Setelan cluster.

Partisi tabel

File setelan tertentu memungkinkan Anda mengonfigurasi tabel yang di-materialisasi dengan opsi pengelompokan dan partisi kustom. Hal ini dapat meningkatkan performa kueri secara signifikan untuk set data besar. Opsi ini hanya berlaku untuk SAP cdc_settings.yaml dan semua file reporting_settings.yaml.

Partisi Tabel dapat diaktifkan dengan menentukan partition_details berikut:

- base_table: vbap
  load_frequency: "@daily"
  partition_details: {
    column: "erdat", partition_type: "time", time_grain: "day" }

Gunakan parameter berikut untuk mengontrol detail partisi untuk tabel tertentu:

Untuk mengetahui informasi selengkapnya tentang opsi dan batasan terkait, lihat Partisi Tabel BigQuery.

Setelan cluster

Pengelompokan tabel dapat diaktifkan dengan menentukan cluster_details:

  - base_table: vbak
    load_frequency: "@daily"
    cluster_details: {columns: ["vkorg"]}

Gunakan parameter berikut untuk mengontrol detail cluster untuk tabel tertentu:

Untuk mengetahui informasi selengkapnya tentang opsi dan batasan terkait, lihat Dokumentasi cluster tabel.

Langkah berikutnya

Setelah Anda menyelesaikan langkah ini, lanjutkan ke langkah deployment berikut:

1. Menetapkan workload.
2. Clone repositori.
3. Tentukan mekanisme integrasi.
4. Menyiapkan komponen.
5. Mengonfigurasi deployment (halaman ini).
6. Jalankan deployment.