Memvalidasi aplikasi berdasarkan kebijakan perusahaan di pipeline CI

Jika organisasi Anda menggunakan Policy Controller untuk mengelola kebijakan di seluruh cluster edisi Google Kubernetes Engine (GKE) Enterprise, Anda dapat memvalidasi konfigurasi deployment aplikasi di pipeline continuous integration (CI). Tutorial ini menunjukkan cara mendapatkan hasil ini. Memvalidasi aplikasi Anda berguna jika Anda adalah developer yang membangun pipeline CI untuk aplikasi, atau engineer platform yang membangun template pipeline CI untuk beberapa tim aplikasi.

Halaman ini ditujukan untuk administrator dan Operator IT yang ingin memastikan bahwa semua resource yang berjalan dalam platform cloud memenuhi persyaratan kepatuhan organisasi dengan menyediakan dan mempertahankan otomatisasi untuk mengaudit atau menerapkan, dan yang mengelola siklus proses infrastruktur teknologi yang mendasarinya. Untuk mempelajari lebih lanjut peran umum dan contoh tugas yang kami referensikan dalam Google Cloud konten, lihat Peran dan tugas pengguna GKE umum.

Kebijakan adalah bagian penting dari keamanan dan kepatuhan organisasi. Pengontrol Kebijakan memungkinkan organisasi Anda mengelola kebijakan tersebut secara terpusat dan deklaratif untuk semua cluster Anda. Sebagai developer, Anda dapat memanfaatkan sifat terpusat dan deklaratif dari kebijakan tersebut. Anda dapat menggunakan karakteristik tersebut untuk memvalidasi aplikasi terhadap kebijakan tersebut sedini mungkin dalam alur kerja pengembangan Anda. Mempelajari pelanggaran kebijakan di pipeline CI daripada selama deployment memiliki dua keuntungan utama: Anda dapat menggeser keamanan ke kiri, dan memperketat siklus proses masukan, sehingga mengurangi waktu dan biaya yang diperlukan untuk memperbaiki pelanggaran tersebut.

Tutorial ini menggunakan Cloud Build sebagai alat CI dan contoh repositori GitHub yang berisi kebijakan untuk demonstrasi.

Resource

Tutorial ini menggunakan beberapa alat Kubernetes. Bagian ini menjelaskan apa saja alat tersebut, cara alat tersebut berinteraksi satu sama lain, dan apakah Anda dapat menggantinya dengan alat lain.

Alat yang Anda gunakan dalam tutorial ini mencakup:

  • Pengontrol Kebijakan: didasarkan pada project open source Open Policy Agent - Gatekeeper. Pengontrol Kebijakan menerapkan kebijakan tentang objek yang dibuat di cluster Kubernetes (misalnya, mencegah penggunaan opsi tertentu atau menerapkan penggunaan label tertentu). Kebijakan tersebut disebut batasan. Batasan ditentukan sebagai Resource Kustom Kubernetes. Pengontrol Kebijakan tersedia sebagai bagian dari edisi Google Kubernetes Engine (GKE) Enterprise, tetapi Anda dapat menggunakan Open Policy Agent - Gatekeeper, bukan Pengontrol Kebijakan untuk penerapan Anda.

  • GitHub: Dalam tutorial ini, kita menggunakan GitHub untuk menghosting repositori Git: satu untuk aplikasi contoh, dan satu yang berisi batasan untuk Policy Controller. Agar lebih sederhana, kedua repositori tersebut adalah dua folder berbeda dalam satu repositori Git. Pada kenyataannya, keduanya akan menjadi repositori yang berbeda. Anda dapat menggunakan solusi Git apa pun.

  • Cloud Build: Cloud Build adalah solusi CI Google Cloud. Dalam tutorial ini, kita akan menggunakannya untuk menjalankan pengujian validasi. Meskipun detail penerapan dapat berbeda dari satu sistem CI ke sistem CI lainnya, konsep yang diuraikan dalam tutorial ini dapat digunakan dengan sistem CI berbasis penampung apa pun.

  • Kustomize: Kustomize adalah alat penyesuaian untuk konfigurasi Kubernetes. Cara kerjanya adalah dengan mengambil konfigurasi "dasar" dan menerapkan penyesuaian padanya. Dengan demikian, Anda dapat menerapkan pendekatan DRY (Don't Repeat Yourself) pada konfigurasi Kubernetes. Dengan Kustomize, Anda menyimpan elemen yang umum untuk semua lingkungan dalam konfigurasi dasar dan membuat penyesuaian per lingkungan. Dalam tutorial ini, kita menyimpan konfigurasi Kustomize di repositori aplikasi, dan kita "membangun" (misalnya, menerapkan penyesuaian) konfigurasi di pipeline CI. Anda dapat menggunakan konsep yang diuraikan dalam tutorial ini dengan alat apa pun yang menghasilkan konfigurasi Kubernetes yang siap diterapkan ke cluster (misalnya, perintah helm template).

  • Kpt: Kpt adalah alat untuk membangun alur kerja bagi konfigurasi Kubernetes. Kpt memungkinkan Anda mengambil, menampilkan, menyesuaikan, mengupdate, memvalidasi, dan menerapkan konfigurasi Kubernetes. Karena berfungsi dengan file Git dan YAML, alat ini kompatibel dengan sebagian besar alat yang ada di ekosistem Kubernetes. Dalam tutorial ini, kita menggunakan kpt di pipeline CI untuk mengambil batasan dari repositori anthos-config-management-samples, dan untuk memvalidasi konfigurasi Kubernetes terhadap batasan tersebut.

Pipeline

Pipeline CI yang kita gunakan dalam tutorial ini ditunjukkan dalam diagram berikut:

Pipeline CI untuk Policy Controller

Pipeline berjalan di Cloud Build, dan perintah dijalankan di direktori yang berisi salinan repositori aplikasi contoh. Pipeline dimulai dengan membuat konfigurasi Kubernetes akhir dengan Kustomize. Selanjutnya, ia mengambil batasan yang ingin kita validasi dari repositori anthos-config-management-samples menggunakan kpt. Terakhir, ia menggunakan kpt untuk memvalidasi konfigurasi Kubernetes terhadap batasan tersebut. Untuk mencapai langkah terakhir ini, kita menggunakan fungsi konfigurasi khusus yang disebut gatekeeper yang melakukan validasi ini. Dalam tutorial ini, Anda akan memicu pipeline CI secara manual, tetapi pada kenyataannya Anda akan mengonfigurasinya agar berjalan setelah git push ke repositori Git Anda.

Tujuan

  • Jalankan pipeline CI untuk aplikasi contoh dengan Cloud Build.
  • Perhatikan bahwa pipeline gagal karena pelanggaran kebijakan.
  • Ubah repositori aplikasi contoh agar mematuhi kebijakan.
  • Jalankan kembali pipeline CI dengan berhasil.

Biaya

Tutorial ini menggunakan komponen Google Cloud yang dapat ditagih berikut: Google Cloud

  • Cloud Build
  • Edisi Google Kubernetes Engine (GKE) Enterprise

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Setelah menyelesaikan tutorial ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui detail selengkapnya, lihat bagian Pembersihan.

Sebelum memulai

  1. Pilih atau buat Google Cloud project. Di konsol Google Cloud , buka halaman Manage resources:

    Buka Kelola resource

  2. Aktifkan penagihan untuk project Anda.

  3. Untuk menjalankan perintah yang tercantum dalam tutorial ini, buka Cloud Shell:

    Buka Cloud Shell

  4. Di Cloud Shell, jalankan gcloud config get-value project.

    Jika perintah tidak menampilkan ID project yang baru saja Anda pilih, konfigurasikan Cloud Shell agar menggunakan project Anda:

    gcloud config set project PROJECT_ID
    

    Ganti PROJECT_ID dengan project ID Anda.

  5. Di Cloud Shell, aktifkan Cloud Build API yang diperlukan:

    gcloud services enable cloudbuild.googleapis.com
    

Memvalidasi konfigurasi aplikasi contoh

Di bagian ini, Anda akan menjalankan pipeline CI dengan Cloud Build untuk repositori aplikasi contoh yang kami sediakan. Pipeline ini memvalidasi konfigurasi Kubernetes yang tersedia di repositori aplikasi contoh tersebut terhadap batasan yang tersedia di repositori anthos-config-management-samples.

Untuk memvalidasi konfigurasi aplikasi:

  1. Di Cloud Shell, clone repositori aplikasi contoh:

    git clone https://github.com/GoogleCloudPlatform/anthos-config-management-samples.git
    
  2. Jalankan pipeline CI dengan Cloud Build. Log build ditampilkan langsung di Cloud Shell.

    cd anthos-config-management-samples/ci-app/app-repo
    gcloud builds submit .
    

    Pipeline yang Anda jalankan ditentukan dalam file berikut.

    steps:
    - id: 'Prepare config'
      # This step builds the final manifests for the app
      # using kustomize and the configuration files
      # available in the repository.
      name: 'gcr.io/google.com/cloudsdktool/cloud-sdk'
      entrypoint: '/bin/sh'
      args: ['-c', 'mkdir hydrated-manifests && kubectl kustomize config/prod > hydrated-manifests/prod.yaml']
    - id: 'Download policies'
      # This step fetches the policies from the Anthos Config Management repository
      # and consolidates every resource in a single file.
      name: 'gcr.io/kpt-dev/kpt'
      entrypoint: '/bin/sh'
      args: ['-c', 'kpt pkg get https://github.com/GoogleCloudPlatform/anthos-config-management-samples.git/ci-app/acm-repo/cluster@main constraints
                      && kpt fn source constraints/ hydrated-manifests/ > hydrated-manifests/kpt-manifests.yaml']
    - id: 'Validate against policies'
      # This step validates that all resources comply with all policies.
      name: 'gcr.io/kpt-fn/gatekeeper:v0.2'
      args: ['--input', 'hydrated-manifests/kpt-manifests.yaml']

    Di Pengontrol Kebijakan, batasan adalah instansiasi template batasan. Template batasan berisi kode Rego aktual yang digunakan untuk menerapkan batasan. Fungsi gcr.io/kpt-fn/gatekeeper memerlukan template batasan dan definisi batasan agar berfungsi. Repositori kebijakan contoh berisi keduanya, tetapi pada kenyataannya, keduanya dapat disimpan di tempat yang berbeda. Gunakan perintah kpt pkg get sesuai kebutuhan untuk mendownload template batasan dan batasan.

    Tutorial ini menggunakan gcr.io/kpt-fn/gatekeeper dengan Cloud Build untuk memvalidasi resource, tetapi ada dua alternatif lain yang dapat Anda gunakan:

    kpt fn eval hydrated-manifests/kpt-manifests.yaml --image gcr.io/kpt-fn/gatekeeper:v0.2
    
    gator test -f hydrated-manifests/kpt-manifests.yaml
    
  3. Setelah beberapa menit, amati bahwa pipeline gagal dengan error berikut:

    [...]
    Step #2 - "Validate against policies": [error] apps/v1/Deployment/nginx-deployment : Deployment objects should have an 'owner' label indicating who created them.
    Step #2 - "Validate against policies": violatedConstraint: deployment-must-have-owner
    Finished Step #2 - "Validate against policies"
    2022/05/11 18:55:18 Step Step #2 - "Validate against policies" finished
    2022/05/11 18:55:19 status changed to "ERROR"
    ERROR
    ERROR: build step 2 "gcr.io/kpt-fn/gatekeeper:v0.2" failed: exit status 1
    2022/05/11 18:55:20 Build finished with ERROR status
    

    Batasan yang dilanggar oleh konfigurasi ditentukan dalam file berikut. Ini adalah resource kustom Kubernetes yang disebut K8sRequiredLabels.

    apiVersion: constraints.gatekeeper.sh/v1beta1
    kind: K8sRequiredLabels
    metadata:
      name: deployment-must-have-owner
    spec:
      match:
        kinds:
          - apiGroups: ["apps"]
            kinds: ["Deployment"]
      parameters:
        labels:
          - key: "owner"
        message: "Deployment objects should have an 'owner' label indicating who created them."

    Untuk mengetahui template batasan yang sesuai dengan batasan ini, lihat requiredlabels.yaml di GitHub.

  4. Bangun konfigurasi Kubernetes lengkap sendiri, dan amati bahwa label owner memang tidak ada. Untuk membuat konfigurasi:

    kubectl kustomize config/prod
    

Perbaiki aplikasi agar mematuhi kebijakan perusahaan

Di bagian ini, Anda akan memperbaiki pelanggaran kebijakan menggunakan Kustomize:

  1. Di Cloud Shell, tambahkan bagian commonLabels ke file Kustomisasi dasar:

    cat <<EOF >> config/base/kustomization.yaml
    commonLabels:
      owner: myself
    EOF
    
  2. Buat konfigurasi Kubernetes lengkap, dan amati bahwa label owner kini ada:

    kubectl kustomize config/prod
    
  3. Jalankan ulang pipeline CI dengan Cloud Build:

    gcloud builds submit .
    

    Pipeline sekarang berhasil dengan output berikut:

    [...]
    Step #2 - "Validate against policies": [RUNNING] "gcr.io/kpt-fn/gatekeeper:v0"
    Step #2 - "Validate against policies": [PASS] "gcr.io/kpt-fn/gatekeeper:v0"
    [...]
    

Pembersihan

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Langkah berikutnya