步驟 6:執行部署作業

本頁說明部署 Cortex Framework Data Foundation 的第六個步驟,這是 Cortex Framework 的核心。在這個步驟中,您將執行 Cortex Framework Data Foundation 的部署作業。

建構程序

按照「步驟 5:設定部署作業」中的說明設定 config.json 檔案後,請按照下列操作說明建構程序。

  1. 執行下列指令,在複製的存放區中找到自己:

    cd cortex-data-foundation
    
  2. 執行建構指令,並指定目標記錄 bucket:

     gcloud builds submit \
     --substitutions=_GCS_BUCKET=LOGS_BUCKET,\
     _BUILD_ACCOUNT='projects/SOURCE_PROJECT/serviceAccounts/SERVICE_ACCOUNT@SOURCE_PROJECT.iam.gserviceaccount.com'
    

    更改下列內容:

    • LOGS_BUCKET 替換為用於儲存記錄的 bucket 名稱。Cloud Build 服務帳戶必須具備寫入權限。
    • SOURCE_PROJECT 來源專案。
    • SERVICE_ACCOUNT,並提供服務帳戶 ID。
  3. 如果權限足夠,請按照主要建構程序,查看終端機或 Cloud Build 控制台中的記錄。詳情請參閱下列圖片。

    記錄檔進度

    圖 1:在終端機中查看記錄進度的範例。

    記錄檔進度

    圖 2:在控制台中查看記錄進度。
  4. 追蹤從 Cloud Build 控制台觸發的子項建構步驟,或步驟建立的記錄。如需更多參考資訊,請參閱下列圖片。

    追蹤子版本建構步驟

    圖 3. 在控制台中追蹤子項建構步驟的範例。

    追蹤子版本建構步驟

    圖 4. 記錄中追蹤子項建構步驟的範例。
  5. 找出個別建構版本的問題。修正錯誤 (如有)。建議您將產生的 SQL 貼到 BigQuery 中,找出並修正錯誤。大多數錯誤都與所選欄位有關,但這些欄位並未出現在複製的來源中。BigQuery UI 可協助找出並註解這些項目。

    找出問題

    圖 5. 透過 Cloud Build 記錄找出問題的範例。

將檔案移至 Cloud Composer (Airflow) DAG 值區

如果您選擇產生整合或 CDC 檔案,且有 Cloud Composer (Airflow) 執行個體,可以使用下列指令將檔案移至最終 bucket:

  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/dags/ gs://COMPOSER_DAG_BUCKET/
  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/data/ gs://COMPOSER_DAG_BUCKET/

更改下列內容:

  • OUTPUT_BUCKET 替換為輸出 bucket。
  • COMPOSER_DAG_BUCKET Cloud Composer (Airflow) DAG 值區。

自訂並準備升級

許多企業客戶會對系統進行特定自訂,例如在流程中加入額外文件,或使用特定類型的記錄。這些是每位客戶專屬的設定,由功能分析師在業務需求出現時進行設定。

Cortex 會在程式碼中使用 ## CORTEX-CUSTOMER 標記,標示可能需要這類自訂作業的位置。使用 grep -R CORTEX-CUSTOMER 指令檢查所有應自訂的 ## CORTEX-CUSTOMER 註解。

除了 CORTEX-CUSTOMER 標記外,您可能還需要進一步自訂下列項目,方法是將程式碼中的所有變更連同清楚的標記,提交至您自己的分叉或複製存放區:

  • 新增業務規則。
  • 新增其他資料集,並與現有檢視區塊或資料表合併
  • 重複使用提供的範本來呼叫其他 API。
  • 修改部署指令碼。
  • 套用更多資料網格概念。
  • 調整部分表格或已登陸的 API,加入標準未包含的其他欄位。

採用適合貴機構的 CI/CD 管道,持續測試這些強化功能,確保整體解決方案維持可靠穩定的狀態。管道可以重複使用 cloudbuild.yaml 指令碼,根據您選擇的存放區,定期或根據 Git 作業觸發端對端部署,藉此自動建構

使用 config.json 檔案,為開發、測試和實際工作環境定義不同的專案和資料集。使用自動化測試和自己的範例資料,確保模型一律能產生您預期的結果。

在存放區的分支或副本中,清楚標記自己的變更,並搭配一些部署和測試自動化功能,有助於執行升級

支援

如果您遇到任何問題,或對這些模型或部署工具提出功能要求,請在 Cortex Framework Data Foundation 存放區中建立問題。如要協助收集必要資訊,請從複製的目錄執行 support.sh。這份腳本會引導你完成一系列步驟,協助排解問題。

如有任何 Cortex Framework 要求或問題,請前往總覽頁面的「支援」部分。

Looker Blocks 和資訊主頁

善用可用的 Looker Blocks 和資訊主頁。這些是 Cortex Framework 常見分析模式和資料來源的可重複使用資料模型。詳情請參閱「Looker Blocks 和資訊主頁總覽」。