使用 Eventarc 建立 BigQuery 處理管道

本教學課程說明如何使用 Eventarc 建構處理管道，排定查詢公開 BigQuery 資料集的作業、根據資料產生圖表，以及透過電子郵件分享圖表連結。

目標

在本教學課程中，您將建構及部署三項允許未經驗證存取，並使用 Eventarc 接收事件的 Cloud Run 服務：

1. 查詢執行器：當 Cloud 任務排程器作業將訊息發布至 Pub/Sub 主題時，這項服務會使用 BigQuery API 從公開的 COVID-19 資料集擷取資料，並將結果儲存至新的 BigQuery 資料表。
2. 圖表建立工具：當 Query Runner 服務將訊息發布至 Pub/Sub 主題時，這項服務會使用 Python 繪圖程式庫 Matplotlib 產生圖表，並將圖表儲存至 Cloud Storage 值區。
3. 通知程式：當 Chart Creator 服務將圖表儲存在 Cloud Storage 值區時，這個服務會由稽核記錄觸發，並使用電子郵件服務 SendGrid，將圖表連結傳送至電子郵件地址。

下圖顯示高階架構：

費用

在本文件中，您會使用 Google Cloud的下列計費元件：

• Artifact Registry
• BigQuery
• Cloud Build
• Cloud Run
• Cloud Scheduler
• Cloud Storage
• Eventarc
• Pub/Sub

如要根據預測用量估算費用，請使用 Pricing Calculator。

事前準備

貴機構定義的安全性限制，可能會導致您無法完成下列步驟。如需疑難排解資訊，請參閱「在受限的 Google Cloud 環境中開發應用程式」。

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

Install the Google Cloud CLI.

If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

To initialize the gcloud CLI, run the following command:

gcloud init

Create or select a Google Cloud project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Make sure that billing is enabled for your Google Cloud project.

Enable the Artifact Registry, Cloud Build, Cloud Logging, Cloud Run, Cloud Scheduler, Eventarc, and Pub/Sub APIs:

gcloud services enable artifactregistry.googleapis.com cloudbuild.googleapis.com cloudscheduler.googleapis.com eventarc.googleapis.com logging.googleapis.com pubsub.googleapis.com run.googleapis.com

Install the Google Cloud CLI.

If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

To initialize the gcloud CLI, run the following command:

gcloud init

Create or select a Google Cloud project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Make sure that billing is enabled for your Google Cloud project.

Enable the Artifact Registry, Cloud Build, Cloud Logging, Cloud Run, Cloud Scheduler, Eventarc, and Pub/Sub APIs:

gcloud services enable artifactregistry.googleapis.com cloudbuild.googleapis.com cloudscheduler.googleapis.com eventarc.googleapis.com logging.googleapis.com pubsub.googleapis.com run.googleapis.com

1. 如果是 Cloud Storage，請為 ADMIN_READ、DATA_WRITE 和 DATA_READ 資料存取類型啟用稽核記錄。
   1. 讀取與 Google Cloud 專案、資料夾或機構相關聯的 Identity and Access Management (IAM) 政策，並儲存在暫時檔案中：

      gcloud projects get-iam-policy PROJECT_ID > /tmp/policy.yaml

   2. 在文字編輯器中開啟 /tmp/policy.yaml，然後在 auditConfigs 區段中僅新增或變更稽核記錄設定：

      
        auditConfigs:
        - auditLogConfigs:
          - logType: ADMIN_READ
          - logType: DATA_WRITE
          - logType: DATA_READ
          service: storage.googleapis.com
        bindings:
        - members:
        [...]
        etag: BwW_bHKTV5U=
        version: 1

   3. 撰寫新的 IAM 政策：

      gcloud projects set-iam-policy PROJECT_ID /tmp/policy.yaml

      如果上述指令回報與其他變更發生衝突，請重複這些步驟，從讀取 IAM 政策開始。詳情請參閱「使用 API 設定資料存取稽核記錄」一文。

2. 將 eventarc.eventReceiver 角色指派給 Compute Engine 服務帳戶：

   export PROJECT_NUMBER="$(gcloud projects describe $(gcloud config get-value project) --format='value(projectNumber)')"
   
   gcloud projects add-iam-policy-binding $(gcloud config get-value project) \
       --member=serviceAccount:${PROJECT_NUMBER}-compute@developer.gserviceaccount.com \
       --role='roles/eventarc.eventReceiver'

3. 如果您是在 2021 年 4 月 8 日當天或之前啟用 Pub/Sub 服務帳戶，請將 iam.serviceAccountTokenCreator 角色授予 Pub/Sub 服務帳戶：

   gcloud projects add-iam-policy-binding $(gcloud config get-value project) \
       --member="serviceAccount:service-${PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com"\
       --role='roles/iam.serviceAccountTokenCreator'

4. 設定本教學課程中使用的預設值：

   export REGION=REGION
   gcloud config set run/region ${REGION}
   gcloud config set run/platform managed
   gcloud config set eventarc/location ${REGION}

   將 REGION 替換為您選擇的支援 Eventarc 位置。

清除所用資源

如果您是為了這個教學課程建立新專案，請刪除該專案。如果您使用現有專案，並想保留專案，但不要本教學課程新增的變更，請刪除為本教學課程建立的資源。

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

刪除教學課程資源

1. 刪除您在本教學課程中部署的任何 Cloud Run 服務：

   gcloud run services delete SERVICE_NAME

   其中 SERVICE_NAME 是您選擇的服務名稱。

   您也可以從Google Cloud 控制台刪除 Cloud Run 服務。

2. 移除您在教學課程設定期間新增的任何 Google Cloud CLI 預設設定。

   gcloud config unset project
   gcloud config unset run/region
   gcloud config unset run/platform
   gcloud config unset eventarc/location

3. 刪除您在本教學課程中建立的任何 Eventarc 觸發條件：

    gcloud eventarc triggers delete TRIGGER_NAME
    

   將 TRIGGER_NAME 替換為觸發條件的名稱。

4. 從 Artifact Registry 刪除映像檔。

   gcloud artifacts docker images delete $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/notifier:v1
   gcloud artifacts docker images delete $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/chart-creator:v1
   gcloud artifacts docker images delete $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/query-runner:v1

5. 刪除值區和值區內的所有物件：

   gcloud storage rm --recursive gs://${BUCKET}/

6. 刪除 Cloud Scheduler 工作：

   gcloud scheduler jobs delete cre-scheduler-cy
   gcloud scheduler jobs delete cre-scheduler-uk

後續步驟

• 進一步瞭解 Eventarc
• 進一步瞭解 Cloud Run