使用第三方移轉服務

BigQuery 資料移轉服務的第三方移轉作業，可讓您自動安排及管理外部資料來源 (例如 Salesforce CRM、Adobe Analytics，以及 Facebook Ads) 的週期性載入工作。

事前準備

建立第三方資料移轉作業之前：

  • 確認您已完成啟用 BigQuery 資料移轉服務的一切必要動作。
  • 建立 BigQuery 資料集來儲存資料。

  • 確認建立移轉作業的人員在 BigQuery 中具有以下必要權限：

    • 用於建立移轉作業的 bigquery.transfers.update 權限
    • 目標資料集的 bigquery.datasets.get 和 bigquery.datasets.update 權限

    bigquery.admin 這個預先定義的 IAM 角色具備 bigquery.transfers.update、bigquery.datasets.update 和 bigquery.datasets.get 權限。如要進一步瞭解 BigQuery 資料移轉服務中的身分與存取權管理角色，請參閱「存取權控管」一文。

  • 請參閱第三方資料來源的說明文件，以確保您已設定啟用移轉所需的任何權限。

  • 如果您想要為 Pub/Sub 設定移轉執行通知，就必須具有 pubsub.topics.setIamPolicy 權限。如果您只想設定電子郵件通知，則不需要擁有 Pub/Sub 權限。詳情請參閱 BigQuery 資料移轉服務執行通知一文。

限制

第三方移轉作業有以下限制：

  • 您必須使用Google Cloud 主控台建立或更新第三方移轉作業。
  • 目前無法使用 bq 指令列工具設定或更新第三方移轉作業。

設定第三方資料移轉作業

如何使用 Google Cloud 控制台建立第三方資料移轉作業：

  1. 前往 Google Cloud Marketplace。

    前往 Google Cloud Marketplace

  2. 按一下適當的第三方供應商。

  3. 在第三方供應商的說明文件頁面中，按一下 [Enroll] (註冊)。註冊過程可能需要一些時間才能完成。

  4. 註冊完成後，按一下 [Configure Transfer] (設定移轉作業)。

  5. 在「Create Transfer」(建立移轉作業) 頁面中：

    • 在「Source」(來源) 中，選擇適當的第三方資料來源。您可以按一下「探索資料來源」，查看 Google Cloud Marketplace 中的第三方供應商清單。

      移轉作業來源

    • 在「Display name」(顯示名稱) 部分，輸入移轉作業的名稱，例如 My Transfer。移轉作業名稱可以是任何容易辨識的值，方便您日後在必要時進行修改。

      移轉作業名稱

    • 在 [Schedule] (排程) 中保留預設值 [Start now] (立即開始)，或按一下 [Start at a set time] (於設定的時間開始)。

      • 針對「Repeats」(重複時間間隔)，請選擇多久執行一次移轉作業的選項。選項包括：

        • 每天 (預設)
        • Weekly (每週)
        • Monthly (每月)
        • Custom (自訂)
        • On-demand (隨選)

        如果您選擇 [Daily] (每天) 以外的選項，則有其他選項可供使用。舉例來說，如果選擇 [Weekly] (每週)，則會出現一個可供選擇星期幾的選項。

      • 針對「Start date and run time」(開始日期和執行時間)，請輸入開始移轉作業的日期和時間。如果您選擇 [Start now] (立即開始)，系統就會停用這個選項。

        移轉作業排程

    • 在 [Destination dataset] (目的地資料集) 選擇為了儲存資料而建立的資料集。

      移轉資料集

    • (選用) 在「Notification options」(通知選項) 區段中：

      • 按一下啟用電子郵件通知的切換開關。啟用這個選項之後，若移轉失敗，移轉作業管理員就會收到電子郵件通知。
      • 針對「Select a Cloud Pub/Sub topic」(選取 Cloud Pub/Sub 主題)，請選擇您的主題名稱，或是按一下 [Create a topic] (建立主題) 來建立主題。此選項會設定移轉作業的 Pub/Sub 執行通知。

  6. 按一下 [Connect Source] (與來源連線)。

  7. 出現提示時，按一下「接受」，即可授權 BigQuery 資料移轉服務連線到資料來源，以及在 BigQuery 中管理資料。

  8. 依照後續頁面中的說明，設定與外部資料來源的連線。

  9. 完成設定步驟之後，按一下 [Save] (儲存)。

排解第三方移轉設定問題

如果您無法順利設定移轉作業，請洽詢適當的第三方供應商。聯絡資訊可在 Google Cloud Marketplace 的移轉說明文件頁面中取得。

查詢資料

資料移轉至 BigQuery 時，系統會將資料寫入擷取時間分區資料表。詳情請參閱分區資料表簡介一文。

如果您要直接查詢資料表，而不要使用自動產生的檢視表，您必須在查詢中使用 _PARTITIONTIME 虛擬資料欄。詳情請參閱查詢分區資料表一文。

後續步驟

  • 如需 BigQuery 資料移轉服務的總覽，請參閱 BigQuery 資料移轉服務簡介。
  • 如要瞭解如何使用移轉作業，包括取得移轉設定、列出移轉設定以及查看移轉設定的執行記錄，請參閱使用移轉功能一文。