將 Display & Video 360 資料載入 BigQuery

您可以使用 Display & Video 360 連接器的 BigQuery 資料移轉服務，將資料從 Display & Video 360 載入至 BigQuery。您可以使用 BigQuery 資料移轉服務，安排週期性移轉工作，將最新資料從 Display & Video 360 新增至 BigQuery。

受支援的報表

Display & Video 360 專用的 BigQuery 資料移轉服務支援下列報表選項：

如要瞭解 Display & Video 360 報表如何轉換成 BigQuery 表格和檢視表，請參閱「Display & Video 360 資料轉換」一文。

Display & Video 360 會保留資料轉移檔案最多 60 天。

報表選項 支援
重複頻率

每天，時間是資料移轉作業最初的建立時間 (預設)

您可以設定時間。
重新整理視窗

過去 2 天

無法設定
補充作業時間長度上限

最近 60 天

支援的設定資料

除了報表資料之外，BigQuery 資料移轉服務也會從 Display & Video 360 移轉下列設定資料。系統會從 Display & Video 360 API 第 3 版擷取設定資料。

如要進一步瞭解各類型設定資料，請參閱下列連結：

從 Display & Video 360 移轉作業擷取資料

將資料從 Display & Video 360 轉移至 BigQuery 時，系統會將資料載入以日期分區的 BigQuery 資料表。資料載入的資料表分區會對應至資料來源的日期。如果您在同一天安排多個移轉作業，BigQuery 資料移轉服務會使用最新資料覆寫該特定日期的分區。在同一天內執行多次轉移作業或回填作業，不會導致資料重複，且不會影響其他日期的分區。

重新整理視窗

更新期是指資料移轉作業擷取資料的天數。舉例來說，如果重新整理時間範圍為三天，且每天都會進行一次轉移作業，BigQuery 資料移轉服務就會從來源資料表中擷取過去三天的所有資料。在這個範例中，當每日移轉作業發生時，BigQuery 資料移轉服務會建立新的 BigQuery 目的地資料表區隔，並使用當天來源資料表資料的複本，然後自動觸發回填執行作業，以便更新 BigQuery 目的地資料表區隔，並使用過去兩天的來源資料表資料。自動觸發的回填執行作業會覆寫或逐步更新 BigQuery 目的地資料表，這取決於 BigQuery 資料移轉服務連接器是否支援逐步更新。

首次執行資料移轉時，資料移轉會擷取更新期間內可用的所有來源資料。舉例來說，如果重新整理時間窗為三天，且您第一次執行資料移轉作業，BigQuery 資料移轉服務會在三天內擷取所有來源資料。

重新整理視窗會對應至 TransferConfig.data_refresh_window_days API 欄位。

如要擷取刷新時間範圍以外的資料 (例如歷來資料)，或是從任何轉移中斷或缺漏中復原資料，您可以啟動或排定補充作業。

事前準備

建立 Display & Video 360 資料轉移作業前，請先詳閱下列必要條件和相關資訊。

必要條件

  • 確認您已完成啟用 BigQuery 資料移轉服務的一切必要動作。
  • 建立 BigQuery 資料集來儲存 Display & Video 360 資料。
  • 請確認您已取得 Display & Video 360 合作夥伴 ID 或廣告主 ID。合作夥伴 ID 是階層中的父項。
  • 請確認您已取得讀取權限，才能透過 Display and Video API 存取合作夥伴或廣告主資料。

  • 確認貴機構可存取 Display & Video 360 資料移轉 v2 (Display & Video 360 DTv2) 檔案。這些檔案會由 Display & Video 360 團隊傳送至 Cloud Storage 值區。您是否可以要求存取 Display & Video 360 DTv2 檔案，取決於您是否與 Display & Video 360 簽訂直接合約。無論是哪種情況，都可能需要額外付費。

    • 如果您與 Display & Video 360 簽訂合約，請與 Display & Video 360 支援團隊聯絡，設定 Display & Video 360 DTv2 檔案。
    • 如果您與 Display & Video 360 沒有合約，請與代理商聯絡，取得 Display & Video 360 DTv2 檔案的存取權。
    • 完成這項步驟後，您會收到下列任一 Cloud Storage 值區名稱，具體取決於您是為合作夥伴或廣告客戶進行設定：
      • gs://dcdt_-dbm_partnerPARTNER_ID
      • gs://dcdt_-dbm_advertiserADVERTISER_ID

  • 如要為 Pub/Sub 設定移轉作業執行通知，您必須具有 pubsub.topics.setIamPolicy 權限。詳情請參閱「BigQuery 資料移轉服務執行通知」。

查看 Display & Video 360 ID

如要擷取 Display & Video 360 ID，請前往 Google Cloud 主控台的 Cloud Storage「值區」頁面，檢查 Display & Video 360 資料移轉 Cloud Storage 值區中的檔案。Display & Video 360 ID 可用來在您提供的 Cloud Storage 值區中比對檔案，ID 會嵌入檔案名稱中，而非 Cloud Storage 值區名稱。例如：

  • 在名為 dbm_partner123_activity_* 的檔案中，ID 為 123。
  • 在名為 dbm_advertiser567_activity_* 的檔案中，ID 為 567。

尋找檔案名稱前置字串

在某些情況下，Cloud Storage 值區中的檔案可能包含由 Google Marketing Platform 服務團隊為您設定的非標準自訂檔案名稱。例如：

在名為 dbm_partner123456custom_activity_* 的檔案中，前置字串為 dbm_partner123456custom。

如需檔案名稱前置字串的相關協助，請與 Display & Video 360 支援團隊聯絡。

設定 Display & Video 360 資料移轉作業

選取下列選項之一：

主控台

  1. 前往 Google Cloud 控制台的「資料移轉」頁面。

    前往「資料移轉」

  2. 按一下 「建立移轉作業」。

  3. 在「Create transfer」(建立轉移作業)頁面執行下列操作：

    • 在「Source type」(來源類型) 專區，「Source」(來源) 請選擇「Display & Video 360」。
    • 在「Transfer config name」(轉移設定名稱) 專區，「Display name」(顯示名稱) 請輸入資料移轉作業的名稱。移轉作業名稱可以是任何值，能讓您辨識移轉作業，方便您日後在必要時進行修改。

  4. 在「Schedule options」(排程選項) 專區：

    • 選取「Start now」(立即開始) 或「Start at set time」(在所設時間開始執行)，並提供開始日期和執行時間。
    • 「Repeats」請選擇您要多久移轉一次。如果選取「Days」(天)，請按照世界標準時間提供有效的值。

  5. 在「Destination settings」(目的地設定) 部分的「Destination dataset」(目的地資料集) 選單，請選取您為了儲存資料而建立的資料集。

  6. 在「Data source details」(資料來源詳細資料) 區段：

    • 在「DV360 DTV2 Cloud Storage bucket」欄位中，輸入含有 Display & Video 360 DTv2 檔案的 Cloud Storage bucket。如果您需要設定這個 bucket，請與 Display & Video 360 支援團隊聯絡。
    • 在「DV360 Partner/Advertiser ID」(DV360 合作夥伴/廣告主 ID) 欄位中，輸入合作夥伴 ID 或廣告主 ID。
    • (選用) 在「Notification options」(通知選項) 專區：
      • 按一下啟用電子郵件通知的切換開關。當您啟用此選項時，移轉管理員會在移轉作業失敗時收到電子郵件通知。
      • 點選切換按鈕，啟用 Pub/Sub 通知。在「Select a Cloud Pub/Sub topic」(選取 Cloud Pub/Sub 主題) 選取主題名稱，或是點選「Create a topic」(建立主題)。這個選項會針對移轉作業設定 Pub/Sub 執行通知。

  7. 按一下 [儲存]。

bq

輸入 bq mk 指令並提供移轉建立標記 - --transfer_config。必須加上下列旗標：

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

其中：

  • PROJECT_ID：您的專案 ID。
  • DATASET：資料移轉設定的目標資料集。
  • NAME：資料移轉設定的顯示名稱。移轉作業名稱可以是任意值，日後需要修改移轉作業時，能夠據此識別即可。
  • PARAMETERS：已建立資料移轉設定的 JSON 格式參數。例如：--params='{"param":"param_value"}'。如果是 Display & Video 360 轉移作業，則必須使用 bucket 和 displayvideo_id 參數。file_name_prefix 參數為選用項目，僅用於少見的自訂檔案名稱。
  • DATA_SOURCE：資料來源 — displayvideo。

舉例來說，下列指令會使用 Display & Video 360 ID 123456、Cloud Storage 值區 dcdt_-dbm_partner123456 和目標資料集 mydataset，建立名為 My Transfer 的 Display & Video 360 資料移轉作業。

資料移轉作業會在預設專案中建立：

  bq mk --transfer_config \
  --target_dataset=mydataset \
  --display_name='My Transfer' \
  --params='{"bucket":"dcdt_-dbm_partner123456","displayvideo_id": "123456","file_name_prefix":"YYY"}' \
  --data_source=displayvideo

執行指令後，您會收到如下的訊息：

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

請按照訊息中的操作說明進行，在指令列中貼上驗證碼。

API

請使用 projects.locations.transferConfigs.create 方法，並提供 TransferConfig 資源的例項。

查詢資料

資料移轉至 BigQuery 時，系統會將資料寫入擷取時間分區資料表。詳情請參閱分區資料表簡介。

建議您查詢自動產生的檢視表，而非直接查詢資料表。不過，如果您想直接查詢資料表，則必須在查詢中使用 _PARTITIONTIME 虛擬資料欄。詳情請參閱「查詢分區資料表」。