安排 Comparison Shopping Service Center 轉移作業

本文件說明如何使用 BigQuery 資料移轉服務，安排及管理 CSS Center 報表資料的週期性載入工作。

事前準備

建立 CSS Center 資料移轉作業前，請先完成下列事項：

  • 啟用 BigQuery 資料移轉服務。
  • 建立 BigQuery 資料集來儲存 CSS Center 資料。
    • 針對資料集區域，我們支援在美國或歐盟使用預設選項「多區域」。
    • 如要在特定區域建立資料集，CSS Center 資料移轉功能僅支援以下區域：
    • us-east4 (Northern Virginia)、
    • asia-northeast1 (Tokyo)、
    • asia-southeast1 (Singapore)、
    • australia-southeast1 (Sydney)、
    • europe-north1 (Findland)、
    • europe-west2 (London)、
    • europe-west6 (Zurich)。
  • 你必須具備 CSS 網域 ID，才能建立 CSS Center 資料移轉作業。
  • 如果您想要為 Pub/Sub 設定移轉執行通知，就必須具有 pubsub.topics.setIamPolicy 權限。如果您只想設定電子郵件通知，則不需要擁有 Pub/Sub 權限。詳情請參閱 BigQuery 資料移轉服務執行通知。

所需權限

請確認建立資料移轉作業的使用者具備下列必要權限。

適用於 BigQuery：

如要取得建立移轉作業所需的權限，請向管理員要求授予您 BigQuery 管理員 (roles/bigquery.admin) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

這個預先定義的角色包含建立轉移作業所需的權限。如要查看確切的必要權限，請展開「必要權限」部分：

所需權限

如要建立移轉作業，必須具備下列權限：

  • bigquery.transfers.update 使用者
  • bigquery.datasets.get 在目標資料集上
  • bigquery.datasets.update 在目標資料集上

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

CSS Center 相關說明：

你必須有權存取在轉移設定中使用的 CSS Center 帳戶。

設定 CSS Center 轉移作業

如何建立 CSS Center 報表的資料移轉作業：

主控台

  1. 前往 Google Cloud 控制台的「資料移轉」頁面。

    前往「資料移轉」

  2. 按一下 「建立移轉作業」。

  3. 在「Create Transfer」(建立轉移作業) 頁面：

    • 在「Source type」(來源類型) 部分，「Source」(來源) 請選取「Google CSS Center」。

    • 在「Transfer config name」(轉移設定名稱) 部分，「Display name」(顯示名稱) 請輸入資料移轉作業的名稱，例如 My Transfer。移轉作業名稱可以是任何能讓您辨識移轉作業的值，方便您日後在必要時進行修改。

      移轉作業名稱

    • 您無法設定「Schedule options」(排程選項) 部分，CSS Center 資料移轉作業的排程為每 24 小時執行一次。

    • 在「Destination settings」(目的地設定) 部分，「Destination dataset」(目的地資料集) 請選取您為了儲存資料而建立的資料集。

    • 在「Data source details」(資料來源詳細資料) 部分，「CSS ID」請輸入您的 CSS 網域 ID。

    • 選取要移轉的報表，詳情請參閱支援的報表相關說明。

    • (選用步驟) 在「Notification options」(通知選項) 部分執行下列操作：

      • 按一下啟用電子郵件通知的切換開關。當您啟用此選項時，移轉管理員會在移轉作業失敗時收到電子郵件通知。
      • 在「Select a Pub/Sub topic」(選取 Pub/Sub 主題) 選取主題名稱，或是點選「Create a topic」(建立主題)。此選項會設定資料移轉作業的 Pub/Sub 執行通知。

    CSS Center 轉移資料。

  4. 按一下 [儲存]。

bq

輸入 bq mk 指令並提供移轉建立標記 - --transfer_config。還需加上以下旗標：

  • --data_source
  • --target_dataset
  • --display_name
  • --params

您還可以提供 --project_id 標記來指定特定專案。如果您沒有指定 --project_id，系統會使用預設專案。

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

其中：

  • project_id 是您的專案 ID。
  • dataset 是資料移轉設定的目標資料集。
  • name 是資料移轉設定的顯示名稱。移轉作業名稱可以是任意值，日後需要修改移轉作業時，能夠據此識別即可。
  • parameters 含有已建立資料移轉設定的 JSON 格式參數。例如：--params='{"param":"param_value"}'。
    • css_id：CSS 網域 ID。
    • export_products：是否要轉移產品和產品問題資料。即使您未指定 export_products 參數，系統也會預設加入這個參數。建議您明確加入這個參數，並將其設為 true。
  • data_source 是資料來源：css_center。

舉例來說，下列指令會使用 CSS 網域 ID 1234 和目標資料集 mydataset，建立名為 My Transfer 的 CSS Center 資料移轉作業。資料移轉作業會在預設專案中建立。

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

首次執行指令時，您會收到類似以下的訊息：

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

請按照訊息中的操作說明進行，在指令列中貼上驗證碼。

API

請使用 projects.locations.transferConfigs.create 方法，並提供 TransferConfig 資源的執行個體。