將 YouTube 頻道資料載入 BigQuery

您可以使用 YouTube 頻道專用的 BigQuery 資料移轉服務連接器，將資料從 YouTube 頻道載入 BigQuery。您可以使用 BigQuery 資料移轉服務，安排週期性移轉工作，將 YouTube 頻道的最新資料新增至 BigQuery。

支援的報表

• 頻道報表 (會自動載入 BigQuery)

YouTube 頻道報表適用的 BigQuery 資料移轉服務支援下列報表選項：

要瞭解 YouTube 頻道報表如何轉換成 BigQuery 資料表和檢視表，請參閱 YouTube 頻道報表轉換一文。

從 YouTube 頻道移轉作業擷取資料

重新整理視窗

更新期是指資料移轉作業在執行時，擷取資料的天數。舉例來說，如果重新整理時間範圍為三天，且每天都會進行移轉，BigQuery 資料移轉服務就會從來源資料表擷取過去三天的所有資料。在這個範例中，每天進行移轉時，BigQuery 資料移轉服務會建立新的 BigQuery 目的地資料表分割區，並複製當天的來源資料表資料，然後自動觸發回填執行作業，以更新過去兩天的來源資料表資料。系統自動觸發的回填作業會覆寫或增量更新 BigQuery 目的地資料表，具體做法取決於 BigQuery 資料移轉服務連接器是否支援增量更新。

首次執行資料移轉時，資料移轉作業會擷取重新整理視窗內的所有可用來源資料。舉例來說，如果重新整理時間範圍為三天，且您是第一次執行資料移轉作業，BigQuery 資料移轉服務會擷取三天內的所有來源資料。

重新整理視窗會對應至 TransferConfig.data_refresh_window_days API 欄位。

如要擷取重新整理時間範圍外的資料 (例如歷來資料)，或從任何轉移中斷或缺漏中復原資料，您可以啟動或排定補充作業。

限制

• 每個報表支援的檔案大小上限為 1710 GB。
• 資料移轉作業的最低排程頻率為每 24 小時一次。根據預設，資料移轉作業會在您建立移轉作業時啟動。不過，您可以在設定轉移作業時，設定資料轉移開始時間。
• 在 YouTube 內容擁有者移轉作業期間，BigQuery 資料移轉服務不支援增量資料移轉。指定資料移轉日期後，系統會移轉該日期可用的所有資料。
• 如果使用聯合身分登入，就無法建立 YouTube 頻道資料移轉作業。你只能使用 Google 帳戶登入時，才能建立 YouTube 頻道轉移作業。

事前準備

建立 YouTube 頻道資料移轉作業前，請先完成下列事項：

• 確認您已完成啟用 BigQuery 資料移轉服務的一切必要動作。
• 建立 BigQuery 資料集來儲存 YouTube 資料。

所需權限

如要建立 YouTube 頻道資料移轉作業，您需要下列項目：

• YouTube：YouTube 頻道的擁有權

• BigQuery：BigQuery 中的下列 Identity and Access Management (IAM) 權限：

  • bigquery.transfers.update 建立轉移作業。
  • 目標資料集的 bigquery.datasets.get 和 bigquery.datasets.update。
  • 如果您想要為 Pub/Sub 設定移轉作業執行通知，您必須擁有pubsub.topics.setIamPolicy 權限。如果您只想設定電子郵件通知，則不需要擁有 Pub/Sub 權限。詳情請參閱 BigQuery 資料移轉服務執行通知一文。

bigquery.admin 預先定義的 IAM 角色包含建立 YouTube 頻道資料移轉作業所需的所有 BigQuery 權限。如要進一步瞭解 BigQuery 中的 IAM 角色，請參閱「預先定義的角色與權限」一文。

設定 YouTube 頻道轉移作業

如要設定 YouTube 頻道資料移轉作業，您需要下列項目：

• 資料表後置字串：您在設定資料移轉作業時為頻道提供的易記名稱。後置字串會附加在工作 ID 後方，形成資料表名稱，例如 reportTypeId_suffix。後置字串可用於防止不同的移轉作業寫入同一個資料表。所有將資料載入同個資料集的移轉工作，其資料表後置字串都不能重複，且後置字串應盡量簡短，避免產生過於冗長的資料表名稱。

如果您使用 YouTube Reporting API，並且已經有一些報表工作，BigQuery 資料移轉服務會載入您的報表資料。如果沒有現有的報表工作，設定移轉作業時，系統會自動啟用 YouTube 報表工作。

如要建立 YouTube 頻道資料移轉作業，請按照以下步驟操作：

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_channel

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube channel transfer config.
public class CreateYoutubeChannelTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Channel Config Name")
            .setDataSourceId("youtube_channel")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeChannelTransfer(projectId, transferConfig);
  }

  public static void createYoutubeChannelTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Youtube channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube channel transfer was not created." + ex.toString());
    }
  }
}

查詢資料

資料移轉至 BigQuery 時，系統會將資料寫入擷取時間分區資料表。詳情請參閱分區資料表簡介一文。

如果您要直接查詢資料表，而不要使用自動產生的檢視表，您必須在查詢中使用 _PARTITIONTIME 虛擬資料欄。詳情請參閱查詢分區資料表一文。

排解 YouTube 頻道轉移設定問題

如果您無法順利設定資料移轉，請參閱排解移轉設定問題中的 YouTube 移轉問題一節。