將 Google Play 資料載入 BigQuery

您可以使用 Google Play 適用的 BigQuery 資料移轉服務連接器，將資料從 Google Play 載入 BigQuery。透過 BigQuery 資料移轉服務，您可以安排週期性移轉工作，將 Google Play 的最新資料新增至 BigQuery。

支援的報表

Google Play 專用的 BigQuery 資料移轉服務支援下列月報表選項：

詳細報表

• 評論
• 財務報表

匯總報表

• 統計資料
• 獲取新客

如要瞭解 Google Play 報表如何轉換成 BigQuery 表格，請參閱 Google Play 報表轉換一文。

從 Google Play 轉移作業擷取資料

重新整理視窗

更新期是指資料移轉作業在執行時，擷取資料的天數。舉例來說，如果重新整理時間範圍為三天，且每天都會進行移轉，BigQuery 資料移轉服務就會從來源資料表擷取過去三天的所有資料。在這個範例中，每天進行移轉時，BigQuery 資料移轉服務會建立新的 BigQuery 目的地資料表分割區，並複製當天的來源資料表資料，然後自動觸發回填執行作業，以更新過去兩天的來源資料表資料。系統自動觸發的回填作業會覆寫或增量更新 BigQuery 目的地資料表，具體做法取決於 BigQuery 資料移轉服務連接器是否支援增量更新。

首次執行資料移轉時，資料移轉作業會擷取重新整理視窗內的所有可用來源資料。舉例來說，如果重新整理時間範圍為三天，且您是第一次執行資料移轉作業，BigQuery 資料移轉服務會擷取三天內的所有來源資料。

重新整理視窗會對應至 TransferConfig.data_refresh_window_days API 欄位。

如要擷取重新整理時間範圍外的資料 (例如歷來資料)，或從任何轉移中斷或缺漏中復原資料，您可以啟動或排定補充作業。

限制

• 資料移轉作業的最低排程頻率為每 24 小時一次。根據預設，移轉作業會在您建立移轉作業時啟動。不過，您可以在設定轉移作業時，設定轉移作業的開始時間。
• 在 Google Play 移轉期間，BigQuery 資料移轉服務不支援增量資料移轉。指定資料移轉日期後，系統會移轉該日期可用的所有資料。

事前準備

建立 Google Play 資料移轉作業前，請先：

• 確認您已完成啟用 BigQuery 資料移轉服務的一切必要動作。
• 建立 BigQuery 資料集以儲存 Google Play 資料。
• 尋找您的 Cloud Storage bucket：
  1. 在 Google Play 管理中心，按一下 file_download「下載報表」，然後選取「評論」、「統計資料」或「財務」。
  2. 如要複製 Cloud Storage 值區的 ID，請按一下「複製 Cloud Storage URI」content_copy。值區 ID 的開頭是 gs://。舉例來說，如果是評論報表，您的 ID 類似於以下內容：

     gs://pubsite_prod_rev_01234567890987654321/reviews

  3. 如要轉移 Google Play 資料，只需複製 gs:// 與 /reviews 之間的唯一 ID：

     pubsite_prod_rev_01234567890987654321

• 如要為 Pub/Sub 設定移轉作業執行通知，您必須擁有 pubsub.topics.setIamPolicy 權限。如果您只想設定電子郵件通知，則不需要擁有 Pub/Sub 權限。詳情請參閱 BigQuery 資料移轉服務執行通知一文。

所需權限

• BigQuery：確認建立資料移轉作業的人員在 BigQuery 中具有下列權限：

  • 建立資料移轉作業的 bigquery.transfers.update 權限
  • 目標資料集的 bigquery.datasets.get 和 bigquery.datasets.update 權限

  bigquery.admin 這個預先定義的 IAM 角色具備 bigquery.transfers.update、bigquery.datasets.update 和 bigquery.datasets.get 權限。如要進一步瞭解 BigQuery 資料移轉服務中的身分與存取權管理角色，請參閱存取權控管。

• Google Play：確認您在 Google Play 中具有以下權限：

  • 您在 Google Play 管理中心中必須具備報告存取權。

  該 Google Cloud 團隊「無法」代表您產生 Google Play 檔案或授予該檔案的存取權。如需存取 Google Play 檔案的說明，請參閱「與 Google Play 支援團隊聯絡」一文。

設定 Google Play 轉移作業

如要設定 Google Play 資料移轉作業，您必須擁有：

• Cloud Storage 值區。如需找出 Cloud Storage bucket 的步驟，請參閱「事前準備」一節。 Cloud Storage 值區的開頭是 pubsite_prod_rev。例如：pubsite_prod_rev_01234567890987654321。
• 資料表後置字串：在載入同一資料集的所有資料來源標上易記名稱。後置字串可用於防止不同的移轉作業寫入同一個資料表。所有將資料載入同個資料集的移轉工作，其資料表後置字串都不能重複，並且後置字串應盡量簡短，避免產生過於冗長的資料表名稱。

如要設定 Google Play 資料移轉作業，請按照下列步驟操作：

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source
--service_account_name=service_account_name

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"bucket":"pubsite_prod_rev_01234567890987654321","table_suffix":"MT"}' \
--data_source=play

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create a play transfer config.
public class CreatePlayTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String bucket = "gs://cloud-sample-data";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("bucket", Value.newBuilder().setStringValue(bucket).build());
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Play Config Name")
            .setDataSourceId("play")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createPlayTransfer(projectId, transferConfig);
  }

  public static void createPlayTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("play transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("play transfer was not created." + ex.toString());
    }
  }
}

排解 Google Play 轉移設定問題

如果您無法順利設定資料移轉作業，請參閱排解 BigQuery 資料移轉服務移轉設定問題。

查詢資料

資料移轉至 BigQuery 時，系統會將資料寫入擷取時間分區資料表。詳情請參閱分區資料表簡介一文。

如果您要直接查詢資料表，而不要使用自動產生的檢視表，您必須在查詢中使用 _PARTITIONTIME 虛擬資料欄。詳情請參閱查詢分區資料表一文。

定價

如要瞭解 Google Play 資料移轉定價，請參閱定價頁面。

資料移轉至 BigQuery 之後，即適用標準的 BigQuery 儲存空間和查詢計價方式。

後續步驟

• 如要瞭解 Google Play 報告如何移轉至 BigQuery，請參閱 Google Play 報告轉換一文。
• 如需 BigQuery 資料移轉服務的總覽，請參閱 BigQuery 資料移轉服務簡介。
• 如要瞭解如何使用移轉作業，包括取得移轉設定、列出移轉設定以及查看移轉設定的執行記錄，請參閱使用移轉功能一文。