Google アド マネージャーの転送

Google アド マネージャー用 BigQuery Data Transfer Service コネクタを使用すると、Google アド マネージャー（旧称: DoubleClick for Publishers）のレポートデータの定期的な読み込みジョブを自動的に作成し、管理できます。

サポートされるレポート

Google アド マネージャー用 BigQuery Data Transfer Service コネクタでは、次のレポート オプションがサポートされています。

• Data Transfer（Google アド マネージャー DT）ファイル
• Data Transfer フィールド
• BigQuery Data Transfer Service で提供されるマッチテーブル。これらは自動的に作成、更新されます。
• PQL で取得したマッチテーブル
• CompanyService からのマッチテーブル（v201908）
• OrderService からのマッチテーブル（v201908）
• PlacementService からのマッチテーブル（v201908）

Google アド マネージャー レポートがどのように BigQuery のテーブルとビューに変換されるかについては、Google アド マネージャー レポートの変換をご覧ください。

Google アド マネージャーの転送からのデータの取り込み

更新ウィンドウ

更新ウィンドウとは、データ転送が行われたときにデータ転送でデータが取得される日数です。たとえば、更新ウィンドウが 3 日であり、毎日転送が行われる場合、BigQuery Data Transfer Service は過去 3 日間のソーステーブルからすべてのデータを取得します。この例では、毎日転送が発生すると、BigQuery Data Transfer Service は、当日のソーステーブルのデータのコピーを含む新しい BigQuery 宛先テーブル パーティションを作成し、バックフィル実行を自動的にトリガーして、過去 2 日間のソーステーブルのデータで BigQuery 宛先テーブル パーティションを更新します。自動トリガーされたバックフィル実行は、BigQuery Data Transfer Service コネクタで増分更新がサポートされているかどうかに応じて、BigQuery の宛先テーブルを上書きするか、増分更新します。

データ転送を初めて実行する際に、更新ウィンドウ内で利用可能なすべてのソースデータを取得します。たとえば、更新ウィンドウが 3 日であり、データ転送を初めて実行する場合は、BigQuery Data Transfer Service によって 3 日以内のすべてのソースデータが取得されます。

更新ウィンドウは TransferConfig.data_refresh_window_days API フィールドにマッピングされます。

更新ウィンドウの期間外のデータ（過去のデータなど）を取得する場合や、転送の停止やギャップからデータを復元する場合は、バックフィル実行を開始またはスケジュールできます。

増分アップデート

Google アド マネージャーの Data Transfer（Google アド マネージャー DT）ファイルから作成されたテーブルは、増分更新できます。Google アド マネージャーは、Google アド マネージャー DT ファイルを Cloud Storage バケットに追加します。転送実行では、BigQuery テーブルにすでに転送されているファイルを再読み込みすることなく、新しい Google アド マネージャー DT ファイルを Cloud Storage バケットから BigQuery テーブルに増分読み込みします。

たとえば、Google アド マネージャーが午前 1 時に file1 をバケットに追加し、午前 2 時に file2 を追加します。転送実行は午前 3 時 30 分に開始され、file1 と file2 が BigQuery に読み込まれます。Google アド マネージャーは、午前 5 時に file3 を追加し、午前 6 時に file4 を追加します。2 回目の転送実行は午前 7 時 30 分に開始され、4 つのファイルをすべて読み込んでテーブルを上書きするのではなく、file3 と file4 を BigQuery に追加します。

始める前に

Google アド マネージャーのデータ転送を作成する前に、以下のことを行います。

• BigQuery Data Transfer Service を有効にするために必要なすべての操作が完了していることを確認します。
• Google アド マネージャー データを保存する BigQuery データセットを作成します。

• Google アド マネージャーの Data Transfer（Google アド マネージャー DT）ファイルに組織がアクセスできることを確認します。これらのファイルは、Google アド マネージャー チームによって Cloud Storage バケットに配信されています。Google アド マネージャー DT ファイルにアクセスするには、アド マネージャー Data Transfer レポートを確認してください。Google アド マネージャー チームの追加料金が適用される場合があります。

  この手順を完了すると、次のような Google Cloud Storage バケットを受け取ります。

      gdfp-12345678
    

  Google Cloud チームには、ユーザーに代わって Google アド マネージャー DT ファイルを生成したり、このようなファイルに対するアクセス権を付与したりする権限はありません。Google アド マネージャー DT ファイルへのアクセスについては、Google アド マネージャー サポートにお問い合わせください。

• Google アド マネージャー ネットワークへの API アクセスを有効化します。
• データ転送通知を設定する場合は、Pub/Sub の pubsub.topics.setIamPolicy 権限が必要です。メール通知を設定するだけの場合、Pub/Sub の権限は必要ありません。詳細については、BigQuery Data Transfer Service の実行通知をご覧ください。

必要な権限

• BigQuery: データ転送を作成するユーザーに、BigQuery で次の権限が付与されていることを確認します。

  • データ転送を作成する bigquery.transfers.update 権限
  • bigquery.datasets.get と bigquery.datasets.update の両方（抽出先データセットに対する権限）

  bigquery.transfers.update 権限、bigquery.datasets.update 権限、bigquery.datasets.get 権限は IAM 事前定義ロール bigquery.admin に含まれています。BigQuery Data Transfer Service での IAM ロールの詳細については、アクセス制御をご覧ください。

• Google アド マネージャー: Cloud Storage に保存されている Google アド マネージャー DT ファイルに対する読み取りアクセス権。Google アド マネージャー DT ファイルの権限は Google アド マネージャー チームによって管理されます。また、Google アド マネージャー DT ファイルの他に、データ転送を作成するユーザーを Google アド マネージャー ネットワークに追加して、さまざまなマッチテーブルを作成するために必要なすべてのエンティティ（広告申込情報、注文、広告ユニットなど）への読み取りアクセス権を付与する必要があります。データ転送を認証したアド マネージャー ユーザーを、アド マネージャーのすべてのエンティティ チームに追加することで、この操作を行うことができます。

Google アド マネージャーの転送を設定する

Google アド マネージャーの BigQuery Data Transfer を設定するには、次が必要です。

• Cloud Storage バケット: 始める前にで説明されている Google アド マネージャー DT ファイルの Cloud Storage バケット URI。バケット名は次のようになります。

  gdfp-12345678

• ネットワーク コード: ネットワークにログインすると、URL に Google アド マネージャーのネットワーク コードが表示されます。たとえば、URL https://admanager.google.com/2032576#delivery の場合は、2032576 がネットワーク コードです。詳細については、Google アド マネージャーのスタートガイドをご覧ください。

Google アド マネージャーの BigQuery Data Transfer Service データ転送を作成するには:

bq mk --transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source \
--service_account_name=service_account_name

bq mk --transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"bucket": "gdfp-12345678","network_code": "12345678"}' \
--data_source=dfp_dt

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create a ad manager(formerly DFP) transfer config
public class CreateAdManagerTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String bucket = "gs://cloud-sample-data";
    // the network_code can only be digits with length 1 to 15
    String networkCode = "12345678";
    Map<String, Value> params = new HashMap<>();
    params.put("bucket", Value.newBuilder().setStringValue(bucket).build());
    params.put("network_code", Value.newBuilder().setStringValue(networkCode).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Ad Manager Config Name")
            .setDataSourceId("dfp_dt")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createAdManagerTransfer(projectId, transferConfig);
  }

  public static void createAdManagerTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Ad manager transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Ad manager transfer was not created." + ex.toString());
    }
  }
}

Google アド マネージャーの転送設定のトラブルシューティング

データ転送の設定で問題が発生した場合は、転送構成のトラブルシューティングにある Google アド マネージャーの転送に関する問題をご覧ください。

データに対するクエリを実行する

データが BigQuery に転送されると、取り込み時間パーティション分割テーブルにそのデータが書き込まれます。詳細については、パーティション分割テーブルの概要をご覧ください。

自動生成されたビューを使用せずに、テーブルでクエリを直接実行する場合は、そのクエリで _PARTITIONTIME 疑似列を使用する必要があります。詳細については、パーティション分割テーブルのクエリをご覧ください。

Google アド マネージャーのサンプルクエリ

次の Google アド マネージャーのサンプルクエリを使用すると、転送されたデータを分析できます。このクエリは、Looker Studio などの可視化ツールでも使用できます。これらのクエリは、BigQuery で Google アド マネージャー データのクエリを開始する場合に役立つように用意されています。これらのレポートでできることに関するその他の質問については、Google アド マネージャーの技術担当者にお問い合わせください。

次の各クエリで、dataset などの変数は実際の値で置き換えてください。たとえば、network_code は Google アド マネージャーのネットワーク コードで置き換えます。

都市別のインプレッション数とユニーク ユーザー数

次の SQL サンプルクエリは、過去 30 日間のインプレッション数とユニーク ユーザー数を都市別に分析します。

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  City,
  _DATA_DATE AS Date,
  count(*) AS imps,
  count(distinct UserId) AS uniq_users
FROM `dataset.NetworkImpressionsnetwork_code`
WHERE
  _DATA_DATE BETWEEN start_date AND end_date
GROUP BY City, Date

広告申込情報タイプ別のインプレッション数とユニーク ユーザー数

次の SQL サンプルクエリは、過去 30 日間のインプレッション数とユニーク ユーザー数を広告申込情報タイプ別に分析します。

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  MT.LineItemType AS LineItemType,
  DT._DATA_DATE AS Date,
  count(*) AS imps,
  count(distinct UserId) AS uniq_users
FROM `dataset.NetworkImpressionsnetwork_code` AS DT
LEFT JOIN `dataset.MatchTableLineItem_network_code` AS MT
ON
  DT.LineItemId = MT.Id
WHERE
  DT._DATA_DATE BETWEEN start_date AND end_date
GROUP BY LineItemType, Date
ORDER BY Date desc, imps desc

広告ユニット別のインプレッション数

次の SQL サンプルクエリは、過去 30 日間のインプレッション数を広告ユニット別に分析します。

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  MT.AdUnitCode AS AdUnitCode,
  DT.DATA_DATE AS Date,
  count(*) AS imps
FROM `dataset.NetworkImpressionsnetwork_code` AS DT
LEFT JOIN `dataset.MatchTableLineItem_network_code` AS MT
ON
  DT.AdUnitId = MT.Id
WHERE
  DT._DATA_DATE BETWEEN start_date AND end_date
GROUP BY AdUnitCode, Date
ORDER BY Date desc, imps desc

広告申込情報別のインプレッション数

次の SQL サンプルクエリは、過去 30 日間のインプレッション数を広告申込情報別に分析します。

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  MT.Name AS LineItemName,
  DT._DATA_DATE AS Date,
  count(*) AS imps
FROM `dataset.NetworkImpressionsnetwork_code` AS DT
LEFT JOIN `dataset.MatchTableLineItem_network_code` AS MT
ON
  DT.LineItemId = MT.Id
WHERE
  DT._DATA_DATE BETWEEN start_date AND end_date
GROUP BY LineItemName, Date
ORDER BY Date desc, imps desc