Memuat data Google Analytics 4 ke BigQuery

Anda dapat memuat data dari Google Analytics 4 ke BigQuery menggunakan konektor BigQuery Data Transfer Service untuk Google Analytics 4. Dengan BigQuery Data Transfer Service, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari Google Analytics 4 ke BigQuery.

Laporan yang didukung

BigQuery Data Transfer Service untuk Google Analytics 4 mendukung opsi pelaporan berikut:

Opsi pelaporan Dukungan
Frekuensi pengulangan

Harian, pada saat transfer data pertama kali dibuat (default)

Anda dapat mengonfigurasi waktu pada hari itu.
Jendela pembaruan

4 hari terakhir (default)

Dapat dikonfigurasi hingga 30 hari
Durasi pengisian ulang maksimum

Tak terbatas

Meskipun konektor Google Analytics tidak memiliki durasi pengisian ulang maksimum, Anda mungkin mengalami error saat mengisi ulang data historis karena setelan retensi data Google Analytics.

Untuk mengetahui informasi tentang cara laporan Google Analytics 4 diubah menjadi tabel dan tampilan BigQuery, lihat Transformasi data Google Analytics 4.

Dalam transfer Google Analytics 4, BigQuery Data Transfer Service mentransfer laporan berikut ke BigQuery:

  • Audiences
  • Demographic details
  • Ecommerce purchases
  • Events
  • Landing page
  • Pages and screens
  • Promotions
  • Tech details
  • Traffic Acquisition
  • User Acquisition

Untuk mengetahui informasi selengkapnya tentang laporan standar yang tersedia untuk Google Analytics, lihat Laporan standar.

Penyerapan data dari transfer Google Analytics 4

Saat Anda mentransfer data dari Google Analytics 4 ke BigQuery, data tersebut dimuat ke dalam tabel BigQuery yang dipartisi berdasarkan tanggal. Partisi tabel tempat data dimuat sesuai dengan tanggal dari sumber data. Jika Anda menjadwalkan beberapa transfer untuk tanggal yang sama, BigQuery Data Transfer Service akan menimpa partisi untuk tanggal tertentu tersebut dengan data terbaru. Beberapa transfer di hari yang sama atau menjalankan pengisian ulang tidak menghasilkan data duplikat, dan partisi untuk tanggal lain tidak akan terpengaruh.

Memuat ulang jendela

Periode refresh adalah jumlah hari saat transfer data mengambil data ketika transfer data terjadi. Misalnya, jika periode pembaruan adalah tiga hari dan transfer harian terjadi, BigQuery Data Transfer Service akan mengambil semua data dari tabel sumber Anda selama tiga hari terakhir. Dalam contoh ini, saat transfer harian terjadi, BigQuery Data Transfer Service akan membuat partisi tabel tujuan BigQuery baru dengan salinan data tabel sumber Anda dari hari ini, lalu otomatis memicu proses pengisian ulang untuk memperbarui partisi tabel tujuan BigQuery dengan data tabel sumber Anda dari dua hari sebelumnya. Proses pengisian ulang yang dipicu secara otomatis akan menggantikan atau memperbarui tabel tujuan BigQuery secara inkremental, bergantung pada apakah pembaruan inkremental didukung di konektor BigQuery Data Transfer Service atau tidak.

Saat Anda menjalankan transfer data untuk pertama kalinya, transfer data akan mengambil semua data sumber yang tersedia dalam periode pembaruan. Misalnya, jika periode pembaruan adalah tiga hari dan Anda menjalankan transfer data untuk pertama kalinya, BigQuery Data Transfer Service akan mengambil semua data sumber dalam waktu tiga hari.

Periode pembaruan dipetakan ke kolom API TransferConfig.data_refresh_window_days.

Untuk mengambil data di luar jangka waktu refresh, seperti data historis, atau untuk memulihkan data dari gangguan atau kesenjangan transfer, Anda dapat memulai atau menjadwalkan operasi pengisian ulang.

Sebelum memulai

Tinjau prasyarat dan informasi berikut sebelum Anda membuat transfer data Google Analytics 4.

Prasyarat

  • Di Google Analytics 4, akun pengguna atau akun layanan harus memiliki akses pelihat ke ID properti yang digunakan dalam konfigurasi transfer.
  • Pastikan Anda telah menyelesaikan semua tindakan yang diperlukan untuk mengaktifkan BigQuery Data Transfer Service.
  • Buat set data BigQuery untuk menyimpan data Google Analytics 4 Anda.
  • Jika ingin menyiapkan notifikasi operasi transfer untuk Pub/Sub, pastikan Anda memiliki izin Identity and Access Management (IAM) pubsub.topics.setIamPolicy. Jika Anda hanya menyiapkan notifikasi email, izin Pub/Sub tidak diperlukan. Untuk mengetahui informasi selengkapnya, lihat Notifikasi operasi BigQuery Data Transfer Service.

Peran BigQuery yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat transfer, minta administrator Anda untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer:

  • bigquery.transfers.update pada pengguna
  • bigquery.datasets.update pada set data target

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Menyiapkan transfer data Google Analytics 4

Pilih salah satu opsi berikut:

Konsol

  1. Buka halaman Transfer data di konsol Google Cloud .

    Buka Data transfers

  2. Klik Create transfer.

  3. Di halaman Buat transfer, lakukan tindakan berikut:

    • Di bagian Source type, untuk Source, pilih Google Analytics 4.

  4. Di bagian Data source details:

    • Di kolom ID Properti, masukkan ID properti.
    • Opsional: Di kolom Filter Tabel, masukkan daftar tabel yang dipisahkan koma untuk disertakan, misalnya, Audiences, Events. Awali daftar ini dengan karakter - untuk mengecualikan tabel tertentu, misalnya -Audiences, Events. Semua tabel disertakan secara default.
    • Opsional: Di kolom Periode pemuatan ulang, masukkan durasi untuk periode pemuatan ulang dalam hari. Periode pemuatan ulang memiliki nilai default empat hari, dan dapat berupa nilai hingga 30 hari.

  5. Di bagian Destination settings, di menu Destination dataset, pilih set data yang Anda buat untuk menyimpan data.

  6. Di bagian Transfer config name, untuk Display name, masukkan nama untuk transfer data. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.

  7. Di bagian Schedule options:

    • Pilih Mulai sekarang atau Mulai pada waktu yang ditetapkan, lalu masukkan tanggal mulai dan waktu proses.
    • Untuk Ulangi, pilih opsi frekuensi transfer data dijalankan. Jika Anda memilih Days, berikan waktu yang valid dalam UTC.

  8. Opsional: Di menu Service Account, pilih akun layanan dari akun layanan yang terkait dengan Google Cloud project Anda. Akun layanan yang dipilih harus memiliki peran yang diperlukan untuk menjalankan transfer data ini.

    Jika Anda login dengan identitas gabungan, maka akun layanan diperlukan untuk membuat transfer data. Jika Anda login dengan Akun Google, akun layanan untuk transfer data bersifat opsional. Untuk mengetahui informasi selengkapnya tentang cara menggunakan akun layanan dengan transfer data, lihat Menggunakan akun layanan.

  9. Opsional: Di bagian Notification options:

    • Klik tombol untuk mengaktifkan notifikasi email. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
    • Klik tombol untuk mengaktifkan notifikasi Pub/Sub. Untuk Select a Cloud Pub/Sub topic, pilih nama topik Anda atau klik Create a topic. Opsi ini mengonfigurasi notifikasi operasi Pub/Sub untuk transfer Anda.

  10. Opsional: Jika Anda menggunakan CMEK, di bagian Advanced options, pilih Customer-managed key. Daftar CMEK yang tersedia akan muncul dan dapat Anda pilih. Untuk mengetahui informasi tentang cara kerja CMEK dengan BigQuery Data Transfer Service, lihat Menentukan kunci enkripsi dengan transfer.

  11. Klik Simpan.

bq

Masukkan perintah bq mk dan berikan flag pembuatan transfer — --transfer_config. Flag berikut diperlukan:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

Dengan:

  • PROJECT_ID: project ID Anda. Jika --project_id tidak ditentukan, maka project default akan digunakan.
  • DATASET: set data target untuk konfigurasi transfer data.
  • NAME: nama tampilan untuk konfigurasi transfer data. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
  • PARAMETERS: parameter untuk konfigurasi transfer data yang dibuat dalam format JSON, misalnya, --params='{"param":"param_value"}'. Untuk transfer Google Analytics 4, parameter property_id diperlukan.
  • DATA_SOURCE: sumber data — ga4.

Misalnya, perintah berikut akan membuat transfer data Google Analytics 4 bernama My Transfer menggunakan ID properti 468039345, dengan set data target mydataset.

Transfer data dibuat di project default:

  bq mk --transfer_config
  --project_id=your_project
  --target_dataset=mydataset
  --display_name=My Transfer
  --params='{"property_id":"468039345"}'
  --data_source=ga4

API

Gunakan metode projects.locations.transferConfigs.create dan berikan instance resource TransferConfig.

Batasan

  • Total gabungan untuk metrik sesi dan pengguna unik mungkin tidak akurat dan mungkin tidak cocok dengan nilai di Google Analytics.

Menentukan kunci enkripsi dengan transfer

Anda dapat menentukan kunci enkripsi yang dikelola pelanggan (CMEK) guna mengenkripsi data untuk proses transfer. Anda dapat menggunakan CMEK untuk mendukung transfer dari Google Analytics 4.

Saat Anda menentukan CMEK dengan transfer, BigQuery Data Transfer Service akan menerapkan CMEK ke cache perantara data yang diserap dalam disk, sehingga seluruh alur kerja transfer data mematuhi CMEK.

Anda tidak dapat memperbarui transfer yang sudah ada untuk menambahkan CMEK jika transfer tersebut awalnya tidak dibuat dengan CMEK. Misalnya, Anda tidak dapat mengubah tabel tujuan yang awalnya dienkripsi secara default menjadi kini dienkripsi dengan CMEK. Sebaliknya, Anda juga tidak dapat mengubah tabel tujuan yang dienkripsi CMEK agar memiliki jenis enkripsi yang berbeda.

Anda dapat memperbarui CMEK untuk transfer jika konfigurasi transfer awalnya dibuat dengan enkripsi CMEK. Saat Anda memperbarui CMEK untuk konfigurasi transfer, BigQuery Data Transfer Service akan menyebarkan CMEK ke tabel tujuan pada proses transfer berikutnya. Di sini, BigQuery Data Transfer Service akan mengganti CMEK yang sudah usang dengan CMEK baru selama proses transfer. Untuk informasi selengkapnya, lihat Memperbarui transfer.

Anda juga dapat menggunakan kunci default project. Saat Anda menentukan kunci default project dengan transfer, BigQuery Data Transfer Service akan menggunakan kunci default project sebagai kunci default untuk setiap konfigurasi transfer baru.

Harga

Tidak ada biaya untuk menjalankan transfer Google Analytics 4.

Setelah data ditransfer ke BigQuery, harga standar penyimpanan dan kueri berlaku.

Kuota

Transfer Google Analytics 4 tunduk pada kuota properti Analytics sebagaimana diberlakukan oleh Google Analytics 4. Untuk mengizinkan lebih banyak kuota per properti, Anda dapat mengupgrade ke Google Analytics 360.