Mengekspor data Penagihan Cloud ke BigQuery

Ekspor Penagihan Cloud ke BigQuery memungkinkan Anda mengekspor data penagihan Google Cloud yang mendetail (seperti data penggunaan, perkiraan biaya, dan harga) secara otomatis sepanjang hari ke set data BigQuery yang Anda tentukan. Selanjutnya, Anda dapat mengakses data Penagihan Cloud dari BigQuery untuk memperoleh analisis yang mendetail, atau menggunakan alat seperti Looker Studio untuk memvisualisasikan data Anda. Anda juga dapat menggunakan metode ekspor ini untuk mengekspor data ke file JSON.

Ketepatan waktu adalah hal penting. Untuk mengakses kumpulan data penagihan yang lebih komprehensif untuk kebutuhan analisis Anda, sebaiknya aktifkan ekspor data Penagihan Cloud ke BigQuery bersamaan dengan saat Anda membuat akun Penagihan Cloud.Google Cloud

Lihat batasan yang dapat memengaruhi ekspor data penagihan Anda ke BigQuery.

Langkah berikutnya

Mengelola dan melaporkan biaya secara efektif merupakan bagian penting dalam pengelolaan keuangan, baik Anda menjalankan bisnis bernilai miliaran dolar atau anggaran rumah tangga kecil. Membuat keputusan berdasarkan data tentang biaya dan penggunaanGoogle Cloud dimulai dengan mengumpulkan data yang Anda perlukan sebagai dasar pengambilan keputusan tersebut.

Lihat panduan di bagian ini untuk mempelajari tugas-tugas berikut:

Menyiapkan ekspor data Penagihan Cloud ke BigQuery.

Untuk mulai mengumpulkan data Penagihan Cloud, Anda harus mengaktifkan ekspor data Penagihan Cloud ke BigQuery.

Panduan penyiapan ini memberikan rekomendasi praktik terbaik dan petunjuk mendetail untuk mengaktifkan ekspor data Penagihan Cloud ke BigQuery. Berikut adalah jenis data Penagihan Cloud yang dapat Anda aktifkan untuk ekspor:

  • Data biaya penggunaan standar - Berisi informasi penggunaan biaya akun Penagihan Cloud standar, seperti ID akun, tanggal invoice, layanan, SKU, project, label, lokasi, biaya, penggunaan, kredit, penyesuaian, dan mata uang.

    Gunakan Ekspor penggunaan standar untuk menganalisis tren yang luas dalam data biaya Anda.

  • Data biaya penggunaan mendetail - Berisi informasi penggunaan biaya akun Penagihan Cloud yang mendetail. Mencakup semua yang ada dalam data biaya penggunaan standar ditambah data biaya tingkat resource, seperti virtual machine atau SSD yang menghasilkan penggunaan layanan.

    Gunakan Ekspor penggunaan mendetail untuk menganalisis biaya di level resource, dan mengidentifikasi resource tertentu yang mungkin meningkatkan biaya. Ekspor mendetail mencakup informasi tingkat resource untuk produk berikut:

    • Compute Engine
    • Google Kubernetes Engine (GKE)
    • Cloud Run Functions
    • Cloud Run

    Untuk melihat informasi tentang GKE, aktifkan alokasi biaya dalam ekspor mendetail.

    Tinjau skema data biaya penggunaan mendetail untuk mendapatkan rekomendasi dan batasan lebih lanjut.

  • (Khusus reseller) Ekspor data penagihan ulang - Berisi informasi penggunaan biaya akun Penagihan Cloud mendetail di semua Akun Penagihan Reseller Anda yang dianotasi dengan atribut khusus Partner.

    Gunakan ekspor data Penagihan ulang untuk mengelola operasi penagihan bagi Google Cloud pelanggan Anda. Pelajari lebih lanjut Konfigurasi penetapan ulang harga yang memungkinkan Anda menghasilkan biaya pelanggan akhir.

  • Data harga - Berisi informasi harga akun Penagihan Cloud, seperti ID akun, layanan, SKU, produk, metadata geografis, unit harga, mata uang, agregasi, dan tingkat.

    Anda juga bisa mendapatkan data harga akun Penagihan Cloud dengan cara berikut:

Menggunakan BigQuery untuk menyimpan dan membuat kueri data Penagihan Cloud akan dikenakan biaya minimal. Untuk informasi lebih lanjut, lihat Biaya penggunaan.

Lihat batasan yang dapat memengaruhi ekspor data penagihan Anda ke BigQuery.

Memahami tabel data Penagihan Cloud

Setelah Anda mengaktifkan ekspor Penagihan Cloud ke BigQuery, tabel data Penagihan Cloud akan otomatis dibuat di set data BigQuery.

Untuk memahami skema data konten yang diekspor, lihat informasi referensi untuk konten data Penagihan Cloud yang diekspor ke setiap tabel dalam set data BigQuery.

Menemukan contoh kueri untuk data Penagihan Cloud

Untuk mendapatkan tips dan panduan menggunakan SQL guna menjalankan kueri pada data Penagihan Cloud Anda, lihat contoh kueri.

Di halaman contoh kueri, Anda akan menemukan berbagai contoh SQL, termasuk berikut ini:

Biaya penggunaan

Menggunakan BigQuery untuk menyimpan dan menganalisis data penggunaan dan biaya penagihan biasanya dikenai biaya minimal.

  • Pemuatan data ke dataset yang ditentukan tidak dikenakan biaya; tindakan ini memanfaatkan kumpulan sumber daya bersama milik BigQuery untuk memuat data dalam batch.
  • Saat mengekspor dan menganalisis data Penagihan Cloud dengan BigQuery, biaya yang terkait bergantung pada jumlah data yang Anda streaming, simpan, dan buat kueri.
  • Banyak operasi tabel berpartisi tersedia gratis, termasuk memuat data ke dalam partisi, menyalin partisi, dan mengekspor data dari partisi. Meskipun gratis, operasi ini tunduk pada kuota dan batas BigQuery.

Secara umum, membuat kueri tentang Ekspor biaya terperinci mungkin lebih mahal daripada membuat kueri tentang Ekspor standar. Untuk mengoptimalkan biaya, sebaiknya gunakan Ekspor standar untuk menganalisis tren biaya Anda, dan gunakan Ekspor detail untuk melacak biaya di tingkat resource, dan mengidentifikasi resource spesifik yang mungkin mendorong biaya Anda.

Untuk mengetahui perkiraan biayanya, lihat Memperkirakan biaya penyimpanan dan kueri.

Untuk mengetahui informasi selengkapnya tentang praktik terbaik dalam mengoptimalkan biaya di BigQuery, lihat Mengontrol biaya di BigQuery.

Untuk mengetahui harga selengkapnya, baca harga BigQuery.

Batasan

Pengeksporan data Penagihan Cloud ke BigQuery tunduk pada batasan berikut.

  • Skema tabel untuk salah satu ekspor data Penagihan Cloud dapat berubah

    Saat skema tabel berubah, seperti saat kolom baru ditambahkan ke skema tabel BigQuery untuk ekspor data Penagihan Cloud, kueri apa pun yang mereferensikan secara langsung kolom yang diekspor mungkin gagal. Untuk mengatasinya, sebaiknya buat tampilan BigQuery yang membuat kueri tabel yang diekspor dan menyajikan informasi dalam struktur yang Anda inginkan.

    Kemudian, Anda dapat menyesuaikan kueri yang mengisi laporan dan dasbor untuk mengambil data dari tampilan, bukan tabel yang diekspor. Dengan menggunakan tampilan, Anda dapat menstandardisasi struktur data yang digunakan dalam kueri dan dasbor.

    Tampilan yang Anda buat harus menormalisasi data sehingga semua tabel yang relevan menampilkan skema yang sama untuk kueri Anda. Tindakan ini melindungi Anda dari perubahan skema di masa mendatang, sehingga Anda dapat mengubah kueri yang mendasari tampilan dalam kasus saat skema data berubah.

  • Lokasi set data BigQuery yang didukung untuk digunakan dengan data Penagihan Cloud

    Set data BigQuery dikonfigurasi untuk menggunakan lokasi, baik lokasi multi-region (Uni Eropa atau Amerika Serikat), atau lokasi region. Lokasi set data ditetapkan pada waktu pembuatan. Setelah set data dibuat, lokasinya tidak dapat diubah.

    Ekspor data Penagihan Cloud mendukung semua lokasi multi-region (EU atau AS), tetapi hanya sebagian dari lokasi region. Saat mengonfigurasi setelan ekspor Penagihan Cloud, jika Anda membuat atau memilih set data yang dikonfigurasi untuk menggunakan lokasi region yang tidak didukung, saat mencoba menyimpan setelan ekspor, Anda akan melihat error Region set data tidak valid.

    Tabel berikut mencantumkan lokasi multi-region dan lokasi region yang didukung untuk digunakan dengan set data BigQuery yang berisi data Penagihan Cloud.

    Amerika Asia Pasifik Eropa

    Multi-region: AS

    Regions:

    • northamerica-northeast1 (Montréal)
    • southamerica-east1 (São Paulo)
    • us-central1 (Iowa)
    • us-east1 (South Carolina)
    • us-east4 (Northern Virginia)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Regions:

    • asia-east1 (Taiwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tokyo)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Seoul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapura)
    • asia-southeast2 (Jakarta)
    • australia-southeast1 (Sydney)

    Multi-region: EU

    Regions:

    • europe-central2 (Warsawa)
    • europe-north1 (Finlandia)
    • europe-west1 (Belgia)
    • europe-west2 (London)
    • europe-west3 (Frankfurt)
    • europe-west4 (Belanda)
    • europe-west6 (Zurich)

  • Jika Anda mengedit setelan ekspor untuk memperbarui project atau set data tempat data penagihan yang diekspor disimpan, data penagihan yang diekspor sebelumnya tidak diisi ulang ke set data baru Anda. Untuk menyertakan informasi penagihan yang diekspor sebelum peralihan, Anda harus menggabungkan set data baru dengan set data sebelumnya secara manual. Untuk mengetahui informasi selengkapnya, lihat Operasi penggabungan.

  • Untuk set data BigQuery yang berisi data biaya penggunaan standar atau data biaya penggunaan mendetail, jenis lokasi yang Anda konfigurasikan di set data memengaruhi waktu saat data penagihan Google Cloud diekspor ke set data:

    • Jika Anda mengonfigurasi set data untuk menggunakan lokasi multi-region (EU atau AS), set data tersebut akan menyertakan Google Cloud data penagihan yang timbul dari awal bulan sebelumnya sejak Anda pertama kali mengaktifkan ekspor. Artinya, data penagihanGoogle Cloud ditambahkan secara retroaktif untuk bulan berjalan dan sebelumnya. Untuk pengisian ulang awal data yang diekspor, mungkin perlu waktu hingga lima hari agar data Penagihan Cloud retroaktif Anda selesai diekspor sebelum Anda mulai melihat data penggunaan saat ini. Pengisian data secara retroaktif ini hanya terjadi saat pertama kali Anda mengaktifkan ekspor. Jika Anda mengedit setelan ekspor untuk mengubah project atau set data tempat data penagihan yang diekspor disimpan, atau Anda mengaktifkan kembali ekspor, maka data penagihan tidak ditambahkan secara retroaktif.

    • Jika set data Anda dikonfigurasi untuk menggunakan lokasi region yang didukung, data biaya penggunaan standar dan data biaya penggunaan mendetail hanya mencerminkan Google Cloud data penagihan yang dikenakan mulai dari tanggal Anda mengaktifkan ekspor Penagihan Cloud, dan setelahnya. Artinya, Google Cloud data penagihan tidak ditambahkan secara retroaktif untuk lokasi set data non-multi-region, sehingga Anda tidak akan melihat data Penagihan Cloud dari sebelum mengaktifkan ekspor.

    • Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

  • Set data BigQuery Anda yang berisi data harga hanya mengumpulkan Google Cloud data penagihan yang dikenakan dari tanggal Anda menyiapkan ekspor Penagihan Cloud, dan setelahnya. Artinya, _Google Cloud data harga tidak ditambahkan secara retroaktif, sehingga Anda tidak akan melihat data harga Penagihan Cloud sebelum mengaktifkan ekspor. Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

  • Saat mengekspor data biaya penggunaan mendetail, ekspor mendetail akan otomatis menyertakan informasi tingkat resource tentang Compute Engine. Untuk melihat perincian biaya cluster Google Kubernetes Engine (GKE) dalam ekspor data mendetail, Anda juga harus mengaktifkan alokasi biaya untuk GKE.

  • Enkripsi set data: Kunci enkripsi yang dikelola pelanggan (CMEK) tidak didukung saat mengekspor data penagihan ke BigQuery. Jika Anda mengaktifkan enkripsi CMEK untuk set data data penagihan, jenis enkripsi ini mencegah Penagihan Cloud menulis data penagihan ke tabel yang sesuai dalam set data tersebut. Sebagai gantinya, Anda harus mengaktifkan set data untuk menggunakan Google-owned and Google-managed encryption key.

  • Jika ingin menggunakan keamanan tingkat baris BigQuery pada tabel yang berisi data yang diekspor, Anda harus memberikan akses penuh ke tabel menggunakan filter TRUE BigQuery kepada akun layanan ekspor Penagihan Cloud billing-export-bigquery@system.gserviceaccount.com. Perintah berikut memberikan akses ke akun layanan Penagihan Cloud:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • Tag level resource mungkin memerlukan waktu hingga satu jam untuk diterapkan ke BigQuery Export. Jika tag ditambahkan atau dihapus dalam waktu satu jam, atau jika resource telah ada selama kurang dari satu jam, resource tersebut mungkin tidak muncul di ekspor.

    Tag tingkat resource tersedia untuk resource berikut:

    • Instance Compute Engine
    • Instance Spanner
    • Layanan Cloud Run
    • Repositori Artifact Registry

  • Jika Anda menggunakan Kontrol Layanan VPC, ekspor BigQuery Anda mungkin akan diblokir. Untuk mengatasinya, Anda harus mengecualikan VPC secara manual.

Berikutnya
Menyiapkan ekspor data penagihan ke BigQuery