Menggunakan data raster

Dokumen ini menjelaskan cara menggabungkan data raster dan vektor menggunakan fungsi ST_REGIONSTATS untuk melakukan analisis geospasial di BigQuery.

Ringkasan

Raster adalah petak piksel dua dimensi, yang masing-masing diberi satu atau beberapa nilai yang disebut band. Misalnya, setiap piksel dapat sesuai dengan satu kilometer persegi tertentu di permukaan bumi dan memiliki band untuk suhu rata-rata dan curah hujan rata-rata. Data raster mencakup citra satelit dan data berbasis petak berkelanjutan lainnya seperti prakiraan cuaca dan penutupan lahan. Banyak format gambar umum, seperti file PNG atau JPEG, diformat sebagai data raster.

Data raster sering kali kontras dengan data vektor, yang datanya dijelaskan oleh garis atau kurva, bukan petak persegi panjang tetap. Misalnya, Anda dapat menggunakan jenis data GEOGRAPHY di BigQuery untuk mendeskripsikan batas negara, kota, atau wilayah lainnya.

Data raster dan vektor geospasial sering digabungkan menggunakan operasi statistik zonal, yang menghitung agregat semua nilai raster dalam wilayah vektor tertentu. Misalnya, Anda mungkin ingin menghitung hal berikut:

  • Kualitas udara rata-rata di setiap county di negara bagian Anda.
  • Potensi tenaga surya untuk kumpulan poligon bangunan.
  • Risiko kebakaran yang diringkas di sepanjang koridor saluran listrik di area hutan.

BigQuery unggul dalam memproses data vektor, dan Google Earth Engine unggul dalam memproses data raster. Anda dapat menggunakan fungsi geografi ST_REGIONSTATS untuk menggabungkan data raster menggunakan Earth Engine dengan data vektor yang disimpan di BigQuery.

Sebelum memulai

  1. Untuk menggunakan fungsi ST_REGIONSTATS dalam kueri,aktifkan Earth Engine API.

    Mengaktifkan API

  2. Opsional: Untuk berlangganan dan menggunakan data yang dipublikasikan ke berbagi BigQuery (sebelumnya Analytics Hub) menggunakan fungsi ST_REGIONSTATS, aktifkan Analytics Hub API.

    Mengaktifkan API

Izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk memanggil fungsi ST_REGIONSTATS, minta administrator untuk memberi Anda peran IAM berikut di project Anda:

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk memanggil fungsi ST_REGIONSTATS. Untuk melihat izin yang pasti diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk memanggil fungsi ST_REGIONSTATS:

  • earthengine.computations.create
  • serviceusage.services.use
  • bigquery.datasets.create

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Menemukan data raster

Parameter raster_id dalam fungsi ST_REGIONSTATS adalah string yang menentukan sumber data raster Anda. Bagian berikut menjelaskan cara menemukan dan memformat ID raster.

berbagi tabel gambar

Anda dapat menggunakan fitur berbagi untuk menemukan dan mengakses set data raster di BigQuery. Untuk menggunakan fitur berbagi, Anda harus mengaktifkan Analytics Hub API dan memastikan bahwa Anda memiliki izin yang diperlukan untuk melihat dan berlangganan listingan.

Google Earth Engine memublikasikan set data yang tersedia untuk publik dalam berbagi yang berisi data raster. Untuk berlangganan set data Earth Engine dengan data raster, ikuti langkah-langkah berikut:

  1. Buka halaman Analytics Hub.

    Buka Analytics Hub

  2. Klik Telusuri listingan.

  3. Di kolom Telusuri listingan, masukkan "Google Earth Engine".

  4. Klik set data yang ingin Anda jadikan langganan.

  5. Klik Langganan.

  6. Opsional: Perbarui kolom Project atau Linked dataset name.

  7. Klik Simpan. Set data tertaut akan ditambahkan ke project Anda.

Set data berisi tabel, yang terkadang disebut tabel gambar, yang menyimpan metadata untuk kumpulan gambar raster mengikuti spesifikasi item STAC. Tabel gambar analog dengan koleksi gambar Earth Engine (ImageCollection).

Setiap baris dalam tabel sesuai dengan satu gambar raster. ID raster untuk setiap gambar disimpan di kolom assets.image.href. Untuk menemukan gambar tertentu, Anda dapat memfilter menurut properti gambar di kolom properties. Anda dapat menemukan informasi tentang band di deskripsi tabel.

Misalnya, set data ERA5-Land memberikan statistik variabel iklim harian dan tersedia untuk umum melalui berbagi. Tabel climate berisi beberapa ID raster. Kueri berikut memfilter tabel gambar menggunakan kolom properties.start_datetime untuk mendapatkan ID raster untuk gambar yang sesuai dengan 1 Januari 2025 dan menghitung suhu rata-rata untuk setiap negara menggunakan band temperature_2m:

WITH SimplifiedCountries AS (
  SELECT
    ST_SIMPLIFY(geometry, 10000) AS simplified_geometry,
    names.primary AS name
  FROM
    `bigquery-public-data.overture_maps.division_area`
  WHERE
    subtype = 'country'
)
SELECT
  sc.simplified_geometry AS geometry,
  sc.name,
  ST_REGIONSTATS(
    sc.simplified_geometry,
    (SELECT assets.image.href
     FROM `LINKED_DATASET_NAME.climate`
     WHERE  properties.start_datetime = '2025-01-01 00:00:00'),
    'temperature_2m'
  ).mean - 273.15 AS mean_temperature
FROM
  SimplifiedCountries AS sc
ORDER BY
  mean_temperature DESC;

GeoTIFF Cloud Storage

GeoTIFF adalah format file umum untuk menyimpan data raster geospasial. Fungsi ST_REGIONSTATS mendukung data raster yang disimpan dalam format GeoTIFF di bucket Cloud Storage yang terletak di region US atau us-central1. Berikan Cloud Storage URI sebagai ID raster, seperti gs://bucket/folder/raster.tif.

Aset gambar Earth Engine

Fungsi ST_REGIONSTATS mendukung penerusan jalur aset gambar Earth Engine untuk argumen raster_id. Data raster Earth Engine tersedia sebagai gambar individual atau koleksi gambar. Untuk menemukan raster ID untuk gambar, ikuti langkah-langkah berikut:

  1. Telusuri katalog data Earth Engine untuk menemukan set data yang Anda minati.

  2. Untuk membuka halaman deskripsi entri tersebut, klik nama set data. Cuplikan Earth Engine menjelaskan satu gambar atau kumpulan gambar.

    Jika cuplikan Earth Engine berbentuk ee.Image('IMAGE_PATH'), ID rasternya adalah 'ee://IMAGE_PATH'.

    Jika cuplikan Earth Engine berbentuk ee.ImageCollection('IMAGE_COLLECTION_PATH'), Anda dapat menggunakan Editor Kode Earth Engine untuk memfilter ImageCollection ke satu gambar. Gunakan metode ee.Image.get('system:id') untuk mencetak nilai IMAGE_PATH untuk gambar tersebut ke konsol. ID raster adalah 'ee://IMAGE_PATH'.

Bobot piksel

Anda dapat menentukan bobot, yang terkadang disebut sebagai nilai mask, untuk parameter include dalam fungsi ST_REGIONSTATS yang menentukan jumlah bobot setiap piksel dalam penghitungan. Nilai bobot harus berkisar antara 0 hingga 1. Bobot di luar rentang ini ditetapkan ke batas terdekat, yaitu 0 atau 1.

Piksel dianggap valid jika memiliki bobot lebih besar dari 0. Bobot 0 menunjukkan piksel tidak valid. Piksel yang tidak valid biasanya mewakili data yang tidak ada atau tidak dapat diandalkan, seperti area yang dikaburkan oleh awan, anomali sensor, error pemrosesan, atau lokasi di luar batas yang ditentukan.

Jika Anda tidak menentukan bobot, setiap piksel akan otomatis diberi bobot berdasarkan proporsi piksel yang berada dalam geometri, sehingga memungkinkan penyertaan proporsional dalam statistik zona.

Jika piksel yang berpotongan sebagian memiliki bobot dari argumen include ke ST_REGIONSTATS, BigQuery akan menggunakan minimum bobot tersebut dan fraksi piksel yang berpotongan dengan region.

Nilai bobot tidak memiliki presisi yang sama dengan nilai FLOAT64. Dalam praktiknya, nilai sebenarnya mungkin berbeda dari nilai yang digunakan dalam komputasi hingga 1/256 (sekitar 0,4%).

Anda dapat memberikan ekspresi menggunakan sintaksis ekspresi gambar Earth Engine dalam argumen include untuk memberi bobot piksel secara dinamis berdasarkan kriteria tertentu dalam band raster. Misalnya, ekspresi berikut membatasi penghitungan ke piksel dengan band probability melebihi 70%:

include => 'probability > 0.7'

Jika set data menyertakan band faktor bobot, Anda dapat menggunakannya dengan sintaksis berikut:

include => 'weight_factor_band_name'

Ukuran piksel dan skala analisis

Gambar raster geospasial adalah petak piksel yang sesuai dengan beberapa lokasi di permukaan Bumi. Ukuran piksel raster, yang terkadang disebut skala, adalah ukuran nominal dari satu tepi piksel dalam sistem referensi koordinat petak. Misalnya, raster dengan resolusi 10 meter memiliki piksel berukuran 10 meter kali 10 meter. Ukuran piksel asli yang dilaporkan dapat bervariasi secara dramatis antarset data, dari kurang dari 1 meter hingga lebih dari 20 kilometer.

Saat menggunakan fungsi ST_REGIONSTATS untuk menghitung statistik zonal, ukuran piksel data raster adalah pertimbangan yang penting. Misalnya, menggabungkan data raster resolusi tinggi di seluruh wilayah negara dapat memerlukan komputasi yang intensif dan tidak perlu terperinci. Sebaliknya, menggabungkan data resolusi rendah di seluruh wilayah, seperti persil kota, mungkin tidak memberikan detail yang memadai.

Untuk mendapatkan hasil yang bermakna dan efisien dari analisis Anda, sebaiknya pilih ukuran piksel yang sesuai dengan ukuran poligon dan tujuan analisis Anda. Anda dapat menemukan ukuran piksel untuk setiap set data raster di bagian deskripsi tabel gambar dalam berbagi.

Mengubah ukuran piksel akan mengubah jumlah piksel yang berpotongan dengan geografi tertentu, yang memengaruhi hasil dan interpretasinya. Sebaiknya jangan ubah ukuran piksel untuk analisis produksi. Namun, jika Anda membuat prototipe kueri, meningkatkan ukuran piksel dapat mengurangi runtime dan biaya kueri, terutama untuk data beresolusi tinggi.

Untuk mengubah ukuran piksel, tetapkan scale dalam argumen options ke fungsi ST_REGIONSTATS. Misalnya, untuk menghitung statistik di atas piksel 1.000 meter, gunakan options => JSON '{"scale":1000}', yang memberi tahu Earth Engine untuk mengambil sampel ulang gambar pada skala yang diminta. Untuk mempelajari lebih lanjut cara Earth Engine menangani penskalaan ulang, lihat Skala dalam dokumentasi Google Earth Engine.

Penagihan

Saat Anda menjalankan kueri, penggunaan fungsi ST_REGIONSTATS ditagih secara terpisah dari kueri lainnya karena Earth Engine menghitung hasil panggilan fungsi. Anda ditagih untuk penggunaan ini dalam jam slot berdasarkan SKU Layanan BigQuery, terlepas dari apakah Anda menggunakan penagihan on-demand atau pemesanan. Untuk melihat jumlah yang ditagih untuk panggilan BigQuery ke Earth Engine, lihat laporan penagihan Anda dan gunakan label untuk memfilter menurut kunci label goog-bq-feature-type, dengan nilai EARTH_ENGINE.

Faktor biaya

Faktor-faktor berikut memengaruhi penggunaan komputasi saat Anda menjalankan fungsi ST_REGIONSTATS:

  • Jumlah baris input.
  • Gambar raster yang Anda gunakan. Beberapa raster adalah komposit yang dibuat dari koleksi gambar sumber di katalog data Earth Engine, dan resource komputasi untuk menghasilkan hasil komposit bervariasi.
  • Resolusi gambar.
  • Ukuran dan kompleksitas geografi input, jumlah piksel yang menyilang geografi, dan jumlah ubin gambar dan byte yang dibaca oleh Earth Engine.

  • Lokasi geografi input di Bumi relatif terhadap gambar sumber serta proyeksi dan resolusi gambar.

    • Proyeksi gambar dapat memutarbalikkan piksel, terutama piksel pada lintang tinggi atau jauh di luar area cakupan yang diinginkan gambar.
    • Untuk raster komposit, jumlah gambar sumber yang berpotongan dengan geografis input dapat bervariasi secara regional dan dari waktu ke waktu. Misalnya, beberapa satelit menghasilkan lebih banyak gambar pada lintang rendah atau tinggi, bergantung pada orbit dan parameter pengumpulan datanya, atau dapat menghapus gambar bergantung pada perubahan kondisi atmosfer.

  • Penggunaan formula dalam argumen include atau band_name, dan jumlah band yang terlibat.

  • Penyimpanan dalam cache hasil sebelumnya.

Kontrol biaya

Untuk mengontrol biaya yang terkait dengan fungsi ST_REGIONSTATS, Anda dapat menyesuaikan kuota yang mengontrol jumlah waktu slot yang diizinkan untuk digunakan oleh fungsi. Saat Anda melihat kuota, filter daftar Metrik ke earthengine.googleapis.com/bigquery_slot_usage_time untuk melihat kuota Earth Engine yang terkait dengan panggilan dari BigQuery. Untuk informasi selengkapnya, baca tentang kuota fungsi raster BigQuery dalam dokumentasi Google Earth Engine.

Batasan

Kueri yang memanggil fungsi ST_REGIONSTATS harus berjalan di salah satu region berikut:

  • US
  • us-central1
  • us-central2

Langkah berikutnya