Dalam tutorial ini, Anda akan mengimpor model TensorFlow ke set data BigQuery ML. Kemudian, Anda menggunakan kueri SQL untuk membuat prediksi dari model yang diimpor.
Tujuan
- Gunakan pernyataan
CREATE MODEL
untuk mengimpor model TensorFlow ke BigQuery ML. - Gunakan fungsi
ML.PREDICT
untuk membuat prediksi dengan model TensorFlow yang diimpor.
Biaya
Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, lihat Pembersihan.
Sebelum memulai
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
Pastikan BigQuery API diaktifkan.
- Pastikan Anda memiliki izin yang diperlukan untuk melakukan tugas dalam dokumen ini.
Peran yang diperlukan
Jika membuat project baru, Anda adalah pemilik project, dan Anda akan diberi semua izin Identity and Access Management (IAM) yang diperlukan untuk menyelesaikan tutorial ini.
Jika Anda menggunakan project yang sudah ada, peran
BigQuery Studio Admin (roles/bigquery.studioAdmin
) akan memberikan semua
izin yang diperlukan untuk menyelesaikan tutorial ini.
Make sure that you have the following role or roles on the project:
BigQuery Studio Admin (roles/bigquery.studioAdmin
).
Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Buka IAM - Pilih project.
- Klik Berikan akses.
-
Di kolom New principals, masukkan ID pengguna Anda. Ini biasanya adalah alamat email untuk Akun Google.
- Di daftar Pilih peran, pilih peran.
- Untuk memberikan peran tambahan, klik Tambahkan peran lain, lalu tambahkan setiap peran tambahan.
- Klik Simpan.
Untuk mengetahui informasi selengkapnya tentang izin IAM di BigQuery, lihat Izin BigQuery.
Membuat set data
Buat set data BigQuery untuk menyimpan model ML Anda.
Konsol
Di Konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, klik nama project Anda.
Klik
View actions > Create dataset.Di halaman Create dataset, lakukan hal berikut:
Untuk Dataset ID, masukkan
bqml_tutorial
.Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States).
Set data publik disimpan di
US
multi-region. Untuk mempermudah, simpan set data Anda di lokasi yang sama.- Jangan ubah setelan default yang tersisa, lalu klik Create dataset.
bq
Untuk membuat set data baru, gunakan perintah bq mk
dengan flag --location
. Untuk daftar lengkap parameter yang mungkin, lihat
referensi
perintah bq mk --dataset
.
Buat set data bernama
bqml_tutorial
dengan lokasi data ditetapkan keUS
dan deskripsiBigQuery ML tutorial dataset
:bq --location=US mk -d \ --description "BigQuery ML tutorial dataset." \ bqml_tutorial
Perintah ini menggunakan pintasan
-d
, bukan flag--dataset
. Jika Anda menghapus-d
dan--dataset
, perintah defaultnya adalah membuat set data.Pastikan set data telah dibuat:
bq ls
API
Panggil metode datasets.insert
dengan resource set data yang ditentukan.
{ "datasetReference": { "datasetId": "bqml_tutorial" } }
Mengimpor model TensorFlow
Langkah-langkah berikut menunjukkan cara mengimpor model dari Cloud Storage.
Jalur ke model adalah
gs://cloud-training-demos/txtclass/export/exporter/1549825580/*
. Nama model
yang diimpor adalah imported_tf_model
.
Perhatikan bahwa URI Cloud Storage diakhiri dengan karakter pengganti (*
).
Karakter ini menunjukkan bahwa BigQuery ML harus mengimpor aset apa pun
yang terkait dengan model tersebut.
Model yang diimpor adalah model pengklasifikasi teks TensorFlow yang memprediksi situs yang memublikasikan judul artikel tertentu.
Untuk mengimpor model TensorFlow ke set data Anda, ikuti langkah-langkah berikut.
Konsol
Di Konsol Google Cloud, buka halaman BigQuery.
Untuk Buat baru, klik Kueri SQL.
Di editor kueri, masukkan pernyataan
CREATE MODEL
ini, lalu klik Run.CREATE OR REPLACE MODEL `bqml_tutorial.imported_tf_model` OPTIONS (MODEL_TYPE='TENSORFLOW', MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')
Setelah operasi selesai, Anda akan melihat pesan seperti
Successfully created model named imported_tf_model
.Model baru Anda akan muncul di panel Resource. Model ditunjukkan dengan ikon model:
.
Jika Anda memilih model baru di panel Resources, informasi tentang model akan muncul di bawah Query editor.
bq
Impor model TensorFlow dari Cloud Storage dengan memasukkan pernyataan
CREATE MODEL
berikut.bq query --use_legacy_sql=false \ "CREATE OR REPLACE MODEL `bqml_tutorial.imported_tf_model` OPTIONS (MODEL_TYPE='TENSORFLOW', MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')"
Setelah Anda mengimpor model, pastikan model tersebut muncul dalam set data.
bq ls bqml_tutorial
Outputnya mirip dengan hal berikut ini:
tableId Type ------------------- ------- imported_tf_model MODEL
API
Masukkan tugas baru dan isi properti jobs#configuration.query dalam isi permintaan.
{ "query": "CREATE MODEL `PROJECT_ID:bqml_tutorial.imported_tf_model` OPTIONS(MODEL_TYPE='TENSORFLOW' MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')" }
Ganti PROJECT_ID
dengan nama project dan set data Anda.
DataFrame BigQuery
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan BigQuery DataFrames di panduan memulai BigQuery menggunakan BigQuery DataFrames. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi BigQuery DataFrames.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.
Impor model menggunakan objek TensorFlowModel
.
Untuk informasi selengkapnya tentang cara mengimpor model TensorFlow ke BigQuery ML, termasuk persyaratan format dan penyimpanan, lihat pernyataan CREATE MODEL
untuk mengimpor model TensorFlow.
Membuat prediksi dengan model TensorFlow yang diimpor
Setelah mengimpor model TensorFlow, Anda menggunakan
fungsi ML.PREDICT
untuk membuat prediksi dengan model.
Kueri berikut menggunakan imported_tf_model
untuk membuat prediksi menggunakan data
input dari tabel full
dalam set data publik hacker_news
. Dalam kueri, fungsi serving_input_fn
model TensorFlow menentukan bahwa model mengharapkan string input tunggal bernama input
. Subkueri menetapkan
alias input
ke kolom title
dalam pernyataan SELECT
subkueri.
Untuk membuat prediksi dengan model TensorFlow yang diimpor, ikuti langkah-langkah berikut.
Konsol
Di Konsol Google Cloud, buka halaman BigQuery.
Di bagian Buat baru, klik Kueri SQL.
Di editor kueri, masukkan kueri ini yang menggunakan fungsi
ML.PREDICT
.SELECT * FROM ML.PREDICT(MODEL `bqml_tutorial.imported_tf_model`, ( SELECT title AS input FROM bigquery-public-data.hacker_news.full ) )
Hasil kueri akan terlihat seperti ini:
bq
Masukkan perintah ini untuk menjalankan kueri yang menggunakan ML.PREDICT
.
bq query \ --use_legacy_sql=false \ 'SELECT * FROM ML.PREDICT( MODEL `bqml_tutorial.imported_tf_model`, (SELECT title AS input FROM `bigquery-public-data.hacker_news.full`))'
Hasilnya akan terlihat seperti ini:
+------------------------------------------------------------------------+----------------------------------------------------------------------------------+ | dense_1 | input | +------------------------------------------------------------------------+----------------------------------------------------------------------------------+ | ["0.6251608729362488","0.2989124357700348","0.07592673599720001"] | How Red Hat Decides Which Open Source Companies t... | | ["0.014276246540248394","0.972910463809967","0.01281337533146143"] | Ask HN: Toronto/GTA mastermind around side income for big corp. dev? | | ["0.9821603298187256","1.8601855117594823E-5","0.01782100833952427"] | Ask HN: What are good resources on strategy and decision making for your career? | | ["0.8611106276512146","0.06648492068052292","0.07240450382232666"] | Forget about promises, use harvests | +------------------------------------------------------------------------+----------------------------------------------------------------------------------+
API
Masukkan tugas baru dan isi properti jobs#configuration.query seperti dalam isi permintaan. Ganti project_id
dengan nama project Anda.
{ "query": "SELECT * FROM ML.PREDICT(MODEL `project_id.bqml_tutorial.imported_tf_model`, (SELECT * FROM input_data))" }
DataFrame BigQuery
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan BigQuery DataFrames di panduan memulai BigQuery menggunakan BigQuery DataFrames. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi BigQuery DataFrames.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.
Gunakan fungsi predict
untuk menjalankan model jarak jauh:
Hasilnya akan terlihat seperti ini:
Dalam hasil kueri, kolom dense_1
berisi array nilai
probabilitas, dan kolom input
berisi nilai string
yang sesuai dari tabel input. Setiap nilai elemen array mewakili
probabilitas bahwa string input yang sesuai adalah judul artikel
dari publikasi tertentu.
Pembersihan
Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.
Menghapus project
Konsol
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
gcloud
Delete a Google Cloud project:
gcloud projects delete PROJECT_ID
Menghapus resource satu per satu
Atau, hapus setiap resource yang digunakan dalam tutorial ini:
Opsional: Hapus set data.
Langkah berikutnya
- Untuk ringkasan BigQuery ML, lihat Pengantar BigQuery ML.
- Untuk mulai menggunakan BigQuery ML, lihat Membuat model machine learning di BigQuery ML.
- Untuk informasi selengkapnya tentang cara mengimpor model TensorFlow, lihat Pernyataan
CREATE MODEL
untuk mengimpor model TensorFlow. - Untuk informasi selengkapnya tentang penggunaan model, lihat referensi berikut:
- Untuk informasi selengkapnya tentang cara menggunakan BigQuery DataFrames API di notebook BigQuery, lihat: