Halaman ini menjelaskan cara menelusuri dan mengelola resource Cloud SQL menggunakan katalog universal BigQuery.
Katalog universal adalah platform untuk menyimpan, mengelola, dan mengakses metadata Anda. Katalog universal mengambil metadata berikut dari instance, database, tabel, kolom, dan tampilan Cloud SQL secara otomatis:
- Nama
- Lokasi (wilayah)
- Tanggal pembuatan dan tanggal terakhir diubah
- Skema (untuk tabel dan tampilan)
- Deskripsi
Katalog universal dapat menyerap metadata di tingkat instance Cloud SQL meskipun Anda tidak mengaktifkan integrasi. Namun, katalog universal mengambil metadata dari resource yang dimiliki instance, seperti database, tabel, kolom, dan tampilannya, hanya setelah Anda mengaktifkan integrasi.
Katalog universal hanya mengambil metadata dari instance utama Cloud SQL, bukan dari replika baca.
Anda dapat menggunakan katalog universal untuk menemukan dan memahami metadata Cloud SQL. Gunakan katalog universal untuk membantu aktivitas berikut:
- Analisis, termasuk dependensi dan kesesuaian untuk kasus penggunaan
- Manajemen perubahan
- Perpindahan data (pipeline)
- Evolusi skema
Dengan katalog universal, Anda dapat menyeleksi metadata dengan melampirkan aspek ke entri metadata Cloud SQL. Setiap aspek dapat memiliki beberapa kolom metadata dan dapat didasarkan pada jenis aspek standar atau kustom.
Misalnya, Anda dapat melampirkan aspek berikut ke kolom yang berisi nomor Jaminan Sosial, yang merupakan informasi identitas pribadi (PII):
pii:true
pii_type:SSN
Untuk mengetahui informasi selengkapnya tentang katalog universal, lihat Ringkasan katalog universal BigQuery.
Sebelum memulai
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Aktifkan Dataplex API untuk project.
-
Periksa izin.
Anda memerlukan peran dan izin Identity and Access Management (IAM) tertentu untuk menelusuri dan melampirkan entri ke aset Cloud SQL. Untuk mengetahui detailnya, lihat Peran dan izin IAM yang diperlukan untuk katalog universal.
- INSTANCE_NAME: nama instance
- DATABASE_VERSION: versi database untuk instance (misalnya,
POSTGRES_13
); untuk daftar lengkap string yang tersedia, lihat SqlDatabaseVersion - MACHINE_TYPE: jenis mesin untuk instance
- REGION_NAME: nama region untuk instance
- PROJECT_ID: ID atau nomor project dari Google Cloud project yang berisi instance
- INSTANCE_NAME: nama instance
- REGION_NAME: nama region untuk instance
- DATABASE_VERSION: string enum versi database (misalnya,
POSTGRES_13
). Untuk daftar lengkap string yang tersedia, lihat SqlDatabaseVersion. - PASSWORD: sandi untuk pengguna
root
- MACHINE_TYPE: string enum jenis (tingkat) mesin, seperti:
db-custom-[CPUS]-[MEMORY_MBS]
- EDITION_TYPE: edisi Cloud SQL Anda
- PROJECT_ID: ID atau nomor project dari Google Cloud project yang berisi instance
- INSTANCE_NAME: nama instance
- PROJECT_ID: ID atau nomor project dari Google Cloud project yang berisi instance
- INSTANCE_NAME: nama instance
- REGION_NAME: nama region untuk instance
- DATABASE_VERSION: string enum versi database (misalnya,
POSTGRES_13
). Untuk daftar lengkap string yang tersedia, lihat SqlDatabaseVersion. - PASSWORD: sandi untuk pengguna
root
- MACHINE_TYPE: string enum jenis (tingkat) mesin, seperti:
db-custom-[CPUS]-[MEMORY_MBS]
- EDITION_TYPE: edisi Cloud SQL Anda
- PROJECT_ID: ID atau nomor project dari Google Cloud project yang berisi instance
- INSTANCE_NAME: nama instance
- PROJECT_ID: project ID
- INSTANCE_ID: ID instance
- PROJECT_ID: project ID
- INSTANCE_ID: ID instance
- PROJECT_ID: ID atau nomor project dari Google Cloud project yang berisi instance
- INSTANCE_NAME: nama instance
- PROJECT_ID: ID atau nomor project dari Google Cloud project yang berisi instance
- INSTANCE_NAME: nama instance
- Menambahkan metadata bisnis ke aset
- Menelusuri aset berdasarkan metadata bisnis dan metadata kustom lainnya
Buka halaman Penelusuran Dataplex.
Di Choose search platform, pilih Dataplex Catalog.
Di panel Filters, klik Systems, lalu pilih Cloud SQL.
Opsional. Di Type aliases, Anda dapat memfilter hasil penelusuran ke jenis aset Cloud SQL tertentu dengan memilih satu atau beberapa alias jenis berikut:
- Database
- Skema database
- Layanan
- Tabel
- Lihat
- PROJECT_ID: ID project Anda
QUERY_STRING: menggunakan tabel berikut untuk mengidentifikasi string kueri berdasarkan mesin Cloud SQL dan jenis aset yang ingin Anda kueri
Mesin Cloud SQL String kueri Cloud SQL untuk MySQL cloudsql-mysql-database
cloudsql-mysql-instance
cloudsql-mysql-table
cloudsql-mysql-view
Cloud SQL untuk PostgreSQL cloudsql-postgresql-database
cloudsql-postgresql-instance
cloudsql-postgresql-table
cloudsql-postgresql-schema
cloudsql-postgresql-view
Cloud SQL untuk SQL Server cloudsql-sqlserver-database
cloudsql-sqlserver-instance
cloudsql-sqlserver-table
cloudsql-sqlserver-schema
cloudsql-sqlserver-view
Di panel Aspek, klik menu Tambahkan jenis aspek lainnya.
Pilih Akses SQL.
Klik Oke.
Klik tombol aspek edit playlist_add . Di halaman Akses SQL, lakukan hal berikut:
- Di kolom Dialect, pilih PostgreSQL untuk memfilter aset Cloud SQL untuk PostgreSQL.
- Opsional. Pilih kolom Version, lalu masukkan versi Cloud SQL untuk PostgreSQL tertentu.
Klik Terapkan. Katalog universal hanya menampilkan aset Cloud SQL untuk PostgreSQL.
Di panel Aspek, klik menu Tambahkan jenis aspek lainnya.
Opsional. Pilih SQL Access untuk memfilter hasil menurut dialek Cloud SQL. Untuk informasi selengkapnya, lihat prosedur sebelumnya, Memfilter aset Cloud SQL menurut dialek Cloud SQL.
Pilih satu atau beberapa jenis aspek berikut untuk membatasi hasil penelusuran ke jenis tersebut.
- Database Cloud SQL
- Instance Cloud SQL
- Tampilan Cloud SQL
- Skema Cloud SQL
- Tabel Cloud SQL
Klik Oke.
Di tabel hasil, klik nama aset untuk melihat metadata untuk aset tersebut.
Opsional: Tingkatkan kualitas atau lihat aset Anda. Anda dapat melakukan salah satu tindakan berikut:
- Di Ringkasan, klik Tambahkan untuk menambahkan deskripsi teks panjang aset.
- Di Aspects, klik Add untuk melampirkan aspek ke aset.
- Misalnya, untuk melihat database anggota, klik tab Daftar Entri, lalu klik Tampilkan semua entri turunan dalam penelusuran. Jika tab Daftar Entri tidak muncul, berarti instance tidak memiliki database.
- Di Detail entri, lihat detail lengkap aset. Klik nama entri untuk melihat entri tambahan.
Buka halaman Penelusuran Dataplex.
Untuk opsi Choose search platform, pilih Dataplex Catalog.
Di panel Filter, pilih Sistem, lalu Cloud SQL. Atau, masukkan
system=Cloud_SQL
di kolom penelusuran.Pilih nama instance.
Di halaman Detail Cloud SQL, klik tab Daftar entri, lalu klik Tampilkan semua entri turunan dalam penelusuran. Katalog universal menampilkan database dalam instance.
Di halaman Detail database Cloud SQL, klik tab Daftar entri, lalu klik Lihat entri turunan dalam penelusuran. Katalog universal menampilkan tabel dalam database.
Pilih nama tabel, lalu di halaman Cloud SQL table details, klik Schema untuk melihat kolom tabel.
Opsional: Untuk menambahkan jenis aspek ke kolom, klik tombol Tambahkan aspek.
Integrasi katalog universal dengan Cloud SQL dinonaktifkan untuk instance apa pun yang membatasi akses ke resource karena pendaftaran resource di Workload Terjamin.
Setelah Anda mengaktifkan katalog universal di instance, perlu waktu antara 2 hingga 48 jam agar resource Cloud SQL Anda muncul di katalog universal sebagai aset, bergantung pada ukuran mesin, versi, dan jenis mesin Cloud SQL yang Anda gunakan.
Peran dan izin IAM yang diperlukan untuk katalog universal
Cloud SQL menggunakan izin cloudsql.schemas.view
untuk
memberikan akses ke metadata di Dataplex.
Untuk memberikan izin ini, buat peran khusus yang menyertakan izin ini, atau gunakan salah satu peran bawaan yang memiliki izin ini.
Untuk informasi selengkapnya, lihat Peran IAM Cloud SQL bawaan.
Mengaktifkan integrasi katalog universal di instance Cloud SQL
Untuk mengaktifkan integrasi katalog universal di instance Cloud SQL, gunakan salah satu prosedur berikut.
gcloud
Buat instance
Untuk membuat instance Cloud SQL, gunakan
perintah gcloud sql instances create
.
gcloud sql instances create INSTANCE_NAME \ --database-version=DATABASE_VERSION \ --tier=MACHINE_TYPE \ --region=REGION_NAME \ --enable-dataplex-integration
Lakukan penggantian berikut:
Mengupdate instance
Untuk mengaktifkan integrasi untuk instance yang ada, gunakan perintah
gcloud sql instances patch
.
gcloud sql instances patch INSTANCE_NAME \ --enable-dataplex-integration
Jika perlu mengaktifkan dan mengupdate semua instance Cloud SQL dalam project, Anda dapat menjalankan skrip yang mirip dengan berikut ini:
gcloud sql instances list --format="(NAME)" \ | tail -n +2 | xargs -t -I % gcloud sql instances patch % --enable-dataplex-integration
Contoh ini berbasis Linux.
REST v1
Buat instance
Gunakan contoh ini untuk membuat instance dengan integrasi yang diaktifkan. Untuk mengetahui daftar lengkap parameter yang tersedia untuk panggilan ini, lihat halaman instances.insert.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
Metode HTTP dan URL:
POST https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances
Meminta isi JSON:
{ "name": "INSTANCE_NAME", "region": "REGION_NAME", "databaseVersion": "DATABASE_VERSION", "rootPassword": "PASSWORD", "settings": { "tier": "MACHINE_TYPE", "edition": "EDITION_TYPE", "enableDataplexIntegration": true } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_ID", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-09-25T22:19:33.735Z", "operationType": "CREATE", "name": "OPERATION_ID", "targetId": "INSTANCE_ID", "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Mengupdate instance
Gunakan contoh ini untuk memperbarui instance yang ada. Untuk mengetahui daftar lengkap parameter yang tersedia untuk panggilan ini, lihat halaman instances.patch.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
Metode HTTP dan URL:
PATCH https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME
Meminta isi JSON:
{ "settings": { "enableDataplexIntegration": true } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
REST v1beta4
Buat instance
Gunakan contoh ini untuk membuat instance dengan integrasi yang diaktifkan. Untuk mengetahui daftar lengkap parameter yang tersedia untuk panggilan ini, lihat halaman instances.insert.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
Metode HTTP dan URL:
POST https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances
Meminta isi JSON:
{ "name": "INSTANCE_NAME", "region": "REGION_NAME", "databaseVersion": "DATABASE_VERSION", "rootPassword": "PASSWORD", "settings": { "tier": "MACHINE_TYPE", "edition": "EDITION_TYPE", "enableDataplexIntegration": true } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-09-25T22:19:33.735Z", "operationType": "CREATE", "name": "OPERATION_ID", "targetId": "INSTANCE_ID", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Mengupdate instance
Gunakan contoh ini untuk memperbarui instance yang ada. Untuk mengetahui daftar lengkap parameter yang tersedia untuk panggilan ini, lihat halaman instances.patch.
Gunakan contoh ini untuk memperbarui instance yang ada. Untuk mengetahui daftar lengkap parameter yang tersedia untuk panggilan ini, lihat halaman instances.patch.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
Metode HTTP dan URL:
PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME
Meminta isi JSON:
{ "settings": { "enableDataplexIntegration": true } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Memverifikasi integrasi katalog universal di instance Cloud SQL Anda
Untuk memverifikasi bahwa integrasi katalog universal diaktifkan di instance Anda, gunakan salah satu prosedur berikut.
gcloud
Untuk memverifikasi bahwa integrasi katalog universal diaktifkan
pada instance yang ada, gunakan
perintah gcloud sql instances describe
.
gcloud sql instances describe INSTANCE_NAME
Ganti INSTANCE_NAME dengan nama instance.
Pada output, cari setelan konfigurasi
enableDataplexIntegration
yang ditetapkan ke true
.
REST v1
Sebelum menggunakan salah satu data permintaan, buatlah pengganti berikut:
Metode HTTP dan URL:
GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID
Untuk mengirim permintaan, perluas salah satu opsi berikut:
Anda akan menerima respons JSON seperti berikut:
{ "settings": { "enableDataplexIntegration": true } }
REST v1beta4
Sebelum menggunakan salah satu data permintaan, buatlah pengganti berikut:
Metode HTTP dan URL:
GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID
Untuk mengirim permintaan, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "settings": { "enableDataplexIntegration": true } }
Menonaktifkan integrasi katalog universal di instance Cloud SQL Anda
Untuk menonaktifkan integrasi katalog universal di instance Cloud SQL, gunakan salah satu prosedur berikut.
gcloud
Untuk menonaktifkan integrasi untuk instance yang ada, gunakan
perintah gcloud sql instances patch
.
gcloud sql instances patch INSTANCE_NAME \ --no-enable-dataplex-integration
Jika perlu menonaktifkan integrasi dan mengupdate semua instance Cloud SQL di project, Anda dapat menjalankan skrip yang mirip dengan berikut ini:
gcloud sql instances list --format="(NAME)" \ | tail -n +2 | xargs -t -I % gcloud sql instances patch % --no-enable-dataplex-integration
Contoh ini berbasis Linux.
REST v1
Gunakan contoh ini untuk menonaktifkan integrasi.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
Metode HTTP dan URL:
PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME
Meminta isi JSON:
{ "settings": { "enableDataplexIntegration": false } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
REST v1beta4
Gunakan contoh ini untuk menonaktifkan integrasi.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
Metode HTTP dan URL:
PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME
Meminta isi JSON:
{ "settings": { "enableDataplexIntegration": false } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "kind": "sql#operation", "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME", "status": "PENDING", "user": "user@example.com", "insertTime": "2024-01-16T02:32:12.281Z", "operationType": "UPDATE", "name": "OPERATION_ID", "targetId": "INSTANCE_NAME", "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID", "targetProject": "PROJECT_ID" }
Memperkaya aset Cloud SQL dengan aspek
Jenis aspek adalah resource yang dapat digunakan kembali dan dapat Anda gunakan sebagai template untuk aspek. Jenis aspek membantu Anda menghindari duplikasi pekerjaan dan aspek yang tidak lengkap. Anda dapat menggunakan katalog universal untuk membuat jenis aspek yang diperlukan.
Setelah membuat jenis aspek kustom, Anda dapat melampirkan aspek ke aset Cloud SQL. Dengan melampirkan aspek ke aset Cloud SQL, Anda dapat melakukan hal berikut:
Untuk mempelajari lebih lanjut cara membuat jenis aspek dan melampirkan aspek ke Cloud SQL, lihat Mengelola aspek dan memperkaya metadata.
Menelusuri aset Cloud SQL
Gunakan halaman penelusuran Dataplex di Google Cloud konsol untuk menelusuri aset Cloud SQL.
Menggunakan kueri untuk melakukan penelusuran
Anda juga dapat menggunakan kolom penelusuran di katalog universal
untuk menjalankan kueri penelusuran. Untuk melihat semua
aset Cloud SQL, masukkan system=Cloud_SQL
.
Kemudian, Anda dapat memasukkan kata kunci tertentu. Misalnya, untuk melihat semua database Cloud SQL:
system=Cloud_SQL AND type=Database
Untuk melihat semua tabel Cloud SQL, masukkan kueri berikut:
system=Cloud_SQL AND type=Table
Anda juga dapat menggunakan tanda kurung dan operator logika AND
dan OR
untuk
ekspresi yang kompleks. Untuk mempelajari lebih lanjut ekspresi yang dapat Anda gunakan di
kolom penelusuran, lihat Sintaksis penelusuran untuk katalog universal.
Anda dapat langsung memasukkan kueri penelusuran untuk aset Cloud SQL tertentu ke kolom penelusuran. Format string kueri adalah sebagai berikut:
type="projects/PROJECT_ID/locations/global/entryTypes/QUERY_STRING"
Ganti kode berikut:
Contoh kueri mungkin terlihat seperti berikut:
type="projects/1234567890/locations/global/entryTypes/cloudsql-postgresql-instance"
Memfilter aset Cloud SQL menurut dialek Cloud SQL
Secara default, katalog universal menampilkan semua aset Cloud SQL. Untuk memfilter aset khusus Cloud SQL untuk MySQL, Cloud SQL untuk PostgreSQL, atau SQL Server, lakukan langkah-langkah berikut.
Menelusuri menurut jenis aspek
Katalog universal menyertakan beberapa jenis aspek bawaan yang dapat Anda gunakan untuk melakukan penelusuran.
Contoh alur kerja - Melihat perincian dari instance ke kolom
Dalam contoh alur kerja ini, Anda memulai dengan menelusuri instance Cloud SQL, lalu melihat database anggota, lalu melihat tabel dalam database tersebut, lalu melihat kolom dalam tabel.
Alur kerja ini menunjukkan proses melihat perincian dari instance ke tabel. Anda
dapat langsung membuka daftar tabel dengan memasukkan system=Cloud_SQL AND type=Table
di kolom penelusuran.
Harga
Tidak ada biaya untuk menyimpan metadata teknis Cloud SQL di katalog universal. Harga Dataplex standar berlaku untuk panggilan API dan pengayaan metadata bisnis tambahan. Untuk mengetahui informasi selengkapnya, lihat halaman harga Dataplex.
Penggunaan resource
Katalog universal mengekstrak data dari instance Anda secara berkala. Proses ekstraksi memerlukan penggunaan CPU dalam jumlah tertentu. Instance dengan jenis mesin yang lebih kecil—misalnya, mesin yang memiliki core bersama dan skema yang lebih besar (10.000 tabel atau lebih), dapat menggunakan hingga 40% CPU-nya selama proses ekstraksi.
Batasan
Bagian ini mencantumkan batasan penggunaan Cloud SQL dan katalog universal.
Tidak ada batasan yang diketahui pada Cloud SQL untuk PostgreSQL dan katalog universal.