Mengelola resource Cloud SQL menggunakan Dataplex Catalog

Halaman ini menjelaskan cara menelusuri dan mengelola Cloud SQL Anda resource menggunakan Dataplex Catalog.

Dataplex Catalog adalah platform untuk menyimpan, mengelola, dan yang mengakses {i>metadata<i} Anda. Setelah Anda mengaktifkan integrasi Dataplex Catalog di instance Cloud SQL Anda, Dataplex Catalog secara otomatis mengambil metadata dari instance Cloud SQL, database, tabel, kolom, dan penayangan:

• Nama
• Lokasi (wilayah)
• Tanggal pembuatan dan tanggal terakhir diubah
• Skema (untuk tabel dan tampilan)
• Deskripsi

Dataplex Catalog mengambil metadata hanya dari Cloud SQL instance utama dan bukan dari replika baca.

Anda dapat menggunakan Dataplex Catalog untuk menemukan dan memahami metadata Cloud SQL Anda. Gunakan Dataplex Catalog untuk membantu aktivitas berikut:

• Analisis, termasuk dependensi dan kesesuaian untuk kasus penggunaan
• Pengelolaan perubahan
• Perpindahan data (pipeline)
• Evolusi skema

Dengan Dataplex Catalog, Anda menyeleksi metadata dengan melampirkan aspek-aspek ke entri metadata Cloud SQL. Setiap aspek dapat memiliki beberapa {i>metadata<i} dan dapat didasarkan pada jenis aspek yang telah ditentukan sebelumnya atau khusus.

Misalnya, Anda dapat melampirkan aspek berikut ke kolom yang berisi Nomor Jaminan Sosial, yang merupakan informasi identitas pribadi (PII):

  pii:true
  pii_type:SSN

Untuk mengetahui informasi selengkapnya tentang Dataplex Catalog, lihat Ringkasan Dataplex Catalog.

Sebelum memulai

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Buka pemilih project

3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

4. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Buka pemilih project

5. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

6. Mengaktifkan Dataplex API untuk project.

   Mengaktifkan Dataplex API

7. Periksa izin.

   Anda memerlukan peran dan izin Identity and Access Management (IAM) tertentu untuk mencari dan melampirkan entri ke aset Cloud SQL. Untuk mengetahui detailnya, lihat Peran dan izin IAM yang diperlukan untuk Dataplex Catalog.

Peran dan izin IAM yang diperlukan untuk Dataplex Catalog

Cloud SQL menggunakan izin cloudsql.schemas.view untuk yang menyediakan akses ke {i>metadata<i} di Dataplex.

Untuk memberikan izin ini, buat peran khusus yang menyertakan izin ini, atau menggunakan salah satu peran bawaan yang memiliki izin ini.

Untuk mengetahui informasi selengkapnya, lihat Peran IAM Cloud SQL standar.

Mengaktifkan integrasi Dataplex Catalog pada instance Cloud SQL Anda

Untuk mengaktifkan integrasi Dataplex Catalog pada Gunakan salah satu prosedur berikut.

gcloud sql instances create INSTANCE_NAME \
  --database-version=DATABASE_VERSION \
  --tier=MACHINE_TYPE \
  --region=REGION_NAME \
  --enable-dataplex-integration

gcloud sql instances patch INSTANCE_NAME \
  --enable-dataplex-integration

gcloud sql instances list --format="(NAME)" \
| tail -n +2 | xargs -t -I %
gcloud sql instances patch % --enable-dataplex-integration

POST https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances

{
  "name": "INSTANCE_NAME",
  "region": "REGION_NAME",
  "databaseVersion": "DATABASE_VERSION",
  "rootPassword": "PASSWORD",
  "settings": {
    "tier": "MACHINE_TYPE",
    "edition": "EDITION_TYPE",
    "enableDataplexIntegration": true
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_ID",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-09-25T22:19:33.735Z",
  "operationType": "CREATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_ID",
  "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

PATCH https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME

{
  "settings":
  {
    "enableDataplexIntegration": true
  }
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/instances/INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-01-16T02:32:12.281Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

POST https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances

{
  "name": "INSTANCE_NAME",
  "region": "REGION_NAME",
  "databaseVersion": "DATABASE_VERSION",
  "rootPassword": "PASSWORD",
  "settings": {
    "tier": "MACHINE_TYPE",
    "edition": "EDITION_TYPE",
    "enableDataplexIntegration": true
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-09-25T22:19:33.735Z",
  "operationType": "CREATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_ID",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME

{
  "settings":
  {
    "enableDataplexIntegration": true
  }
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-01-16T02:32:12.281Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

Memverifikasi integrasi Dataplex Catalog pada instance Cloud SQL Anda

Untuk memverifikasi bahwa integrasi Dataplex Catalog diaktifkan di gunakan salah satu prosedur berikut.

gcloud sql instances describe INSTANCE_NAME

GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID" | Select-Object -Expand Content

{
"settings":
  {
  "enableDataplexIntegration": true
  }
}

GET https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_ID" | Select-Object -Expand Content

{
"settings":
  {
  "enableDataplexIntegration": true
  }
}

Menonaktifkan integrasi Dataplex Catalog pada instance Cloud SQL Anda

Untuk menonaktifkan integrasi Dataplex Catalog pada Gunakan salah satu prosedur berikut.

gcloud sql instances patch INSTANCE_NAME \
  --no-enable-dataplex-integration

gcloud sql instances list --format="(NAME)" \
| tail -n +2 | xargs -t -I %
gcloud sql instances patch % --no-enable-dataplex-integration

PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME

{
  "settings":
  {
    "enableDataplexIntegration": false
  }
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-01-16T02:32:12.281Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

PATCH https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME

{
  "settings":
  {
    "enableDataplexIntegration": false
  }
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME" | Select-Object -Expand Content

{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2024-01-16T02:32:12.281Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/operations/OPERATION_ID",
  "targetProject": "PROJECT_ID"
}

Memperkaya aset Cloud SQL dengan aspek

Jenis aspek adalah resource yang dapat digunakan kembali yang dapat Anda gunakan sebagai template untuk aspek. Jenis aspek membantu Anda menghindari duplikasi pekerjaan dan aspek yang tidak lengkap. Anda dapat menggunakan Dataplex Catalog untuk membuat jenis aspek yang yang dibutuhkan.

Setelah membuat jenis aspek kustom, Anda dapat melampirkan aspek Aset Cloud SQL. Melampirkan aspek ke aset Cloud SQL memungkinkan Anda melakukan hal berikut:

• Menambahkan metadata bisnis ke aset
• Menelusuri aset berdasarkan metadata bisnis dan metadata kustom lainnya

Untuk mempelajari lebih lanjut cara membuat jenis aspek dan melampirkan aspek ke Cloud SQL, lihat Mengelola aspek dan memperkaya metadata.

Menelusuri aset Cloud SQL

Menggunakan halaman penelusuran Dataplex Catalog di Konsol Google Cloud untuk menelusuri aset Cloud SQL.

1. Buka halaman penelusuran Dataplex Catalog.

   Buka Dataplex

2. Di Choose search platform, pilih Dataplex Catalog.

3. Di panel Filters, klik Systems, lalu pilih Cloud SQL.

4. Opsional. Di Alias jenis, Anda dapat memfilter hasil penelusuran ke jenis aset Cloud SQL dengan memilih satu atau beberapa ketik alias:

   • Database
   • Skema database
   • Layanan
   • Tabel
   • Lihat

Menggunakan kueri untuk melakukan penelusuran

Anda juga dapat menggunakan kolom pencarian di Dataplex Catalog untuk melakukan kueri penelusuran. Untuk melihat semua Aset Cloud SQL, masukkan system=Cloud_SQL.

Kemudian, Anda dapat memasukkan kata kunci tertentu. Misalnya, untuk melihat semua Cloud SQL {i>database<i}:

system=Cloud_SQL AND type=Database

Untuk melihat semua tabel Cloud SQL, masukkan kueri berikut:

system=Cloud_SQL AND type=Table

Anda juga dapat menggunakan tanda kurung dan operator logika AND dan OR untuk ekspresi yang kompleks. Untuk mempelajari lebih lanjut tentang ekspresi yang dapat Anda gunakan dalam di kolom penelusuran, lihat Telusuri sintaksis untuk Dataplex Catalog.

Anda dapat langsung memasukkan kueri penelusuran untuk aset Cloud SQL tertentu ke bidang pencarian. Format string kueri adalah sebagai berikut:

type="projects/PROJECT_ID/locations/global/entryTypes/QUERY_STRING"

Ganti kode berikut:

• PROJECT_ID: ID project Anda

• QUERY_STRING: gunakan tabel berikut untuk mengidentifikasi string kueri berdasarkan di mesin Cloud SQL dan jenis aset yang ingin Anda kueri

  Mesin Cloud SQL	String kueri
  Cloud SQL untuk MySQL	cloudsql-mysql-database cloudsql-mysql-instance cloudsql-mysql-table cloudsql-mysql-view
  Cloud SQL untuk PostgreSQL	cloudsql-postgresql-database cloudsql-postgresql-instance cloudsql-postgresql-table cloudsql-postgresql-schema cloudsql-postgresql-view
  Cloud SQL untuk SQL Server	cloudsql-sqlserver-database cloudsql-sqlserver-instance cloudsql-sqlserver-table cloudsql-sqlserver-schema cloudsql-sqlserver-view

Contoh kueri mungkin terlihat seperti berikut:

type="projects/1234567890/locations/global/entryTypes/cloudsql-postgresql-instance"

Memfilter aset Cloud SQL menurut dialek Cloud SQL

Secara default, Dataplex Catalog menampilkan semua Cloud SQL aset. Untuk memfilter aset Cloud SQL untuk MySQL, Cloud SQL untuk PostgreSQL, atau SQL Server saja, kemudian lakukan langkah-langkah berikut.

1. Di panel Aspek, klik menu Tambahkan jenis aspek lainnya.

2. Pilih SQL Access.

3. Klik Oke.

4. Klik playlist_add tombol edit aspek. Di halaman SQL Access, lakukan hal berikut:

   • Di kolom Dialect, pilih PostgreSQL untuk memfilter aset Cloud SQL untuk PostgreSQL.
5. Opsional. Pilih kolom Version, lalu masukkan versi Cloud SQL untuk PostgreSQL.

6. Klik Terapkan. Hanya layar Dataplex Catalog Aset Cloud SQL untuk PostgreSQL.

Telusuri menurut jenis aspek

Dataplex Catalog mencakup beberapa jenis aspek bawaan yang Anda digunakan untuk melakukan pencarian.

1. Di panel Aspek, klik menu Tambahkan jenis aspek lainnya.

2. Opsional. Pilih SQL Access untuk memfilter hasil menurut Cloud SQL dialek. Untuk informasi selengkapnya, lihat prosedur sebelumnya, Memfilter aset Cloud SQL dengan dialek Cloud SQL.

3. Pilih satu atau beberapa jenis aspek berikut untuk membatasi hasil penelusuran menjadi jenis tersebut.

   • Database Cloud SQL
   • Instance Cloud SQL
   • Tampilan Cloud SQL
   • Skema Cloud SQL
   • Tabel Cloud SQL

4. Klik Oke.

5. Di tabel hasil, klik nama aset untuk melihat metadatanya aset tersebut.

6. Opsional: Tingkatkan kualitas atau lihat aset Anda. Anda dapat melakukan salah satu tindakan berikut:

   • Di Ringkasan, klik Tambahkan untuk menambahkan deskripsi rich text aset.
   • Di Aspek, klik Tambah untuk melampirkan aspek ke aset.
   • Untuk instance, guna melihat database anggota, klik Tab Entry List, lalu klik Show all child entries in search. Jika tab Entry List tidak muncul, berarti instance tidak memiliki database.
   • Di Detail entri, lihat detail lengkap aset. Klik nama entri untuk melihat perincian entri tambahan.

Contoh alur kerja - Melihat perincian dari instance hingga kolom

Dalam contoh alur kerja ini, Anda mulai dengan menelusuri nama Cloud SQL lalu menampilkan database anggota, lalu menampilkan tabel dalam database tersebut, dan kemudian lihat kolom-kolom di tabel.

1. Buka halaman penelusuran Dataplex Catalog.

   Buka Dataplex

2. Untuk opsi Choose search platform, pilih Dataplex Catalog.

3. Di Panel filter, pilih Sistem, lalu Cloud SQL. Atau, masukkan system=Cloud_SQL di kolom penelusuran.

4. Pilih nama instance.

5. Di halaman Cloud SQL details, klik Tab Entry list, lalu klik Show all child entries in search. Dataplex Catalog menampilkan database dalam instance.

6. Di halaman Cloud SQL database details, klik tab Entry list, lalu klik View child entries in search. Katalog Dataplex menampilkan tabel-tabel dalam {i>database<i}.

7. Pilih nama tabel, lalu pada halaman Detail tabel Cloud SQL, klik Skema untuk melihat kolom tabel.

8. Opsional: Untuk menambahkan jenis aspek ke kolom, klik tombol Tambahkan aspek.

Alur kerja ini menunjukkan perincian dari instance ke tabel. Anda dapat langsung membuka daftar tabel dengan memasukkan system=Cloud_SQL AND type=Table di kolom penelusuran.

Harga

Penyimpanan metadata teknis Cloud SQL tidak dikenai biaya di Katalog Dataplex. Standar Harga Dataplex berlaku untuk panggilan API dan bisnis tambahan pengayaan {i>metadata<i}. Untuk informasi selengkapnya, lihat Halaman harga Dataplex.

Penggunaan resource

Dataplex Catalog mengekstrak data dari instance Anda secara berkala. Proses ekstraksi membutuhkan sejumlah penggunaan CPU. Instance dengan jenis mesin yang lebih kecil—misalnya, mesin yang memiliki inti bersama dan skema yang lebih besar (10.000 tabel atau lebih), dapat menggunakan hingga 40% dari CPU mereka selama proses ekstraksi.

Batasan

Bagian ini mencantumkan batasan terkait penggunaan Cloud SQL dan Katalog Dataplex.

• Integrasi Dataplex Catalog dengan Cloud SQL dinonaktifkan untuk setiap instance yang membatasi akses ke resource karena adanya pendaftaran resource di Assured Workloads.

• Setelah Anda mengaktifkan Dataplex Catalog pada instance, diperlukan dalam waktu 2 hingga 48 jam hingga resource Cloud SQL muncul di Dataplex Catalog sebagai aset, tergantung pada ukuran mesin, versi, dan jenis mesin Cloud SQL yang Anda gunakan.

Tidak ada batasan umum pada Cloud SQL untuk PostgreSQL dan Dataplex Catalog.

Langkah selanjutnya

• Ringkasan Dataplex Catalog
• Peran Dataplex Identity and Access Management