Mengimpor metadata menggunakan pipeline kustom

Dokumen ini menjelaskan cara mengimpor metadata dari sistem pihak ketiga ke Dataplex Universal Catalog menggunakan metode API impor metadata dan pipeline Anda sendiri. Metadata Dataplex Universal Catalog terdiri dari entri dan aspeknya.

Jika Anda ingin menggunakan pipeline orkestrasi yang dikelola Google Clouduntuk mengekstrak dan mengimpor metadata, sebaiknya gunakan pipeline konektivitas terkelola. Dengan pipeline konektivitas terkelola, Anda menggunakan konektor Anda sendiri yang mengekstrak metadata dan menghasilkan output dalam format yang dapat digunakan sebagai input oleh metode API impor metadata (file impor metadata). Kemudian, Anda menggunakan Workflows untuk mengorkestrasi tugas pipeline.

Anda dapat menjalankan jenis tugas impor metadata berikut:

• Sinkronisasi penuh entri dengan impor inkremental aspeknya. Didukung untuk entri kustom.
• Impor inkremental hanya aspek. Didukung untuk aspek yang termasuk dalam entri kustom dan entri sistem. Untuk entri kustom, Anda dapat mengubah aspek opsional dan aspek wajib. Untuk entri sistem, Anda dapat mengubah aspek opsional.

Langkah-langkah tingkat tinggi

Untuk mengimpor metadata menggunakan API impor metadata, ikuti langkah-langkah umum berikut:

1. Tentukan cakupan tugas.

   Selain itu, pahami cara Katalog Universal Dataplex menerapkan logika perbandingan dan mode sinkronisasi untuk entri dan aspek.

2. Buat satu atau beberapa file impor metadata yang menentukan data yang akan diimpor.

3. Simpan file impor metadata di bucket Cloud Storage.

4. Jalankan tugas impor metadata.

Langkah-langkah di halaman ini mengasumsikan bahwa Anda sudah memahami konsep metadata Dataplex Universal Catalog, termasuk grup entri, jenis entri, dan jenis aspek. Untuk mengetahui informasi selengkapnya, lihat Tentang pengelolaan katalog data di Dataplex Universal Catalog.

Sebelum memulai

Sebelum mengimpor metadata, selesaikan tugas-tugas di bagian ini.

Peran yang diperlukan

Untuk memastikan bahwa akun layanan Dataplex Universal Catalog memiliki izin yang diperlukan untuk mengakses bucket Cloud Storage, minta administrator Anda untuk memberikan peran IAM Storage Object Viewer (roles/storage.objectViewer) dan izin storage.buckets.get di bucket kepada akun layanan Dataplex Universal Catalog.

Untuk mendapatkan izin yang Anda perlukan untuk mengelola tugas impor metadata, minta administrator Anda untuk memberi Anda peran IAM berikut:

• Ubah entri dan aspeknya dalam tugas metadata sinkronisasi entri lengkap:
  • Pengguna Jenis Entri Dataplex (roles/dataplex.entryTypeUser) pada jenis entri atau project tempat jenis entri ditentukan
  • Pengguna Jenis Aspek Dataplex (roles/dataplex.aspectTypeUser) pada jenis aspek atau project tempat jenis aspek ditentukan
• Ubah aspek yang diperlukan dalam tugas metadata khusus aspek:
  • Pengguna Jenis Entri Dataplex (roles/dataplex.entryTypeUser) pada jenis entri atau project tempat jenis entri ditentukan
  • Pengguna Jenis Aspek Dataplex (roles/dataplex.aspectTypeUser) pada jenis aspek atau project tempat jenis aspek ditentukan
• Ubah aspek opsional dalam tugas metadata khusus aspek: Pengguna Jenis Aspek Dataplex (roles/dataplex.aspectTypeUser) pada jenis aspek atau project tempat jenis aspek ditentukan. Perhatikan bahwa saat mengubah aspek opsional dalam tugas metadata khusus aspek, Anda tidak memerlukan izin untuk jenis entri terkait.
• Buat tugas impor metadata:
  • Pengimpor Grup Entri Dataplex (roles/dataplex.entryGroupImporter) di project atau resource
  • Pemilik Entri Dataplex (roles/dataplex.entryOwner) di project atau resource
• Melihat tugas metadata: Dataplex Metadata Job Viewer (roles/dataplex.metadataJobViewer) di project
• Membuat, melihat, dan membatalkan tugas metadata: Pemilik Tugas Metadata Dataplex (roles/dataplex.metadataJobOwner) di project

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat Google Cloud resource

Siapkan Google Cloud resource berikut:

1. Buat grup entri untuk entri yang ingin Anda impor.
2. Buat jenis aspek untuk aspek yang ingin Anda impor.
3. Buat jenis entri untuk entri yang ingin Anda impor.
4. Jika Anda menjalankan tugas metadata khusus aspek, buat entri untuk aspek yang ingin Anda impor.
5. Buat bucket Cloud Storage untuk menyimpan file impor metadata Anda.

Komponen tugas impor metadata

Saat mengimpor metadata, pertimbangkan komponen tugas metadata berikut:

• Cakupan tugas: grup entri, jenis entri, dan jenis aspek yang akan disertakan dalam tugas.
• Mode sinkronisasi: cara entri dan aspek dalam tugas diperbarui.
• File impor metadata: file yang menentukan nilai yang akan ditetapkan untuk entri dan aspek dalam pekerjaan. Anda dapat memberikan beberapa file impor metadata dalam tugas metadata yang sama. Anda menyimpan file di Cloud Storage.
• Logika perbandingan: cara Dataplex Universal Catalog menentukan entri dan aspek mana yang akan diubah.

Cakupan tugas

Cakupan tugas menentukan grup entri, jenis entri, dan jenis aspek yang ingin Anda sertakan dalam tugas impor metadata. Saat mengimpor metadata, Anda mengubah entri dan aspek yang termasuk dalam cakupan tugas.

Untuk menentukan cakupan tugas, ikuti panduan berikut:

• Grup entri: tentukan satu grup entri yang akan disertakan dalam tugas. Pekerjaan ini hanya mengubah entri dan aspek yang termasuk dalam grup entri ini. Grup entri dan tugas harus berada di region yang sama.

• Jenis entri: tentukan satu atau beberapa jenis entri yang akan disertakan dalam tugas. Pekerjaan hanya mengubah entri dan aspek yang termasuk dalam jenis entri ini. Lokasi jenis entri harus cocok dengan lokasi tugas, atau jenis entri harus bersifat global.

• Jenis aspek: tentukan satu atau beberapa jenis aspek yang akan disertakan dalam tugas. Tugas hanya mengubah aspek yang termasuk dalam jenis aspek ini. Lokasi jenis aspek harus cocok dengan lokasi pekerjaan, atau jenis aspek harus bersifat global.

Cakupan tugas harus mencakup semua jenis entri dan jenis aspek yang Anda tentukan dalam file impor metadata.

Anda menentukan cakupan tugas saat membuat tugas metadata.

Mode sinkronisasi

Mode sinkronisasi menentukan cara entri dan aspek dalam tugas impor metadata diperbarui. Anda memberikan mode sinkronisasi untuk entri dan aspek. Bergantung pada resource yang ingin Anda impor, kombinasi mode sinkronisasi berikut didukung.

Anda menentukan mode sinkronisasi saat membuat tugas metadata.

File impor metadata

File impor metadata adalah kumpulan entri dan aspek yang ingin Anda ubah. Objek ini menentukan nilai yang akan ditetapkan untuk semua kolom yang termasuk dalam entri dan aspek ini. Anda menyiapkan file sebelum menjalankan tugas impor metadata.

Pedoman umum berikut berlaku:

• Anda dapat memberikan beberapa file impor metadata dalam tugas metadata yang sama.

• Saat Anda menjalankan tugas metadata sinkronisasi entri lengkap, entri yang Anda berikan dalam file akan sepenuhnya menggantikan semua entri yang ada untuk resource apa pun yang berada dalam cakupan tugas. Artinya, Anda harus menyertakan nilai untuk semua entri dalam tugas, bukan hanya nilai yang ingin Anda tambahkan atau perbarui. Untuk mendapatkan daftar entri saat ini dalam project Anda untuk digunakan sebagai titik awal, gunakan metode API entries.list.

• Anda harus menyediakan file impor metadata sebagai bagian dari tugas metadata. Jika Anda ingin menghapus semua data yang ada untuk entri yang berada dalam cakupan tugas, berikan file impor metadata kosong.

• Semua entri dan aspek yang Anda sertakan dalam file harus termasuk dalam grup entri, jenis entri, dan jenis aspek yang Anda tentukan dalam cakupan tugas.

Gunakan panduan mendetail di bagian berikut untuk membuat file impor metadata.

Struktur file

Setiap baris dalam file impor metadata berisi objek JSON yang sesuai dengan satu item impor. Item impor adalah objek yang menjelaskan nilai yang akan diubah untuk entri dan aspek terlampirnya.

Anda dapat memberikan beberapa item impor dalam satu file impor metadata. Namun, jangan berikan item impor yang sama lebih dari sekali dalam tugas metadata. Gunakan karakter baris baru (0x0a) untuk memisahkan setiap item impor.

File impor metadata dengan karakter baris baru di antara setiap item impor akan terlihat seperti contoh berikut:

{ "entry": { "name": "entry 1", #Information about entry 1 }
{ "entry": { "name": "entry 2", #Information about entry 2 }

Struktur item impor

Setiap item impor dalam file impor metadata dapat menyertakan kolom berikut (lihat ImportItem). Contoh berikut diformat dengan jeda baris agar mudah dibaca, tetapi saat Anda menyimpan file, sertakan karakter baris baru hanya setelah setiap item impor. Jangan sertakan jeda baris di antara kolom satu item impor.

{
  "entry": {
    "name": "ENTRY_NAME",
    "entryType": "ENTRY_TYPE",
    "entrySource": {
      "resource": "RESOURCE",
      "system": "SYSTEM",
      "platform": "PLATFORM",
      "displayName": "DISPLAY_NAME",
      "description": "DESCRIPTION",
      "createTime": "ENTRY_CREATE_TIMESTAMP",
      "updateTime": "ENTRY_UPDATE_TIMESTAMP"
    },
    "aspects": {
      "ASPECT": {
        "data": {
          "KEY": "VALUE"
        },
        "aspectSource": {
          "createTime": "ASPECT_CREATE_TIMESTAMP",
          "updateTime": "ASPECT_UPDATE_TIMESTAMP"
        }
      },
      # Additional aspect maps
    },
    "parentEntry": "PARENT_ENTRY",
    "fullyQualifiedName": "FULLY_QUALIFIED_NAME"
  },
  "updateMask": "UPDATE_MASK_FIELDS",
  "aspectKeys": [
    "ASPECT_KEY",
    # Additional aspect keys
  ],
}

Ganti kode berikut:

• entry: informasi tentang entri dan aspek terlampirnya. Dalam tugas impor metadata khusus aspek, Dataplex Universal Catalog mengabaikan semua kolom opsional untuk entri, kecuali peta aspek.

  • ENTRY_NAME: nama resource relatif entri, dalam format projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
  • ENTRY_TYPE: nama resource relatif dari jenis entri yang digunakan untuk membuat entri ini, dalam format projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID.
  • entrySource: informasi dari sistem sumber tentang resource data yang diwakili oleh entri:
    • RESOURCE: nama resource dalam sistem sumber.
    • SYSTEM: nama sistem sumber.
    • PLATFORM: platform yang berisi sistem sumber.
    • DISPLAY_NAME: nama tampilan yang mudah digunakan.
    • DESCRIPTION: deskripsi entri.
    • ENTRY_CREATE_TIMESTAMP: waktu entri dibuat di sistem sumber.
    • ENTRY_UPDATE_TIMESTAMP: waktu entri diperbarui di sistem sumber.

  • aspects: aspek yang dilampirkan ke entri. Objek aspect dan datanya disebut peta aspek.

    • ASPECT: aspek yang dilampirkan ke entri. Bergantung pada cara aspek dilampirkan ke entri, gunakan salah satu format berikut:

      • Jika aspek dilampirkan langsung ke entri, berikan nama resource relatif jenis aspeknya, dalam format PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID.
      • Jika aspek dilampirkan ke jalur entri, berikan jalur jenis aspek dalam format PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@PATH.

    • KEY dan VALUE: konten aspek, sesuai dengan template metadata jenis aspeknya. Konten harus dienkode sebagai UTF-8. Ukuran maksimum kolom adalah 120 KB. Kamus data diperlukan, meskipun kosong.

    • ASPECT_CREATE_TIMESTAMP: waktu aspek dibuat di sistem sumber.

    • ASPECT_UPDATE_TIMESTAMP: waktu aspek diperbarui di sistem sumber.

  • PARENT_ENTRY: nama resource entri induk.

  • FULLY_QUALIFIED_NAME: nama untuk entri yang dapat dirujuk oleh sistem eksternal. Lihat Nama yang sepenuhnya memenuhi syarat.

• UPDATE_MASK_FIELDS: kolom yang akan diperbarui, dalam jalur yang relatif terhadap resource Entry. Pisahkan setiap kolom dengan koma.

  Dalam tugas sinkronisasi entri penuh, Dataplex Universal Catalog menyertakan jalur semua kolom untuk entri yang dapat diubah, termasuk aspek. Kolom updateMask diabaikan saat entri dibuat atau dibuat ulang.

  Dalam pekerjaan metadata khusus aspek, tetapkan nilai ini ke aspects.

• ASPECT_KEY: aspek yang akan diubah. Mendukung sintaksis berikut:

  • ASPECT_TYPE_REFERENCE: cocok dengan jenis aspek untuk aspek yang dilampirkan langsung ke entri.
  • ASPECT_TYPE_REFERENCE@PATH: mencocokkan jenis aspek dan jalur yang ditentukan.
  • ASPECT_TYPE_REFERENCE@*: mencocokkan jenis aspek untuk semua jalur.
  • *@PATH: mencocokkan semua jenis aspek di jalur yang ditentukan.

  Ganti ASPECT_TYPE_REFERENCE dengan referensi ke jenis aspek, dalam format PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID.

  Dalam tugas sinkronisasi entri lengkap, jika Anda membiarkan kolom ini kosong, kolom ini akan diperlakukan sebagai menentukan secara tepat aspek-aspek yang ada dalam entri yang ditentukan. Dataplex Universal Catalog secara implisit menambahkan kunci untuk semua aspek entri yang diperlukan.

Persyaratan file

File impor metadata memiliki persyaratan berikut:

• File harus diformat sebagai file JSON Lines, yaitu file JSON yang dibatasi baris baru. Gunakan karakter baris baru (0x0a) untuk memisahkan setiap item impor.
• File harus menggunakan encoding karakter UTF-8.
• Ekstensi file yang didukung adalah .jsonl dan .json.
• Ukuran file setiap file impor metadata tidak boleh lebih dari 1 GiB. Ukuran total maksimum untuk semua data dalam tugas metadata adalah 3 GB. Ini mencakup semua file dan metadata yang terkait dengan tugas.
• Jenis entri dan jenis aspek yang Anda tentukan dalam file harus menjadi bagian dari cakupan tugas metadata.
• File harus diupload ke bucket Cloud Storage. Jangan simpan file di folder bernama CLOUD_STORAGE_URI/deletions/.

Logika perbandingan

Katalog Universal Dataplex menentukan entri dan aspek mana yang akan diubah dengan membandingkan nilai dan stempel waktu yang Anda berikan dalam file impor metadata dengan nilai dan stempel waktu yang ada di project Anda.

Secara umum, Dataplex Universal Catalog memperbarui nilai dalam project Anda jika setidaknya satu perubahan yang diusulkan dalam file impor metadata akan mengubah status project Anda saat tugas berjalan, tanpa memperkenalkan data yang sudah tidak berlaku. Perubahan yang diusulkan harus dirujuk di kolom mask pembaruan atau kolom kunci aspek dalam file impor metadata.

Logika perbandingan bervariasi, bergantung pada jenis tugas impor metadata yang Anda jalankan.

Tugas sinkronisasi entri lengkap

Dalam tugas metadata sinkronisasi entri lengkap, untuk setiap entri yang merupakan bagian dari cakupan tugas, Dataplex Universal Catalog melakukan salah satu hal berikut:

• Membuat entri dan aspek terlampir. Jika file impor metadata menyertakan entri yang tidak ada di project Anda, Dataplex Universal Catalog akan membuat entri dan aspek terlampir.
• Menghapus entri dan aspek terlampir. Jika entri ada di project Anda, tetapi file impor metadata tidak menyertakan entri tersebut, Dataplex Universal Catalog akan menghapus entri dan aspek terlampirnya dari project Anda.

• Memperbarui entri dan aspek terlampir. Jika entri ada di file impor metadata dan di project Anda, Dataplex Universal Catalog akan mengevaluasi stempel waktu sumber entri dan stempel waktu sumber aspek yang terkait dengan entri untuk menentukan nilai mana yang akan diubah. Kemudian, Katalog Universal Dataplex melakukan satu atau beberapa hal berikut:

  • Membuat ulang entri. Jika stempel waktu pembuatan sumber entri dalam file impor metadata lebih baru daripada stempel waktu yang sesuai di project Anda, Dataplex Universal Catalog akan membuat ulang entri di project Anda.
  • Memperbarui entri. Jika stempel waktu pembaruan sumber entri dalam file impor metadata lebih baru daripada stempel waktu yang sesuai dalam project Anda, Dataplex Universal Catalog akan memperbarui entri dalam project Anda.
  • Membuat aspek. Jika aspek tidak ada dalam project Anda, dan disertakan dalam peta aspek, kolom mask update, dan kolom kunci aspek dalam file impor metadata, Dataplex Universal Catalog akan membuat aspek tersebut.
  • Menghapus aspek. Jika aspek ada di project Anda, dan disertakan dalam kolom mask update dan kolom kunci aspek dalam file impor metadata, tetapi tidak disertakan dalam peta aspek, Katalog Universal Dataplex akan menghapus aspek tersebut.

  • Memperbarui aspek. Jika aspek ada dalam project Anda dan disertakan dalam peta aspek, kolom mask update, dan kolom kunci aspek dalam file impor metadata, serta stempel waktu update sumber aspek dalam file impor metadata lebih baru daripada stempel waktu yang sesuai dalam project Anda, Dataplex Universal Catalog akan memperbarui aspek tersebut.

    Jika stempel waktu pembaruan sumber aspek tidak diberikan dalam file impor metadata, tetapi entri yang sesuai ditandai untuk pembaruan, Dataplex Universal Catalog juga akan memperbarui aspek tersebut.

    Namun, jika setidaknya satu aspek dalam file impor metadata memiliki stempel waktu yang lebih lama daripada stempel waktu yang sesuai dalam project Anda, maka Dataplex Universal Catalog tidak akan melakukan pembaruan apa pun untuk entri yang dilampirkan.

Pekerjaan khusus aspek

Dalam tugas metadata khusus aspek, untuk setiap aspek yang merupakan bagian dari cakupan tugas, Dataplex Universal Catalog melakukan salah satu hal berikut:

• Membuat aspek. Jika aspek tidak ada dalam project Anda, dan disertakan dalam peta aspek, kolom mask update, dan kolom kunci aspek dalam file impor metadata, Dataplex Universal Catalog akan membuat aspek tersebut.

• Menghapus aspek. Untuk aspek opsional, jika aspek ada di project Anda, dan disertakan dalam kolom mask update dan kolom kunci aspek dalam file impor metadata, tetapi tidak disertakan dalam peta aspek, Dataplex Universal Catalog akan menghapus aspek tersebut.

  Aspek yang diperlukan tidak dapat dihapus.

• Memperbarui aspek. Jika aspek ada dalam project Anda dan disertakan dalam peta aspek, kolom mask update, dan kolom kunci aspek dalam file impor metadata, serta stempel waktu update sumber aspek dalam file impor metadata lebih baru daripada stempel waktu yang sesuai dalam project Anda, Dataplex Universal Catalog akan memperbarui aspek tersebut.

  Jika stempel waktu pembaruan sumber aspek tidak diberikan dalam file impor metadata, Dataplex Universal Catalog juga akan memperbarui aspek.

  Dataplex Universal Catalog memperbarui aspek berdasarkan stempel waktu pembaruan sumber aspek, terlepas dari stempel waktu pembaruan sumber entri yang sesuai.

Membuat file impor metadata

Sebelum mengimpor metadata, buat file impor metadata untuk tugas Anda. Ikuti langkah-langkah berikut:

1. Siapkan file impor metadata dengan mengikuti pedoman yang dijelaskan sebelumnya dalam dokumen ini.
2. Upload file ke bucket Cloud Storage.

Anda dapat memberikan beberapa file impor metadata dalam tugas metadata yang sama. Untuk menyediakan beberapa file, simpan file di bucket Cloud Storage yang sama. Saat menjalankan tugas, Anda menentukan bucket, bukan file tertentu. Katalog Universal Dataplex mengimpor metadata dari semua file yang disimpan di bucket, termasuk file yang ada di subfolder.

Menjalankan tugas impor metadata

Setelah membuat file impor metadata, jalankan tugas impor metadata menggunakan API.

POST https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID

{
  "type": IMPORT,
  "import_spec": {
    "source_storage_uri": "gs://CLOUD_STORAGE_URI/",
    "scope": {
      "entryGroups": [
        "ENTRY_GROUP"
      ],
      "entry_types": [
        "ENTRY_TYPE"
      ],
      "aspect_types": [
        "ASPECT_TYPE"
      ]
    },
    "entry_sync_mode": ENTRY_SYNC_MODE,
    "aspect_sync_mode": INCREMENTAL,
    "log_level": LOG_LEVEL
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID" | Select-Object -Expand Content

Mendapatkan detail tentang tugas metadata

Untuk mendapatkan informasi tentang tugas metadata, seperti status tugas dan jumlah entri yang diubah, ikuti langkah-langkah berikut. Untuk mengetahui informasi selengkapnya tentang cara memecahkan masalah tugas yang gagal, lihat bagian Melihat log tugas dan memecahkan masalah dalam dokumen ini.

Mendapatkan daftar tugas metadata

Anda bisa mendapatkan daftar tugas metadata terbaru. Tugas lama yang telah mencapai status akhir akan dihapus secara berkala dari sistem.

Membatalkan tugas metadata

Anda dapat membatalkan tugas metadata yang tidak ingin Anda jalankan.

Melihat log tugas dan memecahkan masalah

Gunakan Cloud Logging untuk melihat log tugas metadata. Untuk mengetahui informasi selengkapnya, lihat Memantau log Dataplex Universal Catalog.

Anda mengonfigurasi tingkat log saat membuat tugas metadata. Tersedia tingkat log berikut:

• INFO: menyediakan log di tingkat tugas secara keseluruhan. Mencakup log gabungan tentang item impor, tetapi tidak menentukan item impor mana yang mengalami error.

• DEBUG: memberikan log mendetail untuk setiap item impor. Gunakan logging tingkat debug untuk memecahkan masalah pada item impor tertentu. Misalnya, gunakan pencatatan aktivitas tingkat debug untuk mengidentifikasi resource yang tidak ada dalam cakupan tugas, entri atau aspek yang tidak sesuai dengan jenis entri atau jenis aspek terkait, atau kesalahan konfigurasi lainnya dengan file impor metadata.

Error validasi

Dataplex Universal Catalog memvalidasi file impor metadata terhadap metadata saat ini di project Anda. Jika ada masalah validasi, status tugas mungkin menampilkan salah satu status berikut:

• FAILED: terjadi saat file impor metadata memiliki error. Dataplex Universal Catalog tidak mengimpor metadata apa pun dan tugas gagal. Contoh error dalam file impor metadata mencakup hal berikut:
  • Item dalam file tidak dapat diuraikan menjadi item impor yang valid
  • Entri atau aspek dalam file termasuk dalam grup entri, jenis entri, atau jenis aspek yang bukan bagian dari cakupan tugas
  • Nama entri yang sama ditentukan lebih dari sekali dalam tugas
  • Jenis aspek yang ditentukan dalam peta aspek atau kunci aspek tidak menggunakan format PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@OPTIONAL_PATH
  • Aspek wajib ditandai untuk dihapus
• SUCCEEDED_WITH_ERRORS: terjadi saat file impor metadata dapat diuraikan dengan berhasil, tetapi mengimpor item dalam file akan menyebabkan entri dalam project Anda berada dalam status yang tidak konsisten. Dataplex Universal Catalog mengabaikan entri tersebut, tetapi mengimpor metadata lainnya dari file.

Gunakan log tugas untuk memecahkan masalah error.

Langkah berikutnya

• Menelusuri aset data di Dataplex Universal Catalog
• Mengelola aspek dan memperkaya metadata
• Mengelola entri dan menyerap sumber kustom
• Mengekspor metadata