Melakukan streaming metadata DICOM ke BigQuery

Halaman ini menjelaskan cara mengonfigurasi penyimpanan DICOM untuk mengekspor metadata instance DICOM ke tabel BigQuery setiap kali salah satu hal berikut terjadi:

• Anda menyimpan instance DICOM menggunakan transaksi Penyimpanan atau dengan mengimpor objek DICOM dari bucket Cloud Storage.
• Anda menghapus instance DICOM menggunakan permintaan Penghapusan.
• Anda dapat mengubah kelas penyimpanan instance DICOM.

Streaming metadata DICOM ke tabel BigQuery menyinkronkan tabel dengan data DICOM Anda sehingga Anda dapat menjalankan kueri kompleks pada versi terbaru penyimpanan DICOM Anda.

Sebelum memulai

Sebelum mengonfigurasi penyimpanan DICOM, selesaikan langkah-langkah berikut

Menetapkan izin BigQuery

Sebelum melakukan streaming metadata DICOM ke BigQuery, Anda harus memberikan izin yang diperlukan ke akun layanan Agen Layanan Cloud Healthcare . Untuk mengetahui informasi selengkapnya, lihat Izin BigQuery untuk penyimpanan DICOM.

Mempelajari cara mengekspor metadata DICOM ke BigQuery

Sebelum mengonfigurasi streaming, pahami cara mengekspor metadata DICOM ke BigQuery.

Mengonfigurasi penyimpanan DICOM

Untuk mengaktifkan streaming ke BigQuery, konfigurasi objek StreamConfig di penyimpanan DICOM Anda. Dalam objek StreamConfig, tetapkan objek BigQueryDestination ke URI tabel BigQuery yang sepenuhnya memenuhi syarat sebagai tujuan metadata instance DICOM.

Anda dapat menentukan hingga lima tujuan BigQuery sebagai objek JSON yang dipisahkan koma.

Menghapus instance DICOM di penyimpanan DICOM tidak akan menghapus baris BigQuery yang berisi metadata untuk instance tersebut.

{
  'streamConfigs': [{
     'bigqueryDestination': {
      'tableUri': 'bq://PROJECT_ID.BIGQUERY_DATASET_ID.BIGQUERY_TABLE_ID'
     }
  }]
}

cat > request.json << 'EOF'
{
  'streamConfigs': [{
     'bigqueryDestination': {
      'tableUri': 'bq://PROJECT_ID.BIGQUERY_DATASET_ID.BIGQUERY_TABLE_ID'
     }
  }]
}
EOF

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID?updateMask=streamConfigs"

@'
{
  'streamConfigs': [{
     'bigqueryDestination': {
      'tableUri': 'bq://PROJECT_ID.BIGQUERY_DATASET_ID.BIGQUERY_TABLE_ID'
     }
  }]
}
'@  | Out-File -FilePath request.json -Encoding utf8

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID?updateMask=streamConfigs" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID",
  "streamConfigs": [
    {
      "bigqueryDestination": {
        "tableUri": "bq://PROJECT_ID.BIGQUERY_DATASET_ID.BIGQUERY_TABLE_ID"
      }
    }
  ]
}

Metadata penghapusan

Pada versi Cloud Healthcare API sebelumnya, metadata instance DICOM hanya diekspor ke BigQuery saat instance DICOM dimasukkan ke penyimpanan DICOM. Saat penulisan metadata untuk penghapusan ditambahkan, dua kolom baru, bernama Type dan LastUpdated, ditambahkan ke tabel yang dihasilkan yang berisi metadata DICOM.

Metadata apa pun dalam tabel yang ada sebelum pengenalan metadata penghapusan memiliki nilai NULL untuk kolom ini. NULL adalah nilai terendah dan muncul terakhir saat mengurutkan berdasarkan urutan menurun.

Tampilan BigQuery yang dihasilkan

Saat Anda menyisipkan atau menghapus instance DICOM di penyimpanan DICOM, tabel BigQuery yang dikonfigurasi akan diperbarui.

Jika tampilan tabel tidak ada, tampilan akan dibuat. Jika tidak, tampilan akan diperbarui.

Batasan dan perilaku tambahan

Beberapa tag DICOM mungkin tidak ada dalam metadata yang diekspor. Jika ya, tag yang tidak ada akan ditambahkan ke kolom terpisah bernama DroppedTags.TagName di tabel BigQuery tujuan.

Tag akan tidak ada karena salah satu alasan berikut:

• Tag DICOM adalah VR yang tidak didukung dan tercantum dalam VR yang Dikecualikan.
• Tag DICOM kira-kira melebihi 1 MB.
• Jumlah kolom dalam tabel BigQuery tujuan melebihi jumlah kolom maksimum. Jika mengekspor metadata DICOM ke tabel BigQuery melampaui batas kolom, tag DICOM yang tidak cocok dengan kolom yang ada akan ditambahkan ke kolom DroppedTags.Name. Jika kolom DroppedTags tidak dapat ditambahkan, tag DICOM akan dihapus tanpa notifikasi dan log peringatan akan dibuat. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah permintaan streaming DICOM untuk melihat log.

Menggabungkan metadata penghapusan ke dalam tabel yang ada

Perilaku tampilan yang dihasilkan bergantung pada apakah tabel dasarnya berisi metadata yang ditambahkan sebelum fitur metadata penghapusan diperkenalkan.

Misalkan tabel BigQuery berisi metadata DICOM dari sebelum metadata penghapusan didukung, lalu hal berikut terjadi:

1. Anda memasukkan instance DICOM ke dalam penyimpanan DICOM.
2. Anda menghapus instance DICOM dari penyimpanan DICOM.
3. Anda mengedit tag instance DICOM asli, dan memasukkan instance DICOM yang telah diubah ke dalam penyimpanan DICOM.

Karena tabel BigQuery berisi metadata asli sebelum metadata penghapusan didukung, instance DICOM asli dan versi yang diedit memiliki studi, deret, dan ID unik (UID) instance yang sama. Tampilan yang dihasilkan dapat berisi instance DICOM asli atau instance DICOM terbaru. Tanpa kolom LastUpdated, tampilan tidak dapat mengidentifikasi instance DICOM mana yang lebih baru.

Untuk memastikan Anda membuat kueri metadata instance DICOM terbaru, lakukan salah satu hal berikut:

• Buat kueri tabel dasar, bukan tampilan. Pastikan kueri menelusuri tag yang diperbarui di instance DICOM yang diedit.

• Hapus tabel yang ada yang berisi metadata DICOM, lalu buat ulang dengan mengekspor metadata DICOM ke BigQuery secara manual. Tabel yang dibuat ulang berisi kolom LastUpdated.

  Opsi ini menghapus metadata streaming historis, tetapi memastikan bahwa tabel berisi kolom LastUpdated dengan nilai yang valid.

Memecahkan masalah permintaan streaming DICOM

Jika terjadi error selama permintaan ekspor metadata DICOM ke BigQuery, error tersebut dicatat ke Cloud Logging. Untuk mengetahui informasi selengkapnya, lihat Melihat log error di Cloud Logging.

Untuk memfilter log error metadata DICOM streaming di konsol Google Cloud , selesaikan langkah-langkah berikut:

1. Buka halaman Logs Explorer.

   Buka Logs Explorer

2. Di kolom Query, masukkan kueri berikut:

   logName="healthcare.googleapis.com%2Fdicom_stream"
   

3. Klik Run query.

   Log error akan ditampilkan di bagian Query results.