Cloud Healthcare API für digitale Pathologie verwenden

Auf dieser Seite wird erläutert, wie Sie virtuelle Schnitte (Whole Slide Images, WSIs) mit der Cloud Healthcare API speichern, darauf zugreifen, sie visualisieren und verwenden.

Übersicht

Die digitale Pathologie revolutioniert die medizinische Bildgebung, da konventionelle Objektträger in digitalen Workflows archiviert, visualisiert und ausgewertet werden können. Die digitale Pathologie bietet viele Vorteile, darunter schnelle Konsultationen, einen besseren Zugang und ein besseres Verständnis für Patienten sowie verbesserte klinische und Forschungs-Workflows, da pathologische Bilder als Datenquelle für modernste KI dienen können.

Die digitale Pathologie von virtuellen Schnitten wird als Sammlung von Bildern dargestellt. Die größten davon sind in der Regel mehrere Gigabyte groß. DICOM ist der interoperable Standard für die digitale Pathologie und ermöglicht die effiziente Speicherung von virtuellen Schnitten und den zugehörigen Metadaten, die in elektronischen Gesundheitsakten referenziert werden können (z.B. FHIR) und über leistungsstarke, anbieterneutrale APIs darauf zugegriffen werden kann.

Die DICOM-Darstellung für die digitale Pathologie wurde entwickelt, um interaktive Anwendungsfälle mit hoher Leistung zu unterstützen, die das schnelle Schwenken und Zoomen von Gigapixelbildern erfordern. DICOM stellt die digitale Pathologie von virtuellen Schnitten als Bildpyramide dar. Die Ebenen der Pyramide entsprechen den Vergrößerungen der Whole Slide Imaging-Technik. Die Bilder einer Pyramidenebene werden als Sammlung kleinerer Bilder, Frames, gespeichert. Der Standard definiert APIs, die die Speicherung, Suche (Auffinden verfügbarer Bilder), Abruf von Metadaten und den Abruf von Bildern auf der gesamten Pyramidenebene (Vergrößerung) oder die Auswahl von Unterbereichen (Frames) innerhalb einer Pyramidenebene ermöglichen.

Die DICOM-APIs unterstützen Metadatenantworten in JSON und XML. Die Cloud Healthcare API unterstützt zusätzlich den Metadatenzugriff über BigQuery, um komplexe relationale Abfragen zu ermöglichen, bei denen die DICOM-Metadaten mit anderen Datenquellen verknüpft werden. Bilder können wie gespeichert oder konvertiert (transcodiert) in alternative Formate zurückgegeben werden.

DICOM-Bilder von virtuellen Schnitten erstellen

Eine wachsende Zahl von Scannern für digitale Pathologie unterstützt die direkte Generierung von DICOM-Bildern aus dem Scanner. In vielen Fällen können von Objektträger-Scannern erstellte DICOM-Dateien direkt in die Cloud Healthcare API aufgenommen werden, entweder über die DICOMweb- oder die DIMSE-DICOM-APIs. Wenn die DICOM-erzeugenden Objektträger-Scanner nicht mit einem Laborinformationssystem (LIS) verbunden sind, kann es erforderlich sein, die Nicht-Pixel-Metadaten in DICOM zu ergänzen (z.B. Patient) oder zu ändern (z.B. Study Instance UID) vor der Verwendung in einem klinischen Bildgebungs-PACS.

Bisher haben Diascanner Bilder in proprietären Formaten generiert. Mit der Transformationspipeline können Sie von OpenSlide unterstützte Formate in DICOM umwandeln, benutzerdefinierte Metadaten mit den generierten DICOM-Dateien zusammenführen und die generierten DICOM-Dateien direkt in die Cloud Healthcare API aufnehmen. Diese Lösung wurde verwendet, um die Transformation von Archiven mit mehreren Petabyte in DICOM zu unterstützen.

Tools, mit denen sich Bilder aus der digitalen Pathologie in DICOM konvertieren lassen:

• Open-Source-Transformationspipeline von Google
• "Dicomizer"-Befehlszeilentool Orthanc
• PixelMed™ Java DICOM-Toolkit

DICOM-Instanzen können programmatisch in die Cloud Healthcare API importiert werden. Dazu stehen folgende Optionen zur Verfügung: DICOMweb, DIMSE und Cloud Storage.

Speicherstufen für Bilder

Die Cloud Healthcare API unterstützt Speicher-Tiering auf der Granularität einer DICOM-Instanz. Bei der Ganzglas-Bildgebung kann jede Vergrößerung einer digitalen Pathologie-Bildpyramide in der Ebene gespeichert werden, die am besten zu ihrer erwarteten Verwendung passt. Die Speicherebene einer DICOM-Instanz wirkt sich auf die Kosten für das Speichern, Abrufen und in einigen Fällen auch das Löschen der Daten aus. Die Speicherebenen haben keine Auswirkungen auf die Leistung des Datenzugriffs. Standardmäßig werden alle DICOM-Instanzen in der Standard-Speicherebene gespeichert. Die Cloud Healthcare API bietet eine API zum Ansehen und Ändern der Speicherklasse für DICOM-Instanzen. Außerdem kann eine Lösung zur Verwaltung des Bildlebenszyklus (Image Lifecycle Management, ILM) verwendet werden, um die Übertragung von DICOM-Instanzen zwischen Speicherebenen basierend auf Heuristiken zu automatisieren. Mit der Lösung kann die Stufung einer DICOM-Instanz durch Speicherebenen basierend auf ihrer Größe, ihrem Alter und ihren Zugriffsmustern automatisiert werden.

HINWEIS: Durch die Archivierung von Daten steigen die Kosten für den Abruf von Pixeldaten. Die Gebühren für den Datenabruf werden anhand der Größe der abgerufenen Daten und nicht anhand der Größe der gespeicherten Daten berechnet. Für die Whole Slide Imaging ist dies ein wichtiger Unterschied, da Pixeldaten sowohl mit APIs auf Frame- als auch auf Instanzebene abgerufen werden können. Das Abrufen von Archivbildern über Frame-APIs kann aus Kostensicht besonders vorteilhaft sein, wenn nur eine Teilmenge der Frames einer Instanz benötigt wird, da die Gebühren für den Datenabruf auf der Grundlage der Größe der zurückgegebenen Daten und nicht der Größe der gespeicherten Instanz berechnet werden.

Interaktive Visualisierung

Die Cloud Healthcare API kann zur Unterstützung der interaktiven Visualisierung von Whole Slide Imaging für Anwendungen verwendet werden, die von Web-Viewern ohne Footprint (JavaScript) bis hin zu eigenständigen Clientanwendungen reichen. Die folgenden Open-Source-Betrachter wurden auf Kompatibilität mit der Cloud Healthcare API getestet:

• Open Source Google Viewer: Open-Source-Viewer für digitale Pathologie ohne Footprint, der von Google Research entwickelt wurde.

• Slim (MGH): Open-Source-Viewer für digitale Pathologie ohne Footprint, der die NIH Imaging Data Commons unterstützt.

• OHIF

• QuPath: Open-Source-Desktopanwendung.

Leistung interaktiver Visualisierungen verbessern

Der Digital Pathology DICOM Proxy ist eine Lösung von Google Research, mit der Sie die Leistung beim Bereitstellen von Frames für interaktive Anwendungen für die Darstellung von virtuellen Schnitten verbessern können. Bei der Bereitstellung umschließt der Digital Pathology DICOM-Proxy die Cloud Healthcare API und führt Just-in-Time-Frame-Caching durch, um Frame-Bilder bevorzugt aus einem In-Memory-Memorystore for Redis-Cache bereitzustellen.

Farbnormalisierung für virtuelle Schnitte

Der DICOM-Standard erfordert, dass WSIs ein ICC-Farbprofil enthalten, das den Farbraum des Scanners definiert, mit dem die Bilder aufgenommen wurden. Dieser Farbraum kann sich deutlich von dem Farbraum unterscheiden, der von Displays oder anderen Diascannern verwendet wird. Wenn Bilder ohne das eingebettete ICC-Profil visualisiert werden, erscheint die Farbe oft deutlich mehr oder weniger gesättigt als erwartet. Die Cloud Healthcare API bietet APIs zum Abrufen des in eine DICOM-Instanz eingebetteten ICC-Profils und zum Transformieren abgerufener Bilder in einen Referenzfarbraum.

• Sie können das in eine DICOM-Instanz eingebettete ICC-Profil mit der Bulk Data API oder der API zum Abrufen von Instanzen abrufen. Anschließend können Sie die im Farbraum des Diascanners abgerufenen Bilder mit Bibliotheken wie Little-CMS(in C++ geschrieben) und Pillow (in Python geschrieben) transformieren.

• Die Python-Bibliothek EZ-WSI DICOMweb unterstützt die ICC-Profiltransformation als Teil ihrer APIs zum Abrufen von Bildern und zum Generieren von Machine-Learning-Einbettungen.

Maschinelles Lernen

Path Foundation ist ein von Google Research entwickeltes Fundierungsmodell, das die Entwicklung von Machine Learning (ML) in der digitalen Pathologie beschleunigen soll.

Das Modell wandelt einen Ausschnitt (einen Teilbereich) von Pathologiebildern in eine Einbettung um, die eine Liste von Gleitkommazahlen ist. Diese Einbettung dient als maschinell gelernte Darstellung des Bildes. Wenn Sie Bildeinbettungen als Eingabedaten verwenden, können Sie die Gesamtmenge an Daten und Rechenressourcen reduzieren, die zum Entwickeln effektiver ML-Modelle erforderlich sind.

Sie können Path Foundation für Google Cloud über Model Garden bereitstellen. Das Modell ist auch als Open-Source-Software mit offenen Gewichten auf Hugging Face verfügbar.

Um die Generierung von Einbettungen zu vereinfachen, enthält die EZ-WSI DICOMweb Open-Source-Python-Bibliothek Schnittstellen (siehe das Colab-Notebook „Erste Schritte zum Generieren von Pathologie-Einbettungen“), die die Umwandlung von in der Cloud Healthcare API gespeicherten Bildern in Einbettungen vereinfachen. Informationen zur Verwendung von EZ-WSI DICOMweb und Pathology Foundations zum Trainieren eines linearen Klassifikators aus DICOM-Bildern von virtuellen Schnitten finden Sie im Colab-Notebook zum Trainieren eines linearen Klassifikators für die digitale Pathologie aus Bildern, die in DICOM gespeichert sind.

Metadaten und Pixelbilder programmatisch abrufen

In diesem Abschnitt werden Methoden zum Abrufen von Metadaten und Bildern aus der digitalen Pathologie aus der Cloud Healthcare API beschrieben.

DICOM-Informationsmodell

DICOM verwendet drei eindeutige Kennungen (Unique Identifiers, UIDs), um Bilder eindeutig zu identifizieren:

• Study Instance UID: Kennzeichnet alle Bilder, die bei einer einzelnen Patientenuntersuchung aufgenommen oder generiert wurden.
• Serieninstanz-UID: Identifiziert jede medizinische Bildaufnahme innerhalb dieser Untersuchung (z. B. ein eindeutiger Scan eines Pathologie-Objektträgers).
• SOP Instance UID: Identifiziert jedes Bild, das im Rahmen dieser Aufnahme erfasst oder generiert wurde.

Beispielsweise werden bei Diascannern oft mehrere Bilder generiert, um ein komplettes Glas-Dia zu erfassen. Dazu gehören:

• Der abgebildete Gewebebereich bei verschiedenen Vergrößerungen.
• Das Folienlabel.
• Ein Bild der gesamten Folie.
• Daten, die den Vorgang des Scannens von Folien beschreiben.

DICOM-Serien für digitale Pathologie auflisten

Wenn Sie nach Mikroskopiebildern von Objektträgern suchen möchten, suchen Sie nach DICOM-Serien, in denen das Tag Modality (0008,0060) den Wert SM hat. Für diese Suche können Sie die Methode dicomStores.searchForSeries verwenden.

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/series?Modality=SM"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/series?Modality=SM" | Select-Object -Expand Content

[
  {
    "00080005": {
      "vr": "CS",
      "Value": [
        "SPECIFIC_CHARACTER_SET"
      ]
    },
    "00080020": {
      "vr": "DA",
      "Value": [
        "STUDY_DATE"
      ]
    },
    "00080030": {
      "vr": "TM"
    },
    "00080050": {
      "vr": "SH",
      "Value": [
        "ACCESSION_NUMBER"
      ]
    },
    "00080060": {
      "vr": "CS",
      "Value": [
          "SM"
      ]
    },
    "00080090": {
      "vr": "PN"
    },
    "00100010": {
      "vr": "PN"
    },
    "00100020": {
      "vr": "LO",
      "Value": [
        "PATIENT_ID"
      ]
    },
    "00100030": {
      "vr": "DA"
    },
    "00100040": {
      "vr": "CS"
    },
    "0020000D": {
      "vr": "UI",
      "Value": [
        "STUDY_INSTANCE_UID"
      ]
    },
    "0020000E": {
      "vr": "UI",
      "Value": [
      "SERIES_INSTANCE_UID"
      ]
    },
    "00200010": {
      "vr": "SH"
    }
  }
]

DICOM-Metadaten für die digitale Pathologie abrufen

Eine DICOM-Serie für die virtuelle Mikroskopie enthält in der Regel mehrere Instanzen. Diese DICOM-Instanzen können verschiedene Ebenen der Bildpyramide oder zusätzliche Bereiche des abgebildeten Objektträgers darstellen.

Rufen Sie die Methode dicomStores.searchForInstances auf, um die Instanzmetadaten für eine Instanz in der Studie aufzurufen:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/instances?StudyInstanceUID=STUDY_INSTANCE_UID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/instances?StudyInstanceUID=STUDY_INSTANCE_UID" | Select-Object -Expand Content

[
  {
    "00080005": {
      "vr": "CS",
      "Value": [
        "SPECIFIC_CHARACTER_SET"
      ]
    },
    "00080016": {
      "vr": "UI",
      "Value": [
        "SOP_CLASS_UID"
      ]
    },
    "00080018": {
      "vr": "UI",
      "Value": [
        "SOP_INSTANCE_UID"
      ]
    },
    "00080020": {
      "vr": "DA",
      "Value": [
        "STUDY_DATE"
      ]
    },
    "00080030": {
      "vr": "TM"
    },
    "00080050": {
      "vr": "SH",
      "Value": [
        "ACCESSION_NUMBER"
      ]
    },
    "00080060": {
      "vr": "CS",
      "Value": [
        "MODALITY"
      ]
    },
    "00080090": {
      "vr": "PN"
    },
    "00100010": {
      "vr": "PN"
    },
    "00100020": {
      "vr": "LO",
      "Value": [
        "PATIENT_ID"
      ]
    },
    "00100030": {
      "vr": "DA"
    },
    "00100040": {
      "vr": "CS"
    },
    "0020000D": {
      "vr": "UI",
      "Value": [
        "STUDY_INSTANCE_UID"
      ]
    },
    "0020000E": {
      "vr": "UI",
      "Value": [
        "SERIES_INSTANCE_UID"
      ]
    },
    "00200010": {
      "vr": "SH"
    },
    "00200013": {
      "vr": "IS",
      "Value": [
        INSTANCE_NUMBER
      ]
    },
    "00280010": {
      "vr": "US",
      "Value": [
        ROWS
      ]
    },
    "00280011": {
      "vr": "US",
      "Value": [
        COLUMNS
      ]
    },
    "00280100": {
      "vr": "US",
      "Value": [
        BITS_ALLOCATED
      ]
    },
    "00400244": {
      "vr": "DA",
      "Value": [
        "PERFORMED_PROCEDURE_STEP_START_DATE"
      ]
    }
  },
...
]

Pixeldaten von virtuellen Schnitten abrufen

Sie können Pixeldaten von virtuellen Schnitten programmatisch mit DICOMweb abrufen. Die Cloud Healthcare API unterstützt auch den Abruf über einen DICOM-Adapter mit DIMSE-Protokollen.

Die meisten virtuellen Schnitte sind Bilder mit mehreren Frames. Für diese bietet die Cloud Healthcare API direkten Zugriff auf Pixeldaten über die DICOM-Frame- und gerenderte Frame-APIs.

Alternativ können Sie Pixeldaten indirekt abrufen, indem Sie eine gesamte DICOM-Instanz abrufen und dann die codierten Frames aus dieser Instanz programmatisch decodieren.

Leistungsaspekte beim Abrufen von Frames:

• Das Abrufen einer gesamten Instanz ist pro Frame in der Regel schneller als das Abrufen von Batch-Frames.
• Das Abrufen von Frames im Batch ist in der Regel schneller als das Abrufen einzelner Frames.

EZ-WSI DICOMweb

EZ-WSI DICOMweb ist eine Open-Source-Python-Bibliothek. Sie vereinfacht das Abrufen von digitalen Pathologie-Pixeldaten aus der Cloud Healthcare API, indem die zugrunde liegenden DICOMweb-Aufrufe abstrahiert werden. Die Bibliothek kann in vielen Anwendungsfällen das Abrufen von Frames beschleunigen, indem sie serielle Bildanfragen in Batchanfragen umwandelt. Durch das Batch-Abrufen von Frame-Daten wird oft die benötigte Gesamtzeit und das DICOM-Speicherkontingent reduziert.

Ein Colab-Notebook, in dem die Bibliothek vorgestellt wird, ist verfügbar.

DICOMweb-API zum Abrufen von Instanzen

Die DICOMweb Instance Retrieval API gibt eine binäre DICOM-Instanz zurück. Diese Instanz enthält alle darin gespeicherten Metadaten und Pixeldaten.

Sie können die zurückgegebenen Binärdaten mit verschiedenen Bibliotheken decodieren, z. B. mit:

• PyDicom (Python)
• Dcm4che (Java)
• libdicom (C)
• DCMTK (C/C++)
• OpenSlide (Python/C)

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Accept: application/dicom" \
     --output OUTPUT_FILE \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "Accept" = "application/dicom" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -OutFile OUTPUT_FILE `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID"

DICOMweb Frame API

Mit der DICOMweb Frame API können Sie einen oder mehrere Frames aus einer DICOM-Instanz abrufen. Mit der API abgerufene Pixeldaten können transcodiert werden, um sie in anderen Formaten als dem nativen Format des DICOM-Speichers zu speichern.

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Accept: multipart/related; type="image/jpeg"; transfer-syntax=1.2.840.10008.1.2.4.50" \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/frames/FRAMES"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "Accept" = "multipart/related; type="image/jpeg"; transfer-syntax=1.2.840.10008.1.2.4.50" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/frames/FRAMES" | Select-Object -Expand Content

DICOMweb Rendered Frame API

Mit der API DICOMweb rendered frame können Frames serverseitig in ein Standardbildformat (z.B. JPEG und PNG).

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Accept: image/png" \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/frames/FRAME/rendered"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "Accept" = "image/png" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/frames/FRAME/rendered" | Select-Object -Expand Content

Bulk-Daten abrufen, um ein in eine DICOM-Instanz eingebettetes ICC-Profil abzurufen

Mit DICOMweb retrieve bulkdata können Sie ICC-Profilbytes (International Color Consortium) abrufen, die in eine DICOM-Instanz eingebettet sind.

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Accept: application/octet-stream; transfer-syntax=*" \
     --output OUTPUT_FILE \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/bulkdata/00480105/0/00282000"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "Accept" = "application/octet-stream; transfer-syntax=*" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -OutFile OUTPUT_FILE `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/bulkdata/00480105/0/00282000"