Como usar a API Cloud Healthcare para patologia digital

Nesta página, explicamos como armazenar, acessar, visualizar e usar imagens de lâminas inteiras (WSIs) de patologia digital usando a API Cloud Healthcare.

Visão geral

A patologia digital está transformando a imagem médica, permitindo que lâminas de vidro convencionais sejam arquivadas, visualizadas e avaliadas em fluxos de trabalho digitais. Entre os muitos benefícios, a patologia digital permite consultas rápidas, capacita os pacientes com maior acesso e compreensão e melhora os fluxos de trabalho clínicos e de pesquisa, permitindo que as imagens de patologia sejam uma fonte de dados para a IA de ponta.

A patologia digital de lâmina inteira é representada como uma coleção de imagens. Os maiores costumam ter vários gigabytes. O DICOM é o padrão interoperável para patologia digital e permite que a geração de imagens de lâminas inteiras e os metadados associados sejam armazenados e referenciados de forma eficiente em prontuários eletrônicos (por exemplo, FHIR) e acessados por APIs de alto desempenho neutras em relação ao fornecedor.

A representação DICOM para patologia digital foi projetada para oferecer suporte a casos de uso interativos de alto desempenho que exigem a capacidade de fazer panorâmica e zoom rapidamente em imagens de gigapixel. O DICOM representa a patologia digital de lâminas inteiras como uma pirâmide de imagens. Os níveis da pirâmide correspondem a ampliações da imagem do slide inteiro. As imagens representadas em um nível de pirâmide são armazenadas como uma coleção de imagens menores, chamadas de frames. O padrão define APIs que permitem o armazenamento, a pesquisa (descoberta de imagens disponíveis), a recuperação de metadados e a recuperação de imagens nível de pirâmide inteiro (ampliação) ou selecionar sub-regiões (frames) em um nível de pirâmide.

As APIs DICOM oferecem suporte a respostas de metadados em JSON e XML, e a API Cloud Healthcare também oferece suporte ao acesso a metadados pelo BigQuery para permitir consultas relacionais complexas que unem os metadados DICOM a outras fontes de dados. As imagens podem ser retornadas como armazenadas ou convertidas (transcodificadas) para formatos alternativos.

Como gerar imagens DICOM de lâminas inteiras

Um número crescente de scanners de lâminas de patologia digital oferece suporte à geração de imagens DICOM diretamente do scanner. Em muitos casos, o DICOM produzido pelo scanner de lâminas pode ser ingerido diretamente na API Cloud Healthcare usando as APIs DICOM DICOMweb ou DIMSE. Se os scanners de lâminas que produzem DICOM não estiverem conectados a um sistema de informações de laboratório (LIS), talvez seja necessário aumentar os metadados não pixelados em DICOM para adicionar (por exemplo, paciente) ou modificar (por exemplo, UID da instância do estudo) antes do uso em um PACS de imagens clínicas.

Historicamente, os scanners de lâminas geram imagens em formatos proprietários. O pipeline de transformação pode ser usado para transformar formatos compatíveis com OpenSlide em DICOM, mesclar metadados personalizados com o DICOM gerado e ingerir o DICOM gerado diretamente na API Cloud Healthcare. Essa solução foi usada para apoiar a transformação de arquivos de vários petabytes em DICOM.

As ferramentas que podem ser usadas para converter imagens de patologia digital em DICOM incluem:

• Pipeline de transformação do Google de código aberto
• Ferramenta de linha de comando "Dicomizer" do Orthanc
• Kit de ferramentas do DICOM para Java da PixelMed™

As instâncias DICOM podem ser importadas programaticamente para a API Cloud Healthcare usando: DICOMweb, DIMSE e do Cloud Storage.

Níveis de armazenamento de imagens

A API Cloud Healthcare é compatível com o armazenamento em níveis na granularidade de uma instância DICOM. Para imagens de lâminas inteiras, isso significa que cada ampliação de uma pirâmide de imagens de patologia digital pode ser armazenada no nível que melhor corresponde ao uso esperado. O nível de armazenamento de uma instância DICOM afeta o custo do armazenamento, da recuperação e, em alguns casos, da exclusão de dados. O armazenamento em camadas não afeta o desempenho do acesso aos dados. Por padrão, todas as instâncias DICOM são armazenadas no nível de armazenamento padrão. A API Cloud Healthcare oferece uma API para visualizar e mudar a classe de armazenamento de instâncias DICOM. Além disso, uma solução de gerenciamento do ciclo de vida de imagens (ILM) pode ser usada para automatizar a movimentação de instâncias DICOM entre níveis de armazenamento com base em heurísticas. A solução pode automatizar a migração de uma instância DICOM por níveis de armazenamento com base no tamanho, na idade e nos padrões de acesso dela.

OBSERVAÇÃO: o armazenamento de arquivo aumenta o custo da recuperação de dados de pixel. As cobranças de recuperação de dados são pagas com base no tamanho dos dados recuperados, e não no tamanho dos dados armazenados. Para imagens de lâminas inteiras, essa é uma distinção importante, já que os dados de pixels podem ser recuperados usando APIs no nível de frame e de instância. Recuperar imagens de arquivo usando APIs de frames pode ser particularmente vantajoso, do ponto de vista do custo, quando um subconjunto dos frames de uma instância é necessário, já que as cobranças de recuperação de dados são feitas com base no tamanho dos dados retornados e não no tamanho da instância armazenada.

Visualização interativa

A API Cloud Healthcare pode ser usada para oferecer suporte à visualização interativa de imagens de lâminas inteiras para aplicativos que variam de visualizadores da Web sem pegada (JavaScript) a aplicativos clientes autônomos. Os seguintes visualizadores de código aberto foram testados para serem compatíveis com a API Cloud Healthcare:

• Visualizador de código aberto do Google: visualizador de patologia digital de código aberto e sem pegada criado pela Google Research.

• Slim (MGH): visualizador de patologia digital de código aberto e sem pegada que oferece suporte ao NIH Imaging Data Commons.

• OHIF

• QuPath: aplicativo de código aberto para computador.

Como melhorar a performance da visualização interativa

O proxy DICOM de patologia digital é uma solução do Google Research que pode ser usada para melhorar o desempenho de exibição de frames em aplicativos interativos de imagens de lâminas inteiras. Quando implantado, o proxy DICOM de patologia digital encapsula a API Cloud Healthcare e realiza o armazenamento em cache de frames just-in-time para veicular preferencialmente imagens de frames de um cache da Memorystore para Redis na memória.

Normalização de cores de imagens de lâminas inteiras

O padrão DICOM exige que as WSIs contenham um perfil de cores ICC que defina o espaço de cores do scanner de lâminas que adquiriu as imagens. Esse espaço de cores pode ser bem diferente do usado por telas ou outros scanners de slides. Se visualizadas sem o perfil ICC incorporado, as cores das imagens geralmente aparecem muito mais ou menos saturadas do que o esperado. A API Cloud Healthcare fornece APIs para recuperar o perfil ICC incorporado em uma instância DICOM e transformar as imagens recuperadas em um espaço de cores de referência.

• É possível recuperar o perfil ICC incorporado em uma instância DICOM usando a API de dados em massa ou a API de recuperação de instâncias. Em seguida, é possível transformar as imagens recuperadas no espaço de cores do scanner de lâminas usando bibliotecas como Little-CMS(escrita em C++) e Pillow (escrita em Python).

• A API de frame renderizado permite recuperar imagens DICOM transformadas em um espaço de cores de referência (sRGB, AdobeRGB ou ROMMRGB). Para muitos casos de uso, a API Rendered Frame tem vantagens. Os perfis ICC incorporados em imagens DICOM de WSI podem ser grandes (~12 MB), e a API de frame renderizado remove a necessidade de os chamadores recuperarem o perfil ICC incorporado para visualizar corretamente os dados de pixels codificados. Em vez disso, quando você usa a API de frame renderizado, as imagens retornadas pelo servidor são transformadas em um espaço de cores de referência com o espaço de cores de referência (0,5 KB a 61 KB) incorporado a elas.

• A biblioteca Python EZ-WSI DICOMweb oferece suporte à transformação de perfil ICC como parte das APIs de recuperação de imagens e geração de incorporação de machine learning.

Machine learning

O Path Foundation é um modelo de fundação desenvolvido pelo Google Research para acelerar o desenvolvimento de machine learning (ML) em patologia digital.

O modelo converte um patch (uma sub-região) de imagens de patologia em um embedding, que é uma lista de números de ponto flutuante. Esse embedding serve como uma representação aprendida por máquina da imagem. Usar embeddings de imagem como dados de entrada pode ajudar a reduzir a quantidade total de dados e recursos de computação necessários para desenvolver modelos de ML eficazes.

Você pode implantar o Path Foundation no Google Cloud pelo Model Garden. Ele também está disponível como código aberto com pesos abertos no Hugging Face (em inglês).

Para ajudar na geração de incorporações, a biblioteca Python de código aberto EZ-WSI DICOMweb inclui interfaces (consulte o guia de início rápido para gerar incorporações de patologia no notebook do Colab) que simplificam a transformação de imagens armazenadas na API Cloud Healthcare em incorporações. Consulte Treinar um classificador linear de patologia digital com imagens armazenadas no notebook DICOM do Colab para saber como usar o EZ-WSI DICOMweb e o Pathology Foundations para treinar um classificador linear com imagens DICOM de lâminas inteiras.

Recuperação programática de metadados e imagens de pixels

Esta seção descreve métodos para recuperar metadados e imagens de patologia digital da API Cloud Healthcare.

Modelo de informações DICOM

O DICOM usa três identificadores exclusivos (UIDs) para identificar imagens de forma exclusiva:

• UID da instância de estudo: identifica todas as imagens adquiridas ou geradas em um único exame do paciente.
• UID da instância da série: identifica cada aquisição de imagem médica dentro desse exame (por exemplo, uma varredura exclusiva de uma lâmina de patologia).
• UID da instância SOP: identifica cada imagem adquirida ou gerada como parte dessa aquisição.

Por exemplo, os scanners de lâminas geralmente geram várias imagens para capturar uma lâmina de vidro completa. Essas imagens podem incluir:

• A área de tecido em várias ampliações.
• O rótulo do slide.
• Uma imagem do slide inteiro.
• Dados que descrevem a operação de digitalização de lâminas.

Como listar séries DICOM de patologia digital

Para identificar imagens de microscopia de lâminas, pesquise séries DICOM em que a tag Modalidade (0008,0060) seja SM. Você pode usar o método dicomStores.searchForSeries para essa pesquisa.

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/series?Modality=SM"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/series?Modality=SM" | Select-Object -Expand Content

[
  {
    "00080005": {
      "vr": "CS",
      "Value": [
        "SPECIFIC_CHARACTER_SET"
      ]
    },
    "00080020": {
      "vr": "DA",
      "Value": [
        "STUDY_DATE"
      ]
    },
    "00080030": {
      "vr": "TM"
    },
    "00080050": {
      "vr": "SH",
      "Value": [
        "ACCESSION_NUMBER"
      ]
    },
    "00080060": {
      "vr": "CS",
      "Value": [
          "SM"
      ]
    },
    "00080090": {
      "vr": "PN"
    },
    "00100010": {
      "vr": "PN"
    },
    "00100020": {
      "vr": "LO",
      "Value": [
        "PATIENT_ID"
      ]
    },
    "00100030": {
      "vr": "DA"
    },
    "00100040": {
      "vr": "CS"
    },
    "0020000D": {
      "vr": "UI",
      "Value": [
        "STUDY_INSTANCE_UID"
      ]
    },
    "0020000E": {
      "vr": "UI",
      "Value": [
      "SERIES_INSTANCE_UID"
      ]
    },
    "00200010": {
      "vr": "SH"
    }
  }
]

Como recuperar metadados DICOM de patologia digital

Uma série DICOM para imagens de lâminas inteiras geralmente contém várias instâncias. Essas instâncias DICOM podem representar diferentes níveis da pirâmide de imagens ou regiões adicionais da lâmina analisada.

Para ver os metadados de uma instância no estudo, chame o método dicomStores.searchForInstances:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/instances?StudyInstanceUID=STUDY_INSTANCE_UID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/instances?StudyInstanceUID=STUDY_INSTANCE_UID" | Select-Object -Expand Content

[
  {
    "00080005": {
      "vr": "CS",
      "Value": [
        "SPECIFIC_CHARACTER_SET"
      ]
    },
    "00080016": {
      "vr": "UI",
      "Value": [
        "SOP_CLASS_UID"
      ]
    },
    "00080018": {
      "vr": "UI",
      "Value": [
        "SOP_INSTANCE_UID"
      ]
    },
    "00080020": {
      "vr": "DA",
      "Value": [
        "STUDY_DATE"
      ]
    },
    "00080030": {
      "vr": "TM"
    },
    "00080050": {
      "vr": "SH",
      "Value": [
        "ACCESSION_NUMBER"
      ]
    },
    "00080060": {
      "vr": "CS",
      "Value": [
        "MODALITY"
      ]
    },
    "00080090": {
      "vr": "PN"
    },
    "00100010": {
      "vr": "PN"
    },
    "00100020": {
      "vr": "LO",
      "Value": [
        "PATIENT_ID"
      ]
    },
    "00100030": {
      "vr": "DA"
    },
    "00100040": {
      "vr": "CS"
    },
    "0020000D": {
      "vr": "UI",
      "Value": [
        "STUDY_INSTANCE_UID"
      ]
    },
    "0020000E": {
      "vr": "UI",
      "Value": [
        "SERIES_INSTANCE_UID"
      ]
    },
    "00200010": {
      "vr": "SH"
    },
    "00200013": {
      "vr": "IS",
      "Value": [
        INSTANCE_NUMBER
      ]
    },
    "00280010": {
      "vr": "US",
      "Value": [
        ROWS
      ]
    },
    "00280011": {
      "vr": "US",
      "Value": [
        COLUMNS
      ]
    },
    "00280100": {
      "vr": "US",
      "Value": [
        BITS_ALLOCATED
      ]
    },
    "00400244": {
      "vr": "DA",
      "Value": [
        "PERFORMED_PROCEDURE_STEP_START_DATE"
      ]
    }
  },
...
]

Como recuperar dados de pixels de imagens de lâminas inteiras

É possível recuperar dados de pixels de imagens de lâminas inteiras de forma programática usando o DICOMweb. A API Cloud Healthcare também é compatível com a recuperação por um adaptador DICOM usando protocolos DIMSE.

A maioria das imagens de lâminas inteiras tem vários frames. Para eles, a API Cloud Healthcare oferece acesso direto a dados de pixels usando as APIs de frame DICOM e frame renderizado.

Como alternativa, é possível recuperar dados de pixel indiretamente buscando uma instância DICOM inteira e decodificando programaticamente os frames codificados dessa instância.

Considerações sobre a performance para recuperar frames:

• Recuperar uma instância inteira geralmente é mais rápido por frame do que a recuperação em lote.
• A recuperação de frames em lote geralmente é mais rápida do que a recuperação de frames individuais.

EZ-WSI DICOMweb

O EZ-WSI DICOMweb é uma biblioteca Python de código aberto. Ele simplifica a recuperação de dados de pixels de patologia digital da API Cloud Healthcare ao abstrair as chamadas DICOMweb subjacentes. A biblioteca pode ajudar a acelerar a recuperação de frames em muitos casos de uso convertendo solicitações de imagens seriais em solicitações em lote. A recuperação em lote de dados de frames geralmente reduz o tempo total e a cota de armazenamento DICOM necessários.

Um notebook do Colab que demonstra a biblioteca está disponível.

API de recuperação de instâncias DICOMweb

A API DICOMweb Instance Retrieval retorna uma instância DICOM binária. Essa instância contém todos os metadados e dados de pixel armazenados nela.

É possível decodificar os dados binários retornados usando várias bibliotecas, como:

• PyDicom (Python)
• Dcm4che (Java)
• libdicom (C)
• DCMTK (C/C++)
• OpenSlide (Python/C)

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Accept: application/dicom" \
     --output OUTPUT_FILE \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "Accept" = "application/dicom" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -OutFile OUTPUT_FILE `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID"

API DICOMweb frame

A API DICOMweb Frame permite a recuperação de um ou mais frames de uma instância DICOM. Os dados do Pixel recuperados usando a API podem ser solicitados transcodificados para formatos diferentes do que é armazenado nativamente no armazenamento DICOM.

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Accept: multipart/related; type="image/jpeg"; transfer-syntax=1.2.840.10008.1.2.4.50" \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/frames/FRAMES"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "Accept" = "multipart/related; type="image/jpeg"; transfer-syntax=1.2.840.10008.1.2.4.50" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/frames/FRAMES" | Select-Object -Expand Content

API DICOMweb rendered frame

A API DICOMweb rendered frame permite a conversão do lado do servidor de frames para um formato de imagem padrão (por exemplo, JPEG e PNG).

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Accept: image/png" \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/frames/FRAME/rendered"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "Accept" = "image/png" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/frames/FRAME/rendered" | Select-Object -Expand Content

API DICOMweb rendered frame com normalização de perfil ICC

A API DICOMweb rendered frame aceita um parâmetro opcional que instrui o servidor a transformar os dados de pixels retornados em um espaço de cores de referência.

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Accept: image/png" \
     "https://healthcare.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/frames/FRAME/rendered?iccprofile=srgb"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "Accept" = "image/png" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://healthcare.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/frames/FRAME/rendered?iccprofile=srgb" | Select-Object -Expand Content

Usar "recuperar dados em massa" para recuperar um perfil ICC incorporado em uma instância DICOM

É possível usar o DICOMweb retrieve bulkdata para recuperar diretamente bytes de perfil do ICC (International Color Consortium) incorporados em uma instância DICOM.

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Accept: application/octet-stream; transfer-syntax=*" \
     --output OUTPUT_FILE \
     "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/bulkdata/00480105/0/00282000"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "Accept" = "application/octet-stream; transfer-syntax=*" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -OutFile OUTPUT_FILE `
    -Uri "https://healthcare.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/dicomStores/DICOM_STORE_ID/dicomWeb/studies/STUDY_INSTANCE_UID/series/SERIES_INSTANCE_UID/instances/INSTANCE_UID/bulkdata/00480105/0/00282000"