A Video Intelligence API pode identificar entidades apresentadas em filmagens de vídeo através da funcionalidade LABEL_DETECTION e anotar estas entidades com etiquetas. Esta funcionalidade identifica objetos, localizações, atividades, espécies de animais, produtos e muito mais.

A deteção de etiquetas difere do acompanhamento de objetos. Ao contrário do acompanhamento de objetos, a deteção de etiquetas fornece etiquetas para todo o frame (sem caixas delimitadoras).

Por exemplo, para um vídeo de um comboio numa passagem de nível, a Video Intelligence API devolve etiquetas como "comboio", "transportes", "passagem de nível" e assim sucessivamente. Cada etiqueta inclui um segmento de tempo com o desvio de tempo (data/hora) para a apresentação da entidade desde o início do vídeo. Cada anotação também contém informações adicionais, incluindo um ID da entidade, que pode usar para encontrar mais informações sobre a entidade na API Google Knowledge Graph Search.

Cada entidade devolvida também pode incluir entidades de categorias associadas no campo categoryEntities. Por exemplo, a etiqueta de entidade "Terrier" tem uma categoria de "Cão". As entidades de categorias têm uma hierarquia. Por exemplo, a categoria "Cão" é uma categoria secundária da categoria "Mamífero" na hierarquia. Para ver uma lista das entidades de categorias comuns usadas pelo Video Intelligence, consulte o ficheiro entry-level-categories.json.

A análise pode ser compartimentada da seguinte forma:

• Nível do segmento:
  os segmentos de um vídeo selecionados pelo utilizador podem ser especificados para análise, estipulando as indicações de tempo de início e fim para fins de anotação (consulte VideoSegment). Em seguida, as entidades são identificadas e etiquetadas em cada segmento. Se não forem especificados segmentos, todo o vídeo é tratado como um segmento.

• Nível de planos:
  os planos (também conhecidos como cenas) são detetados automaticamente em cada segmento (ou vídeo). As entidades são, em seguida, identificadas e etiquetadas em cada cena. Para obter detalhes, consulte o artigo Deteção de mudança de cena
• Nível de frames:
  as entidades são identificadas e etiquetadas em cada frame (com uma amostragem de um frame por segundo).

Para detetar etiquetas num vídeo, chame o método annotate e especifique LABEL_DETECTION no campo features.

Consulte os artigos Analisar vídeos para etiquetas e Tutorial de deteção de etiquetas.

Visualizador da API Video Intelligence

Consulte o visualizador da API Video Intelligence para ver esta funcionalidade em ação.