Preparare i dati di addestramento video per il monitoraggio degli oggetti

Le sezioni seguenti forniscono informazioni sui requisiti dei dati, sui file dello schema e sul formato dei file di importazione dei dati (JSONL e CSV) che sono definiti dallo schema.

In alternativa, puoi importare i video non annotati e annotarli in un secondo momento utilizzando la console Google Cloud (consulta Etichettatura utilizzando la console Google Cloud).

Requisiti dei dati

I seguenti requisiti si applicano ai set di dati utilizzati per addestrare i modelli AutoML o con addestramento personalizzato.

• Vertex AI supporta i seguenti formati video per l'addestramento del modello o la richiesta di una previsione (annotazione di un video).

  • .MOV
  • .MPEG4
  • .MP4
  • .AVI

• Per visualizzare i contenuti video nella console web o aggiungere annotazioni a un video, il video deve essere in un formato supportato nativamente dal browser. Poiché non tutti i browser gestiscono i contenuti .MOV o .AVI in modo nativo, consigliamo di utilizzare il formato video .MPEG4 o .MP4.

• La dimensione massima del file è 50 GB (fino a 3 ore di durata). I singoli file video con timestamp non validi o vuoti nel contenitore non sono supportati.

• Il numero massimo di etichette in ogni set di dati è limitato a 1000.

• Puoi assegnare le etichette "ML_USE" ai video nei file di importazione. Al momento dell'addestramento, puoi scegliere di utilizzare queste etichette per suddividere i video e le relative annotazioni in set di "addestramento" o "test". Per il monitoraggio degli oggetti video, tieni presente quanto segue:

  • Il numero massimo di frame video etichettati in ogni set di dati è ограничено 150.000.
  • Il numero massimo di caselle delimitanti annotate totali in ogni set di dati è limitado a 1.000.000.
  • Il numero massimo di etichette in ogni insieme di annotazioni è limitato a 1000.

Best practice per i dati video utilizzati per addestrare i modelli AutoML

Le seguenti pratiche si applicano ai set di dati utilizzati per addestrare i modelli AutoML.

• I dati di addestramento devono essere il più simili possibile ai dati su cui devono essere eseguite le previsioni. Ad esempio, se il tuo caso d'uso prevede video sfocati e a bassa risoluzione (ad esempio quelli di una videocamera di sicurezza), i dati di addestramento devono essere costituiti da video sfocati e a bassa risoluzione. In generale, ti consigliamo anche di fornire più angolazioni, risoluzioni e sfondi per i tuoi video di formazione.

• In genere, i modelli Vertex AI non possono prevedere etichette che gli esseri umani non possono assegnare. Se non è possibile addestrare una persona ad assegnare etichette guardando il video per 1-2 secondi, probabilmente non è possibile addestrare neanche il modello a farlo.

• Il modello funziona al meglio quando ci sono al massimo 100 volte più video per l'etichetta più comune rispetto a quella meno comune. Ti consigliamo di rimuovere le etichette con frequenza bassa. Per il monitoraggio degli oggetti:

  • Le dimensioni minime riquadro di delimitazione sono 10 x 10 px.
  • Per una risoluzione dei fotogrammi video molto più grande di 1024 x 1024 pixel, è possibile che venga persa parte della qualità dell'immagine durante il processo di normalizzazione dei fotogrammi utilizzato dal monitoraggio degli oggetti AutoML.
  • Ogni etichetta univoca deve essere presente in almeno tre frame video distinti. Inoltre, ogni etichetta deve avere almeno dieci annotazioni.

File di schema

• Utilizza il seguente file dello schema accessibile pubblicamente quando crei il file JSONL per l'importazione delle annotazioni. Questo file dello schema definisce il formato dei file di input dei dati. La struttura del file segue il test dello schema OpenAPI.

  File dello schema di monitoraggio degli oggetti:

  gs://google-cloud-aiplatform/schema/dataset/ioformat/object_tracking_io_format_1.0.0.yaml

  File schema completo

  
  
  title: VideoObjectTracking
  version: 1.0.0
  description: >
    Import and export format for importing/exporting videos together with
    temporal bounding box annotations.
  type: object
  required:
  - videoGcsUri
  properties:
    videoGcsUri:
      type: string
      description: >
        A Cloud Storage URI pointing to a video. Up to 50 GB in size and
        up to 3 hours in duration. Supported file mime types: `video/mp4`,
        `video/avi`, `video/quicktime`.
    TemporalBoundingBoxAnnotations:
      type: array
      description: Multiple temporal bounding box annotations. Each on a frame of the video.
      items:
        type: object
        description: >
          Temporal bounding box anntoation on video. `xMin`, `xMax`, `yMin`, and
          `yMax` are relative to the video frame size, and the point 0,0 is in the
          top left of the frame.
        properties:
          displayName:
            type: string
            description: >
              It will be imported as/exported from AnnotationSpec's display name,
              i.e., the name of the label/class.
          xMin:
            description: The leftmost coordinate of the bounding box.
            type: number
            format: double
          xMax:
            description: The rightmost coordinate of the bounding box.
            type: number
            format: double
          yMin:
            description: The topmost coordinate of the bounding box.
            type: number
            format: double
          yMax:
            description: The bottommost coordinate of the bounding box.
            type: number
            format: double
          timeOffset:
            type: string
            description: >
              A time offset of a video in which the object has been detected.
              Expressed as a number of seconds as measured from the
              start of the video, with fractions up to a microsecond precision, and
              with "s" appended at the end.
          instanceId:
            type: number
            format: integer
            description: >
              The instance of the object, expressed as a positive integer. Used to
              tell apart objects of the same type when multiple are present on a
              single video.
          annotationResourceLabels:
            description: Resource labels on the Annotation.
            type: object
            additionalProperties:
              type: string
    dataItemResourceLabels:
      description: Resource labels on the DataItem.
      type: object
      additionalProperties:
        type: string

File di input

Il formato dei dati di addestramento per il monitoraggio di oggetti video è il seguente.

Per importare i dati, crea un file JSONL o CSV.

{
	"videoGcsUri": "gs://bucket/filename.ext",
	"TemporalBoundingBoxAnnotations": [{
		"displayName": "LABEL",
		"xMin": "leftmost_coordinate_of_the_bounding box",
		"xMax": "rightmost_coordinate_of_the_bounding box",
		"yMin": "topmost_coordinate_of_the_bounding box",
		"yMax": "bottommost_coordinate_of_the_bounding box",
		"timeOffset": "timeframe_object-detected"
                "instanceId": "instance_of_object
                "annotationResourceLabels": "resource_labels"
	}],
	"dataItemResourceLabels": {
		"aiplatform.googleapis.com/ml_use": "train|test"
	}
}

{'videoGcsUri': 'gs://demo-data/video1.mp4', 'temporal_bounding_box_annotations': [{'displayName': 'horse', 'instance_id': '-1', 'time_offset': '4.000000s', 'xMin': '0.668912', 'yMin': '0.560642', 'xMax': '1.000000', 'yMax': '1.000000'}], "dataItemResourceLabels": {"aiplatform.googleapis.com/ml_use": "training"}}
{'videoGcsUri': 'gs://demo-data/video2.mp4', 'temporal_bounding_box_annotations': [{'displayName': 'horse', 'instance_id': '-1', 'time_offset': '71.000000s', 'xMin': '0.679056', 'yMin': '0.070957', 'xMax': '0.801716', 'yMax': '0.290358'}], "dataItemResourceLabels": {"aiplatform.googleapis.com/ml_use": "test"}}
...

[ML_USE,]VIDEO_URI,LABEL,[INSTANCE_ID],TIME_OFFSET,BOUNDING_BOX

  gs://folder/video1.avi
  ...
  

  TRAINING,gs://folder/video1.avi
  TEST,gs://folder/video2.avi
  ...