準備物件追蹤的影片訓練資料

以下各節將說明資料需求、結構定義檔案，以及結構定義所定義的資料匯入檔案格式 (JSONL 和 CSV)。

或者，您也可以匯入未標註的影片，然後使用 Google Cloud 控制台標註影片 (請參閱「使用 Google Cloud 控制台標註」)。

資料條件

下列規定適用於用於訓練 AutoML 或自訂訓練模型的資料集。

• Vertex AI 支援以下列影片格式，可用於訓練模型或要求預測 (為影片加上註解)。

  • .MOV
  • .MPEG4
  • .MP4
  • .AVI

• 如要在網路控制台中查看影片內容或為影片加上註解，影片必須採用瀏覽器原生支援的格式。由於並非所有瀏覽器都能原生處理 .MOV 或 .AVI 內容，建議您使用 .MPEG4 或 .MP4 影片格式。

• 檔案大小上限為 50 GB (長度上限為 3 小時)。不支援容器中具有格式錯誤或空白時間戳記的個別影片檔案。

• 每個資料集的標籤數上限為 1,000。

• 您可以為匯入檔案中的影片指派「ML_USE」標籤。在訓練期間，您可以選擇使用這些標籤將影片和相應的註解分割成「訓練」或「測試」集。針對影片物件追蹤，請注意以下事項：

  • 每個資料集中的已標籤視訊窗格數上限為 150,000。
  • 每個資料集的已加註定界框總數上限為 1,000,000。
  • 每個註解集的標籤數上限為 1,000。

用於訓練 AutoML 模型的影片資料最佳做法

下列做法適用於用於訓練 AutoML 模型的資料集。

• 訓練資料應儘可能貼近要用來進行預測的資料。例如，如果您使用的資料樣本含有模糊和低解析的影片 (例如監視攝影機拍攝的影片)，則訓練資料應該也要含有模糊和低解析影片。通常，您應該還要考慮為訓練影片提供多個角度、解析度和背景。

• Vertex AI 模型通常無法預測人類無法指派的標籤。如果無法訓練人類在觀看影片 1-2 秒後指派標籤，則可能也無法訓練模型這麼做。

• 最常見標籤適用的影片數量最多比最不常見標籤的影片數多 100 倍時，模型的訓練效果最佳。建議您移除使用頻率偏低的標籤。物件追蹤：

  • 定界框尺寸最低為 10 x 10 像素。
  • 如果是解析度遠大於 1024 x 1024 像素的視訊窗格，AutoML 物件追蹤可能會在進行窗格正規化的過程中造成一些影像失真。
  • 每個標籤至少需在三個獨立的視訊畫面中呈現。此外，每個標籤也必須至少有十個註解。

結構定義檔案

• 建立用於匯入註解的 jsonl 檔案時，請使用下列可公開存取的結構定義檔。這個結構定義檔案會決定資料輸入檔案的格式。檔案的結構會遵循 OpenAPI 架構測試。

  物件追蹤結構定義檔案：

  gs://google-cloud-aiplatform/schema/dataset/ioformat/object_tracking_io_format_1.0.0.yaml

  完整結構定義檔案

  
  
  title: VideoObjectTracking
  version: 1.0.0
  description: >
    Import and export format for importing/exporting videos together with
    temporal bounding box annotations.
  type: object
  required:
  - videoGcsUri
  properties:
    videoGcsUri:
      type: string
      description: >
        A Cloud Storage URI pointing to a video. Up to 50 GB in size and
        up to 3 hours in duration. Supported file mime types: `video/mp4`,
        `video/avi`, `video/quicktime`.
    TemporalBoundingBoxAnnotations:
      type: array
      description: Multiple temporal bounding box annotations. Each on a frame of the video.
      items:
        type: object
        description: >
          Temporal bounding box anntoation on video. `xMin`, `xMax`, `yMin`, and
          `yMax` are relative to the video frame size, and the point 0,0 is in the
          top left of the frame.
        properties:
          displayName:
            type: string
            description: >
              It will be imported as/exported from AnnotationSpec's display name,
              i.e., the name of the label/class.
          xMin:
            description: The leftmost coordinate of the bounding box.
            type: number
            format: double
          xMax:
            description: The rightmost coordinate of the bounding box.
            type: number
            format: double
          yMin:
            description: The topmost coordinate of the bounding box.
            type: number
            format: double
          yMax:
            description: The bottommost coordinate of the bounding box.
            type: number
            format: double
          timeOffset:
            type: string
            description: >
              A time offset of a video in which the object has been detected.
              Expressed as a number of seconds as measured from the
              start of the video, with fractions up to a microsecond precision, and
              with "s" appended at the end.
          instanceId:
            type: number
            format: integer
            description: >
              The instance of the object, expressed as a positive integer. Used to
              tell apart objects of the same type when multiple are present on a
              single video.
          annotationResourceLabels:
            description: Resource labels on the Annotation.
            type: object
            additionalProperties:
              type: string
    dataItemResourceLabels:
      description: Resource labels on the DataItem.
      type: object
      additionalProperties:
        type: string

輸入檔案

影片物件追蹤訓練資料的格式如下。

如要匯入資料，請建立 JSONL 或 CSV 檔案。

{
	"videoGcsUri": "gs://bucket/filename.ext",
	"TemporalBoundingBoxAnnotations": [{
		"displayName": "LABEL",
		"xMin": "leftmost_coordinate_of_the_bounding box",
		"xMax": "rightmost_coordinate_of_the_bounding box",
		"yMin": "topmost_coordinate_of_the_bounding box",
		"yMax": "bottommost_coordinate_of_the_bounding box",
		"timeOffset": "timeframe_object-detected"
                "instanceId": "instance_of_object
                "annotationResourceLabels": "resource_labels"
	}],
	"dataItemResourceLabels": {
		"aiplatform.googleapis.com/ml_use": "train|test"
	}
}

{'videoGcsUri': 'gs://demo-data/video1.mp4', 'temporal_bounding_box_annotations': [{'displayName': 'horse', 'instance_id': '-1', 'time_offset': '4.000000s', 'xMin': '0.668912', 'yMin': '0.560642', 'xMax': '1.000000', 'yMax': '1.000000'}], "dataItemResourceLabels": {"aiplatform.googleapis.com/ml_use": "training"}}
{'videoGcsUri': 'gs://demo-data/video2.mp4', 'temporal_bounding_box_annotations': [{'displayName': 'horse', 'instance_id': '-1', 'time_offset': '71.000000s', 'xMin': '0.679056', 'yMin': '0.070957', 'xMax': '0.801716', 'yMax': '0.290358'}], "dataItemResourceLabels": {"aiplatform.googleapis.com/ml_use": "test"}}
...

[ML_USE,]VIDEO_URI,LABEL,[INSTANCE_ID],TIME_OFFSET,BOUNDING_BOX

  gs://folder/video1.avi
  ...
  

  TRAINING,gs://folder/video1.avi
  TEST,gs://folder/video2.avi
  ...