準備物件追蹤的影片訓練資料

以下各節將說明資料需求、結構定義檔案，以及結構定義所定義的資料匯入檔案格式 (JSONL 和 CSV)。

或者，您也可以匯入未標註的影片，然後使用 Google Cloud 控制台標註影片 (請參閱「使用 Google Cloud 控制台標註」)。

資料條件

下列規定適用於用於訓練 AutoML 或自訂訓練模型的資料集。

• Vertex AI 支援以下列影片格式，可用於訓練模型或要求預測 (為影片加上註解)。

  • .MOV
  • .MPEG4
  • .MP4
  • .AVI

• 如要在網路控制台中查看影片內容或為影片加上註解，影片必須採用瀏覽器原生支援的格式。由於並非所有瀏覽器都能原生處理 .MOV 或 .AVI 內容，建議您使用 .MPEG4 或 .MP4 影片格式。

• 檔案大小上限為 50 GB (長度上限為 3 小時)。不支援容器中具有格式錯誤或空白時間戳記的個別影片檔案。

• 每個資料集的標籤數上限為 1,000。

• 您可以為匯入檔案中的影片指派「ML_USE」標籤。在訓練期間，您可以選擇使用這些標籤將影片和相應的註解分割成「訓練」或「測試」集。針對影片物件追蹤，請注意以下事項：

  • 每個資料集中的已標籤視訊窗格數上限為 150,000。
  • 每個資料集的已加註定界框總數上限為 1,000,000。
  • 每個註解集的標籤數上限為 1,000。

用於訓練 AutoML 模型的影片資料最佳做法

下列做法適用於用於訓練 AutoML 模型的資料集。

• 訓練資料應儘可能貼近要用來進行預測的資料。例如，如果您使用的資料樣本含有模糊和低解析的影片 (例如監視攝影機拍攝的影片)，則訓練資料應該也要含有模糊和低解析影片。通常，您應該還要考慮為訓練影片提供多個角度、解析度和背景。

• Vertex AI 模型通常無法預測人類無法指派的標籤。如果無法訓練人類在觀看影片 1-2 秒後指派標籤，則可能也無法訓練模型這麼做。

• 最常見標籤適用的影片數量最多比最不常見標籤的影片數多 100 倍時，模型的訓練效果最佳。建議您移除使用頻率偏低的標籤。物件追蹤：

  • 定界框尺寸最低為 10 x 10 像素。
  • 如果是解析度遠大於 1024 x 1024 像素的視訊窗格，AutoML 物件追蹤可能會在進行窗格正規化的過程中造成一些影像失真。
  • 每個標籤至少需在三個獨立的視訊畫面中呈現。此外，每個標籤也必須至少有十個註解。

結構定義檔案

• 建立用於匯入註解的 jsonl 檔案時，請使用下列可公開存取的結構定義檔。這個結構定義檔案會決定資料輸入檔案的格式。檔案的結構會遵循 OpenAPI 架構測試。

  物件追蹤結構定義檔案：

  gs://google-cloud-aiplatform/schema/dataset/ioformat/object_tracking_io_format_1.0.0.yaml

  完整結構定義檔案

     title: VideoObjectTracking version: 1.0.0 description: >   Import and export format for importing/exporting videos together with   temporal bounding box annotations. type: object required: - videoGcsUri properties:   videoGcsUri:     type: string     description: >       A Cloud Storage URI pointing to a video. Up to 50 GB in size and       up to 3 hours in duration. Supported file mime types: `video/mp4`,       `video/avi`, `video/quicktime`.   TemporalBoundingBoxAnnotations:     type: array     description: Multiple temporal bounding box annotations. Each on a frame of the video.     items:       type: object       description: >         Temporal bounding box anntoation on video. `xMin`, `xMax`, `yMin`, and         `yMax` are relative to the video frame size, and the point 0,0 is in the         top left of the frame.       properties:         displayName:           type: string           description: >             It will be imported as/exported from AnnotationSpec's display name,             i.e., the name of the label/class.         xMin:           description: The leftmost coordinate of the bounding box.           type: number           format: double         xMax:           description: The rightmost coordinate of the bounding box.           type: number           format: double         yMin:           description: The topmost coordinate of the bounding box.           type: number           format: double         yMax:           description: The bottommost coordinate of the bounding box.           type: number           format: double         timeOffset:           type: string           description: >             A time offset of a video in which the object has been detected.             Expressed as a number of seconds as measured from the             start of the video, with fractions up to a microsecond precision, and             with "s" appended at the end.         instanceId:           type: number           format: integer           description: >             The instance of the object, expressed as a positive integer. Used to             tell apart objects of the same type when multiple are present on a             single video.         annotationResourceLabels:           description: Resource labels on the Annotation.           type: object           additionalProperties:             type: string   dataItemResourceLabels:     description: Resource labels on the DataItem.     type: object     additionalProperties:       type: string

輸入檔案

影片物件追蹤訓練資料的格式如下。

如要匯入資料，請建立 JSONL 或 CSV 檔案。

   { 	"videoGcsUri": "gs://bucket/filename.ext", 	"TemporalBoundingBoxAnnotations": [{ 		"displayName": "LABEL", 		"xMin": "leftmost_coordinate_of_the_bounding box", 		"xMax": "rightmost_coordinate_of_the_bounding box", 		"yMin": "topmost_coordinate_of_the_bounding box", 		"yMax": "bottommost_coordinate_of_the_bounding box", 		"timeOffset": "timeframe_object-detected"                 "instanceId": "instance_of_object                 "annotationResourceLabels": "resource_labels" 	}], 	"dataItemResourceLabels": { 		"aiplatform.googleapis.com/ml_use": "train|test" 	} }

   {'videoGcsUri': 'gs://demo-data/video1.mp4', 'temporal_bounding_box_annotations': [{'displayName': 'horse', 'instance_id': '-1', 'time_offset': '4.000000s', 'xMin': '0.668912', 'yMin': '0.560642', 'xMax': '1.000000', 'yMax': '1.000000'}], "dataItemResourceLabels": {"aiplatform.googleapis.com/ml_use": "training"}} {'videoGcsUri': 'gs://demo-data/video2.mp4', 'temporal_bounding_box_annotations': [{'displayName': 'horse', 'instance_id': '-1', 'time_offset': '71.000000s', 'xMin': '0.679056', 'yMin': '0.070957', 'xMax': '0.801716', 'yMax': '0.290358'}], "dataItemResourceLabels": {"aiplatform.googleapis.com/ml_use": "test"}} ...

[ML_USE,]VIDEO_URI,LABEL,[INSTANCE_ID],TIME_OFFSET,BOUNDING_BOX 

   gs://folder/video1.avi   ...   

   TRAINING,gs://folder/video1.avi   TEST,gs://folder/video2.avi   ...