課程首頁 / 作業與評量 / W11 YOLO + Tracking

W11 作業 · Part III · 物件偵測 + 多目標追蹤

YOLOv5 自訓 + Android Java TFLite 部署

從分類進到偵測。RPS 升級成「框出每隻手 + 標 class」,雙手對戰也能追蹤。本週 Android 部署改走 Java TFLite,真嵌入式。

一、作業目標

用 YOLOv5 訓練自訂 RPS 資料集,轉成 TFLite,部署到 Android Java(不透過 Chaquopy)。整合 ByteTrack 做雙手追蹤。產出 mAP 跟 W10 對比。

二、作業內容

  1. 資料:用教材附的 RPS 資料集 或 自拍(每類 30+ 張)
  2. 標註:用 Roboflow / LabelImg 標 bounding box(YOLO 格式)
  3. 訓練:Colab 跑 yolov5s.pt fine-tune (epochs=50-100)
  4. 轉換:model.export(format='tflite', nms=True)
  5. 部署:Android Java + TFLite Interpreter,即時偵測
  6. 追蹤:加入 ByteTrack(或 SORT),雙手出現時各分配 track ID
  7. 對比:跑 mAP + FPS,跟 W10 ML/DL 比

三、加分項

  • (+2) Action Recognition:用追蹤軌跡判斷「揮拳出招」動作
  • (+2) GPU delegate 加速,FPS 從 ~15 拉到 ~25+
  • (+2) 含 Re-ID:同一隻手離開畫面再進來能認回同一個 ID
  • (+2) 雙手對戰判勝負邏輯

四、繳交內容

  • 30 秒測試影片:包含單手 + 雙手對戰情境
  • 簡易報告:含 mAP / FPS / 模型大小 + 跟 W10 對比表
  • Android 專案(GitHub repo)+ Colab 訓練 notebook

五、注意事項

  • YOLOv5 export TFLite 一定要加 nms=True,省下 Java 端 NMS 麻煩
  • Input shape 不符:用 interpreter.getInputTensor(0).shape() 確認
  • 大模型 OOM 時用 fp16 量化(教材附的 yolov5s-fp16-nms.tflite 就是)
  • STRATEGY_KEEP_ONLY_LATEST 一定要設,否則 frame 堆積
  • ByteTrack 實作可以直接用開源 Java port(GitHub 上找)