W11 作業 · Part III · 物件偵測 + 多目標追蹤
YOLOv5 自訓 + Android Java TFLite 部署
從分類進到偵測。RPS 升級成「框出每隻手 + 標 class」,雙手對戰也能追蹤。本週 Android 部署改走 Java TFLite,真嵌入式。
一、作業目標
用 YOLOv5 訓練自訂 RPS 資料集,轉成 TFLite,部署到 Android Java(不透過 Chaquopy)。整合 ByteTrack 做雙手追蹤。產出 mAP 跟 W10 對比。
二、作業內容
- 資料:用教材附的 RPS 資料集 或 自拍(每類 30+ 張)
- 標註:用 Roboflow / LabelImg 標 bounding box(YOLO 格式)
- 訓練:Colab 跑
yolov5s.pt fine-tune (epochs=50-100)
- 轉換:
model.export(format='tflite', nms=True)
- 部署:Android Java + TFLite Interpreter,即時偵測
- 追蹤:加入 ByteTrack(或 SORT),雙手出現時各分配 track ID
- 對比:跑 mAP + FPS,跟 W10 ML/DL 比
三、加分項
- (+2) Action Recognition:用追蹤軌跡判斷「揮拳出招」動作
- (+2) GPU delegate 加速,FPS 從 ~15 拉到 ~25+
- (+2) 含 Re-ID:同一隻手離開畫面再進來能認回同一個 ID
- (+2) 雙手對戰判勝負邏輯
四、繳交內容
- 30 秒測試影片:包含單手 + 雙手對戰情境
- 簡易報告:含 mAP / FPS / 模型大小 + 跟 W10 對比表
- Android 專案(GitHub repo)+ Colab 訓練 notebook
五、注意事項
- YOLOv5 export TFLite 一定要加
nms=True,省下 Java 端 NMS 麻煩
- Input shape 不符:用
interpreter.getInputTensor(0).shape() 確認
- 大模型 OOM 時用 fp16 量化(教材附的
yolov5s-fp16-nms.tflite 就是)
STRATEGY_KEEP_ONLY_LATEST 一定要設,否則 frame 堆積
- ByteTrack 實作可以直接用開源 Java port(GitHub 上找)