W9 作業 · Part III · 五範式 RPS 第一棒
古典 CV 規則法 RPS
用 W6/W7 學過的古典工具做猜拳辨識。先在 Colab 把演算法驗證好,再搬到 Android CameraX。本週體驗「規則法的天花板」,下週 W10 看 ML/DL 怎麼把它打破。
一、作業目標
讓你親手實作「規則法 RPS」,體驗古典 CV 在語意辨識任務上的天花板。完成後下週 W10 換 ML/DL 時,你會看到正確率從 70% 跳到 90%+,並理解這個跳躍的代價(模型大小、推論成本)來自哪裡。
二、作業內容
Step 1 | Colab 驗算法
- 在 Colab 開新 notebook
- 寫出
rps_classical.py 的核心函式:detect_hand_mask / find_largest_contour / count_fingers / classify_rps
- 用三張靜態圖(自拍石頭、剪刀、布)跑通分類
- 確認三種手勢分類正確才往下一步
Step 2 | 搬到 Android
- 把
rps_classical.py 放進 Android 專案 app/src/main/python/
- 加上
process_frame(nv21_bytes, w, h) 作為 Chaquopy 入口
- 在 Python 端處理 NV21 → BGR 的格式轉換(PPT Slide 31)
- 這步驟不用重新驗算法,只確認資料進出格式正確
Step 3 | 整合 CameraX
- 用 CameraX
ImageAnalysis 即時抓取相機畫面(Chaquopy 講義 Ch.13)
- Java 端
imageProxyToNv21() 取得 byte[],用 callAttr 傳給 Python
- 接收 Python 回傳的
(label, n_gaps, jpeg)
- UI 上即時顯示判斷結果(rock / scissors / paper)
三、加分項(任選)
- (+1) 整合 ORB 樣板比對作為「第二意見」,兩種方法投票(用
shared/assets/images/rock.jpg 等做樣板)
- (+2) 加入「畫面凍結 0.5 秒後才更新結果」減少抖動
- (+3) 整合 W6 學過的 contour 屬性(面積、緊密度)作為輔助特徵
- (+4) UI 上顯示 debug 視覺化(輪廓綠線、凸包紅線、指縫藍點)
四、繳交內容
- 30 秒測試影片:自拍三種手勢,標記正確率
.doc 簡易報告:說明做了什麼、遇到什麼問題
五、注意事項
- HSV 膚色範圍不同人差很多,先用自己手調,再測同學的會更準
- Step 2 搬到 Android 時若分類錯誤,先檢查格式轉換(NV21 → BGR)而非演算法
cv2.convexHull 的 returnPoints 參數務必依用途設對(PPT Slide 23)
- Chaquopy 安裝
opencv-python 第一次 build 可能 5-10 分鐘
- 若有問題可先問 Colab Gemini,再問老師