課程首頁 / 作業與評量 / W12 MediaPipe

W12 作業 · Part III · 骨架點偵測

MediaPipe Hands RPS + Action Recognition

用 MediaPipe Tasks API 抓 21 點 landmark,實作彎曲度算法做 RPS。延伸到動態手勢識別。零訓練、95%+ 正確率、30 FPS。

一、作業目標

用 MediaPipe Tasks API 在 Android 上即時抓手部 21 點 landmark,用彎曲度算法做 RPS,跟 W9-W11 對比。體會「結構化資訊 vs 像素特徵」的差別。

二、作業內容

  1. 裝套件:build.gradle 加 tasks-vision:0.10.x
  2. 取得 landmark:CameraX ImageAnalysis + HandLandmarker.detect
  3. RPS 邏輯:寫彎曲度算法,判斷每根手指 伸直/彎曲
  4. UI 顯示:畫 21 點 + 連線 + RPS 結果
  5. 對比:跟 W9 規則法、W10 ML/DL、W11 YOLO 對照(正確率 / FPS / 模型大小 / 開發成本)

彎曲度算法骨架

// 對每根手指(4 根除大拇指)
for finger in [INDEX, MIDDLE, RING, PINKY]:
    base = landmarks[finger.MCP]       // 掌根
    mid  = landmarks[finger.PIP]       // 第一節
    tip  = landmarks[finger.TIP]       // 指尖

    // 三點是否大致共線?
    if angle(base, mid, tip) > 150°:
        finger.straight = True
    else:
        finger.straight = False

// 規則
if 0 straight: 'rock'
elif 2 straight (INDEX + MIDDLE): 'scissors'
elif 4+ straight: 'paper'

三、加分項

  • (+2) Action Recognition:用 1 秒內 landmark 序列識別動態手勢(揮手、轉手)
  • (+2) 雙手對戰 RPS:畫面同時兩隻手都辨識
  • (+2) 大拇指獨立判斷:加大拇指識別讚 / 倒讚
  • (+3) Custom Solutions: 用 Model Maker 訓練自訂手勢(例如 OK、stop)

四、繳交內容

  • 30 秒測試影片:RPS 三種手勢 + (加分項)其他手勢
  • 簡易報告:含彎曲度規則 + W9-W12 四範式對比表
  • Android 專案(GitHub repo)

五、注意事項

  • MediaPipe Tasks API 跟 Chaquopy 完全無關,純 Java SDK
  • landmark 的 z 值是相對深度,不是真 3D(camera 看到的相對遠近)
  • 角度算錯記得用 atan2 不要用 asin
  • FPS 預期 30 (這就是 MediaPipe 的優勢)
  • 共用 notebook shared/notebooks/mediapipe_body_skeleton.ipynb 是 Body skeleton 不是 Hands,參考概念即可