W3|Unity XR 基礎 × AI 輔助開發導入

如何用 AI 協作開發 Unity?

本週定位:把「AI 協作開發」變成本課的預設開發方式。之後每一週的實作、期中與期末專題都沿用本週建立的工作流與紀律。

本週只新增的一個核心觀念

AI 產出 → Unity Editor 驗證 → 真人修訂。Copilot 負責產生與修改程式,頭盔與編輯器實測才是真相來源。

本週可驗證成果

在 Quest 3 上,用 Copilot 協作完成一個「射線抓取並投擲方塊」的互動,並繳交 /AI-Log/ 開發日誌。

三小時流程

時間 活動
0–15 分 環境確認(Unity+Quest+Copilot)
15–45 分 Unity XR 開發架構速覽
45–70 分 AI 輔助開發範式與紀律示範
70–80 分 休息與環境問題處理
80–140 分 實作 Lab:AI 協作做出抓取/投擲互動
140–165 分 除錯挑戰
165–180 分 成果 demo、AI 日誌檢查、下週準備

教材入口

學習目標

  1. 說明 Unity 於 Quest 3 開發 MR 的專案架構(Meta XR SDK / Interaction SDK / XRI 分工)。
  2. 使用 GitHub Copilot(CLI/Agent 與 Chat)建立專案、生成與修改 C# 腳本、定位並除錯。
  3. 實踐「AI 產出 → Editor 驗證 → 真人修訂」循環,辨識 AI 常見錯誤(API 版本、幻覺、命名空間)。
  4. 依規範撰寫 AI 開發日誌 /AI-Log/。

核心概念與術語

  • Meta XR SDK(Core):OVRManager、Passthrough、Camera Rig、權限。
  • Interaction SDK / XR Interaction Toolkit(XRI):抓取、射線、UI 互動高階元件。
  • 互動資料流:輸入(手/控制器)→ 互動器 Interactor → 可互動物件 Interactable → 邏輯。
  • Copilot 三種用法:行內補全、Copilot Chat、CLI/Agent(建立專案、跨檔修改、跑指令)。

AI 協作任務

警告

權限與紀律:Copilot 可讀寫本專案程式碼並執行建置指令;不可在未經你驗證下直接套用到頭盔展示版本。每次重要協作記錄於 /AI-Log/。停止條件:連續兩次修法仍無法通過編譯或頭盔實測,改回人工檢查場景綁定與 SDK 版本。

驗收證據

  • 可側載 APK 或 Editor 錄影(30–60 秒)。
  • GitHub 連結。
  • /AI-Log/W03.md(≥3 段協作紀錄)。

常見問題

  • Copilot 生成舊版 XR API(如 OVRGrabbable)→ 指定「使用 XR Interaction Toolkit / Meta Interaction SDK 最新版」。
  • 幻覺出不存在的方法/命名空間 → 以編譯錯誤為準,回貼給 Copilot 修。
  • 只改腳本、忘了 Inspector 綁定 → AI 看不到場景,這部分必須真人做。

學生檢核

  • 我能說明 Unity XR 的互動資料流。
  • 我能指出 Copilot 產出的主要風險(版本、幻覺、場景綁定)。
  • 我能用頭盔實測或錄影證明互動可運作。
  • 我有完整的 /AI-Log/ 紀錄與反思。

上下週導覽

← W2 AR/VR/MR 演進與人因 | W4 Unity XR 互動 Lab →

回到顶部