115-1 混合實境技術與應用
AI 協作時代的混合實境應用開發
課程主張
在 Meta Quest 3 + Unity 上開發混合實境應用;以 GitHub Copilot 全程協作開發,期末以 AI 協作完成整合 AI 功能(語音/視覺/生成式)的原創 MR 專題。
學習成果
修完本課程,學生能夠:
- 判斷需求該用 VR/AR/MR,需要哪些感測、顯示與 AI 功能。
- 以 GitHub Copilot 進行 Unity/MR 的 AI 協作開發與除錯。
- 理解 XR 的感測、顯示光學、追蹤、互動與效能等穩定概念。
- 從 Unity Editor、頭盔實測與日誌驗證 AI 的成果。
- 將 LLM/語音/視覺/生成式 AI 整合進 MR 應用,並對結果負責。
課程地圖
| Part | 週次 | 重點 |
|---|---|---|
| PART I 課程簡介與基礎 | W1–W2 | 環境建置、AR/VR/MR 演進與人因 |
| PART II 技術介紹與實作 | W3–W14 | AI 協作開發、感測、顯示光學、SLAM、手勢、空間感知、期中遊戲、AI 功能整合 |
| PART III 期末 AI 專題 | W15–W18 | 構思、開發、AI 整合、優化、發表 |
→ 完整 18 週見 課程進度。
本週實作入口
W05 讓 Cube 進入真實房間 互動講義:可選 Quest 實機或 Simulation,逐步完成房間網格與桌面深度遮擋。MR 實機開發採 Build APK,透過 USB 安裝到 Quest 後戴上頭盔測試。
評量方式
| 項目 | 佔比 |
|---|---|
| 平時作業與參與(含 AI 開發日誌) | 30% |
| 期中小專題(抓鬼塔防) | 30% |
| 期末 AI 專題 | 40% |
使用工具與平台
- 引擎:Unity(LTS)+ Meta XR SDK / Interaction SDK / XR Interaction Toolkit
- 裝置:Meta Quest 3;Quest Link / Meta Quest Developer Hub
- AI 開發助理:GitHub Copilot Edu(Pro)
- 版本控管:GitHub(每組一 repo)
→ 詳見 學習資源。