本週要做的事
| 順序 | 內容 | 預估時間 |
|---|---|---|
| 1 | 為什麼先懂 Camera (Ch.1) | 15 min |
| 2 | 光學成像與曝光 — 光圈/快門/ISO trade-off (Ch.2) | 40 min |
| 3 | Sensor 把光變成資料 — Pixel/SNR/Rolling Shutter (Ch.3) | 30 min |
| 4 | ISP Pipeline — Bayer/Demosaic/sRGB (Ch.4) | 30 min |
| 5 | Camera 介面 — MIPI/USB/UVC (Ch.5) | 15 min |
| 6 | 動手:Colab 連本地 webcam 串流 | 40 min |
| 7 | 銜接第三週 Pixel Processing (Ch.6) | 10 min |
教材檔案
-
📂 CV_Week2_Camera_Pipeline.pptx (原始檔)
核心投影片
50 張,分 6 章節。※ PPT 待轉 PDF 後可線上檢視 -
📖 Colab + Webcam 影像串流架構指南
補充教材
雲端架構 vs Local Runtime 比較、4 步驟建置流程、底層除錯腳本。 -
W2 作業說明
作業
USB Camera + Colab Local Runtime 即時串流。
六大章節重點
Ch.1 | 為什麼 CV 課程一開始要先懂 Camera
- 電腦視覺 ≠ 直接理解世界,理解的是相機輸出的資料
- Garbage In, Garbage Out:過曝、模糊、低照、rolling shutter 都影響後續辨識
- 本週主線:
光 → lens → sensor → raw → image/video
Ch.2 | 光學成像與曝光
- 顏色 ≠ 物體屬性:光與材料交互作用後的結果(紅蘋果在紅光、白光、藍光下不同)
- Pinhole / Aperture / Lens:成像第一個 trade-off — 清楚 vs 亮度
- 三角曝光:Exposure Time × Aperture × Gain。短曝光不足、長曝光糊、高 gain 噪聲
- Motion Blur:曝光時間 × 移動速度
Ch.3 | Sensor 把光變成資料
- Fill Factor:不是全部 pixel 面積在感光,還有讀取電路
- SNR:光越多 SNR 越好,大 sensor 低光表現好
- Rolling vs Global Shutter:高速物體歪斜的原因
- 取樣 (Sampling):相機輸出是離散 sample,不是連續場景
Ch.4 | Color / Raw / ISP Pipeline
- Bayer Filter:50% G + 25% R + 25% B,單一 pixel 只有 1 色
- Demosaic:用鄰近 pixel 估算缺失通道 — 你看到的彩色影像是重建出來的
- Camera Response:radiance → pixel value 不是線性,sRGB 含 gamma 校正
- ISP Pipeline:Raw → Demosaic → White Balance → Color Correct → Tone/Gamma → Output
- 同 sensor + 不同 ISP → 顏色與細節表現不同 (這是各家手機相機差異來源)
Ch.5 | Camera 介面與平台對應
- 手機模組:MIPI CSI-2
- USB Webcam:USB / UVC ← 本週我們用這個
- MCU 開發板:Parallel / CSI
- 工業相機:LVDS / Camera Link
Ch.6 | 銜接第三週
從光到資料,六個關鍵步驟。下週 W3 接著處理「拿到 raw/image 之後怎麼對像素值動手」 — Brightness、Contrast、Gamma、直方圖、卷積濾波。
Colab + Webcam 即時串流架構
本週的核心動手部分。詳細步驟在 補充教材。重點預告:
- 雲端架構:Webcam → Base64 → Google 雲端 → Python → Base64 回傳 → 顯示。延遲高,高解析常 crash
- Local Runtime 架構:Colab 只送程式碼,影像流完全本地處理。零延遲,完整控制硬體
- 4 步驟建置:Conda 環境 → 套件安裝 → CORS 啟動 → Colab 連線
- 關鍵地雷:必須關閉瀏覽器網址列相機授權,否則資源衝突
W2 作業 | USB Camera 即時串流
一、作業目標
建立 Colab + Local Runtime + 本地 webcam 即時串流環境,確認後續所有「即時影像實驗」的基礎建設可運作。
二、作業內容
- 依 補充教材 4 步驟建置 Local Runtime
- 用 Colab 連到本機 Jupyter (右上角圖示變綠色勾勾)
- 跑底層除錯腳本,列出可用攝影機 index
- 用
cv2.VideoCapture開啟 webcam 看畫面
三、繳交內容
串流成功畫面的截圖(畫面要有自己),確認功能正確。
四、注意事項
- 關掉所有相機程式(OBS、Zoom、Teams)
- 瀏覽器網址列若有相機授權記錄,點 ⓘ 關閉
- Windows 用 DSHOW backend:
cv2.VideoCapture(0, cv2.CAP_DSHOW) - numpy 鎖
numpy<2,避免相容性問題 - port 8888 被占用換 8889
學生檢核表
- 我理解 ISP Pipeline 的 5 個處理步驟
- 我能說明 Bayer Filter 與 Demosaic 的關係
- 我能說出「曝光三角」三個參數的取捨
- Local Runtime 建置完成,Colab 連得到本機 Jupyter
- 能用 webcam 即時看到畫面
- 串流截圖已準備好(畫面有自己)
下週預告 (W3)
本週理解了「pixel 從哪裡來」,下週進入「怎麼操控 pixel 的值」:
- 影像格式 (JPEG/PNG/H.264 壓縮原理)
- 單點運算 (Brightness/Contrast)
- Gamma 矯正 + LUT 加速
- 直方圖 / CLAHE / Otsu 閾值化
- 卷積濾波 (高斯/雙邊/銳化)