ML System Design · 第 3 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無(本章沒有 Triton 客座卡)

Google Street View 模糊系統
其實就是:找到框框、留下最有把握的、糊掉而已

你在 Google Maps 拖著小人走進一條巷子,路人的臉、車子的車牌都糊糊的。不是相機壞了,是一套 ML 系統一張一張幫你糊的。原書用這個題目,把 object detection(物件偵測)從頭到尾講一遍。

今天的路線

需求 → 一邊爬 11 階基礎、一邊對照原書(第 4 頁的階梯):照片怎麼變數字 → 怎麼找到框 → 怎麼教它 → 怎麼打分數 → 怎麼上線 → 方法的限制與 2026 年的變化。全程只用同一張巷口照片。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 延伸基礎

標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。這一章的 infra 沒有 Triton 的出處,所以沒有客座卡。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。隱私只當成「方法的限制」來談。

先講跟你有關的動手玩 · 你來當模糊員

如果這份工作交給你,一張要多久?

0 / 3糊掉的臉和車牌—你花了幾秒—100 萬張要花(不吃不睡)

點照片裡的臉和車牌,把它們打上馬賽克。

你可能會想說,這有什麼難的?點三下就好了嘛。對,一張不難。可是原書光是拿來訓練的照片就有 100 萬張,街上每天還在拍新的。

而且你有沒有發現,照片裡有一個陷阱:招牌上那個圓圓的笑臉,算不算臉?人一眼就知道不算。電腦呢?這個笑臉今天會一路陪我們到最後(第 36 頁)。

今天整堂課只在回答三個問題:它怎麼找到臉?(模型)它怎麼學會找?(資料與訓練)它找得好不好?(評估)最後再加一個:每天幾百萬張,怎麼跑得完?(系統)

原書Introduction · Figure 3.1

原書的開場:2008 年,Google 開始自動幫街景打馬賽克

📖 原書 Figure 3.1車牌已模糊的街景圖(原圖是街景照片,改畫成線稿;依原書內容重繪)

📖 原書 題目從哪裡來

Google Street View 是 Google Maps 裡的一項技術,提供全球許多公共道路的街景互動全景圖。2008 年,Google 建了一套系統,自動模糊人臉和車牌來保護使用者隱私。這一章要設計一套類似的模糊系統。

原書這一章的路線

  1. Clarifying requirements(第 5 頁)
  2. Frame the problem as an ML task(第 8–12 頁)
  3. Data preparation(第 15–17 頁)
  4. Model development(第 19、22 頁)
  5. Evaluation(第 25–30 頁)
  6. Serving(第 33–36 頁)
  7. Other talking points(第 37 頁)

學習地圖今天要爬的 11 階 · 每一階只用前面學過的東西

一階一階往上爬,不跳階

  1. 1像素照片在電腦裡長什麼樣?
  2. 2框框怎麼說「臉在這裡」?
  3. 3先圈再認一次找,還是分兩次?
  4. 4翻轉照片教材不夠怎麼辦?
  5. 5小放大鏡模型怎麼看照片?
  6. 6離答案多遠框歪了扣幾分?
  7. 7驚訝分數認錯了扣幾分?
  8. 8重疊多少框到什麼程度算對?
  9. 9抓得準·抓得全兩種「做得好」
  10. 10平均起來怎麼給一個總分?
  11. 11留最有把握的一張臉框三次怎麼辦?

它怎麼找到臉 它怎麼學會找 它找得好不好 上線前的最後一步 英文名字等爬到那一階才給。

整堂課只用一張照片

巷口照片:臉 A、臉 B、一塊車牌,外加一個招牌笑臉陷阱。照片 200×120 格,每張臉的框都是 20×20,數字小到可以心算。

每一階都走四步

① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。

每爬幾階就停一下

「到這裡你已經會了」:第 13、23、31 頁。最後還有名詞小卡(第 42 頁)。

原書Clarifying Requirements

原書的題目:自動糊掉街景裡的臉和車牌

這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。

📖 原書 應徵者 × 面試官

應徵者問面試官答
系統的商業目標是保護使用者隱私,這樣說對嗎?是的
要偵測街景圖片裡所有的人臉和車牌,顯示給使用者前先模糊掉,對嗎?可以假設使用者能回報沒糊好的圖片嗎?是的,這些假設合理
這個任務有標註好的資料集嗎?假設已經抽樣了 100 萬張圖片,裡面的人臉和車牌都有人工標註
資料集可能缺少某些族群的人臉,造成種族、年齡、性別等屬性的偏差,這樣假設合理嗎?好問題。為了簡化,今天先不討論公平性與偏差
延遲應該不是大問題,系統可以離線偵測並模糊,對嗎?對。新圖片在離線處理時,可以先顯示既有的圖片

📖 原書 整理成一句話

  • 做什麼:設計一個 Street View 模糊系統,自動模糊車牌和人臉
  • 資料:100 萬張訓練圖片,人臉和車牌都標好了
  • 目標:保護使用者隱私
  • 速度:可以離線慢慢做;使用者能回報沒糊好的圖

你想想看,「延遲不重要」這一句,會決定整個系統的形狀(第 35 頁)。「偏差先不談」這一句,第 38 頁會回來找我們。

延伸基礎第 1 階 · 像素 · 懂的人可以跳到第 8 頁

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

電腦看到的照片,其實是一大格一大格的數字

① 生活情境

把臉貼近 LED 看板,會看到一顆一顆小燈。每顆燈只管一個顏色、一個亮度。退後幾步,才拼成一張臉。

你猜猜看:一張 100×100 的彩色照片,每一格記紅、綠、藍三個數字。總共幾個數字?

③ 這時才給名字

每一個小格叫 pixel(像素)。紅、綠、藍三層疊起來,每一層叫一個 channel。

「對類神經網路來說呢,它看到的一張彩色的圖片,其實是三張圖片疊在一起的……那每一個 value 就代表了某一個顏色在這個位置的強度,這個才是類神經網路真正看到的東西。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

② 動手玩:換解析度,點一格看它的數字
—幾格—幾個數字(× 3 層)點一格那一格的(紅, 綠, 藍)

④ 跟這章的關係模型的輸入就是這一大串數字。臉和車牌,只是其中某一塊數字長得比較特別。

延伸基礎第 2 階 · 框框 · 懂的人可以跳到第 8 頁

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

「有沒有臉」和「臉在哪裡」,是兩個不同的問題

① 生活情境

朋友問:「這張合照裡有你嗎?」你說有。他又問:「哪一個?」你得用手指圈出來。只說「有」,他還是找不到你。

你猜猜看:框寫成 [20, 30, 20, 20],意思是左上角 (20, 30)、寬 20、高 20。右下角在哪?

③ 這時才給名字

圈出位置的框叫 bounding box,用四個數字記。找出照片裡每個東西「在哪、是什麼」,叫 object detection。

對照「只回答是什麼」的分類:「這個函式輸入是一張圖片,輸出就是從眾多可能的選項,事先定好的選項裡面選擇一個選項。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

② 動手玩:換個問法,再照答案打馬賽克

④ 跟這章的關係原書要的是後者:每個框猜四個數字(位置),再猜它是人臉還是車牌(第 9 頁)。

原書Frame the Problem as an ML Task · Figure 3.2

把「保護隱私」翻譯成 ML 題目:object detection

這一步要解決「保護隱私」不是模型能直接學的目標,要換成模型做得到的事。

📖 原書 Defining the ML objective

  1. 商業目標:模糊街景裡看得到的車牌和人臉,保護使用者隱私
  2. 但「保護隱私」不是 ML 目標,要翻譯成 ML 系統能解的題目
  3. ML 目標:準確偵測圖片裡的目標物件。偵測得準,就能在顯示前先糊掉

原書接下來用 objects(物件)統稱「人臉和車牌」。

📖 原書 Input 與 Output

Input:一張圖片,裡面有零個或好幾個物件,位置各不相同。Output:模型偵測到的物件,以及它們的位置。

📖 原書 Figure 3.2物件偵測系統的 input 和 output(依原書內容重繪)

每個框旁邊的百分比,是模型對自己答案的把握程度。96% dog 的意思是:「我有 96% 的把握這是狗」。

原書Choosing the right ML category

一個框,兩件工作:猜位置、猜類別

這一步要解決「偵測」到底要模型輸出什麼?分成哪幾種題型?

📖 原書 物件偵測的兩項責任

[20, 30, 20, 20]

預測每個物件的位置。位置是 (x, y) 座標這種數字,所以是 regression(迴歸:猜一個數字)問題。

人臉 · 車牌

預測每個框的類別(狗、貓…)。從幾個選項裡選一個,是 multi-class classification(多類別分類)問題。

你猜猜看:「臉 A 的框寬 20」這件事,是哪一種題型?

📖 原書 架構的兩大家族

傳統上,物件偵測架構分成 one-stage 和 two-stage 兩種網路。最近,以 Transformer 為基礎的架構(例如 DETR)也有很好的成果,但這一章主要探討前兩種。

名字先記著就好。下一頁用機場安檢的例子,看「一段」和「兩段」到底差在哪。DETR 後來怎麼了,第 40 頁再講。

延伸基礎第 3 階 · 先圈再認 · 懂的人可以跳到第 11 頁

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

先圈出可疑的地方再細看,還是一眼看完?

① 生活情境

機場安檢:X 光機先把「可能有東西」的行李圈出來,安檢員再一件一件打開看。另一種做法:請一位神人掃一眼,直接說哪裡有什麼。

你猜猜看:「先圈再認」通常比較準,但比較慢。它慢在哪?

③ 這時才給名字

先圈出「可能有東西」的框,叫 region proposal。先圈再認叫 two-stage(兩段式);一眼看完叫 one-stage(一段式)。

② 動手玩:兩種做法各跑一次
—依序跑幾段—第二段要認幾個框—最後留下

④ 跟這章的關係原書比較這兩種做法(第 11–12 頁),最後先選兩段式。

原書Two-stage networks · One-stage networks · Figure 3.3、3.4

原書的兩張圖:先圈再認 vs 一次到位

這一步要解決「找位置」和「認類別」,要分給兩個模型,還是一個模型一次做完?

📖 原書 Figure 3.3Two-stage network(依原書內容重繪)

📖 原書 Two-stage networks

顧名思義,用兩個獨立的模型:

  • Region proposal network(RPN):掃描圖片,提出可能是物件的候選區域
  • Classifier(分類器):處理每個候選區域,分類成物件類別

常見的有 R-CNN、Fast R-CNN、Faster R-CNN。

📖 原書 One-stage networks

兩個階段合在一起。用單一網路同時產生 bounding box 和物件類別,不需要明確地先做 region proposal。常見的有 YOLO 和 SSD。

原書One-stage vs. two-stage · 動手選

原書先選 two-stage:100 萬張不算多,也不趕時間

這一步要解決兩種都能用。依這題的條件,該先選哪一個?

你猜猜看:資料只有 100 萬張、可以離線慢慢跑。原書會先選哪一種?

📖 原書 比較與選擇

Two-stageOne-stage
組成兩個元件依序執行單一網路,一次完成
速度通常比較慢比較快
準確度比較準通常比兩段式差一點
代表R-CNN、Fast R-CNN、Faster R-CNNYOLO、SSD

100 萬張以現代標準來看不算龐大,用兩段式不會讓訓練成本暴增,所以先從 two-stage 開始。等訓練資料變多、或預測需要更快時,再換 one-stage。

動手選:條件變了,答案也會變

資料量
速度

小結第 1–3 階:它怎麼找到臉

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

到這裡你已經會了

  • 照片其實是一大串數字每一格是 pixel,紅綠藍三個 channel(第 6 頁)
  • 偵測 = 框框 + 類別bounding box 用四個數字記位置,再說它是人臉還是車牌(第 7 頁)
  • 可以先圈再認,也可以一次到位two-stage 比較準、one-stage 比較快;原書先選 two-stage(第 10、12 頁)

巷口照片,現在走到哪裡

  1. 照片200×120 格,每格三個數字
  2. 先圈8 個候選框(臉、車牌、窗戶、輪胎……)
  3. 再認人臉 × 2、車牌 × 1,其他是背景
  4. 輸出[20,30,20,20] 人臉 · [70,35,20,20] 人臉 · [140,90,40,10] 車牌

下一階要解決:模型要從例子學。可是 100 萬張照片,臉都朝同一邊、天氣都很好,怎麼辦呢?

延伸基礎第 4 階 · 翻轉照片 · 懂的人可以跳到第 15 頁

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

一張照片翻一翻,就多一份教材

① 生活情境

背單字卡時,把卡片打亂、反過來再背一次。內容一樣,但你不會只記得「第三張是 apple」。

你猜猜看:照片寬 200,臉的框從 x = 20 開始、寬 20。照片左右翻轉後,框從 x = 多少開始?

③ 這時才給名字

用小改動從舊照片變出新照片,叫 data augmentation(資料增強)。人工標好的正確框,叫 ground truth(標準答案)。

② 動手玩:改照片,看標準答案框有沒有跟上

④ 跟這章的關係原書用它把 100 萬張變成 1000 萬張;旋轉、翻轉時,ground truth 框也要一起轉(第 16 頁)。

原書Data Preparation · Data engineering · Table 3.1、3.2

手上有兩種資料:標好答案的照片、剛拍回來的街景

這一步要解決模型要從例子學。這題手上到底有哪些資料、長什麼樣?

📖 原書 Annotated dataset(標註資料集)

100 萬張標註圖片。每張有一串 bounding box 和對應的物件類別。點一列,看框畫在哪。

Image pathObjectsBounding boxes
dataset/image1.jpghuman face
human face
license plate
[10,10,25,50]
[120,180,40,70]
[80,95,35,10]
dataset/image2.jpghuman face[170,190,30,80]
dataset/image3.jpglicense plate
human face
[25,30,210,220]
[30,40,30,60]

📖 原書 Table 3.1每個框是 4 個數字:左上角 X、Y,接著是物件的寬、高

📖 原書 Street View images(街景圖片)

資料蒐集團隊(data sourcing team)拍回來的街景,系統要處理它們、偵測人臉和車牌。Table 3.2 是它們的 metadata(附帶資訊)。

Image pathLocation (lat, lng)Pitch, Yaw, RollTimestamp
tmp/image1.jpg(37.432567, -122.143993)(0,10,20)1646276421
tmp/image2.jpg(37.387843, -122.091086)(0,10,-10)1646276539
tmp/image3.jpg(37.542081, -121.997640)(10,-20,45)1646276752

📖 原書 Table 3.2街景圖片的 metadata

  • lat, lng:拍攝地點的緯度、經度
  • Pitch, Yaw, Roll:相機抬頭低頭、左右轉頭、歪頭的角度
  • Timestamp:拍攝時間(從 1970 年起算的秒數)

原書Feature engineering · Data augmentation · Figure 3.5

特徵工程:先統一格式,再把資料變多

這一步要解決照片大小、亮度各不相同,數量也不夠多。怎麼整理成好學的教材?

📖 原書 Figure 3.5增強後的圖片(原書來源 [8];原圖是獅子照片,照片不重畫,改用獅子簡筆畫套同樣 12 種變換)

📖 原書 注意:旋轉或翻轉原圖時,ground truth bounding box 也要跟著轉換(第 14 頁的互動)。

📖 原書 先做標準前處理

Resizing(統一大小)和 normalization(把數字縮放到差不多的範圍)。之後再用 data augmentation 把資料集變大。

📖 原書 Data augmentation

加入稍微修改過的原始資料副本,或從原始資料人工創造新資料。資料越多,模型能學越複雜的模式。資料不平衡時特別有用,因為能增加少數類別的數量。

影像增強常用的技術:

  • Random crop(隨機裁切)
  • Random saturation(隨機飽和度)
  • Vertical / horizontal flip(翻轉)
  • Rotation / translation(旋轉、平移)
  • Affine transformations(仿射變換)
  • 亮度、飽和度、對比度

原書Offline vs. online augmentation · Figure 3.6 · 動手算

增強要先做好存起來,還是邊訓練邊做?

這一步要解決增強要花時間、也要地方放。什麼時候做?

📖 原書 兩種時機

Offline(訓練前先增強)Online(訓練時即時增強)
訓練速度比較快,不用再做增強比較慢
儲存空間要多存所有增強後的圖不用多佔空間

選哪個看儲存和運算的限制。原書說:面試時更重要的是講出不同選項並討論取捨。這一題選 offline。

📖 原書 Figure 3.6資料集準備流程(依原書內容重繪)

動手算:offline 要多大的倉庫?

你猜猜看:每張原圖再多變出 9 張,存起來的照片會變幾倍?

—資料集張數—要存多少(一張 0.5 MB,示意)

延伸基礎第 5 階 · 小放大鏡 · 懂的人可以跳到第 19 頁

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

不用一次看整張,拿小放大鏡一小塊一小塊掃

① 生活情境

玩「威利在哪裡」時,你不會一眼看完整張。你用手指一小塊一小塊掃,找「紅白條紋」這個小線索。

你猜猜看:放大鏡 3×3,照片 6×6,每次往右或往下移一格。放大鏡總共停幾個位置?

③ 這時才給名字

拿同一個小放大鏡掃遍整張圖的模型叫 CNN。掃完記下「哪裡像」的成績表,叫 feature map(特徵圖)。

「真的有必要每一個 neuron 都去看整張圖片的每一個 pixel 嗎?也許是不需要的……比如說鳥嘴,你其實只需要看這麼小的範圍,就知道它是鳥嘴了。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

② 動手玩:選一種放大鏡,掃巷口照片的黑白簡化版

④ 跟這章的關係原書的兩段式模型,第一步就是 convolutional layers 把照片變成 feature map(第 19 頁)。

原書Model Development · Model selection · Figure 3.7

原書的兩段式架構:放大鏡 → 圈候選 → 認類別

這一步要解決選了 two-stage 之後,裡面到底有哪些零件、資料怎麼流?

📖 原書 三個組件

  1. Convolutional layers:處理輸入圖片,輸出 feature map(第 18 頁的小放大鏡)
  2. Region Proposal Network(RPN):本身是神經網路,吃 feature map,提出可能有物件的候選區域
  3. Classifier:吃 feature map 和候選區域,替每個區域指定物件類別;通常也是神經網路

📖 原書 ML system design 面試通常不需要講這些神經網路內部的架構。知道每個零件吃什麼、吐什麼就夠了。

📖 原書 Figure 3.7兩段式物件偵測網路(依原書內容重繪)

延伸基礎第 6 階 · 離答案多遠 · 懂的人可以跳到第 22 頁

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

模型框歪了,歪多少?算「差距的平方」

① 生活情境

射飛鏢,離紅心越遠扣越多分。往左偏 3 格和往右偏 3 格一樣糟,所以正負不能互相抵消。

你猜猜看:框的 x 差 3、y 差 4,寬和高都對。四個差距各自平方再加起來,是多少?

③ 這時才給名字

「離正確答案多遠」的分數叫 loss,越小越好。差距平方再平均的算法叫 MSE(mean squared error)。

「然後呢我們再把這些差距的平方呢,把它平均起來,那這個平均後的數值就代表了這個函數的好壞……那這個數值呢就被叫做 Loss。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講

② 動手玩:拉滑桿移動預測框(虛線),讓 loss 變 0

④ 跟這章的關係原書的 regression loss 就是這個:每個預測框的 x、y、w、h 差距平方加起來,再對所有框平均(第 22 頁)。

延伸基礎第 7 階 · 驚訝分數 · 懂的人可以跳到第 22 頁

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

類別認錯了,罰多重?看它有多驚訝

① 生活情境

氣象說降雨機率 90%,結果下雨,你不意外。說 10% 結果下雨,你很驚訝。給正確答案的機率越低,越該被罰重。

你猜猜看:正確答案是「人臉」。模型給人臉 50%,罰 1 格。給 25%,罰幾格?

③ 這時才給名字

只看「正確答案拿到多少機率」的罰法叫 cross-entropy(交叉熵),是分類最常用的 loss。

「反正你就知道說,這兩個機率分布越接近,那這個 Loss 算出來呢就會越小。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

② 動手玩:臉 A 的框,模型認為是什麼?
—罰幾格

④ 跟這章的關係原書的 classification loss 就是 cross-entropy;再跟上一頁框框的 loss 相加(第 22 頁)。

原書Model training · Loss functions · 動手調

訓練:兩個 loss 加起來,一起往下壓

這一步要解決模型要同時把「框的位置」和「類別」學好,分數怎麼定?

📖 原書 訓練的三個步驟

Forward propagation(把照片丟進去、得到預測)→ loss calculation(算差多少)→ backward propagation(照 loss 回頭調參數)。原書假設讀者熟悉,只細講物件偵測常用的 loss。下山的直覺見 07 GenAI 第 2 章 · 蒙眼下山。

📖 原書 兩個任務,兩個 loss

  • Regression loss Lreg:預測框和 ground truth 框對得多齊。用標準的 MSE:每個框的 x、y、w、h 差距平方加起來,再對 M 個預測平均(第 20 頁)
  • Classification loss Lcls:每個偵測到的物件,類別機率準不準。用標準的 log loss(cross-entropy)(第 21 頁)
  • 最終 loss:L = Lcls + λ · Lreg,λ 是平衡兩者的參數

動手調:λ 是一個翹翹板

用前兩頁的示意數字:框的 loss 是 25(差 3、差 4),類別的 loss 是 1 格。

小結第 4–7 階:它怎麼學會找

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

到這裡你已經會了

  • 教材不夠,就把照片翻一翻data augmentation,但 ground truth 框要跟著改(第 14 頁)
  • 模型用小放大鏡看照片CNN 掃出 feature map,再交給 RPN 和 classifier(第 18、19 頁)
  • 學習 = 讓兩種扣分變小框歪了用 MSE、類別錯了用 cross-entropy,λ 平衡兩者(第 20、21、22 頁)

巷口照片,現在走到哪裡

  1. 增強翻轉、調暗、裁切:1 張變 10 張,框跟著改
  2. 放大鏡feature map:嘴巴、眼睛、車牌邊特別亮
  3. 預測[23,26,20,20] 人臉 50%
  4. 扣分框 25 + λ × … ;類別 1 格 → 往下調

下一階要解決:訓練完了,考試怎麼改?預測框 [23,26,20,20] 跟答案 [20,30,20,20] 差一點點,這樣算對還是算錯?

延伸基礎第 8 階 · 重疊多少 · 懂的人可以跳到第 25 頁

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

預測框和標準答案框,重疊多少才算「抓到」?

① 生活情境

兩張一樣大的便利貼疊在桌上。完全疊好,只看得到一張;錯開一點,合起來的面積變大,重疊的部分變小。

你猜猜看:兩個 20×20 的框,左右錯開 10 格。重疊面積 ÷ 合起來的面積,是多少?

③ 這時才給名字

這個比例叫 IoU(Intersection over Union):重疊 ÷ 合起來。1 是完全重合,0 是完全沒碰到。再定一個門檻,超過才算對。

② 動手玩:移動預測框,看 IoU 過不過門檻
門檻
—重疊—合起來—IoU

④ 跟這章的關係原書用 IoU 加一個門檻,決定每個預測框算對還是算錯(第 25 頁)。

原書Evaluation · Figure 3.8、3.9

考卷怎麼改:先決定「一個框什麼時候算對」

這一步要解決模型框了 6 個,真的物件只有 2 個。哪些算對、哪些算錯?

📖 原書 Figure 3.8Ground truth 與偵測到的 bounding box(依原書內容重繪;框的位置是示意)

📖 原書 先分開評,再平均

一張圖裡通常要偵測 N 種不同的物件。為了衡量整體表現,每種物件分開評估,再把結果平均。Figure 3.8 裡,模型偵測到 6 個框,但其實只有 2 個物件。

📖 原書 Intersection Over Union(IoU)

  • IoU 衡量兩個框的重疊程度:重疊面積 ÷ 聯集面積
  • IoU = 1 最理想,代表兩個框完全重合;實務上很少見。IoU 越高,預測越準
  • 通常用一個 IoU 門檻判斷對錯:對的叫 true positive,錯的叫 false positive
  • 例如門檻 0.7:跟 ground truth 重疊 0.7 以上的偵測,才算正確

延伸基礎第 9 階 · 抓得準·抓得全 · 懂的人可以跳到第 28 頁

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

「做得好」有兩種:抓得準,和抓得全

① 生活情境

警察抓扒手。抓回來的人裡,幾個真的是扒手?這叫抓得準。現場的扒手,抓到了幾個?這叫抓得全。

你猜猜看:模型框了 4 個,其中 3 個真的是臉或車牌;照片裡總共就 3 個。抓得準、抓得全各是多少?

③ 這時才給名字

抓得準叫 precision:對的 ÷ 全部框的。抓得全叫 recall:對的 ÷ 應該要框的。

② 動手玩:調「多有把握才框」
—precision 抓得準—recall 抓得全

④ 跟這章的關係原書的離線指標從 precision 出發(第 28 頁)。但對隱私來說,漏掉一張臉更可怕(第 38 頁)。

延伸基礎第 10 階 · 平均起來 · 懂的人可以跳到第 28 頁

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

一次考試不準,那就多考幾次取平均

① 生活情境

只看一次月考,可能剛好題目簡單。好幾次一起平均,才看得出實力。各科平均再平均,就是總平均。

你猜猜看:人臉的平均是 0.8,車牌的平均是 0.6。兩科再平均是多少?

③ 這時才給名字

同一類物件、好幾個門檻下的 precision 平均,原書叫 AP(average precision)。每一類的 AP 再平均,叫 mAP。

「雖然我們在訓練的時候用 Cross-Entropy,但是你最後在做驗證跟測試的時候,你仍然會用 Accuracy,因為 Accuracy 才是你真正關心的東西。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

② 動手玩:勾選要考哪幾個 IoU 門檻
—人臉 AP—車牌 AP—mAP(兩科再平均)

④ 跟這章的關係原書最後選 AP 和 mAP 當離線指標(第 29 頁)。課堂那句話換到這裡:訓練用 loss,考試用 mAP。

原書Offline metrics · Precision · Figure 3.10 · 動手算

原書的例子:同一張考卷,換門檻就換分數

這一步要解決precision 要先選 IoU 門檻。門檻選得不同,會差多少?

📖 原書 Figure 3.10Ground truth 與偵測框,以及各自的 IoU(依原書內容重繪;兩框錯開的距離依 IoU 換算)
IoU 門檻—precision

📖 原書 離線指標

模型開發是反覆迭代的過程,用離線指標快速評估新模型。原書列了三個:Precision、Average precision、Mean average precision。

Precision = 正確偵測數 ÷ 總偵測數(所有圖片一起算)。越高,偵測結果越可靠。

你猜猜看:門檻從 0.7 降到 0.1,precision 會?

📖 原書 這個指標的主要缺點:precision 會隨 IoU 門檻改變,只看某一個門檻的分數,很難了解模型的整體表現。Average precision 就是來解決這個限制。

原書Average Precision · Mean average precision · 動手算

AP:把 11 個門檻的 precision 平均;mAP:再把每一類平均

這一步要解決不想被「剛好選到某個門檻」騙,怎麼給一個總分?

動手算:用 Figure 3.10 那 6 個框,跑原書的 11 個門檻

—AP(11 個的平均)

📖 原書 Average Precision(AP)

在各種 IoU 門檻下計算 precision,再取平均。原書寫成一個積分式(放在工程師頁),實務上用一串事先定好的門檻做離散加總來近似:例如 Pascal VOC2008 基準測試用 11 個等距的門檻。AP 總結模型對某一類物件(例如人臉)的整體 precision。

📖 原書 Mean average precision(mAP)

所有類別 AP 的平均:mAP = (AP人臉 + AP車牌) ÷ 2(C 個類別就除以 C)。它總結模型的整體表現,是評估物件偵測最常用的指標;標準基準用哪些門檻,原書指向 COCO 等參考資料。

原書Online metrics · 評估的結論

上線之後:看使用者回報

這一步要解決離線分數高,不代表真的保護了隱私。上線後怎麼知道?

你猜猜看:系統上線了。最直接看出「沒糊好」的訊號是什麼?

📖 原書 線上指標

  • 依需求,系統要保護個人隱私。一種衡量方式:計算使用者回報和抱怨的數量
  • 也可以請人工標註員抽查,看錯誤模糊的圖片佔多少百分比
  • 衡量偏差和公平性的指標也很關鍵,例如不同種族、年齡層的人臉要糊得一樣好;但依需求,偏差不在這次範圍內

📖 原書 評估這一段的結論

  • 離線:mAP 和 AP。mAP 衡量模型整體的 precision;AP 讓我們看到某一類別的 precision
  • 線上:主要指標是「user reports」(使用者回報)

你想想看,使用者回報有一個天生的問題:要先被看到,才會被回報。漏糊的那張臉,已經在網路上給大家看過了。這件事第 38 頁再講。

小結第 8–10 階:它找得好不好

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

到這裡你已經會了

  • 框對不對,看 IoU 過不過門檻重疊 ÷ 合起來;錯開一半只剩 0.33(第 24 頁)
  • 抓得準和抓得全,常常互相拉扯precision 與 recall;門檻一調,一個上去一個下來(第 26 頁)
  • 總分 = 多個門檻平均,再各類平均原書的 AP 和 mAP;線上看使用者回報(第 27、29、30 頁)

巷口照片,現在走到哪裡

  1. 預測臉 A、臉 B、車牌、招牌笑臉(錯)
  2. IoU每個框和答案比一比,過門檻才算對
  3. 分數precision 3/4、recall 3/3
  4. 總分人臉 AP、車牌 AP → mAP

下一階要解決:真的上線跑的時候,臉 A 被框了三次,三個框疊在一起。要糊三次嗎?

延伸基礎第 11 階 · 留最有把握的 · 懂的人可以跳到第 33 頁

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

同一張臉被框了三次,留哪一個?

① 生活情境

三個同學都拍了同一隻貓,照片幾乎一樣。你只留最清楚的那張,跟它太像的就刪掉;拍到別隻貓的照片,當然留著。

你猜猜看:臉 A 周圍有三個框,把握是 0.92、0.81、0.66,彼此 IoU 都超過 0.5。「先留最高分,刪掉跟它 IoU 超過 0.5 的」之後,臉 A 剩幾個框?

③ 這時才給名字

「留最有把握的、刪掉跟它重疊的」叫 NMS(non-maximum suppression)。每個框的把握程度叫 confidence score(信心分數)。

② 動手玩:一步一步跑 NMS

④ 跟這章的關係原書在 serving 時用 NMS 收尾(第 33 頁)。注意招牌笑臉沒被刪:NMS 只管重複,不管對錯。

原書Serving · Overlapping bounding boxes · NMS · Figure 3.11

上線第一個問題:框疊在一起,用 NMS 收乾淨

這一步要解決RPN 會在每個物件周圍提出一大堆高度重疊的框。推論時,每個物件只能留一個。

📖 原書 Figure 3.11套用 NMS 之前與之後(依原書內容重繪)

📖 原書 Overlapping bounding boxes

跑物件偵測時,框重疊非常常見,因為 RPN 會在每個物件周圍提出很多高度重疊的框。推論時,要把它們縮成每個物件一個框。廣泛使用的解法是 NMS。

📖 原書 NMS 是後處理演算法

選出最合適的框:保留高信心的框,移除重疊的框。NMS 是 ML system design 面試常被問的演算法,建議好好理解。

  1. 把所有框照 confidence score 由高到低排好
  2. 拿出最高分的框,留下來
  3. 剩下的框裡,跟它 IoU 超過門檻的,全部刪掉
  4. 還有框沒處理,就回到第 2 步;沒有了,然後就結束了

原書ML system design · Figure 3.12

整個系統:兩條管線,一條產生模型、一條天天在糊

📖 原書 Figure 3.12ML system design(依原書內容重繪;Fetching Service 讀的是模糊後的圖,見備註)

原書Batch prediction pipeline · 動手調

不趕時間,就先算好:批次預測,CPU 和 GPU 分開

這一步要解決每天有一大堆新照片。要即時算,還是先算好存起來?前處理和模糊要不要放在同一台機器?

📖 原書 Batch prediction

需求說延遲不重要,新圖處理時可以先顯示既有的圖。不需要即時結果,所以用批次預測,預先算好物件偵測的結果。

  • Preprocessing:處理原始圖片(做法同特徵工程,第 16 頁)
  • Blurring service:① 列出偵測到的物件 ② 用 NMS 精簡清單 ③ 模糊偵測到的物件 ④ 把模糊後的圖存進 object storage

你猜猜看:原書把前處理和模糊拆成兩個服務。為什麼?

動手調:綁在一起 vs 拆開(數字是示意)

一台 CPU 機器每秒前處理 50 張;一張 GPU 每秒模糊 200 張。

—每秒糊完幾張—一天幾張
CPU 忙碌程度
GPU 忙碌程度

原書Data pipeline · Hard negative mining

從錯誤裡再學一次:hard negative mining

這一步要解決模型上線後一定會犯錯。犯過的錯,怎麼變成下一版的教材?

📖 原書 Data pipeline

負責處理使用者回報、產生新的訓練資料、把訓練資料準備好給模型用。元件大多一看就懂,只有 hard negative mining 需要多說明。

📖 原書 Hard negative mining

Hard negatives:從預測錯誤的例子裡,明確地做成負樣本(標成「不是」),再加進訓練資料集。用更新後的資料重新訓練,模型應該會表現得更好。

你猜猜看:模型把招牌笑臉當成人臉糊掉了。下一輪訓練,這塊該標成什麼?

播放:笑臉的一生

原書Other Talking Points

面試還有時間,可能會被問到這些

📖 原書 如果時間允許

  • Transformer-based 物件偵測架構跟 one-stage、two-stage 有什麼不同,優缺點是什麼
  • 用分散式訓練技術,在更大的資料集上提升物件偵測
  • 歐洲的 GDPR(一般資料保護規則)可能怎麼影響我們的系統
  • 評估人臉偵測系統的偏差
  • 怎麼持續 fine-tune 模型
  • 怎麼用 active learning 或 human-in-the-loop ML 挑選訓練資料

每一題回到今天的哪一頁

  • Transformer-based → 第 9 頁提過 DETR;它後來怎麼了,第 40 頁
  • 分散式訓練 → 第 17 頁的資料從 100 萬變 1000 萬,一台機器訓練不完時就要分給多台
  • GDPR、偏差 → 第 38 頁的方法限制
  • 持續 fine-tune → 第 36 頁:回報 → 新教材 → 再訓練,就是一種持續更新
  • Active learning、human-in-the-loop → 讓模型挑「最沒把握」的照片給人標,例如第 26 頁信心分數 0.6 左右的臉 B

📅 2026 補充方法的限制 · 隱私

對隱私來說,哪一種錯比較可怕?

這一步要解決原書的指標都從 precision 出發。用在「保護隱私」這個目標上,會漏掉什麼?

你猜猜看:哪一種錯,對隱私的傷害比較大?

限制一:precision 看不到「漏掉的臉」

precision 只看「框了的裡面對幾個」。一張臉完全沒被框到,precision 一點都不會變差。要看漏掉多少,得看 recall(第 26 頁)。實務上常把信心門檻調低一點,寧可多糊。

限制二:使用者回報是「事後」的

原書的線上主指標是使用者回報。但被回報之前,那張臉已經被看到了。上線前的人工抽查,比較適合拿來估 recall。

限制三:只框臉和車牌,不等於認不出人

很小、側面、被遮住、在玻璃反光裡的臉,都容易漏。就算臉糊了,衣服、身形、門牌、背景也可能認出是誰。所以 Street View 也讓人主動要求把自己的臉、車、房子再糊一次。

限制四:偏差和法規不是「之後再說」

原書面試時先不談偏差。但如果某些族群的臉 recall 比較低,隱私保護就變得不平等,要分組量 recall。歐洲的 GDPR 也會影響:未模糊的原始照片、使用者回報的圖片,存在哪、存多久,都要先想清楚。

📅 2026 補充AP 的標準算法 · 動手玩

業界的 AP:掃信心門檻,看 precision 和 recall 一起走

這一步要解決原書把 AP 講成「不同 IoU 門檻的 precision 平均」。常見的基準測試是怎麼算的?

拉信心門檻,點會沿著曲線走(第 26 頁的巷口照片)

—(recall, precision)

一、AP 是 precision–recall 曲線下的面積

先固定一個 IoU 門檻(例如 0.5)判斷每個框對不對。再把信心門檻從高拉到低,每一步記下(recall, precision),連成一條曲線。AP 就是這條曲線底下的面積。

二、Pascal VOC 的 11 點,是 recall 的 11 點

VOC 2007、2008 用 recall = 0、0.1、……、1 這 11 個點:每一點取「recall 至少這麼多時,最好的 precision」,再平均。左邊這張巷口照片算出來約 0.91。

三、COCO 才是平均好幾個 IoU 門檻

COCO 的主要指標把 IoU 0.50、0.55、……、0.95 這 10 個門檻下的 AP 再平均(每類先算,再對類別平均)。原書「不同 IoU 門檻平均」的想法,比較接近這一步。

📅 2026 補充方法怎麼演進

原書之後,這幾個零件換了做法

這一步要解決原書之後,物件偵測和「糊掉」這件事往哪裡演進?

Transformer 偵測器:不用 NMS 了

原書提到的 DETR(2020)把偵測當成「一次說出一組框」,訓練時每個物件只配一個預測,所以不需要 NMS。之後的 RT-DETR(2023)把速度拉到即時等級。

一段式也在拿掉 NMS

YOLO 系列持續更新;YOLOv10(2024)用新的訓練配對方式,推論時也不需要 NMS。原書「兩段式準、一段式快」的分界,越來越模糊。

用文字指定要找什麼

Open-vocabulary detection(例如 OWL-ViT、Grounding DINO)可以直接用文字說「找 license plate」,不一定要先為每個類別標好幾十萬個框。新增一個要糊的類別(例如門牌),起步成本變低。

從框框到輪廓

框框糊掉的是一整個長方形。Segmentation 模型(例如 2023 年的 SAM)可以從一個框畫出物件的輪廓,只糊人臉本身。不過對隱私來說,多糊一點反而比較安全,框框不一定是缺點。

回顧11 階全部爬完

  1. 像素
  2. 框框
  3. 先圈再認
  4. 翻轉照片
  5. 小放大鏡
  6. 離答案多遠
  7. 驚訝分數
  8. 重疊多少
  9. 抓得準·抓得全
  10. 平均起來
  11. 留最有把握的

Street View 模糊系統,其實就是:找到框框、留下最有把握的、糊掉,再從錯誤裡學一次而已。

它怎麼找到臉

照片是一串 pixel;CNN 掃出 feature map;RPN 先圈候選,classifier 再認類別(two-stage)。每個物件是一個 bounding box 加一個類別。

它怎麼學會找

100 萬張標註照片,用 data augmentation 變成 1000 萬張(框跟著改);loss = 類別的 cross-entropy + λ × 框的 MSE。

它找得好不好

IoU 過門檻才算對;離線看 AP、mAP,線上看使用者回報。為了隱私,還要盯 recall。

它怎麼天天跑

不趕時間,所以批次預測;NMS 去掉重複的框;CPU 前處理、GPU 模糊分開擴充;回報變成 hard negative,再訓練。

框出來,留一個,糊掉。然後呢?然後就結束了。

名詞小卡課後複習用 · 每個詞一行白話

本章名詞小卡

名詞一行白話在哪一頁
pixel(像素)照片裡的一小格,記紅綠藍三個數字第 6 頁
channel紅、綠、藍其中一層第 6 頁
bounding box圈出位置的框,用 [x, y, 寬, 高] 四個數字記第 7 頁
object detection找出照片裡每個東西在哪、是什麼第 7 頁
regression答案是一個數字的題型,例如框的寬度第 9 頁
classification從幾個選項選一個的題型,例如人臉或車牌第 9 頁
region proposal先圈出「可能有東西」的候選框第 10 頁
two-stage / one-stage先圈再認(較準)/一眼看完(較快)第 10 頁
RPN兩段式裡負責圈候選的那個網路第 11 頁
classifier兩段式裡負責認類別的那個網路第 11 頁

忘了哪個詞,就回到右邊那一頁,四步再走一次。

給工程師的重點出處、公式與頁碼對照

本章引用的來源

原書

Machine Learning System Design Interview · Google Street View Blurring System 章。Introduction 與 Figure 3.1(第 3 頁)、Clarifying Requirements(5)、Defining the ML objective、input/output 與 Figure 3.2(8)、Choosing the right ML category(9)、Two-stage/One-stage 與 Figure 3.3–3.4(11)、One-stage vs. two-stage(12)、Data engineering 與 Table 3.1–3.2(15)、Feature engineering、data augmentation 與 Figure 3.5(16)、offline/online 與 Figure 3.6(17)、Model selection 與 Figure 3.7(19)、Model training 與 loss(22)、Evaluation、IoU 與 Figure 3.8–3.9(25)、Precision 與 Figure 3.10(28)、AP、mAP(29)、Online metrics(30)、Overlapping boxes、NMS 與 Figure 3.11(33)、ML system design 與 Figure 3.12(34)、Batch prediction pipeline(35)、Data pipeline 與 hard negative mining(36)、Other Talking Points(37)。12 張圖全部依圖說與描述重繪,不是原圖;Figure 3.1 街景照片改線稿、Figure 3.5 獅子照片改簡筆畫;Figure 3.12 的 Fetching Service 依內文接到模糊後的圖

本簡報加的頁面:開場互動(2)、概念階梯(4)、11 個延伸基礎(6、7、10、14、18、20、21、24、26、27、32)、小結(13、23、31)、方法限制(38)、2026 補充(39、40)、名詞小卡(42)。巷口照片、信心分數、IoU 測試資料、CPU/GPU 吞吐量都是示意

🎓 李宏毅課堂(逐字稿)

  • 生成式人工智慧與機器學習導論 2025 · 第 5 講(一堂課搞懂機器學習與深度學習的基本原理)— 差距平方的平均就是 Loss
  • 同 · 第 6 講(一堂課搞懂訓練類神經網路的各種訣竅)— 彩色圖片是三張圖疊在一起、不必看整張圖(鳥嘴)、同樣的 pattern 出現在不同地方、分類是從事先定好的選項選一個、Cross-Entropy 讓兩個機率分布越接近越好、訓練用 Cross-Entropy 但測試用 Accuracy

來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。逐字稿:raw/youtube/transcripts/Taj1eHmZyWw.md、mPWvAN4hzzY.md

📅 依據

  • AP:Pascal VOC 2007/2008 的 11 點內插(recall 0–1);COCO AP@[.50:.95]
  • DETR(2020)、RT-DETR(2023)、YOLOv10(2024)、OWL-ViT(2022)、Grounding DINO(2023)、SAM(2023)
  • Triton:本章無出處,不放客座卡

公式(主文用文字講過)

  • box = [x左上, y左上, w, h]
  • Lreg = (1/M) Σi [(xi−x̂i)² + (yi−ŷi)² + (wi−ŵi)² + (hi−ĥi)²]
  • Lcls = −(1/M) Σi Σc=1..C yc log ŷc
  • L = Lcls + λ Lreg
  • IoU = |A ∩ B| / |A ∪ B|
  • Precision = TP / (TP + FP);Recall = TP / (TP + FN)
  • 原書:AP = ∫₀¹ P(r) dr ≈ (1/11) Σn=0..10 P(n),P(r) 為 IoU 門檻 r 下的 precision
  • mAP = (1/C) Σc APc
  • NMS:依分數排序;取最高者保留,移除與其 IoU > t 者;重複至清單為空
  • 水平翻轉:x′ = W − x − w
← → 翻頁 · S 講者備註 · D 深/淺色
1 / 1目錄