ML System Design · 第 3 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無(本章沒有 Triton 客座卡)
Google Street View 模糊系統
其實就是:找到框框、留下最有把握的、糊掉而已
你在 Google Maps 拖著小人走進一條巷子,路人的臉、車子的車牌都糊糊的。不是相機壞了,是一套 ML 系統一張一張幫你糊的。原書用這個題目,把 object detection(物件偵測)從頭到尾講一遍。
今天的路線
需求 → 一邊爬 11 階基礎、一邊對照原書(第 4 頁的階梯):照片怎麼變數字 → 怎麼找到框 → 怎麼教它 → 怎麼打分數 → 怎麼上線 → 方法的限制與 2026 年的變化。全程只用同一張巷口照片。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 延伸基礎
標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。這一章的 infra 沒有 Triton 的出處,所以沒有客座卡。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。隱私只當成「方法的限制」來談。
先講跟你有關的動手玩 · 你來當模糊員
如果這份工作交給你,一張要多久?
點照片裡的臉和車牌,把它們打上馬賽克。
你可能會想說,這有什麼難的?點三下就好了嘛。對,一張不難。可是原書光是拿來訓練的照片就有 100 萬張,街上每天還在拍新的。
而且你有沒有發現,照片裡有一個陷阱:招牌上那個圓圓的笑臉,算不算臉?人一眼就知道不算。電腦呢?這個笑臉今天會一路陪我們到最後(第 36 頁)。
今天整堂課只在回答三個問題:它怎麼找到臉?(模型)它怎麼學會找?(資料與訓練)它找得好不好?(評估)最後再加一個:每天幾百萬張,怎麼跑得完?(系統)
原書Introduction · Figure 3.1
原書的開場:2008 年,Google 開始自動幫街景打馬賽克
📖 原書 題目從哪裡來
Google Street View 是 Google Maps 裡的一項技術,提供全球許多公共道路的街景互動全景圖。2008 年,Google 建了一套系統,自動模糊人臉和車牌來保護使用者隱私。這一章要設計一套類似的模糊系統。
原書這一章的路線
- Clarifying requirements(第 5 頁)
- Frame the problem as an ML task(第 8–12 頁)
- Data preparation(第 15–17 頁)
- Model development(第 19、22 頁)
- Evaluation(第 25–30 頁)
- Serving(第 33–36 頁)
- Other talking points(第 37 頁)
學習地圖今天要爬的 11 階 · 每一階只用前面學過的東西
一階一階往上爬,不跳階
- 1像素照片在電腦裡長什麼樣?
- 2框框怎麼說「臉在這裡」?
- 3先圈再認一次找,還是分兩次?
- 4翻轉照片教材不夠怎麼辦?
- 5小放大鏡模型怎麼看照片?
- 6離答案多遠框歪了扣幾分?
- 7驚訝分數認錯了扣幾分?
- 8重疊多少框到什麼程度算對?
- 9抓得準·抓得全兩種「做得好」
- 10平均起來怎麼給一個總分?
- 11留最有把握的一張臉框三次怎麼辦?
它怎麼找到臉 它怎麼學會找 它找得好不好 上線前的最後一步 英文名字等爬到那一階才給。
整堂課只用一張照片
巷口照片:臉 A、臉 B、一塊車牌,外加一個招牌笑臉陷阱。照片 200×120 格,每張臉的框都是 20×20,數字小到可以心算。
每一階都走四步
① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。
每爬幾階就停一下
「到這裡你已經會了」:第 13、23、31 頁。最後還有名詞小卡(第 42 頁)。
原書Clarifying Requirements
原書的題目:自動糊掉街景裡的臉和車牌
這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 系統的商業目標是保護使用者隱私,這樣說對嗎? | 是的 |
| 要偵測街景圖片裡所有的人臉和車牌,顯示給使用者前先模糊掉,對嗎?可以假設使用者能回報沒糊好的圖片嗎? | 是的,這些假設合理 |
| 這個任務有標註好的資料集嗎? | 假設已經抽樣了 100 萬張圖片,裡面的人臉和車牌都有人工標註 |
| 資料集可能缺少某些族群的人臉,造成種族、年齡、性別等屬性的偏差,這樣假設合理嗎? | 好問題。為了簡化,今天先不討論公平性與偏差 |
| 延遲應該不是大問題,系統可以離線偵測並模糊,對嗎? | 對。新圖片在離線處理時,可以先顯示既有的圖片 |
📖 原書 整理成一句話
- 做什麼:設計一個 Street View 模糊系統,自動模糊車牌和人臉
- 資料:100 萬張訓練圖片,人臉和車牌都標好了
- 目標:保護使用者隱私
- 速度:可以離線慢慢做;使用者能回報沒糊好的圖
你想想看,「延遲不重要」這一句,會決定整個系統的形狀(第 35 頁)。「偏差先不談」這一句,第 38 頁會回來找我們。
延伸基礎第 1 階 · 像素 · 懂的人可以跳到第 8 頁
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
電腦看到的照片,其實是一大格一大格的數字
把臉貼近 LED 看板,會看到一顆一顆小燈。每顆燈只管一個顏色、一個亮度。退後幾步,才拼成一張臉。
你猜猜看:一張 100×100 的彩色照片,每一格記紅、綠、藍三個數字。總共幾個數字?
100×100 = 1 萬格,每格 3 個數字,就是 3 萬個。原書那 100 萬張照片,每張都是這樣一大串數字。
每一個小格叫 pixel(像素)。紅、綠、藍三層疊起來,每一層叫一個 channel。
「對類神經網路來說呢,它看到的一張彩色的圖片,其實是三張圖片疊在一起的……那每一個 value 就代表了某一個顏色在這個位置的強度,這個才是類神經網路真正看到的東西。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係模型的輸入就是這一大串數字。臉和車牌,只是其中某一塊數字長得比較特別。
延伸基礎第 2 階 · 框框 · 懂的人可以跳到第 8 頁
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
「有沒有臉」和「臉在哪裡」,是兩個不同的問題
朋友問:「這張合照裡有你嗎?」你說有。他又問:「哪一個?」你得用手指圈出來。只說「有」,他還是找不到你。
你猜猜看:框寫成 [20, 30, 20, 20],意思是左上角 (20, 30)、寬 20、高 20。右下角在哪?
往右走寬 20:20 + 20 = 40;往下走高 20:30 + 20 = 50。四個數字就能描述一個框。
圈出位置的框叫 bounding box,用四個數字記。找出照片裡每個東西「在哪、是什麼」,叫 object detection。
對照「只回答是什麼」的分類:「這個函式輸入是一張圖片,輸出就是從眾多可能的選項,事先定好的選項裡面選擇一個選項。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係原書要的是後者:每個框猜四個數字(位置),再猜它是人臉還是車牌(第 9 頁)。
原書Frame the Problem as an ML Task · Figure 3.2
把「保護隱私」翻譯成 ML 題目:object detection
這一步要解決「保護隱私」不是模型能直接學的目標,要換成模型做得到的事。
📖 原書 Defining the ML objective
- 商業目標:模糊街景裡看得到的車牌和人臉,保護使用者隱私
- 但「保護隱私」不是 ML 目標,要翻譯成 ML 系統能解的題目
- ML 目標:準確偵測圖片裡的目標物件。偵測得準,就能在顯示前先糊掉
原書接下來用 objects(物件)統稱「人臉和車牌」。
📖 原書 Input 與 Output
Input:一張圖片,裡面有零個或好幾個物件,位置各不相同。Output:模型偵測到的物件,以及它們的位置。
每個框旁邊的百分比,是模型對自己答案的把握程度。96% dog 的意思是:「我有 96% 的把握這是狗」。
原書Choosing the right ML category
一個框,兩件工作:猜位置、猜類別
這一步要解決「偵測」到底要模型輸出什麼?分成哪幾種題型?
📖 原書 物件偵測的兩項責任
[20, 30, 20, 20]
預測每個物件的位置。位置是 (x, y) 座標這種數字,所以是 regression(迴歸:猜一個數字)問題。
人臉 · 車牌
預測每個框的類別(狗、貓…)。從幾個選項裡選一個,是 multi-class classification(多類別分類)問題。
你猜猜看:「臉 A 的框寬 20」這件事,是哪一種題型?
寬度可以是 19、20、20.5,是一個數字,所以是 regression。「它是人臉」才是從選項裡選。
📖 原書 架構的兩大家族
傳統上,物件偵測架構分成 one-stage 和 two-stage 兩種網路。最近,以 Transformer 為基礎的架構(例如 DETR)也有很好的成果,但這一章主要探討前兩種。
名字先記著就好。下一頁用機場安檢的例子,看「一段」和「兩段」到底差在哪。DETR 後來怎麼了,第 40 頁再講。
延伸基礎第 3 階 · 先圈再認 · 懂的人可以跳到第 11 頁
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
先圈出可疑的地方再細看,還是一眼看完?
機場安檢:X 光機先把「可能有東西」的行李圈出來,安檢員再一件一件打開看。另一種做法:請一位神人掃一眼,直接說哪裡有什麼。
你猜猜看:「先圈再認」通常比較準,但比較慢。它慢在哪?
第二段要等第一段圈完才能開始,而且圈了幾個框,就要認幾次。
先圈出「可能有東西」的框,叫 region proposal。先圈再認叫 two-stage(兩段式);一眼看完叫 one-stage(一段式)。
④ 跟這章的關係原書比較這兩種做法(第 11–12 頁),最後先選兩段式。
原書Two-stage networks · One-stage networks · Figure 3.3、3.4
原書的兩張圖:先圈再認 vs 一次到位
這一步要解決「找位置」和「認類別」,要分給兩個模型,還是一個模型一次做完?
📖 原書 Two-stage networks
顧名思義,用兩個獨立的模型:
- Region proposal network(RPN):掃描圖片,提出可能是物件的候選區域
- Classifier(分類器):處理每個候選區域,分類成物件類別
常見的有 R-CNN、Fast R-CNN、Faster R-CNN。
📖 原書 One-stage networks
兩個階段合在一起。用單一網路同時產生 bounding box 和物件類別,不需要明確地先做 region proposal。常見的有 YOLO 和 SSD。
原書One-stage vs. two-stage · 動手選
原書先選 two-stage:100 萬張不算多,也不趕時間
這一步要解決兩種都能用。依這題的條件,該先選哪一個?
你猜猜看:資料只有 100 萬張、可以離線慢慢跑。原書會先選哪一種?
不趕時間、訓練成本也不會太高,那就先拿準確度。原書就是這樣選的。
📖 原書 比較與選擇
| Two-stage | One-stage | |
|---|---|---|
| 組成 | 兩個元件依序執行 | 單一網路,一次完成 |
| 速度 | 通常比較慢 | 比較快 |
| 準確度 | 比較準 | 通常比兩段式差一點 |
| 代表 | R-CNN、Fast R-CNN、Faster R-CNN | YOLO、SSD |
100 萬張以現代標準來看不算龐大,用兩段式不會讓訓練成本暴增,所以先從 two-stage 開始。等訓練資料變多、或預測需要更快時,再換 one-stage。
動手選:條件變了,答案也會變
小結第 1–3 階:它怎麼找到臉
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
到這裡你已經會了
- 照片其實是一大串數字每一格是 pixel,紅綠藍三個 channel(第 6 頁)
- 偵測 = 框框 + 類別bounding box 用四個數字記位置,再說它是人臉還是車牌(第 7 頁)
- 可以先圈再認,也可以一次到位two-stage 比較準、one-stage 比較快;原書先選 two-stage(第 10、12 頁)
巷口照片,現在走到哪裡
- 照片200×120 格,每格三個數字
- 先圈8 個候選框(臉、車牌、窗戶、輪胎……)
- 再認人臉 × 2、車牌 × 1,其他是背景
- 輸出[20,30,20,20] 人臉 · [70,35,20,20] 人臉 · [140,90,40,10] 車牌
下一階要解決:模型要從例子學。可是 100 萬張照片,臉都朝同一邊、天氣都很好,怎麼辦呢?
延伸基礎第 4 階 · 翻轉照片 · 懂的人可以跳到第 15 頁
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
一張照片翻一翻,就多一份教材
背單字卡時,把卡片打亂、反過來再背一次。內容一樣,但你不會只記得「第三張是 apple」。
你猜猜看:照片寬 200,臉的框從 x = 20 開始、寬 20。照片左右翻轉後,框從 x = 多少開始?
原本右邊界在 40,翻過去後變成左邊界:200 − 40 = 160。框沒跟著改,就等於教模型「臉在空氣裡」。
用小改動從舊照片變出新照片,叫 data augmentation(資料增強)。人工標好的正確框,叫 ground truth(標準答案)。
④ 跟這章的關係原書用它把 100 萬張變成 1000 萬張;旋轉、翻轉時,ground truth 框也要一起轉(第 16 頁)。
原書Data Preparation · Data engineering · Table 3.1、3.2
手上有兩種資料:標好答案的照片、剛拍回來的街景
這一步要解決模型要從例子學。這題手上到底有哪些資料、長什麼樣?
📖 原書 Annotated dataset(標註資料集)
100 萬張標註圖片。每張有一串 bounding box 和對應的物件類別。點一列,看框畫在哪。
| Image path | Objects | Bounding boxes |
|---|---|---|
| dataset/image1.jpg | human face human face license plate | [10,10,25,50] [120,180,40,70] [80,95,35,10] |
| dataset/image2.jpg | human face | [170,190,30,80] |
| dataset/image3.jpg | license plate human face | [25,30,210,220] [30,40,30,60] |
📖 原書 Table 3.1每個框是 4 個數字:左上角 X、Y,接著是物件的寬、高
📖 原書 Street View images(街景圖片)
資料蒐集團隊(data sourcing team)拍回來的街景,系統要處理它們、偵測人臉和車牌。Table 3.2 是它們的 metadata(附帶資訊)。
| Image path | Location (lat, lng) | Pitch, Yaw, Roll | Timestamp |
|---|---|---|---|
| tmp/image1.jpg | (37.432567, -122.143993) | (0,10,20) | 1646276421 |
| tmp/image2.jpg | (37.387843, -122.091086) | (0,10,-10) | 1646276539 |
| tmp/image3.jpg | (37.542081, -121.997640) | (10,-20,45) | 1646276752 |
📖 原書 Table 3.2街景圖片的 metadata
- lat, lng:拍攝地點的緯度、經度
- Pitch, Yaw, Roll:相機抬頭低頭、左右轉頭、歪頭的角度
- Timestamp:拍攝時間(從 1970 年起算的秒數)
原書Feature engineering · Data augmentation · Figure 3.5
特徵工程:先統一格式,再把資料變多
這一步要解決照片大小、亮度各不相同,數量也不夠多。怎麼整理成好學的教材?
📖 原書 注意:旋轉或翻轉原圖時,ground truth bounding box 也要跟著轉換(第 14 頁的互動)。
📖 原書 先做標準前處理
Resizing(統一大小)和 normalization(把數字縮放到差不多的範圍)。之後再用 data augmentation 把資料集變大。
📖 原書 Data augmentation
加入稍微修改過的原始資料副本,或從原始資料人工創造新資料。資料越多,模型能學越複雜的模式。資料不平衡時特別有用,因為能增加少數類別的數量。
影像增強常用的技術:
- Random crop(隨機裁切)
- Random saturation(隨機飽和度)
- Vertical / horizontal flip(翻轉)
- Rotation / translation(旋轉、平移)
- Affine transformations(仿射變換)
- 亮度、飽和度、對比度
原書Offline vs. online augmentation · Figure 3.6 · 動手算
增強要先做好存起來,還是邊訓練邊做?
這一步要解決增強要花時間、也要地方放。什麼時候做?
📖 原書 兩種時機
| Offline(訓練前先增強) | Online(訓練時即時增強) | |
|---|---|---|
| 訓練速度 | 比較快,不用再做增強 | 比較慢 |
| 儲存空間 | 要多存所有增強後的圖 | 不用多佔空間 |
選哪個看儲存和運算的限制。原書說:面試時更重要的是講出不同選項並討論取捨。這一題選 offline。
動手算:offline 要多大的倉庫?
你猜猜看:每張原圖再多變出 9 張,存起來的照片會變幾倍?
原圖 1 張 + 新的 9 張 = 10 張。原書的例子就是 100 萬張變 1000 萬張。
延伸基礎第 5 階 · 小放大鏡 · 懂的人可以跳到第 19 頁
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
不用一次看整張,拿小放大鏡一小塊一小塊掃
玩「威利在哪裡」時,你不會一眼看完整張。你用手指一小塊一小塊掃,找「紅白條紋」這個小線索。
你猜猜看:放大鏡 3×3,照片 6×6,每次往右或往下移一格。放大鏡總共停幾個位置?
一排能停 6 − 3 + 1 = 4 個位置,共 4 排,4 × 4 = 16。
拿同一個小放大鏡掃遍整張圖的模型叫 CNN。掃完記下「哪裡像」的成績表,叫 feature map(特徵圖)。
「真的有必要每一個 neuron 都去看整張圖片的每一個 pixel 嗎?也許是不需要的……比如說鳥嘴,你其實只需要看這麼小的範圍,就知道它是鳥嘴了。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係原書的兩段式模型,第一步就是 convolutional layers 把照片變成 feature map(第 19 頁)。
原書Model Development · Model selection · Figure 3.7
原書的兩段式架構:放大鏡 → 圈候選 → 認類別
這一步要解決選了 two-stage 之後,裡面到底有哪些零件、資料怎麼流?
📖 原書 三個組件
- Convolutional layers:處理輸入圖片,輸出 feature map(第 18 頁的小放大鏡)
- Region Proposal Network(RPN):本身是神經網路,吃 feature map,提出可能有物件的候選區域
- Classifier:吃 feature map 和候選區域,替每個區域指定物件類別;通常也是神經網路
📖 原書 ML system design 面試通常不需要講這些神經網路內部的架構。知道每個零件吃什麼、吐什麼就夠了。
延伸基礎第 6 階 · 離答案多遠 · 懂的人可以跳到第 22 頁
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
模型框歪了,歪多少?算「差距的平方」
射飛鏢,離紅心越遠扣越多分。往左偏 3 格和往右偏 3 格一樣糟,所以正負不能互相抵消。
你猜猜看:框的 x 差 3、y 差 4,寬和高都對。四個差距各自平方再加起來,是多少?
3² + 4² + 0 + 0 = 9 + 16 = 25。平方讓差很多的那一項被罰得特別重。
「離正確答案多遠」的分數叫 loss,越小越好。差距平方再平均的算法叫 MSE(mean squared error)。
「然後呢我們再把這些差距的平方呢,把它平均起來,那這個平均後的數值就代表了這個函數的好壞……那這個數值呢就被叫做 Loss。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講
④ 跟這章的關係原書的 regression loss 就是這個:每個預測框的 x、y、w、h 差距平方加起來,再對所有框平均(第 22 頁)。
延伸基礎第 7 階 · 驚訝分數 · 懂的人可以跳到第 22 頁
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
類別認錯了,罰多重?看它有多驚訝
氣象說降雨機率 90%,結果下雨,你不意外。說 10% 結果下雨,你很驚訝。給正確答案的機率越低,越該被罰重。
你猜猜看:正確答案是「人臉」。模型給人臉 50%,罰 1 格。給 25%,罰幾格?
機率每砍一半就多罰 1 格:100% 罰 0、50% 罰 1、25% 罰 2、12.5% 罰 3。
只看「正確答案拿到多少機率」的罰法叫 cross-entropy(交叉熵),是分類最常用的 loss。
「反正你就知道說,這兩個機率分布越接近,那這個 Loss 算出來呢就會越小。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係原書的 classification loss 就是 cross-entropy;再跟上一頁框框的 loss 相加(第 22 頁)。
原書Model training · Loss functions · 動手調
訓練:兩個 loss 加起來,一起往下壓
這一步要解決模型要同時把「框的位置」和「類別」學好,分數怎麼定?
📖 原書 訓練的三個步驟
Forward propagation(把照片丟進去、得到預測)→ loss calculation(算差多少)→ backward propagation(照 loss 回頭調參數)。原書假設讀者熟悉,只細講物件偵測常用的 loss。下山的直覺見 07 GenAI 第 2 章 · 蒙眼下山。
📖 原書 兩個任務,兩個 loss
- Regression loss Lreg:預測框和 ground truth 框對得多齊。用標準的 MSE:每個框的 x、y、w、h 差距平方加起來,再對 M 個預測平均(第 20 頁)
- Classification loss Lcls:每個偵測到的物件,類別機率準不準。用標準的 log loss(cross-entropy)(第 21 頁)
- 最終 loss:L = Lcls + λ · Lreg,λ 是平衡兩者的參數
動手調:λ 是一個翹翹板
用前兩頁的示意數字:框的 loss 是 25(差 3、差 4),類別的 loss 是 1 格。
小結第 4–7 階:它怎麼學會找
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
到這裡你已經會了
- 教材不夠,就把照片翻一翻data augmentation,但 ground truth 框要跟著改(第 14 頁)
- 模型用小放大鏡看照片CNN 掃出 feature map,再交給 RPN 和 classifier(第 18、19 頁)
- 學習 = 讓兩種扣分變小框歪了用 MSE、類別錯了用 cross-entropy,λ 平衡兩者(第 20、21、22 頁)
巷口照片,現在走到哪裡
- 增強翻轉、調暗、裁切:1 張變 10 張,框跟著改
- 放大鏡feature map:嘴巴、眼睛、車牌邊特別亮
- 預測[23,26,20,20] 人臉 50%
- 扣分框 25 + λ × … ;類別 1 格 → 往下調
下一階要解決:訓練完了,考試怎麼改?預測框 [23,26,20,20] 跟答案 [20,30,20,20] 差一點點,這樣算對還是算錯?
延伸基礎第 8 階 · 重疊多少 · 懂的人可以跳到第 25 頁
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
預測框和標準答案框,重疊多少才算「抓到」?
兩張一樣大的便利貼疊在桌上。完全疊好,只看得到一張;錯開一點,合起來的面積變大,重疊的部分變小。
你猜猜看:兩個 20×20 的框,左右錯開 10 格。重疊面積 ÷ 合起來的面積,是多少?
重疊 10×20 = 200;合起來 400 + 400 − 200 = 600;200 ÷ 600 ≈ 0.33。錯開一半,分數只剩三分之一。
這個比例叫 IoU(Intersection over Union):重疊 ÷ 合起來。1 是完全重合,0 是完全沒碰到。再定一個門檻,超過才算對。
④ 跟這章的關係原書用 IoU 加一個門檻,決定每個預測框算對還是算錯(第 25 頁)。
原書Evaluation · Figure 3.8、3.9
考卷怎麼改:先決定「一個框什麼時候算對」
這一步要解決模型框了 6 個,真的物件只有 2 個。哪些算對、哪些算錯?
📖 原書 先分開評,再平均
一張圖裡通常要偵測 N 種不同的物件。為了衡量整體表現,每種物件分開評估,再把結果平均。Figure 3.8 裡,模型偵測到 6 個框,但其實只有 2 個物件。
📖 原書 Intersection Over Union(IoU)
- IoU 衡量兩個框的重疊程度:重疊面積 ÷ 聯集面積
- IoU = 1 最理想,代表兩個框完全重合;實務上很少見。IoU 越高,預測越準
- 通常用一個 IoU 門檻判斷對錯:對的叫 true positive,錯的叫 false positive
- 例如門檻 0.7:跟 ground truth 重疊 0.7 以上的偵測,才算正確
延伸基礎第 9 階 · 抓得準·抓得全 · 懂的人可以跳到第 28 頁
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
「做得好」有兩種:抓得準,和抓得全
警察抓扒手。抓回來的人裡,幾個真的是扒手?這叫抓得準。現場的扒手,抓到了幾個?這叫抓得全。
你猜猜看:模型框了 4 個,其中 3 個真的是臉或車牌;照片裡總共就 3 個。抓得準、抓得全各是多少?
抓得準:框的 4 個裡對 3 個 = 3/4。抓得全:該抓的 3 個全抓到 = 3/3。多框的那一個,就是招牌笑臉。
抓得準叫 precision:對的 ÷ 全部框的。抓得全叫 recall:對的 ÷ 應該要框的。
④ 跟這章的關係原書的離線指標從 precision 出發(第 28 頁)。但對隱私來說,漏掉一張臉更可怕(第 38 頁)。
延伸基礎第 10 階 · 平均起來 · 懂的人可以跳到第 28 頁
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
一次考試不準,那就多考幾次取平均
只看一次月考,可能剛好題目簡單。好幾次一起平均,才看得出實力。各科平均再平均,就是總平均。
你猜猜看:人臉的平均是 0.8,車牌的平均是 0.6。兩科再平均是多少?
(0.8 + 0.6) ÷ 2 = 0.7。1.4 是忘了除以 2;0.48 是乘起來了。
同一類物件、好幾個門檻下的 precision 平均,原書叫 AP(average precision)。每一類的 AP 再平均,叫 mAP。
「雖然我們在訓練的時候用 Cross-Entropy,但是你最後在做驗證跟測試的時候,你仍然會用 Accuracy,因為 Accuracy 才是你真正關心的東西。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係原書最後選 AP 和 mAP 當離線指標(第 29 頁)。課堂那句話換到這裡:訓練用 loss,考試用 mAP。
原書Offline metrics · Precision · Figure 3.10 · 動手算
原書的例子:同一張考卷,換門檻就換分數
這一步要解決precision 要先選 IoU 門檻。門檻選得不同,會差多少?
📖 原書 離線指標
模型開發是反覆迭代的過程,用離線指標快速評估新模型。原書列了三個:Precision、Average precision、Mean average precision。
Precision = 正確偵測數 ÷ 總偵測數(所有圖片一起算)。越高,偵測結果越可靠。
你猜猜看:門檻從 0.7 降到 0.1,precision 會?
門檻越低,越歪的框也算對。0.7 時 2/6 = 0.33,0.5 時 3/6 = 0.5,0.1 時 4/6 = 0.67。
📖 原書 這個指標的主要缺點:precision 會隨 IoU 門檻改變,只看某一個門檻的分數,很難了解模型的整體表現。Average precision 就是來解決這個限制。
原書Average Precision · Mean average precision · 動手算
AP:把 11 個門檻的 precision 平均;mAP:再把每一類平均
這一步要解決不想被「剛好選到某個門檻」騙,怎麼給一個總分?
動手算:用 Figure 3.10 那 6 個框,跑原書的 11 個門檻
📖 原書 Average Precision(AP)
在各種 IoU 門檻下計算 precision,再取平均。原書寫成一個積分式(放在工程師頁),實務上用一串事先定好的門檻做離散加總來近似:例如 Pascal VOC2008 基準測試用 11 個等距的門檻。AP 總結模型對某一類物件(例如人臉)的整體 precision。
📖 原書 Mean average precision(mAP)
所有類別 AP 的平均:mAP = (AP人臉 + AP車牌) ÷ 2(C 個類別就除以 C)。它總結模型的整體表現,是評估物件偵測最常用的指標;標準基準用哪些門檻,原書指向 COCO 等參考資料。
原書Online metrics · 評估的結論
上線之後:看使用者回報
這一步要解決離線分數高,不代表真的保護了隱私。上線後怎麼知道?
你猜猜看:系統上線了。最直接看出「沒糊好」的訊號是什麼?
loss 和 GPU 都是系統內部的數字。沒糊好的臉,被看到的人最清楚。
📖 原書 線上指標
- 依需求,系統要保護個人隱私。一種衡量方式:計算使用者回報和抱怨的數量
- 也可以請人工標註員抽查,看錯誤模糊的圖片佔多少百分比
- 衡量偏差和公平性的指標也很關鍵,例如不同種族、年齡層的人臉要糊得一樣好;但依需求,偏差不在這次範圍內
📖 原書 評估這一段的結論
- 離線:mAP 和 AP。mAP 衡量模型整體的 precision;AP 讓我們看到某一類別的 precision
- 線上:主要指標是「user reports」(使用者回報)
你想想看,使用者回報有一個天生的問題:要先被看到,才會被回報。漏糊的那張臉,已經在網路上給大家看過了。這件事第 38 頁再講。
小結第 8–10 階:它找得好不好
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
到這裡你已經會了
- 框對不對,看 IoU 過不過門檻重疊 ÷ 合起來;錯開一半只剩 0.33(第 24 頁)
- 抓得準和抓得全,常常互相拉扯precision 與 recall;門檻一調,一個上去一個下來(第 26 頁)
- 總分 = 多個門檻平均,再各類平均原書的 AP 和 mAP;線上看使用者回報(第 27、29、30 頁)
巷口照片,現在走到哪裡
- 預測臉 A、臉 B、車牌、招牌笑臉(錯)
- IoU每個框和答案比一比,過門檻才算對
- 分數precision 3/4、recall 3/3
- 總分人臉 AP、車牌 AP → mAP
下一階要解決:真的上線跑的時候,臉 A 被框了三次,三個框疊在一起。要糊三次嗎?
延伸基礎第 11 階 · 留最有把握的 · 懂的人可以跳到第 33 頁
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
同一張臉被框了三次,留哪一個?
三個同學都拍了同一隻貓,照片幾乎一樣。你只留最清楚的那張,跟它太像的就刪掉;拍到別隻貓的照片,當然留著。
你猜猜看:臉 A 周圍有三個框,把握是 0.92、0.81、0.66,彼此 IoU 都超過 0.5。「先留最高分,刪掉跟它 IoU 超過 0.5 的」之後,臉 A 剩幾個框?
留下 0.92;0.81 和 0.66 跟它重疊太多,刪掉。一張臉,一個框。
「留最有把握的、刪掉跟它重疊的」叫 NMS(non-maximum suppression)。每個框的把握程度叫 confidence score(信心分數)。
④ 跟這章的關係原書在 serving 時用 NMS 收尾(第 33 頁)。注意招牌笑臉沒被刪:NMS 只管重複,不管對錯。
原書Serving · Overlapping bounding boxes · NMS · Figure 3.11
上線第一個問題:框疊在一起,用 NMS 收乾淨
這一步要解決RPN 會在每個物件周圍提出一大堆高度重疊的框。推論時,每個物件只能留一個。
📖 原書 Overlapping bounding boxes
跑物件偵測時,框重疊非常常見,因為 RPN 會在每個物件周圍提出很多高度重疊的框。推論時,要把它們縮成每個物件一個框。廣泛使用的解法是 NMS。
📖 原書 NMS 是後處理演算法
選出最合適的框:保留高信心的框,移除重疊的框。NMS 是 ML system design 面試常被問的演算法,建議好好理解。
- 把所有框照 confidence score 由高到低排好
- 拿出最高分的框,留下來
- 剩下的框裡,跟它 IoU 超過門檻的,全部刪掉
- 還有框沒處理,就回到第 2 步;沒有了,然後就結束了
原書ML system design · Figure 3.12
整個系統:兩條管線,一條產生模型、一條天天在糊
原書Batch prediction pipeline · 動手調
不趕時間,就先算好:批次預測,CPU 和 GPU 分開
這一步要解決每天有一大堆新照片。要即時算,還是先算好存起來?前處理和模糊要不要放在同一台機器?
📖 原書 Batch prediction
需求說延遲不重要,新圖處理時可以先顯示既有的圖。不需要即時結果,所以用批次預測,預先算好物件偵測的結果。
- Preprocessing:處理原始圖片(做法同特徵工程,第 16 頁)
- Blurring service:① 列出偵測到的物件 ② 用 NMS 精簡清單 ③ 模糊偵測到的物件 ④ 把模糊後的圖存進 object storage
你猜猜看:原書把前處理和模糊拆成兩個服務。為什麼?
原書:前處理通常是 CPU-bound,模糊服務靠 GPU。拆開有兩個好處:依各自的工作量獨立擴充,CPU 和 GPU 都用得更滿。
動手調:綁在一起 vs 拆開(數字是示意)
一台 CPU 機器每秒前處理 50 張;一張 GPU 每秒模糊 200 張。
原書Data pipeline · Hard negative mining
從錯誤裡再學一次:hard negative mining
這一步要解決模型上線後一定會犯錯。犯過的錯,怎麼變成下一版的教材?
📖 原書 Data pipeline
負責處理使用者回報、產生新的訓練資料、把訓練資料準備好給模型用。元件大多一看就懂,只有 hard negative mining 需要多說明。
📖 原書 Hard negative mining
Hard negatives:從預測錯誤的例子裡,明確地做成負樣本(標成「不是」),再加進訓練資料集。用更新後的資料重新訓練,模型應該會表現得更好。
你猜猜看:模型把招牌笑臉當成人臉糊掉了。下一輪訓練,這塊該標成什麼?
它「很像臉、但不是」,正是最難的反例。明確標成背景,模型才學得到「圓圓黃黃的不一定是臉」。
播放:笑臉的一生
原書Other Talking Points
面試還有時間,可能會被問到這些
📖 原書 如果時間允許
- Transformer-based 物件偵測架構跟 one-stage、two-stage 有什麼不同,優缺點是什麼
- 用分散式訓練技術,在更大的資料集上提升物件偵測
- 歐洲的 GDPR(一般資料保護規則)可能怎麼影響我們的系統
- 評估人臉偵測系統的偏差
- 怎麼持續 fine-tune 模型
- 怎麼用 active learning 或 human-in-the-loop ML 挑選訓練資料
每一題回到今天的哪一頁
- Transformer-based → 第 9 頁提過 DETR;它後來怎麼了,第 40 頁
- 分散式訓練 → 第 17 頁的資料從 100 萬變 1000 萬,一台機器訓練不完時就要分給多台
- GDPR、偏差 → 第 38 頁的方法限制
- 持續 fine-tune → 第 36 頁:回報 → 新教材 → 再訓練,就是一種持續更新
- Active learning、human-in-the-loop → 讓模型挑「最沒把握」的照片給人標,例如第 26 頁信心分數 0.6 左右的臉 B
📅 2026 補充方法的限制 · 隱私
對隱私來說,哪一種錯比較可怕?
這一步要解決原書的指標都從 precision 出發。用在「保護隱私」這個目標上,會漏掉什麼?
你猜猜看:哪一種錯,對隱私的傷害比較大?
多糊只是畫面醜一點;漏糊的那張臉已經公開了,收不回來。所以這題除了 precision,更要盯 recall。
限制一:precision 看不到「漏掉的臉」
precision 只看「框了的裡面對幾個」。一張臉完全沒被框到,precision 一點都不會變差。要看漏掉多少,得看 recall(第 26 頁)。實務上常把信心門檻調低一點,寧可多糊。
限制二:使用者回報是「事後」的
原書的線上主指標是使用者回報。但被回報之前,那張臉已經被看到了。上線前的人工抽查,比較適合拿來估 recall。
限制三:只框臉和車牌,不等於認不出人
很小、側面、被遮住、在玻璃反光裡的臉,都容易漏。就算臉糊了,衣服、身形、門牌、背景也可能認出是誰。所以 Street View 也讓人主動要求把自己的臉、車、房子再糊一次。
限制四:偏差和法規不是「之後再說」
原書面試時先不談偏差。但如果某些族群的臉 recall 比較低,隱私保護就變得不平等,要分組量 recall。歐洲的 GDPR 也會影響:未模糊的原始照片、使用者回報的圖片,存在哪、存多久,都要先想清楚。
📅 2026 補充AP 的標準算法 · 動手玩
業界的 AP:掃信心門檻,看 precision 和 recall 一起走
這一步要解決原書把 AP 講成「不同 IoU 門檻的 precision 平均」。常見的基準測試是怎麼算的?
拉信心門檻,點會沿著曲線走(第 26 頁的巷口照片)
一、AP 是 precision–recall 曲線下的面積
先固定一個 IoU 門檻(例如 0.5)判斷每個框對不對。再把信心門檻從高拉到低,每一步記下(recall, precision),連成一條曲線。AP 就是這條曲線底下的面積。
二、Pascal VOC 的 11 點,是 recall 的 11 點
VOC 2007、2008 用 recall = 0、0.1、……、1 這 11 個點:每一點取「recall 至少這麼多時,最好的 precision」,再平均。左邊這張巷口照片算出來約 0.91。
三、COCO 才是平均好幾個 IoU 門檻
COCO 的主要指標把 IoU 0.50、0.55、……、0.95 這 10 個門檻下的 AP 再平均(每類先算,再對類別平均)。原書「不同 IoU 門檻平均」的想法,比較接近這一步。
📅 2026 補充方法怎麼演進
原書之後,這幾個零件換了做法
這一步要解決原書之後,物件偵測和「糊掉」這件事往哪裡演進?
Transformer 偵測器:不用 NMS 了
原書提到的 DETR(2020)把偵測當成「一次說出一組框」,訓練時每個物件只配一個預測,所以不需要 NMS。之後的 RT-DETR(2023)把速度拉到即時等級。
一段式也在拿掉 NMS
YOLO 系列持續更新;YOLOv10(2024)用新的訓練配對方式,推論時也不需要 NMS。原書「兩段式準、一段式快」的分界,越來越模糊。
用文字指定要找什麼
Open-vocabulary detection(例如 OWL-ViT、Grounding DINO)可以直接用文字說「找 license plate」,不一定要先為每個類別標好幾十萬個框。新增一個要糊的類別(例如門牌),起步成本變低。
從框框到輪廓
框框糊掉的是一整個長方形。Segmentation 模型(例如 2023 年的 SAM)可以從一個框畫出物件的輪廓,只糊人臉本身。不過對隱私來說,多糊一點反而比較安全,框框不一定是缺點。
回顧11 階全部爬完
- 像素
- 框框
- 先圈再認
- 翻轉照片
- 小放大鏡
- 離答案多遠
- 驚訝分數
- 重疊多少
- 抓得準·抓得全
- 平均起來
- 留最有把握的
Street View 模糊系統,其實就是:找到框框、留下最有把握的、糊掉,再從錯誤裡學一次而已。
它怎麼找到臉
照片是一串 pixel;CNN 掃出 feature map;RPN 先圈候選,classifier 再認類別(two-stage)。每個物件是一個 bounding box 加一個類別。
它怎麼學會找
100 萬張標註照片,用 data augmentation 變成 1000 萬張(框跟著改);loss = 類別的 cross-entropy + λ × 框的 MSE。
它找得好不好
IoU 過門檻才算對;離線看 AP、mAP,線上看使用者回報。為了隱私,還要盯 recall。
它怎麼天天跑
不趕時間,所以批次預測;NMS 去掉重複的框;CPU 前處理、GPU 模糊分開擴充;回報變成 hard negative,再訓練。
框出來,留一個,糊掉。然後呢?然後就結束了。
名詞小卡課後複習用 · 每個詞一行白話
本章名詞小卡
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| pixel(像素) | 照片裡的一小格,記紅綠藍三個數字 | 第 6 頁 |
| channel | 紅、綠、藍其中一層 | 第 6 頁 |
| bounding box | 圈出位置的框,用 [x, y, 寬, 高] 四個數字記 | 第 7 頁 |
| object detection | 找出照片裡每個東西在哪、是什麼 | 第 7 頁 |
| regression | 答案是一個數字的題型,例如框的寬度 | 第 9 頁 |
| classification | 從幾個選項選一個的題型,例如人臉或車牌 | 第 9 頁 |
| region proposal | 先圈出「可能有東西」的候選框 | 第 10 頁 |
| two-stage / one-stage | 先圈再認(較準)/一眼看完(較快) | 第 10 頁 |
| RPN | 兩段式裡負責圈候選的那個網路 | 第 11 頁 |
| classifier | 兩段式裡負責認類別的那個網路 | 第 11 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| data augmentation | 把照片翻一翻、調一調,變出新教材 | 第 14 頁 |
| ground truth | 人工標好的標準答案框 | 第 14 頁 |
| offline / online augmentation | 訓練前先做好存起來/訓練時邊做 | 第 17 頁 |
| CNN | 拿同一個小放大鏡掃遍整張圖的模型 | 第 18 頁 |
| feature map | 放大鏡掃完的成績表:哪裡像 | 第 18 頁 |
| loss | 離正確答案多遠;越小越好 | 第 20 頁 |
| MSE | 差距平方再平均;框框用這個 | 第 20 頁 |
| cross-entropy | 看正確答案拿到多少機率的驚訝分數;類別用這個 | 第 21 頁 |
| λ(lambda) | 兩個 loss 的翹翹板 | 第 22 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| IoU | 重疊面積 ÷ 合起來的面積 | 第 24 頁 |
| true / false positive | 說有、真的有/說有、其實沒有 | 第 25 頁 |
| precision | 抓得準:框的裡面對幾個 | 第 26 頁 |
| recall | 抓得全:該框的框到幾個 | 第 26 頁 |
| AP | 某一類物件的總分(原書:多個 IoU 門檻的 precision 平均) | 第 27 頁 |
| mAP | 每一類的 AP 再平均 | 第 29 頁 |
| user reports | 使用者回報沒糊好的圖;原書的線上主指標 | 第 30 頁 |
| precision–recall 曲線 | 掃信心門檻畫出的曲線;業界 AP 是它底下的面積 | 第 39 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| confidence score | 模型對一個框有幾成把握 | 第 32 頁 |
| NMS | 留最有把握的框,刪掉跟它重疊的 | 第 32 頁 |
| batch prediction | 不即時算,先批次算好存起來 | 第 35 頁 |
| CPU-bound / GPU | 前處理卡在 CPU;模糊靠 GPU,所以拆開擴充 | 第 35 頁 |
| object storage | 放大量檔案的倉庫,存糊好的圖 | 第 35 頁 |
| Kafka | 讓使用者回報排隊的訊息佇列 | 第 36 頁 |
| hard negative mining | 把預測錯的例子標成「不是」,加進教材再訓練 | 第 36 頁 |
| DETR | Transformer 偵測器,不需要 NMS | 第 40 頁 |
忘了哪個詞,就回到右邊那一頁,四步再走一次。
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Machine Learning System Design Interview · Google Street View Blurring System 章。Introduction 與 Figure 3.1(第 3 頁)、Clarifying Requirements(5)、Defining the ML objective、input/output 與 Figure 3.2(8)、Choosing the right ML category(9)、Two-stage/One-stage 與 Figure 3.3–3.4(11)、One-stage vs. two-stage(12)、Data engineering 與 Table 3.1–3.2(15)、Feature engineering、data augmentation 與 Figure 3.5(16)、offline/online 與 Figure 3.6(17)、Model selection 與 Figure 3.7(19)、Model training 與 loss(22)、Evaluation、IoU 與 Figure 3.8–3.9(25)、Precision 與 Figure 3.10(28)、AP、mAP(29)、Online metrics(30)、Overlapping boxes、NMS 與 Figure 3.11(33)、ML system design 與 Figure 3.12(34)、Batch prediction pipeline(35)、Data pipeline 與 hard negative mining(36)、Other Talking Points(37)。12 張圖全部依圖說與描述重繪,不是原圖;Figure 3.1 街景照片改線稿、Figure 3.5 獅子照片改簡筆畫;Figure 3.12 的 Fetching Service 依內文接到模糊後的圖
本簡報加的頁面:開場互動(2)、概念階梯(4)、11 個延伸基礎(6、7、10、14、18、20、21、24、26、27、32)、小結(13、23、31)、方法限制(38)、2026 補充(39、40)、名詞小卡(42)。巷口照片、信心分數、IoU 測試資料、CPU/GPU 吞吐量都是示意
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 5 講(一堂課搞懂機器學習與深度學習的基本原理)— 差距平方的平均就是 Loss
- 同 · 第 6 講(一堂課搞懂訓練類神經網路的各種訣竅)— 彩色圖片是三張圖疊在一起、不必看整張圖(鳥嘴)、同樣的 pattern 出現在不同地方、分類是從事先定好的選項選一個、Cross-Entropy 讓兩個機率分布越接近越好、訓練用 Cross-Entropy 但測試用 Accuracy
來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。逐字稿:raw/youtube/transcripts/Taj1eHmZyWw.md、mPWvAN4hzzY.md
📅 依據
- AP:Pascal VOC 2007/2008 的 11 點內插(recall 0–1);COCO AP@[.50:.95]
- DETR(2020)、RT-DETR(2023)、YOLOv10(2024)、OWL-ViT(2022)、Grounding DINO(2023)、SAM(2023)
- Triton:本章無出處,不放客座卡
公式(主文用文字講過)
- box = [x左上, y左上, w, h]
- Lreg = (1/M) Σi [(xi−x̂i)² + (yi−ŷi)² + (wi−ŵi)² + (hi−ĥi)²]
- Lcls = −(1/M) Σi Σc=1..C yc log ŷc
- L = Lcls + λ Lreg
- IoU = |A ∩ B| / |A ∪ B|
- Precision = TP / (TP + FP);Recall = TP / (TP + FN)
- 原書:AP = ∫₀¹ P(r) dr ≈ (1/11) Σn=0..10 P(n),P(r) 為 IoU 門檻 r 下的 precision
- mAP = (1/C) Σc APc
- NMS:依分數排序;取最高者保留,移除與其 IoU > t 者;重複至清單為空
- 水平翻轉:x′ = W − x − w