ML System Design · 第 2 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(只有 infra:N 小先暴力、geohash)

Visual Search System
其實就是在地圖上找鄰居而已

你在咖啡廳看到一張好看的白色椅子,拍下來,想知道哪裡買得到一樣的。原書要你設計一個像 Pinterest 那樣的系統:丟一張圖進去,吐出一排「長得很像」的圖,越像的排越前面。

今天的路線

先看原書的面試框架與需求,再一邊爬 13 階基礎(第 3 頁的階梯)、一邊對照原書:圖怎麼變成點 → 模型怎麼學會放點 → 考題與罰分 → 排得好不好、找得夠不夠快 → 2026 年的變化。全程只用一張椅子的照片當例子。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論 延伸基礎

標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。這是 05 這本書的第一份簡報,所以第 4 頁會先帶一下全書的面試框架。

先講跟你有關的動手玩 · Figure 2.1

你來當一次搜尋引擎

點 3 件你覺得最像左邊照片的商品。

小美在咖啡廳拍了一張白色塑膠餐椅。她想買同款。你會怎麼幫她找?

你剛剛其實做了兩件事:先在心裡幫每件商品打一個「像不像」的分數,再照分數排名次。原書的整個系統,就是把這兩件事交給機器做,而且要在 1,000–2,000 億張圖裡做。

今天整堂課只回答三個問題:「像」要怎麼變成數字?(模型)機器怎麼學會判斷像不像?(訓練)2,000 億張圖,怎麼在一眨眼內找完?(serving)

小美、這家店的 8 件商品都是虛構的示範資料;機器的排名用的是第 7 頁會教的「座標」。

學習地圖今天要爬的 13 階 · 每一階只用前面學過的東西

一階一階往上爬,不跳階

  1. 1像素圖片在電腦裡長怎樣?
  2. 2座標一張圖怎麼變成一個點?
  3. 3比遠近兩個點多像,怎麼量?
  4. 4小放大鏡誰來把圖變成點?
  5. 5調旋鈕模型怎麼越練越好?
  6. 6找同一張要練什麼題目?
  7. 7自己出題題目從哪裡來?
  8. 8變百分比分數怎麼變成機率?
  9. 9驚訝分數猜錯要罰多重?
  10. 10看名次第一個對的排第幾?
  11. 11準與全抓得準,還是抓得全?
  12. 12打折分數排後面要扣多少?
  13. 13分區找2,000 億張怎麼找得快?

圖怎麼變成點 誰來放點、怎麼學 考題與罰分 排得好不好 找得快 英文名字等爬到那一階才給。

整堂課只用一張照片

小美在咖啡廳拍的白色塑膠餐椅,加上一家虛構小店的 8 件商品。每一階都拿它們來玩,數字小到可以心算。

每一階都走四步

① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。按 → 一步一步出現。

每爬三階就停一下

「到這裡你已經會了」:第 11、19、26、36 頁。最後還有名詞小卡(第 49 頁)。

原書第 1 章全書的面試框架 · 只講這章用到的

原書每一章都照同一套七步走

這一步要解決ML 系統設計面試是開放題,沒有標準答案。沒有架構,講到一半就迷路。

📖 原書第 1 章 Figure 1.2ML 系統設計的步驟(依原書內容重繪;圖上第 6 格原描述寫作 Development and Serving,依內文改為 Deployment and serving)

① 釐清需求 ② 框成 ML 任務

先問清楚要做什麼;再定出 ML 目標、輸入輸出、選哪一類 ML 問題。本章第 5、9–10 頁。

③ 資料準備 ④ 模型開發

有哪些資料、怎麼處理成模型吃得下的樣子;選架構、怎麼訓練、用什麼 loss。本章第 12–25 頁。

⑤ 評估 ⑥ 部署與服務

上線前用 offline 指標、上線後用 online 指標;serving 時的完整流程。本章第 27–43 頁。

⑦ 監控與基礎設施

本章沒有談,原書在第 1 章另外講。最後一步原書在 Other Talking Points 收尾(第 46 頁)。

原書Clarifying Requirements

原書的題目:丟一張圖,找出長得像的圖

這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。

📖 原書 應徵者 × 面試官

應徵者問面試官答
結果要從最像排到最不像嗎?排越前面的,要越像查詢的圖
也要支援影片嗎?先只做圖片
像 Pinterest 那樣,讓使用者框出圖的一部分(crop)來搜尋?要
結果要依使用者個人化嗎?為了簡單,不做。同一張圖誰來搜,結果都一樣
模型可以用圖片的 metadata(附帶資訊,例如 tag)嗎?實務上會用;這裡假設只用像素
使用者能儲存、分享、按讚嗎?這些可以拿來標訓練資料好問題。為了簡單,假設只有點擊
要審核圖片嗎?平台安全很重要,但 content moderation 不在範圍內
可以線上蒐集訓練資料,用使用者互動來標嗎?可以,合理
要多快?假設平台有 1,000–2,000 億張圖,要能很快找出相似的合理的假設

整理成需求清單

  • 功能:輸入一張圖(或圖的一塊),找出相似的圖,照相似度排名
  • 範圍:只有圖片,沒有影片、沒有文字查詢;不做個人化
  • 輸入:只用像素,不用 tag 等 metadata
  • 訊號:使用者只有「點擊」這個動作
  • 規模:1,000–2,000 億張圖,要快

你想想看,2,000 億張是多少?全世界大約 80 億人,等於每個人 25 張。小美只拍了一張椅子,系統要在一眨眼內,從這麼多張裡把同款找出來。這個數字第 44 頁會回來找我們。

延伸基礎第 1 階 · 像素 · 懂的人可以跳到第 9 頁

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

電腦看到的照片,其實是一大張數字表

① 生活情境

把手機照片一直放大,最後會看到一格一格的小方塊。每一格只有一個顏色。電腦不認得「椅子」,它只記得每一格有多亮。

你猜猜看:一張 4 × 4 格的彩色小圖,電腦要記幾個數字?

③ 這時才給名字

每一個小方塊叫 pixel(像素)。彩色圖每格有紅綠藍三個數字,叫 RGB,每個數字從 0(最暗)到 255(最亮)。

「對類神經網路來說呢 它看到的一張彩色的圖片 其實是三張圖片疊在一起的」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

② 動手玩:點格子塗顏色,看數字
64這張 8 × 8 黑白圖的數字150,528原書 224 × 224 彩色圖的數字

④ 跟這章的關係小美的椅子照片,進到系統時就是這樣一大張數字表。原書第 13 頁的「前處理」,就是在整理這張表。

延伸基礎第 2 階 · 座標 · 懂的人可以跳到第 9 頁

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

15 萬個數字太多了,能不能只用幾個數字代表一張圖?

① 生活情境

跟店員形容椅子,你不會報 15 萬個亮度。你會說「很白、線條很圓」。兩個分數,就能把它放到地圖上的一個位置。

你猜猜看:只用[白色程度, 曲線程度]兩個分數,離小美的白椅最近的會是誰?

③ 這時才給名字

代表一張圖的一組數字,叫 embedding;可以想成地圖上的一個點。這張地圖叫 embedding space。

「Apple 這個 Token 的 Embedding 可能跟 Orange 的 Embedding 特別接近 可能跟 Banana 的 Embedding 特別接近 它們指的都是水果」🎓 李宏毅課堂 導論 2025 · 第 3 講(課堂講文字,圖片同理)

② 動手玩:把商品放上地圖

④ 跟這章的關係原書的模型就是把每張圖變成一個點;真正的 embedding 有幾百個數字,是模型自己學出來的(第 10 頁)。

延伸基礎第 3 階 · 比遠近 · 懂的人可以跳到第 9 頁

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

兩個點「多像」,要怎麼變成一個分數?

① 生活情境

兩個人在路口幫你指路。指的方向越接近,要去的地方就越像。還有一種比法:直接量兩個人站的位置離多遠。

你猜猜看:「對應的數字相乘再加起來」。[2, 1]和[3, 2]算出來是多少?

③ 這時才給名字

相乘再相加叫 dot product;只看夾角叫 cosine similarity(0° 是 1,90° 是 0)。量尖端距離叫 Euclidean distance。

「cosine similarity 算出來就是 1, 最大就是 1。」🎓 李宏毅課堂 導論 2025 · 第 3 講

② 動手玩:拖動 B 的尖端
—dot product—cosine—尖端距離—夾角

④ 跟這章的關係每件商品都跟小美的照片算一個分數,再照分數排名次。原書把這叫 ranking(第 9 頁)。

原書Frame the Problem as an ML Task · Figure 2.2

把問題變成 ML 任務:這是一個排名問題

這一步要解決「找像的圖」要變成機器學得會的題目:目標是什麼、輸入輸出是什麼、屬於哪一類問題?

📖 原書 Figure 2.2視覺搜尋系統的輸入與輸出(依原書內容重繪)

其實就是第 8 頁做的事而已:每張圖跟查詢的圖算一個「像不像」的分數,再照分數排。只是要算的圖有 2,000 億張。

📖 原書 Defining the ML objective

要有一個定義清楚的 ML 目標:準確地找出跟使用者搜尋的圖,視覺上相似的圖。

📖 原書 Input / Output

Input:使用者給的一張 query image(查詢的圖)。Output:一串視覺上相似的圖,依相似度排好。

📖 原書 Choosing the right ML category

輸出是一串排好名次的圖,所以是 ranking problem(排名問題):依跟查詢的相關程度排,越相關越前面。推薦系統、搜尋引擎、文件檢索、線上廣告,很多 ML 應用都能框成排名問題。本章用一個很常見的做法:representation learning(下一頁)。

原書Representation learning · Figure 2.3、2.4

Representation learning:讓模型學會「放點」

這一步要解決第 7 頁的分數是我們自己打的。2,000 億張圖不可能人工打分數,要讓模型自己學。

📖 原書 Figure 2.3embedding space 中的相似圖片(依原書內容重繪)

📖 原書 在 representation learning 裡,模型被訓練成把輸入(例如圖片)轉換成 embedding。換句話說,模型把每張圖對應到一個 N 維空間裡的點,這個空間叫 embedding space。學出來的 embedding 要讓相似的圖彼此靠近。原書畫成 2 維方便看;實際上 N 是 embedding 向量的長度。

📖 原書 怎麼用它來排名?

  1. 把每張圖都轉成 embedding
  2. 量 query image 跟平台上每張圖在 embedding space 的距離,算出 similarity score
  3. 照 similarity score 排名(Figure 2.4)

原書在這裡先賣個關子:怎麼確保相似的圖真的被放得近?「相似」怎麼定義?模型要怎麼訓練?這些都留到 Model Development(第 15–25 頁)。

小結第 1–3 階:圖怎麼變成點

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

到這裡你已經會了

  • 照片在電腦裡是一大張數字表每一格 pixel 有紅綠藍三個亮度(第 6 頁)
  • 一張圖可以濃縮成一組數字,變成地圖上的一個點embedding:像的圖站得近;數字太少會分不出桌子和椅子(第 7 頁)
  • 兩個點多像,有三把尺dot product、cosine、距離;照分數排,就是 ranking(第 8 頁)

小美的照片,現在走到哪裡

  1. 拍照白色塑膠餐椅,一張照片
  2. 數字表224 × 224 × 3 = 150,528 個亮度
  3. 變成點[白 4, 曲線 4, 像椅子 5](示意)
  4. 比遠近跟每件商品算分數
  5. 排名次白色塑膠椅 ×2、米色布餐椅……

分數是示意;224 × 224 是原書的輸入大小。

下一階要解決:「變成點」這一步,我們一直是自己打分數。要讓機器自己從 15 萬個亮度算出那組數字,誰來算?怎麼算?

原書Data Preparation · Data engineering · Table 2.1–2.3

手上有哪些資料?圖片、使用者、互動

這一步要解決除了一般的資料工程基本功,更重要的是搞清楚手上有什麼資料。視覺搜尋主要跟「使用者」和「圖片」有關。

📖 原書 Table 2.1 Images

創作者上傳圖片,系統存下圖片和 metadata:owner id、上傳時間這類情境資訊、tag 等。

IDOwner IDUpload timeManual tags
181658451341Zebra
251658451841Pasta, Food, Kitchen
3191658821820Children, Family, Party

📖 原書 Table 2.2 Users

使用者的 demographic(人口統計)資料:年齡、性別等。

IDUsernameAgeGenderCityCountryEmail
1johnduo26MSan JoseUSAjohn@gmail.com
2hs200849MParisFrancehsieh@gmail.com
3alexish16FRioBrazilalexh@yahoo.com

📖 原書 Table 2.3 User-image interactions

依需求,主要的互動是 impression(圖被顯示出來,被看到一次)和 click(被點了)。

User IDQuery image IDDisplayed image IDPosition in the displayed listInteraction typeLocation (lat, long)Timestamp
8261Click38.8951 -77.03641658450539
6392Click38.8951 -77.03641658451341
91512Impression41.9241 -89.03891658451365

套到小美:她搜尋(query image = 她的照片),系統顯示一排椅子(每張記一筆 impression),她點了第 1 名(一筆 click,position = 1)。這張互動表,第 21 頁會拿來當「誰跟誰像」的線索。

原書Feature engineering · 圖片前處理 · 動手玩

照片進模型之前,先整理成同一個規格

這一步要解決使用者上傳的照片大小、顏色模式都不一樣。模型只吃固定格式的數字表(第 6 頁)。

示範用的 4 × 4 黑白小圖,數字刻意挑成可以心算。真正的大小是 224 × 224 × 3。

📖 原書 Feature engineering 要看我們怎麼框這個任務、模型吃什麼。前面把它框成 ranking + representation learning,模型的輸入是一張圖,所以要先做 image preprocessing:

  • Resizing:模型通常要固定大小,例如 224 × 224
  • Scaling:把像素值縮到 0 到 1 之間(除以 255)
  • Z-score normalization:把像素值調成平均 0、變異數 1。白話:先減掉平均,再除以「平均離平均多遠」(標準差)
  • Consistent color mode:顏色模式一致,例如都用 RGB 或都用 CMYK(印刷用的四色)

為什麼要減平均?你想想看,同一張椅子在陽光下拍和在燈下拍,所有格子都亮一點或暗一點。減掉平均,模型就比較不會被「整張比較亮」騙。

延伸基礎第 4 階 · 小放大鏡 · 懂的人可以跳到第 15 頁

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

誰來把 15 萬個數字變成一個點?拿一支小放大鏡掃過去

① 生活情境

玩「威利在哪裡」時,你不會一眼看整張圖。你會拿眼睛當放大鏡,一小塊一小塊掃,找紅白條紋。

你猜猜看:椅腳可能出現在圖的左下角,也可能在右下角。要準備兩支不同的放大鏡嗎?

③ 這時才給名字

這支小放大鏡叫 filter;用很多 filter 一層一層掃的模型,叫 CNN(convolutional neural network)。

「就假設你要偵測鳥嘴 這個鳥嘴有可能出現在圖片的左上角 有可能出現在圖片的中間 但它們都是鳥嘴」🎓 李宏毅課堂 導論 2025 · 第 6 講

② 動手玩:讓放大鏡掃過小美的椅子

左邊是 8 × 8 的椅子,右邊是放大鏡在每個位置「看到多少」。

④ 跟這章的關係原書的模型前半段就是好幾層 CNN,後半段再把看到的東西濃縮成一個 embedding(第 15 頁)。

原書Model Development · Model selection · Figure 2.5

選模型:吃一張圖,吐一個 embedding

這一步要解決要一個模型,輸入小美的照片,輸出一組數字(embedding)。用哪一種?

📖 原書 Figure 2.5簡化的模型架構(依原書內容重繪)

📖 原書 為什麼選 neural network

  • 擅長處理非結構化資料(沒有整齊欄位的資料),像圖片、文字
  • 很多傳統 ML 模型做不到,neural network 能產生 representation learning 需要的 embedding

📖 原書 哪一種架構

一定要能處理圖片。CNN 架構如 ResNet,或比較新的 Transformer 架構如 ViT(Vision Transformer,把圖切成小塊當成 token 來讀),在圖片上都表現很好。

📖 原書 要實驗決定的數字

convolution layer 幾層、fully connected layers 每層幾個 neuron、embedding 多長,都是 hyperparameter(訓練前由人決定的設定),通常靠實驗挑。

延伸基礎第 5 階 · 調旋鈕 · 懂的人可以跳到第 18 頁

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

模型一開始亂放點。怎麼讓它越放越準?

① 生活情境

洗澡調水溫:太冷往右轉一點,太燙往左轉一點。你不知道正確的角度,但每轉一下都知道「離舒服多遠」。

你猜猜看:旋鈕往右轉一格,「離目標多遠」從 0.5 變成 0.6。下一步該怎麼轉?

③ 這時才給名字

模型裡可以轉的旋鈕叫 parameter(參數)。「離目標多遠」叫 loss,越小越好。照坡度一步步轉,就是 gradient descent。

「你就往左右各踏一小步 往左邊踏一小步 往右邊踏一小步 看往哪一邊可以讓 loss 下降」🎓 李宏毅課堂 導論 2025 · 第 5 講

② 動手玩:轉旋鈕,讓同一張椅子的兩張照片靠近
—loss(兩張照片的點離多遠)

④ 跟這章的關係訓練就是把模型裡幾百萬個旋鈕,一起往 loss 變小的方向轉。下一階要決定:loss 到底量什麼。

延伸基礎第 6 階 · 找同一張 · 懂的人可以跳到第 18 頁

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

要練什麼題目,模型才會把像的圖放在一起?

① 生活情境

警察認人:給目擊者一張照片,再排一排人,「哪一個是他?」排的人裡只有一個是本人,其他都是路人。

你猜猜看:這種「找同一張」的考題,一題要準備什麼?

③ 這時才給名字

這種練法叫 contrastive training(對比訓練)。同款那張叫 positive,不相干的叫 negative。

② 動手玩:先自己找,再看模型練完前後
先點一張你覺得是同款的。

④ 跟這章的關係原書就用這種考題訓練模型(第 18 頁)。每一題,loss 都在量「同款那張有沒有比路人更靠近題目」。

原書Model training · Constructing the dataset · Figure 2.6、2.7

原書的訓練:contrastive training,一題長這樣

這一步要解決模型要在訓練時學會好的 representation。考題的格式要先定下來。

📖 原書 Figure 2.6Contrastive training(依原書內容重繪)

📖 原書 學圖片 representation 的常見技巧是 contrastive training:訓練模型分辨相似和不相似的圖。給模型一張 query image、一張相似的圖、幾張不相似的圖;訓練時模型學著讓相似那張比其他張更接近 query。

📖 原書 Constructing the dataset

每一筆訓練資料 = 一張 query image + 1 張 positive(跟 query 相似)+ n − 1 張 negative(不相似)。Ground truth label 是 positive 的位置編號。Figure 2.7 裡 positive 是 n 張中的第 2 張,所以 label 是 2。

你猜猜看:小美那一題的四個選項是[檯燈, 板凳, 書櫃, 同款白椅],label 是多少?

小結第 4–6 階:誰來放點、怎麼學

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

到這裡你已經會了

  • CNN 拿小放大鏡掃圖同一支 filter 掃全圖,一層層把線索濃縮成 embedding(第 14 頁)
  • 訓練就是調旋鈕parameter 往 loss 變小的方向一步步轉(第 16 頁)
  • 考題是「找同一張」contrastive training:positive 拉近、negative 推遠;label 是 positive 的位置(第 17、18 頁)

小美的照片,現在走到哪裡

  1. 前處理縮成 224 × 224、除以 255、Z-score
  2. CNN放大鏡找出直線、曲面、椅腳
  3. embedding濃縮成一組數字 = 地圖上一個點
  4. 訓練跟同款拉近、跟檯燈書櫃推遠

下一階要解決:每一題都要有一張「同款」的 positive。2,000 億張圖,誰來告訴模型哪張跟哪張是同款?還有,「拉近」到底要怎麼算成一個 loss?

延伸基礎第 7 階 · 自己出題 · 懂的人可以跳到第 21 頁

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

沒人幫忙標「哪張是同款」,能不能自己出題?

① 生活情境

怪盜基德再怎麼變裝,柯南還是認得出來。那就自己幫照片「變裝」:轉一下、翻一下、裁一塊。變完的還是同一張,答案你本來就知道。

你猜猜看:旋轉、翻轉、裁切、調色四種變裝,每種可開可關。一張照片能變出幾種版本(含原圖)?

③ 這時才給名字

幫照片變裝叫 data augmentation。答案由資料自己產生、不用人標,叫 self-supervision(自監督)。

「因為這個圖片到底被旋轉多少 是人先去做好 再叫機器去預測圖片被旋轉多少 所以這種資料你要製造多少 就可以製造多少」🎓 李宏毅課堂 導論 2025 · 第 6 講

② 動手玩:幫小美的照片變裝

④ 跟這章的關係原書就選這招造 positive(第 21 頁):變裝後的照片當同款,隨機抽的別張當路人。

原書Constructing the dataset · 選 positive 的三種做法 · Figure 2.8

每一題的「同款」從哪裡來?原書比了三種

這一步要解決query 隨機挑、n − 1 張 negative 也隨機挑。但 positive 一定要真的像,怎麼挑?

做法怎麼做優點缺點
Human judgment請人工標註者手動找相似的圖資料準確貴、慢
Interactions as a proxy拿點擊當相似的代理:使用者點了哪張,就當它跟 q 相似不用人工,自動產生Noisy(雜訊多,有人點了不像的圖)、sparse(很多圖根本沒有點擊)→ 效果差
Self-supervision從 q 人工造出相似的圖,例如旋轉 q。SimCLR、MoCo 用的就是這招不用人工;資料不 noisy(變裝後一定相似)跟真實資料不一樣:真正相似的圖不是 q 的變裝版,而是看起來、意思上相似的另一張圖

你猜猜看:原書最後選哪一種?

📖 原書 Figure 2.8用 data augmentation 造出相似的圖(依原書內容重繪)

原書特別提醒:面試時提出幾種選項、討論取捨非常重要,通常沒有一個永遠最好的答案。套到小美:她點了米色布椅,不代表米色布椅跟白色塑膠椅是同款,這就是點擊的 noisy。

延伸基礎第 8 階 · 變百分比 · 懂的人可以跳到第 24 頁

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

四個相似度分數,怎麼變成「模型覺得是第幾張」的百分比?

① 生活情境

四位候選人的民調分數有正有負。新聞要報「支持率」,就得換成加起來 100% 的百分比,而且分數高的要分到比較多。

你猜猜看:四張候選圖的分數都一樣,[1, 1, 1, 1]。換成百分比,每張多少?

③ 這時才給名字

把一排分數變成加起來是 1 的機率,叫 softmax。它先讓每個分數變成正的、把差距放大,再除以總和。

「本來這邊的分數並沒有限制 它一定要是一個機率 沒有限制它是 0 到 1 之間 甚至沒有限制它一定要是正的 它其實也可以是負的數字 把這些分數過 Softmax 之後 它會變成一個機率分布」🎓 李宏毅課堂 導論 2025 · 第 6 講

② 動手玩:拉分數,看百分比

④ 跟這章的關係原書算 loss 的第二步就是 softmax:把 query 跟每張候選的相似度,變成「這張是同款」的機率(第 25 頁)。

延伸基礎第 9 階 · 驚訝分數 · 懂的人可以跳到第 24 頁

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

模型只給同款 5% 的機率,該罰多重?

① 生活情境

氣象說降雨機率 95%,結果下雨,你不驚訝。說 5%,結果下了大雨,你很驚訝。答對的那個選項,模型給的機率越小,就越「驚訝」,罰越重。

你猜猜看:驚訝分數 =「把 100% 對折幾次才會變成它給的機率」。模型只給同款 1/8,驚訝幾分?

③ 這時才給名字

這個驚訝分數叫 cross-entropy。正確答案拿到的機率越接近 100%,它就越接近 0。

「反正你就知道說 這兩個機率分布越接近 那這個 Loss 算出來呢就會越小」🎓 李宏毅課堂 導論 2025 · 第 6 講

② 動手玩:模型給同款幾 %?
—驚訝分數(對折幾次)—原書公式算的 loss

④ 跟這章的關係原書算 loss 的第三步:拿 softmax 的機率去跟 label 比 cross-entropy。越小,代表 embedding 越能把同款和路人分開。

原書Choosing the loss function · Figure 2.9、2.10

訓練的目標:同款的點拉近,路人的點推遠

這一步要解決考題有了,還要一個 loss 來量「模型這次放的點好不好」。

📖 原書 Figure 2.9模型的輸入與輸出(依原書內容重繪)

📖 原書 模型吃圖片,為每張圖產生一個 embedding,Ex 代表圖片 x 的 embedding。一題裡有 q、p 和 i 張 negative,吐出 Eq、Ep、E1…Ei。原圖用虛線表示 p 和 negative 只在訓練時用,實線是推論時的資料流。

📖 原書 Figure 2.10輸入的圖片映射到 embedding space(依原書內容重繪)

📖 原書 訓練的目標是調整模型參數,讓相似的圖在 embedding space 裡彼此靠近:訓練過程中,positive 和 query 應該越來越近。對比訓練有很多種 loss,面試官通常不期待你深入討論,但要有高層次的理解。原書接著講一個簡化版的 contrastive loss。

原書A simplified contrastive loss · Figure 2.11 · 動手玩

簡化版 contrastive loss:三步算完

這一步要解決「p 要比路人更靠近 q」要變成一個數字,才能拿來調旋鈕。

📖 原書 Figure 2.11簡化的 contrastive loss(依原書內容重繪;機率欄照原圖,只畫 4 列)

① Compute similarities

算 query 跟每張圖的相似度,最常用 dot product、cosine(第 8 頁)。Euclidean 也行,但高維時常表現不好:curse of dimensionality(數字一多,點跟點都差不多遠)。

② Softmax

對算出來的分數做 softmax,讓它們加起來是 1,可以當機率看(第 22 頁)。原圖:0.95、0.02、0.01、0.003。

③ Cross-entropy

量機率跟 label(1, 0, 0, 0)有多接近(第 23 頁)。越接近,embedding 越能分開 positive 和 negative。這題 loss ≈ 0.05。

📖 原書 也可以用 pre-trained model

拿別人在大資料集上練好的 contrastive 模型,用自己的資料 fine-tune(微調),比從零訓練省下大量時間。

「但是今天在 2025 年 有一個通用的大絕招 往往可以發揮作用 這個大絕招叫做 pre-train」🎓 李宏毅課堂 導論 2025 · 第 6 講

小結第 7–9 階:考題與罰分

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

到這裡你已經會了

  • 題目可以自己出把照片變裝(data augmentation),變裝版就是同款;原書選這個(第 20、21 頁)
  • 分數可以變成百分比softmax:變正、放大差距、除以總和(第 22 頁)
  • 猜錯要罰,越沒把握罰越重cross-entropy:同款拿到的機率每少一半,多罰 1 分(第 23 頁)

小美那一題,從頭算一次

  1. 出題原圖 + 翻轉版(同款)+ 檯燈、板凳、書櫃
  2. 相似度dot product:3、0、−1、0(示意)
  3. softmax同款 ≈ 90%
  4. loss−ln 0.9 ≈ 0.11 → 調旋鈕讓它再小一點

下一階要解決:模型練好了。可是要怎麼知道它排得好不好?小美搜出來的前 5 名,要怎麼打一個分數?

原書Evaluation · Offline metrics · Figure 2.12

模型練好了,拿什麼考它?

這一步要解決上線前要先在一份「有標準答案」的考卷上考,才知道排得好不好。

📖 原書 Figure 2.12評估資料集裡的一筆資料(依原書內容重繪)

📖 原書 假設有一份評估資料集:每筆資料有一張 query image、幾張候選圖,以及每張候選圖跟 query 的 similarity score:0 到 5 的整數,0 是完全不像,5 是視覺上、意思上都非常像。對每筆資料,把模型排出來的名次跟依標準答案排的理想名次比。

📖 原書 搜尋系統常用的 offline 指標

搜尋、資訊檢索、推薦系統通常共用同一套 offline 指標:

  1. MRR(Mean reciprocal rank):第 28、29 頁
  2. Recall@k:第 30、31 頁
  3. Precision@k:第 30、31 頁
  4. mAP(Mean average precision):第 32、33 頁
  5. nDCG(Normalized discounted cumulative gain):第 32、34 頁

名字很嚇人,其實全部只用到倒數、百分比、平均、打折。原書的做法是:一個一個看,每個都指出缺點,最後只留一個。你猜猜看會留哪一個?答案在第 34 頁。

延伸基礎第 10 階 · 看名次 · 懂的人可以跳到第 29 頁

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

搜尋結果怎麼打分數?先看「第一個對的排第幾」

① 生活情境

小美搜椅子,第 1 名就是同款,她馬上點。同款排第 3 名,她要往下滑。排越後面,越可能被錯過。

你猜猜看:規則是「第一個對的排第幾名,就給幾分之一分」。第一個對的在第 2 名,得幾分?

③ 這時才給名字

「幾分之一」叫 reciprocal rank(倒數名次);每個搜尋都算一次再平均,叫 MRR。

② 動手玩:點格子切換 ✓(同款)/✗

三次搜尋,各自的前 5 名。把第一列的 #1 改成 ✗ 看看。

三次搜尋和結果是示範用的虛構資料。

④ 跟這章的關係原書列的第一個指標就是 MRR(第 29 頁)。但你注意:它只看第一個對的,後面幾個對不對,它不管。

原書MRR · Figure 2.13、2.14

MRR:只看第一個對的

這一步要解決每一次搜尋都排出一張清單,要把「排得好不好」平均成一個數字。

📖 原書 Figure 2.13MRR 計算範例(依原書內容重繪;各清單 ✓ 的位置依原書數字反推)

📖 原書 MRR 看模型產生的每一張清單裡,第一個相關項目的名次,取倒數再平均:

MRR = (1/rank₁ + 1/rank₂ + … + 1/rankₘ)÷ m

m 是清單的總數。Figure 2.13 四張清單:(1/3 + 1 + 1/3 + 0) ÷ 4 = 0.417。

你猜猜看:Figure 2.14 裡,模型 1 的前 5 名有 3 個對的,模型 2 只有 1 個。MRR 誰高?

📖 原書 MRR 的缺點:只考慮第一個相關項目,忽略清單裡其他的相關項目,所以量不出整張清單的準度和排名品質。原書:不用這個指標。

延伸基礎第 11 階 · 準與全 · 懂的人可以跳到第 31 頁

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

前 5 名裡對了幾個?店裡的同款找到了幾成?

① 生活情境

撈魚比賽:網子裡 5 條魚有 2 條是金魚,叫「撈得準不準」。池子裡總共 4 條金魚你撈到 2 條,叫「撈得全不全」。兩件事不一樣。

你猜猜看:前 5 名有 2 張是同款,「撈得準」是多少?

③ 這時才給名字

前 k 名裡幾成是對的,叫 Precision@k(準)。所有對的裡面撈到幾成,叫 Recall@k(全)。

② 動手玩:改清單,也改「店裡總共有幾張同款」
小美的前 5 名:
—Precision@k(準)—Recall@k(全)

④ 跟這章的關係把「同款總數」拉到一百萬,Recall 幾乎是 0,但小美根本不在乎。原書因此不用 recall(第 31 頁)。

原書Recall@k · Precision@k · Figure 2.15

Recall 分母太大,Precision 不看順序

這一步要解決MRR 不夠,那看「對了幾個」呢?

📖 原書 Recall@k

recall@k = 前 k 名中相關的數量 ÷ 全部相關的數量

它在量模型漏掉了多少相關項目。但在搜尋引擎這類系統,相關項目的總數可能非常大,分母一大,recall 就被拉低。例如 query 是一張狗的圖,資料庫可能有幾百萬張狗圖;目標不是全部回傳,而是找出少數幾張最像的。

原書:recall@k 量不出模型的排名品質,不用。

📖 原書 Precision@k

precision@k = 前 k 名中相關的數量 ÷ k

📖 原書 Figure 2.15兩個模型的 Precision@5(依原書內容重繪)

它量清單有多準,但不考慮排名:模型 1 的兩個 ✓ 在最前面,模型 2 的在第 3、5 名,Precision@5 都是 2/5。原書:我們要同時量準度和排名品質,所以它也不理想。

到這裡三個都被淘汰了:MRR 只看第一個、Recall 分母太大、Precision 不管順序。我們要一個每個對的都算分、排越後面分數越少的指標。這就是下一階。

延伸基礎第 12 階 · 打折分數 · 懂的人可以跳到第 33 頁

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

每個對的都給分,但排越後面打越多折

① 生活情境

百貨公司週年慶:第一件原價,第二件六三折,第三件五折……好東西放越前面,總價值越高。同樣是 3 件好東西,排的順序不同,總分就不同。

你猜猜看:同樣 3 張同款,排成 ✓✓✓✗✗ 和 ✗✗✓✓✓,打折後誰分數高?

③ 這時才給名字

每個對的位置算一次「準」再平均,叫 mAP;照 0–5 分打折加總、再除以最理想排法的總分,叫 nDCG(0 到 1)。

② 動手玩:按 ↑ 把商品往前排
—打折後總分—最理想的總分—nDCG—AP(3 分以上算對)

④ 跟這章的關係評估資料集剛好有 0–5 分(第 27 頁),所以原書最後選 nDCG(第 34 頁)。

原書mAP · Figure 2.16

mAP:每個對的位置都量一次準度

這一步要解決Precision@k 不看順序。那就在每個對的位置都算一次 precision,再平均。

📖 原書 Figure 2.16mAP 計算(依原書內容重繪;✓ 的位置依原書的 AP 數字反推,與 Figure 2.13 同一組清單)

📖 原書 mAP 先算每張清單的 average precision(AP),再把 AP 平均。AP:對一張 k 個項目的清單,在每個相關項目的位置 i 算 Precision@i,加起來除以相關項目的總數。相關的越集中在前面,AP 越高。

AP = Σ(第 i 個相關時的 Precision@i)÷ 相關項目總數

第 3 張清單:第 3 名 ✓ → P = 1/3;第 4 名 ✓ → P = 2/4。AP = (1/3 + 2/4) ÷ 2 ≈ 0.41。四張平均:(0.33 + 0.75 + 0.41 + 0) ÷ 4 ≈ 0.37。

📖 原書 因為把 precision 平均了,整張清單的排名品質有被考慮。但 mAP 是為二元相關性設計的:每個項目只有「相關/不相關」。如果相關性是連續的分數(像 0–5 分),nDCG 比較好。

原書nDCG · Figure 2.17、2.18 · 三步算完

nDCG:跟最理想的排法比,打幾分?

這一步要解決標準答案是 0–5 分,不是只有對錯。要一個能吃分數、又看名次的指標。

📖 原書 Figure 2.17搜尋系統產生的排名清單(依原書內容重繪)

📖 原書 DCG:把每個項目的相關分數加起來,從上往下累加,排越後面的分數打越多折。nDCG:DCG 可能是任何數字,所以除以理想排法的 DCG(IDCG),變成有意義的分數。完美的排名系統,DCG = IDCG。

三步算完(照原書的數字)

  1. 算 DCG:模型排的分數是 0、5、1、4、2
    0/1 + 5/1.585 + 1/2 + 4/2.322 + 2/2.585 = 6.151
  2. 算 IDCG:理想排法是 5、4、2、1、0
    5/1 + 4/1.585 + 2/2 + 1/2.322 + 0/2.585 = 8.9543
  3. 相除
    nDCG = 6.151 ÷ 8.9543 = 0.6869

分母 1、1.585、2、2.322、2.585 就是第 32 頁的折扣:除以 1.585 ≈ 打六三折。

📖 原書 nDCG 大多數時候都很好用;主要缺點是不一定拿得到 ground truth 的相關分數。本章的評估資料集有相似度分數,所以 offline 評估選 nDCG。

原書Online metrics

上線之後:使用者真的有找到喜歡的圖嗎?

這一步要解決考卷考得好,不代表真人用得開心。上線後要看使用者多快找到喜歡的圖。

📖 原書 Click-through rate(CTR)

CTR = 被點的圖數 ÷ 推薦出去的圖數

顯示的圖有多常被點。CTR 高代表使用者常點。搜尋和推薦系統很常用它當 online 指標,後面的章節會一直看到。

你猜猜看:小美這一週搜了 10 次,每次顯示 20 張,她總共點了 10 張。CTR?

📖 原書 每天/每週/每月花在推薦圖上的平均時間

使用者對推薦結果有多投入。搜尋系統越準,這個數字應該越高。

本章的評估,整理一下

原書的選擇理由
OfflinenDCG評估資料有 0–5 分,又看名次
OnlineCTR、停留時間真人有沒有點、有沒有看
淘汰MRR、Recall@k、Precision@k、mAP只看第一個/分母太大/不看順序/只吃對錯

小結第 10–12 階:排得好不好

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

到這裡你已經會了

  • 看名次:第一個對的排第幾MRR:取倒數再平均;盲點是後面的它不管(第 28 頁)
  • 撈得準 vs 撈得全Precision@k 不看順序,Recall@k 分母可能大到沒意義(第 30 頁)
  • 每個對的都給分,排後面打折mAP 只吃對錯;nDCG 吃 0–5 分,原書選它(第 32、34 頁)

小美的搜尋,現在可以打分數了

  1. Offline拿有 0–5 分的考卷,算 nDCG
  2. Online看她點不點(CTR)、看多久
  3. 還沒解決她的照片要跟 2,000 億個點比遠近

最後一階要解決:每次搜尋都跟 2,000 億個點一個一個比,要比多久?有沒有辦法只比一小部分,又找得夠準?

延伸基礎第 13 階 · 分區找 · 懂的人可以跳到第 38 頁

  1. 像素
  2. 座標
  3. 比遠近
  4. 小放大鏡
  5. 調旋鈕
  6. 找同一張
  7. 自己出題
  8. 變百分比
  9. 驚訝分數
  10. 看名次
  11. 準與全
  12. 打折分數
  13. 分區找

地圖上有 2,000 億個點,一定要每個都量一次距離嗎?

① 生活情境

在 IKEA 找白色餐椅,你不會每一區都走一遍。先看指標「餐廳區」,再只在那一區裡慢慢挑。代價是:隔壁區的角落如果剛好有一張,你可能會錯過。

你猜猜看:100 個點分成 10 群、每群 10 個。先比 10 個群中心,再只比最近那群的 10 個點。總共比幾次?

③ 這時才給名字

找地圖上最近的幾個點,叫 nearest neighbor search。只找「夠近」就好、換來很多速度,叫 ANN(approximate nearest neighbor)。

② 動手玩:幫小美的照片找最近的點
—比了幾次距離—找到真正最近的嗎

④ 跟這章的關係原書的 serving 用 ANN 找最像的 embedding(第 41–43 頁):tree、LSH、clustering 三類,都是在「分區」。

原書Serving · Figure 2.19

上線後的整套系統:兩條流水線

這一步要解決小美按下搜尋,到一排椅子出現,中間經過哪些服務?新上傳的圖,又怎麼變得搜得到?

📖 原書 Figure 2.19Prediction pipeline 與 indexing pipeline(依原書內容重繪)

Prediction pipeline(每次搜尋都走)

query image → 前處理 → embedding generation service 用訓練好的模型算 embedding → nearest neighbor service 去 index table 找最近的點 → re-ranking service 套商業規則 → similar images。第 39 頁。

Indexing pipeline(平時在背景做)

新圖片存進 object storage(存大量檔案的地方)→ indexing service 算出 embedding、放進 index table,讓它搜得到。第 40 頁。

原書Prediction pipeline · Figure 2.20、2.21 · 動手玩

小美按下搜尋之後:算點、找鄰居、再整理

這一步要解決找到最近的點還不夠:不當的、私人的、重複的圖,不能直接給小美看。

📖 原書 Figure 2.20Embedding generation service(依原書內容重繪)

📖 原書 Embedding generation service:前處理 query image,用訓練好的模型算出 embedding。

📖 原書 Nearest neighbor service:給一個 query 點 q 和一群點 S,找出 S 裡最接近 q 的點。每個 embedding 都是 N 維空間的一個點,N 是 embedding 的長度。

📖 原書 Re-ranking service:動手玩

它負責商業邏輯與政策。勾選規則,看小美最後看到什麼。

    你可能會想說,最近的點就是最好的答案啊?不一定。同一張商品照被十個賣家各上傳一次,前十名就全是同一張圖了。

    原書Indexing pipeline · 動手算

    2,000 億個點,放得下嗎?

    這一步要解決所有圖都要先算好 embedding 放進 index table。新圖要加得進去,記憶體也要撐得住。

    —index table 大概多大—要幾台 512 GB 記憶體的機器

    512 個數字、每個 4 bytes、64 bytes 的壓縮代號都是示意的常見設定,不是原書的數字。

    📖 原書 Indexing service

    • 平台上的所有圖片都由它建索引,讓搜尋變快
    • 保持 index table 最新:創作者上傳新圖時,把新圖的 embedding 加進去,nearest neighbor search 才找得到它

    📖 原書 代價:記憶體

    把所有圖片的 embedding 存在 index table,會增加記憶體用量。可以用 vector quantization 和 product quantization 來省。白話:把一長串數字換成一個短短的「最像哪個代表點」的代號,查表時再還原個大概。

    左邊拉到 2,000 億張:原樣存大約 400 TB,壓縮後大約 13 TB。差了 30 倍,就是「幾百台機器」和「幾十台機器」的差別。

    原書Performance of NN algorithms · Exact vs ANN

    全部比,還是找夠近的就好?

    這一步要解決nearest neighbor search 是搜尋、推薦系統的核心元件,效率提升一點點,整體效能就差很多。面試官可能會要你深入講。

    📖 原書 Exact nearest neighbor

    又叫 linear search,最簡單:把整張 index table 掃一遍,算每個點跟 q 的距離,取最近的 k 個。時間複雜度 O(N × D):比的工作量跟「點數 N × 每個點的數字個數 D」成正比。N 動輒數十億的大系統,這太慢了。

    📖 原書 Approximate nearest neighbor(ANN)

    很多應用只要給使用者「夠像」的就好,不需要精確。ANN 用特殊的資料結構,把時間降到 sublinear(比 N 增加得慢很多),例如 O(D × log N);通常需要事先預處理或額外空間。三大類:tree-based、LSH-based、clustering-based。面試官通常不期待你懂每個細節,高層次理解就夠。

    你猜猜看:小美搜一次,exact search 要量幾次距離?

    log N 是什麼?只要知道數量級

    點數 N全部比(N)log N 的量級
    1,0001,000約 10
    100 萬100 萬約 20
    10 億10 億約 30
    2,000 億2,000 億約 38

    資料每多 1,000 倍,log 只多 10。這就是 sublinear。

    原書Tree-based ANN · Figure 2.22、2.23 · 動手玩

    Tree-based:一刀一刀把地圖切成小區

    這一步要解決不想全部比,就先問幾個「是或否」的問題,把範圍縮到一小區。

    📖 原書 Figure 2.22由點建出的樹(依原書內容重繪)
    📖 原書 Figure 2.23被樹切開的空間(依原書內容重繪;點一下地圖放 q)

    📖 原書 樹的建法:一步步在每個節點加條件。例如 root 的條件可以是 gender === male,那 female 的點就屬於左子樹。非葉節點依條件把空間切成兩半;葉節點代表空間裡的一個區域。Figure 2.23 把空間分成 7 區,演算法只搜尋 query 所在的那一區。典型方法:R-trees、Kd-trees、Annoy(Approximate Nearest Neighbor Oh Yeah)。

    點右邊的地圖放一個 q:左邊的樹會亮出它走的路,右邊只剩那一區要比。

    原書LSH · Clustering-based · 選哪一個 · Figure 2.24

    LSH 和 clustering:把相近的點丟進同一個桶

    這一步要解決樹是用直線切。能不能直接讓「本來就靠近的點」被分在一起?

    📖 原書 Figure 2.24用 LSH 把資料點分進 bucket(依原書內容重繪)

    📖 原書 Locality sensitive hashing(LSH):用特別的 hash function(把資料丟進編號桶子的規則)降低點的維度、把點分進 bucket;這些函數會把彼此靠近的點映射到同一個 bucket。LSH 只搜尋跟 q 同一個 bucket 的點。

    📖 原書 Clustering-based ANN

    依相似度把點分群。群形成之後,只搜尋 query 所屬那一群裡的點。就是第 37 頁玩過的那個。

    📖 原書 該用哪一個?

    Exact 的結果保證準確:資料點有限、或一定要精確最近鄰時是好選擇;點數很大就跑不動。這時通常用 ANN:不一定回傳最精確的點,但找近的點有效率得多。以今天系統的資料量,ANN 比較務實,本章用 ANN 找相似的 image embedding。

    📖 原書 Applied ML 的職位,面試官可能要你實作 ANN。兩個常用函式庫:Faiss(Meta)、ScaNN(Google),本章講的方法大多都支援。建議至少熟一個。

    客座講評Triton 怎麼看「先算清楚 N」

    但你的 N 真的是 2,000 億嗎?

    「如果才 10000 個點 單純 2 層 for-loop , O(n^2) solution 吧 – 現實跑起來應該少於1秒」「如果 n > 1M 則肯定不能暴力解」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

    「Bruteforce algorithm (暴力解法)也是算法的一種啊!」「N 很小時, O(n^2) / O(n^3) 也好 1ms 和 0.1ms 對用戶感覺是沒差別的」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

    「對一個任意點 x ,我想知道在 10000 個點中,誰跟 x 最接近 暴力解法: O(m*n), m =你 query 的次數」「因為 m 可以很大,所以暴力解法不一定能接受」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

    —暴力解:一次查詢要多久—一台機器忙不忙得過來

    以每個 embedding 512 個數字、一台機器每秒約 1010 次乘加粗估(示意)。N 拉到最右邊就是原書的 2,000 億。

    🔭 依 Triton 原則推論 Triton 沒有談過 visual search。這頁是把 064 的「先了解 N 和 m,再選演算法」套進來:原書的 2,000 億一定要 ANN;但如果你做的是一家 2,000 件商品的家具店,exact search 一次不到 1 毫秒,多一套 ANN 只是多一份要維護的東西。

    客座講評Triton 的 geohash,和 ANN 是同一個想法

    先分格,只查自己那格和隔壁幾格

    「簡單來說:這是把地球坐標轉成 string 的 encoding」「你可以想像: 每一個 geohash 都是一個長方形」「在一個長方形內的點,其最近鄰居一定是…… – 在同一長方形內,或在鄰近八個長方形內」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

    「Geohash 有現有 library ,不用自己來寫」「如果你用 postgresql 使用 postGIS 套件,以上的都不用自己來寫,有 人替你寫好了」「管理系統中的 tech debt ,在 N 變大時換上更好解法」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

    🔭 依 Triton 原則推論 跟原書一致的地方:原書也叫你用 Faiss、ScaNN,不要自己寫 ANN。跟原書互補的地方:先用 exact search 上線、寫清楚用了哪種解法,等 N 真的變大再換 ANN。

    為什麼 embedding 不能直接用 geohash?

    你猜猜看:平面上一格的鄰居有 8 格。如果是立體的方塊,一格有幾個鄰居?

    8要一起查的鄰居格數

    🔭 推論 地球座標只有 2 個數字,查 8 個鄰居很便宜。embedding 有幾百個數字,鄰居格數是天文數字。所以 ANN 改成照資料的形狀分群(clustering)或隨機切幾刀(LSH),想法還是 geohash 那一套:先分格,只查附近。

    原書Other Talking Points

    面試還有時間,可能會被問到這些

    📖 原書 資深職位要準備的主題

    • 辨識並擋掉不當圖片的 content moderation
    • 系統裡的各種 bias,例如 positional bias(排越前面越容易被點)
    • 用 tag 等 image metadata 改善搜尋結果(原書說在第 3 章 Google Street View Blurring System 有介紹)
    • 用 object detection(在圖上框出物體)做 smart crop
    • 用 graph neural network 學更好的 representation
    • 支援用文字查詢搜圖(第 4 章)
    • 用 active learning 或 human-in-the-loop 讓標註更有效率

    會被問到哪些,看面試官偏好、你的專長和職位需求。

    每一題回到今天的哪一頁

    • content moderation → 第 39 頁 re-ranking 的「過濾不當內容」;需求頁說這不在範圍內(第 5 頁)
    • positional bias → 第 35 頁:CTR 會被名次影響;也是第 21 頁「點擊很 noisy」的原因之一
    • image metadata → 第 12 頁的 Table 2.1;需求頁假設只用像素
    • smart crop → 第 5 頁「使用者框出一塊來搜」的需求,自動幫使用者框
    • graph neural network → 第 15 頁換一種模型來產生 embedding
    • 文字查詢 → 第 47 頁:文字和圖片放在同一張地圖
    • active learning、human-in-the-loop → 第 21 頁:讓人只標最有幫助、最不確定的那些

    📅 2026 補充方法怎麼演進

    原書之後,這幾個零件換了做法

    這一步要解決原書之後,這些零件的做法往哪裡演進?

    Encoder:先拿別人練好的大模型

    原書提到可以 fine-tune 預訓練的 contrastive 模型。後來這幾乎成了預設:用大量圖文配對做 contrastive 訓練的 CLIP 類模型,或用 self-supervision 訓練的大型 ViT(例如 DINOv2),直接當 embedding 模型,再視需要微調。原書第 15 頁說「比較新的 ViT」,現在已是主流選項之一。

    文字搜圖:同一張地圖

    原書把「用文字搜圖」放在 Other Talking Points。CLIP 類模型把文字和圖片放進同一個 embedding space,打「白色塑膠餐椅」就能直接找附近的圖片點。同一套 nearest neighbor 流程不用改。

    ANN:graph-based 成了常見預設

    原書列了 tree、LSH、clustering 三類。後來 graph-based 的 HNSW(把點連成好幾層的鄰居網,從粗的上層一路走到細的下層)被大量採用:Faiss 有支援,PostgreSQL 的 pgvector 擴充也有 HNSW 索引。

    省記憶體:量化還在,而且更多種

    原書的 product quantization 仍然是主力(例如 Faiss 的 IVF-PQ:先分群、群裡再壓縮)。現在也常見把每個數字從 4 bytes 壓到 1 byte 甚至 1 bit,先用壓縮版粗找,再用原始數字重新排前幾名。

    回顧13 階全部爬完

    1. 像素
    2. 座標
    3. 比遠近
    4. 小放大鏡
    5. 調旋鈕
    6. 找同一張
    7. 自己出題
    8. 變百分比
    9. 驚訝分數
    10. 看名次
    11. 準與全
    12. 打折分數
    13. 分區找

    Visual search 其實就是在地圖上找鄰居而已。

    圖怎麼變成點

    照片是一張數字表(pixel)→ 前處理 → CNN 用小放大鏡一層層看 → 濃縮成一組數字(embedding),像的圖站得近。

    怎麼學會放點

    contrastive training:自己幫照片變裝出題,同款拉近、路人推遠;相似度 → softmax → cross-entropy 就是 loss。

    怎麼打分數

    MRR 只看第一個、Precision 不看順序、Recall 分母太大、mAP 只吃對錯;原書 offline 用 nDCG,online 看 CTR 和停留時間。

    怎麼找得快

    背景先把所有圖算好 embedding 放進 index;搜尋時只算小美那一張,用 ANN 分區找鄰居,再 re-rank。但先問自己:N 到底多大?

    把圖變成點,找最近的幾個點,排好給她看。然後呢?然後就結束了。

    名詞小卡課後複習用 · 每個詞一行白話

    本章名詞小卡

    名詞一行白話在哪一頁
    pixel、RGB照片的一小格;每格有紅綠藍三個 0–255 的亮度第 6 頁
    embedding代表一張圖的一組數字,地圖上的一個點第 7 頁
    embedding space放這些點的地圖;像的圖站得近第 10 頁
    dot product對應的數字相乘再加起來第 8 頁
    cosine similarity只看兩支箭頭的夾角,1 最像第 8 頁
    Euclidean distance兩個點的直線距離第 8 頁
    ranking problem把一堆東西照相關程度排名次第 9 頁
    representation learning讓模型自己學會把資料變成好用的 embedding第 10 頁
    preprocessing縮成固定大小、除以 255、減平均除標準差第 13 頁

    忘了哪個詞,就回到右邊那一頁,四步再走一次。

    給工程師的重點出處、公式與頁碼對照

    本章引用的來源

    原書

    Machine Learning System Design Interview · Visual Search System 章(第 2 章)。開場與 Figure 2.1(第 2 頁)、第 1 章框架與 Figure 1.2(4)、Clarifying Requirements(5)、ML objective、input/output、ranking 與 Figure 2.2(9)、representation learning 與 Figure 2.3–2.4(10)、data engineering 與 Table 2.1–2.3(12)、feature engineering(13)、model selection 與 Figure 2.5(15)、contrastive training、constructing the dataset 與 Figure 2.6–2.7(18)、三種 positive 與 Figure 2.8(21)、loss 與 Figure 2.9–2.10(24)、簡化 contrastive loss、pre-trained 與 Figure 2.11(25)、評估資料集與 Figure 2.12(27)、MRR 與 Figure 2.13–2.14(29)、recall@k、precision@k 與 Figure 2.15(31)、mAP 與 Figure 2.16(33)、nDCG 與 Figure 2.17–2.18(34)、online metrics(35)、serving 與 Figure 2.19(38)、prediction pipeline 與 Figure 2.20–2.21(39)、indexing pipeline(40)、exact vs ANN(41)、tree-based 與 Figure 2.22–2.23(42)、LSH、clustering、選擇與函式庫、Figure 2.24(43)、Other Talking Points(46)。24 張圖與第 1 章 Figure 1.2 依圖說與描述重繪,不是原圖;Figure 2.1 產品截圖改線框圖、不畫 logo;Figure 2.13、2.16 的 ✓ 位置依原書數字反推;Figure 2.14 依內文修正描述的矛盾

    本簡報加的頁面:概念階梯(3)、13 個延伸基礎(6、7、8、14、16、17、20、22、23、28、30、32、37)、小結(11、19、26、36)、客座講評(44、45)、2026 補充(47)、名詞小卡(49)。小美、8 件商品、所有座標與分數都是示意

    🎓 李宏毅課堂(逐字稿)

    • 生成式人工智慧與機器學習導論 2025 · 第 3 講:解剖大型語言模型 — Token Embedding 相近(Apple / Orange / Banana)、cosine similarity 最大是 1、softmax 兩步驟
    • 同 · 第 5 講 — 參數、gradient descent「往左右各踏一小步」、餓狼下坡
    • 同 · 第 6 講:訓練類神經網路的各種訣竅 — 彩色圖是三張圖疊在一起、CNN 的 receptive field 與參數共享(鳥嘴)、CNN 是 fully connected 的簡化、pre-train 大絕招、旋轉圖片的 pretext task、softmax 與 cross-entropy

    來源:.claude/skills/hung-yi-lee 的 raw/youtube/transcripts/(8iFvM7WUUs8、Taj1eHmZyWw、mPWvAN4hzzY);受李宏毅教學風格啟發,非本人。contrastive、ranking 指標、ANN 沒有對應逐字稿,依標準定義

    🗣️ Triton 與 📅 依據

    • 064-introToAlgorithm.pdf.md — 1 萬點暴力解少於 1 秒、n > 1M 不能暴力、暴力解也是算法、O(m*n)、geohash 八鄰格、postGIS、tech debt
    • 📅 CLIP(2021)、DINOv2(2023);HNSW(Faiss、pgvector 0.5.0 起);IVF-PQ、scalar / binary quantization

    公式(主文用文字講過)

    • loss = −log( exp(Eq·Ep) ÷ Σj exp(Eq·Ej) )(softmax + cross-entropy;SimCLR 另加 L2 normalize 與 temperature)
    • MRR = (1/m) Σ 1/ranki;precision@k = rel@k ÷ k;recall@k = rel@k ÷ total rel
    • AP = Σi∈rel P@i ÷ |rel|;mAP = mean(AP)
    • DCGp = Σ reli ÷ log2(i+1);nDCG = DCG ÷ IDCG
    • CTR = clicks ÷ impressions;exact O(N×D),ANN 例如 O(D×log N)
    ← → 翻頁 · S 講者備註 · D 深/淺色
    1 / 1目錄