ML System Design · 第 2 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(只有 infra:N 小先暴力、geohash)
Visual Search System
其實就是在地圖上找鄰居而已
你在咖啡廳看到一張好看的白色椅子,拍下來,想知道哪裡買得到一樣的。原書要你設計一個像 Pinterest 那樣的系統:丟一張圖進去,吐出一排「長得很像」的圖,越像的排越前面。
今天的路線
先看原書的面試框架與需求,再一邊爬 13 階基礎(第 3 頁的階梯)、一邊對照原書:圖怎麼變成點 → 模型怎麼學會放點 → 考題與罰分 → 排得好不好、找得夠不夠快 → 2026 年的變化。全程只用一張椅子的照片當例子。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論 延伸基礎
標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。這是 05 這本書的第一份簡報,所以第 4 頁會先帶一下全書的面試框架。
先講跟你有關的動手玩 · Figure 2.1
你來當一次搜尋引擎
小美在咖啡廳拍了一張白色塑膠餐椅。她想買同款。你會怎麼幫她找?
你剛剛其實做了兩件事:先在心裡幫每件商品打一個「像不像」的分數,再照分數排名次。原書的整個系統,就是把這兩件事交給機器做,而且要在 1,000–2,000 億張圖裡做。
今天整堂課只回答三個問題:「像」要怎麼變成數字?(模型)機器怎麼學會判斷像不像?(訓練)2,000 億張圖,怎麼在一眨眼內找完?(serving)
小美、這家店的 8 件商品都是虛構的示範資料;機器的排名用的是第 7 頁會教的「座標」。
學習地圖今天要爬的 13 階 · 每一階只用前面學過的東西
一階一階往上爬,不跳階
- 1像素圖片在電腦裡長怎樣?
- 2座標一張圖怎麼變成一個點?
- 3比遠近兩個點多像,怎麼量?
- 4小放大鏡誰來把圖變成點?
- 5調旋鈕模型怎麼越練越好?
- 6找同一張要練什麼題目?
- 7自己出題題目從哪裡來?
- 8變百分比分數怎麼變成機率?
- 9驚訝分數猜錯要罰多重?
- 10看名次第一個對的排第幾?
- 11準與全抓得準,還是抓得全?
- 12打折分數排後面要扣多少?
- 13分區找2,000 億張怎麼找得快?
圖怎麼變成點 誰來放點、怎麼學 考題與罰分 排得好不好 找得快 英文名字等爬到那一階才給。
整堂課只用一張照片
小美在咖啡廳拍的白色塑膠餐椅,加上一家虛構小店的 8 件商品。每一階都拿它們來玩,數字小到可以心算。
每一階都走四步
① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。按 → 一步一步出現。
每爬三階就停一下
「到這裡你已經會了」:第 11、19、26、36 頁。最後還有名詞小卡(第 49 頁)。
原書第 1 章全書的面試框架 · 只講這章用到的
原書每一章都照同一套七步走
這一步要解決ML 系統設計面試是開放題,沒有標準答案。沒有架構,講到一半就迷路。
① 釐清需求 ② 框成 ML 任務
先問清楚要做什麼;再定出 ML 目標、輸入輸出、選哪一類 ML 問題。本章第 5、9–10 頁。
③ 資料準備 ④ 模型開發
有哪些資料、怎麼處理成模型吃得下的樣子;選架構、怎麼訓練、用什麼 loss。本章第 12–25 頁。
⑤ 評估 ⑥ 部署與服務
上線前用 offline 指標、上線後用 online 指標;serving 時的完整流程。本章第 27–43 頁。
⑦ 監控與基礎設施
本章沒有談,原書在第 1 章另外講。最後一步原書在 Other Talking Points 收尾(第 46 頁)。
原書Clarifying Requirements
原書的題目:丟一張圖,找出長得像的圖
這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 結果要從最像排到最不像嗎? | 排越前面的,要越像查詢的圖 |
| 也要支援影片嗎? | 先只做圖片 |
| 像 Pinterest 那樣,讓使用者框出圖的一部分(crop)來搜尋? | 要 |
| 結果要依使用者個人化嗎? | 為了簡單,不做。同一張圖誰來搜,結果都一樣 |
| 模型可以用圖片的 metadata(附帶資訊,例如 tag)嗎? | 實務上會用;這裡假設只用像素 |
| 使用者能儲存、分享、按讚嗎?這些可以拿來標訓練資料 | 好問題。為了簡單,假設只有點擊 |
| 要審核圖片嗎? | 平台安全很重要,但 content moderation 不在範圍內 |
| 可以線上蒐集訓練資料,用使用者互動來標嗎? | 可以,合理 |
| 要多快?假設平台有 1,000–2,000 億張圖,要能很快找出相似的 | 合理的假設 |
整理成需求清單
- 功能:輸入一張圖(或圖的一塊),找出相似的圖,照相似度排名
- 範圍:只有圖片,沒有影片、沒有文字查詢;不做個人化
- 輸入:只用像素,不用 tag 等 metadata
- 訊號:使用者只有「點擊」這個動作
- 規模:1,000–2,000 億張圖,要快
你想想看,2,000 億張是多少?全世界大約 80 億人,等於每個人 25 張。小美只拍了一張椅子,系統要在一眨眼內,從這麼多張裡把同款找出來。這個數字第 44 頁會回來找我們。
延伸基礎第 1 階 · 像素 · 懂的人可以跳到第 9 頁
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
電腦看到的照片,其實是一大張數字表
把手機照片一直放大,最後會看到一格一格的小方塊。每一格只有一個顏色。電腦不認得「椅子」,它只記得每一格有多亮。
你猜猜看:一張 4 × 4 格的彩色小圖,電腦要記幾個數字?
每一格要記紅、綠、藍三個亮度:4 × 4 × 3 = 48。黑白圖才是 16 個。
每一個小方塊叫 pixel(像素)。彩色圖每格有紅綠藍三個數字,叫 RGB,每個數字從 0(最暗)到 255(最亮)。
「對類神經網路來說呢 它看到的一張彩色的圖片 其實是三張圖片疊在一起的」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係小美的椅子照片,進到系統時就是這樣一大張數字表。原書第 13 頁的「前處理」,就是在整理這張表。
延伸基礎第 2 階 · 座標 · 懂的人可以跳到第 9 頁
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
15 萬個數字太多了,能不能只用幾個數字代表一張圖?
跟店員形容椅子,你不會報 15 萬個亮度。你會說「很白、線條很圓」。兩個分數,就能把它放到地圖上的一個位置。
你猜猜看:只用[白色程度, 曲線程度]兩個分數,離小美的白椅最近的會是誰?
圓桌也是又白又圓,兩個分數跟小美的椅子一模一樣,直接疊在一起。分數太少,就分不出桌子和椅子。右邊按「加第三個分數」看看。
代表一張圖的一組數字,叫 embedding;可以想成地圖上的一個點。這張地圖叫 embedding space。
「Apple 這個 Token 的 Embedding 可能跟 Orange 的 Embedding 特別接近 可能跟 Banana 的 Embedding 特別接近 它們指的都是水果」🎓 李宏毅課堂 導論 2025 · 第 3 講(課堂講文字,圖片同理)
④ 跟這章的關係原書的模型就是把每張圖變成一個點;真正的 embedding 有幾百個數字,是模型自己學出來的(第 10 頁)。
延伸基礎第 3 階 · 比遠近 · 懂的人可以跳到第 9 頁
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
兩個點「多像」,要怎麼變成一個分數?
兩個人在路口幫你指路。指的方向越接近,要去的地方就越像。還有一種比法:直接量兩個人站的位置離多遠。
你猜猜看:「對應的數字相乘再加起來」。[2, 1]和[3, 2]算出來是多少?
2 × 3 + 1 × 2 = 6 + 2 = 8。方向越一致、箭頭越長,這個數字越大。
相乘再相加叫 dot product;只看夾角叫 cosine similarity(0° 是 1,90° 是 0)。量尖端距離叫 Euclidean distance。
「cosine similarity 算出來就是 1, 最大就是 1。」🎓 李宏毅課堂 導論 2025 · 第 3 講
④ 跟這章的關係每件商品都跟小美的照片算一個分數,再照分數排名次。原書把這叫 ranking(第 9 頁)。
原書Frame the Problem as an ML Task · Figure 2.2
把問題變成 ML 任務:這是一個排名問題
這一步要解決「找像的圖」要變成機器學得會的題目:目標是什麼、輸入輸出是什麼、屬於哪一類問題?
其實就是第 8 頁做的事而已:每張圖跟查詢的圖算一個「像不像」的分數,再照分數排。只是要算的圖有 2,000 億張。
📖 原書 Defining the ML objective
要有一個定義清楚的 ML 目標:準確地找出跟使用者搜尋的圖,視覺上相似的圖。
📖 原書 Input / Output
Input:使用者給的一張 query image(查詢的圖)。Output:一串視覺上相似的圖,依相似度排好。
📖 原書 Choosing the right ML category
輸出是一串排好名次的圖,所以是 ranking problem(排名問題):依跟查詢的相關程度排,越相關越前面。推薦系統、搜尋引擎、文件檢索、線上廣告,很多 ML 應用都能框成排名問題。本章用一個很常見的做法:representation learning(下一頁)。
原書Representation learning · Figure 2.3、2.4
Representation learning:讓模型學會「放點」
這一步要解決第 7 頁的分數是我們自己打的。2,000 億張圖不可能人工打分數,要讓模型自己學。
📖 原書 在 representation learning 裡,模型被訓練成把輸入(例如圖片)轉換成 embedding。換句話說,模型把每張圖對應到一個 N 維空間裡的點,這個空間叫 embedding space。學出來的 embedding 要讓相似的圖彼此靠近。原書畫成 2 維方便看;實際上 N 是 embedding 向量的長度。
📖 原書 怎麼用它來排名?
- 把每張圖都轉成 embedding
- 量 query image 跟平台上每張圖在 embedding space 的距離,算出 similarity score
- 照 similarity score 排名(Figure 2.4)
原書在這裡先賣個關子:怎麼確保相似的圖真的被放得近?「相似」怎麼定義?模型要怎麼訓練?這些都留到 Model Development(第 15–25 頁)。
小結第 1–3 階:圖怎麼變成點
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
到這裡你已經會了
- 照片在電腦裡是一大張數字表每一格 pixel 有紅綠藍三個亮度(第 6 頁)
- 一張圖可以濃縮成一組數字,變成地圖上的一個點embedding:像的圖站得近;數字太少會分不出桌子和椅子(第 7 頁)
- 兩個點多像,有三把尺dot product、cosine、距離;照分數排,就是 ranking(第 8 頁)
小美的照片,現在走到哪裡
- 拍照白色塑膠餐椅,一張照片
- 數字表224 × 224 × 3 = 150,528 個亮度
- 變成點[白 4, 曲線 4, 像椅子 5](示意)
- 比遠近跟每件商品算分數
- 排名次白色塑膠椅 ×2、米色布餐椅……
分數是示意;224 × 224 是原書的輸入大小。
下一階要解決:「變成點」這一步,我們一直是自己打分數。要讓機器自己從 15 萬個亮度算出那組數字,誰來算?怎麼算?
原書Data Preparation · Data engineering · Table 2.1–2.3
手上有哪些資料?圖片、使用者、互動
這一步要解決除了一般的資料工程基本功,更重要的是搞清楚手上有什麼資料。視覺搜尋主要跟「使用者」和「圖片」有關。
📖 原書 Table 2.1 Images
創作者上傳圖片,系統存下圖片和 metadata:owner id、上傳時間這類情境資訊、tag 等。
| ID | Owner ID | Upload time | Manual tags |
|---|---|---|---|
| 1 | 8 | 1658451341 | Zebra |
| 2 | 5 | 1658451841 | Pasta, Food, Kitchen |
| 3 | 19 | 1658821820 | Children, Family, Party |
📖 原書 Table 2.2 Users
使用者的 demographic(人口統計)資料:年齡、性別等。
| ID | Username | Age | Gender | City | Country | |
|---|---|---|---|---|---|---|
| 1 | johnduo | 26 | M | San Jose | USA | john@gmail.com |
| 2 | hs2008 | 49 | M | Paris | France | hsieh@gmail.com |
| 3 | alexish | 16 | F | Rio | Brazil | alexh@yahoo.com |
📖 原書 Table 2.3 User-image interactions
依需求,主要的互動是 impression(圖被顯示出來,被看到一次)和 click(被點了)。
| User ID | Query image ID | Displayed image ID | Position in the displayed list | Interaction type | Location (lat, long) | Timestamp |
|---|---|---|---|---|---|---|
| 8 | 2 | 6 | 1 | Click | 38.8951 -77.0364 | 1658450539 |
| 6 | 3 | 9 | 2 | Click | 38.8951 -77.0364 | 1658451341 |
| 91 | 5 | 1 | 2 | Impression | 41.9241 -89.0389 | 1658451365 |
套到小美:她搜尋(query image = 她的照片),系統顯示一排椅子(每張記一筆 impression),她點了第 1 名(一筆 click,position = 1)。這張互動表,第 21 頁會拿來當「誰跟誰像」的線索。
原書Feature engineering · 圖片前處理 · 動手玩
照片進模型之前,先整理成同一個規格
這一步要解決使用者上傳的照片大小、顏色模式都不一樣。模型只吃固定格式的數字表(第 6 頁)。
示範用的 4 × 4 黑白小圖,數字刻意挑成可以心算。真正的大小是 224 × 224 × 3。
📖 原書 Feature engineering 要看我們怎麼框這個任務、模型吃什麼。前面把它框成 ranking + representation learning,模型的輸入是一張圖,所以要先做 image preprocessing:
- Resizing:模型通常要固定大小,例如 224 × 224
- Scaling:把像素值縮到 0 到 1 之間(除以 255)
- Z-score normalization:把像素值調成平均 0、變異數 1。白話:先減掉平均,再除以「平均離平均多遠」(標準差)
- Consistent color mode:顏色模式一致,例如都用 RGB 或都用 CMYK(印刷用的四色)
為什麼要減平均?你想想看,同一張椅子在陽光下拍和在燈下拍,所有格子都亮一點或暗一點。減掉平均,模型就比較不會被「整張比較亮」騙。
延伸基礎第 4 階 · 小放大鏡 · 懂的人可以跳到第 15 頁
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
誰來把 15 萬個數字變成一個點?拿一支小放大鏡掃過去
玩「威利在哪裡」時,你不會一眼看整張圖。你會拿眼睛當放大鏡,一小塊一小塊掃,找紅白條紋。
你猜猜看:椅腳可能出現在圖的左下角,也可能在右下角。要準備兩支不同的放大鏡嗎?
找的東西一樣,放大鏡就一樣,只是放的位置不同。右邊拿同一支「找直線」的放大鏡掃整張椅子看看。
這支小放大鏡叫 filter;用很多 filter 一層一層掃的模型,叫 CNN(convolutional neural network)。
「就假設你要偵測鳥嘴 這個鳥嘴有可能出現在圖片的左上角 有可能出現在圖片的中間 但它們都是鳥嘴」🎓 李宏毅課堂 導論 2025 · 第 6 講
左邊是 8 × 8 的椅子,右邊是放大鏡在每個位置「看到多少」。
④ 跟這章的關係原書的模型前半段就是好幾層 CNN,後半段再把看到的東西濃縮成一個 embedding(第 15 頁)。
原書Model Development · Model selection · Figure 2.5
選模型:吃一張圖,吐一個 embedding
這一步要解決要一個模型,輸入小美的照片,輸出一組數字(embedding)。用哪一種?
📖 原書 為什麼選 neural network
- 擅長處理非結構化資料(沒有整齊欄位的資料),像圖片、文字
- 很多傳統 ML 模型做不到,neural network 能產生 representation learning 需要的 embedding
📖 原書 哪一種架構
一定要能處理圖片。CNN 架構如 ResNet,或比較新的 Transformer 架構如 ViT(Vision Transformer,把圖切成小塊當成 token 來讀),在圖片上都表現很好。
📖 原書 要實驗決定的數字
convolution layer 幾層、fully connected layers 每層幾個 neuron、embedding 多長,都是 hyperparameter(訓練前由人決定的設定),通常靠實驗挑。
延伸基礎第 5 階 · 調旋鈕 · 懂的人可以跳到第 18 頁
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
模型一開始亂放點。怎麼讓它越放越準?
洗澡調水溫:太冷往右轉一點,太燙往左轉一點。你不知道正確的角度,但每轉一下都知道「離舒服多遠」。
你猜猜看:旋鈕往右轉一格,「離目標多遠」從 0.5 變成 0.6。下一步該怎麼轉?
往右變差,就往左。每次都往「變好」的方向轉一小步,一直轉到左右都不會再變好。
模型裡可以轉的旋鈕叫 parameter(參數)。「離目標多遠」叫 loss,越小越好。照坡度一步步轉,就是 gradient descent。
「你就往左右各踏一小步 往左邊踏一小步 往右邊踏一小步 看往哪一邊可以讓 loss 下降」🎓 李宏毅課堂 導論 2025 · 第 5 講
④ 跟這章的關係訓練就是把模型裡幾百萬個旋鈕,一起往 loss 變小的方向轉。下一階要決定:loss 到底量什麼。
延伸基礎第 6 階 · 找同一張 · 懂的人可以跳到第 18 頁
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
要練什麼題目,模型才會把像的圖放在一起?
警察認人:給目擊者一張照片,再排一排人,「哪一個是他?」排的人裡只有一個是本人,其他都是路人。
你猜猜看:這種「找同一張」的考題,一題要準備什麼?
要有「對的」和「錯的」才能考。對的要拉近,錯的要推遠。只給一堆椅子,模型不知道誰該跟誰靠近。
這種練法叫 contrastive training(對比訓練)。同款那張叫 positive,不相干的叫 negative。
④ 跟這章的關係原書就用這種考題訓練模型(第 18 頁)。每一題,loss 都在量「同款那張有沒有比路人更靠近題目」。
原書Model training · Constructing the dataset · Figure 2.6、2.7
原書的訓練:contrastive training,一題長這樣
這一步要解決模型要在訓練時學會好的 representation。考題的格式要先定下來。
📖 原書 學圖片 representation 的常見技巧是 contrastive training:訓練模型分辨相似和不相似的圖。給模型一張 query image、一張相似的圖、幾張不相似的圖;訓練時模型學著讓相似那張比其他張更接近 query。
📖 原書 Constructing the dataset
每一筆訓練資料 = 一張 query image + 1 張 positive(跟 query 相似)+ n − 1 張 negative(不相似)。Ground truth label 是 positive 的位置編號。Figure 2.7 裡 positive 是 n 張中的第 2 張,所以 label 是 2。
你猜猜看:小美那一題的四個選項是[檯燈, 板凳, 書櫃, 同款白椅],label 是多少?
label 只記「同款排在第幾個」。同款在第 4 個,label 就是 4。negative 怎麼挑:原書說隨機挑 n − 1 張;positive 怎麼挑,有三種做法(第 21 頁)。
小結第 4–6 階:誰來放點、怎麼學
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
到這裡你已經會了
- CNN 拿小放大鏡掃圖同一支 filter 掃全圖,一層層把線索濃縮成 embedding(第 14 頁)
- 訓練就是調旋鈕parameter 往 loss 變小的方向一步步轉(第 16 頁)
- 考題是「找同一張」contrastive training:positive 拉近、negative 推遠;label 是 positive 的位置(第 17、18 頁)
小美的照片,現在走到哪裡
- 前處理縮成 224 × 224、除以 255、Z-score
- CNN放大鏡找出直線、曲面、椅腳
- embedding濃縮成一組數字 = 地圖上一個點
- 訓練跟同款拉近、跟檯燈書櫃推遠
下一階要解決:每一題都要有一張「同款」的 positive。2,000 億張圖,誰來告訴模型哪張跟哪張是同款?還有,「拉近」到底要怎麼算成一個 loss?
延伸基礎第 7 階 · 自己出題 · 懂的人可以跳到第 21 頁
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
沒人幫忙標「哪張是同款」,能不能自己出題?
怪盜基德再怎麼變裝,柯南還是認得出來。那就自己幫照片「變裝」:轉一下、翻一下、裁一塊。變完的還是同一張,答案你本來就知道。
你猜猜看:旋轉、翻轉、裁切、調色四種變裝,每種可開可關。一張照片能變出幾種版本(含原圖)?
每種都有開、關兩個選擇:2 × 2 × 2 × 2 = 16。旋轉角度、裁哪一塊再變一變,就更多了。一張照片就能出很多題。
幫照片變裝叫 data augmentation。答案由資料自己產生、不用人標,叫 self-supervision(自監督)。
「因為這個圖片到底被旋轉多少 是人先去做好 再叫機器去預測圖片被旋轉多少 所以這種資料你要製造多少 就可以製造多少」🎓 李宏毅課堂 導論 2025 · 第 6 講
④ 跟這章的關係原書就選這招造 positive(第 21 頁):變裝後的照片當同款,隨機抽的別張當路人。
原書Constructing the dataset · 選 positive 的三種做法 · Figure 2.8
每一題的「同款」從哪裡來?原書比了三種
這一步要解決query 隨機挑、n − 1 張 negative 也隨機挑。但 positive 一定要真的像,怎麼挑?
| 做法 | 怎麼做 | 優點 | 缺點 |
|---|---|---|---|
| Human judgment | 請人工標註者手動找相似的圖 | 資料準確 | 貴、慢 |
| Interactions as a proxy | 拿點擊當相似的代理:使用者點了哪張,就當它跟 q 相似 | 不用人工,自動產生 | Noisy(雜訊多,有人點了不像的圖)、sparse(很多圖根本沒有點擊)→ 效果差 |
| Self-supervision | 從 q 人工造出相似的圖,例如旋轉 q。SimCLR、MoCo 用的就是這招 | 不用人工;資料不 noisy(變裝後一定相似) | 跟真實資料不一樣:真正相似的圖不是 q 的變裝版,而是看起來、意思上相似的另一張圖 |
你猜猜看:原書最後選哪一種?
兩個理由:① 可以自動化,沒有前期成本;② SimCLR 這類框架在大資料集上效果很好,而平台有數十億張圖。原書也說:實驗不理想隨時可以換,例如先用 self-supervision、之後改用點擊;或用點擊建初始資料,再請人把 noisy 的資料挑掉。
原書特別提醒:面試時提出幾種選項、討論取捨非常重要,通常沒有一個永遠最好的答案。套到小美:她點了米色布椅,不代表米色布椅跟白色塑膠椅是同款,這就是點擊的 noisy。
延伸基礎第 8 階 · 變百分比 · 懂的人可以跳到第 24 頁
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
四個相似度分數,怎麼變成「模型覺得是第幾張」的百分比?
四位候選人的民調分數有正有負。新聞要報「支持率」,就得換成加起來 100% 的百分比,而且分數高的要分到比較多。
你猜猜看:四張候選圖的分數都一樣,[1, 1, 1, 1]。換成百分比,每張多少?
大家一樣,就平分 100%:每張 25%。等於模型說「我完全不知道哪張是同款」。
把一排分數變成加起來是 1 的機率,叫 softmax。它先讓每個分數變成正的、把差距放大,再除以總和。
「本來這邊的分數並沒有限制 它一定要是一個機率 沒有限制它是 0 到 1 之間 甚至沒有限制它一定要是正的 它其實也可以是負的數字 把這些分數過 Softmax 之後 它會變成一個機率分布」🎓 李宏毅課堂 導論 2025 · 第 6 講
④ 跟這章的關係原書算 loss 的第二步就是 softmax:把 query 跟每張候選的相似度,變成「這張是同款」的機率(第 25 頁)。
延伸基礎第 9 階 · 驚訝分數 · 懂的人可以跳到第 24 頁
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
模型只給同款 5% 的機率,該罰多重?
氣象說降雨機率 95%,結果下雨,你不驚訝。說 5%,結果下了大雨,你很驚訝。答對的那個選項,模型給的機率越小,就越「驚訝」,罰越重。
你猜猜看:驚訝分數 =「把 100% 對折幾次才會變成它給的機率」。模型只給同款 1/8,驚訝幾分?
1 → 1/2 → 1/4 → 1/8,對折 3 次。給 1/2 是 1 分、給 1/4 是 2 分。機率每少一半,就多罰 1 分。
這個驚訝分數叫 cross-entropy。正確答案拿到的機率越接近 100%,它就越接近 0。
「反正你就知道說 這兩個機率分布越接近 那這個 Loss 算出來呢就會越小」🎓 李宏毅課堂 導論 2025 · 第 6 講
④ 跟這章的關係原書算 loss 的第三步:拿 softmax 的機率去跟 label 比 cross-entropy。越小,代表 embedding 越能把同款和路人分開。
原書Choosing the loss function · Figure 2.9、2.10
訓練的目標:同款的點拉近,路人的點推遠
這一步要解決考題有了,還要一個 loss 來量「模型這次放的點好不好」。
📖 原書 模型吃圖片,為每張圖產生一個 embedding,Ex 代表圖片 x 的 embedding。一題裡有 q、p 和 i 張 negative,吐出 Eq、Ep、E1…Ei。原圖用虛線表示 p 和 negative 只在訓練時用,實線是推論時的資料流。
📖 原書 訓練的目標是調整模型參數,讓相似的圖在 embedding space 裡彼此靠近:訓練過程中,positive 和 query 應該越來越近。對比訓練有很多種 loss,面試官通常不期待你深入討論,但要有高層次的理解。原書接著講一個簡化版的 contrastive loss。
原書A simplified contrastive loss · Figure 2.11 · 動手玩
簡化版 contrastive loss:三步算完
這一步要解決「p 要比路人更靠近 q」要變成一個數字,才能拿來調旋鈕。
① Compute similarities
算 query 跟每張圖的相似度,最常用 dot product、cosine(第 8 頁)。Euclidean 也行,但高維時常表現不好:curse of dimensionality(數字一多,點跟點都差不多遠)。
② Softmax
對算出來的分數做 softmax,讓它們加起來是 1,可以當機率看(第 22 頁)。原圖:0.95、0.02、0.01、0.003。
③ Cross-entropy
量機率跟 label(1, 0, 0, 0)有多接近(第 23 頁)。越接近,embedding 越能分開 positive 和 negative。這題 loss ≈ 0.05。
📖 原書 也可以用 pre-trained model
拿別人在大資料集上練好的 contrastive 模型,用自己的資料 fine-tune(微調),比從零訓練省下大量時間。
「但是今天在 2025 年 有一個通用的大絕招 往往可以發揮作用 這個大絕招叫做 pre-train」🎓 李宏毅課堂 導論 2025 · 第 6 講
小結第 7–9 階:考題與罰分
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
到這裡你已經會了
- 題目可以自己出把照片變裝(data augmentation),變裝版就是同款;原書選這個(第 20、21 頁)
- 分數可以變成百分比softmax:變正、放大差距、除以總和(第 22 頁)
- 猜錯要罰,越沒把握罰越重cross-entropy:同款拿到的機率每少一半,多罰 1 分(第 23 頁)
小美那一題,從頭算一次
- 出題原圖 + 翻轉版(同款)+ 檯燈、板凳、書櫃
- 相似度dot product:3、0、−1、0(示意)
- softmax同款 ≈ 90%
- loss−ln 0.9 ≈ 0.11 → 調旋鈕讓它再小一點
下一階要解決:模型練好了。可是要怎麼知道它排得好不好?小美搜出來的前 5 名,要怎麼打一個分數?
原書Evaluation · Offline metrics · Figure 2.12
模型練好了,拿什麼考它?
這一步要解決上線前要先在一份「有標準答案」的考卷上考,才知道排得好不好。
📖 原書 假設有一份評估資料集:每筆資料有一張 query image、幾張候選圖,以及每張候選圖跟 query 的 similarity score:0 到 5 的整數,0 是完全不像,5 是視覺上、意思上都非常像。對每筆資料,把模型排出來的名次跟依標準答案排的理想名次比。
📖 原書 搜尋系統常用的 offline 指標
搜尋、資訊檢索、推薦系統通常共用同一套 offline 指標:
- MRR(Mean reciprocal rank):第 28、29 頁
- Recall@k:第 30、31 頁
- Precision@k:第 30、31 頁
- mAP(Mean average precision):第 32、33 頁
- nDCG(Normalized discounted cumulative gain):第 32、34 頁
名字很嚇人,其實全部只用到倒數、百分比、平均、打折。原書的做法是:一個一個看,每個都指出缺點,最後只留一個。你猜猜看會留哪一個?答案在第 34 頁。
延伸基礎第 10 階 · 看名次 · 懂的人可以跳到第 29 頁
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
搜尋結果怎麼打分數?先看「第一個對的排第幾」
小美搜椅子,第 1 名就是同款,她馬上點。同款排第 3 名,她要往下滑。排越後面,越可能被錯過。
你猜猜看:規則是「第一個對的排第幾名,就給幾分之一分」。第一個對的在第 2 名,得幾分?
第 1 名得 1 分、第 2 名 1/2、第 3 名 1/3。前 5 名都沒有對的,0 分。
「幾分之一」叫 reciprocal rank(倒數名次);每個搜尋都算一次再平均,叫 MRR。
三次搜尋,各自的前 5 名。把第一列的 #1 改成 ✗ 看看。
三次搜尋和結果是示範用的虛構資料。
④ 跟這章的關係原書列的第一個指標就是 MRR(第 29 頁)。但你注意:它只看第一個對的,後面幾個對不對,它不管。
原書MRR · Figure 2.13、2.14
MRR:只看第一個對的
這一步要解決每一次搜尋都排出一張清單,要把「排得好不好」平均成一個數字。
📖 原書 MRR 看模型產生的每一張清單裡,第一個相關項目的名次,取倒數再平均:
MRR = (1/rank₁ + 1/rank₂ + … + 1/rankₘ)÷ m
m 是清單的總數。Figure 2.13 四張清單:(1/3 + 1 + 1/3 + 0) ÷ 4 = 0.417。
你猜猜看:Figure 2.14 裡,模型 1 的前 5 名有 3 個對的,模型 2 只有 1 個。MRR 誰高?
兩個模型的第一個對的都在第 2 名,所以都是 1/2。後面多對了兩個,MRR 完全沒感覺。
📖 原書 MRR 的缺點:只考慮第一個相關項目,忽略清單裡其他的相關項目,所以量不出整張清單的準度和排名品質。原書:不用這個指標。
延伸基礎第 11 階 · 準與全 · 懂的人可以跳到第 31 頁
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
前 5 名裡對了幾個?店裡的同款找到了幾成?
撈魚比賽:網子裡 5 條魚有 2 條是金魚,叫「撈得準不準」。池子裡總共 4 條金魚你撈到 2 條,叫「撈得全不全」。兩件事不一樣。
你猜猜看:前 5 名有 2 張是同款,「撈得準」是多少?
2 ÷ 5 = 40%。如果店裡總共有 4 張同款,「撈得全」就是 2 ÷ 4 = 50%。分母不一樣。
前 k 名裡幾成是對的,叫 Precision@k(準)。所有對的裡面撈到幾成,叫 Recall@k(全)。
④ 跟這章的關係把「同款總數」拉到一百萬,Recall 幾乎是 0,但小美根本不在乎。原書因此不用 recall(第 31 頁)。
原書Recall@k · Precision@k · Figure 2.15
Recall 分母太大,Precision 不看順序
這一步要解決MRR 不夠,那看「對了幾個」呢?
📖 原書 Recall@k
recall@k = 前 k 名中相關的數量 ÷ 全部相關的數量
它在量模型漏掉了多少相關項目。但在搜尋引擎這類系統,相關項目的總數可能非常大,分母一大,recall 就被拉低。例如 query 是一張狗的圖,資料庫可能有幾百萬張狗圖;目標不是全部回傳,而是找出少數幾張最像的。
原書:recall@k 量不出模型的排名品質,不用。
📖 原書 Precision@k
precision@k = 前 k 名中相關的數量 ÷ k
它量清單有多準,但不考慮排名:模型 1 的兩個 ✓ 在最前面,模型 2 的在第 3、5 名,Precision@5 都是 2/5。原書:我們要同時量準度和排名品質,所以它也不理想。
到這裡三個都被淘汰了:MRR 只看第一個、Recall 分母太大、Precision 不管順序。我們要一個每個對的都算分、排越後面分數越少的指標。這就是下一階。
延伸基礎第 12 階 · 打折分數 · 懂的人可以跳到第 33 頁
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
每個對的都給分,但排越後面打越多折
百貨公司週年慶:第一件原價,第二件六三折,第三件五折……好東西放越前面,總價值越高。同樣是 3 件好東西,排的順序不同,總分就不同。
你猜猜看:同樣 3 張同款,排成 ✓✓✓✗✗ 和 ✗✗✓✓✓,打折後誰分數高?
前者 1 + 0.63 + 0.5 ≈ 2.13;後者 0.5 + 0.43 + 0.39 ≈ 1.32。Precision 分不出來的,打折分得出來。
每個對的位置算一次「準」再平均,叫 mAP;照 0–5 分打折加總、再除以最理想排法的總分,叫 nDCG(0 到 1)。
④ 跟這章的關係評估資料集剛好有 0–5 分(第 27 頁),所以原書最後選 nDCG(第 34 頁)。
原書mAP · Figure 2.16
mAP:每個對的位置都量一次準度
這一步要解決Precision@k 不看順序。那就在每個對的位置都算一次 precision,再平均。
📖 原書 mAP 先算每張清單的 average precision(AP),再把 AP 平均。AP:對一張 k 個項目的清單,在每個相關項目的位置 i 算 Precision@i,加起來除以相關項目的總數。相關的越集中在前面,AP 越高。
AP = Σ(第 i 個相關時的 Precision@i)÷ 相關項目總數
第 3 張清單:第 3 名 ✓ → P = 1/3;第 4 名 ✓ → P = 2/4。AP = (1/3 + 2/4) ÷ 2 ≈ 0.41。四張平均:(0.33 + 0.75 + 0.41 + 0) ÷ 4 ≈ 0.37。
📖 原書 因為把 precision 平均了,整張清單的排名品質有被考慮。但 mAP 是為二元相關性設計的:每個項目只有「相關/不相關」。如果相關性是連續的分數(像 0–5 分),nDCG 比較好。
原書nDCG · Figure 2.17、2.18 · 三步算完
nDCG:跟最理想的排法比,打幾分?
這一步要解決標準答案是 0–5 分,不是只有對錯。要一個能吃分數、又看名次的指標。
📖 原書 DCG:把每個項目的相關分數加起來,從上往下累加,排越後面的分數打越多折。nDCG:DCG 可能是任何數字,所以除以理想排法的 DCG(IDCG),變成有意義的分數。完美的排名系統,DCG = IDCG。
三步算完(照原書的數字)
- 算 DCG:模型排的分數是 0、5、1、4、2
0/1 + 5/1.585 + 1/2 + 4/2.322 + 2/2.585 = 6.151 - 算 IDCG:理想排法是 5、4、2、1、0
5/1 + 4/1.585 + 2/2 + 1/2.322 + 0/2.585 = 8.9543 - 相除
nDCG = 6.151 ÷ 8.9543 = 0.6869
分母 1、1.585、2、2.322、2.585 就是第 32 頁的折扣:除以 1.585 ≈ 打六三折。
📖 原書 nDCG 大多數時候都很好用;主要缺點是不一定拿得到 ground truth 的相關分數。本章的評估資料集有相似度分數,所以 offline 評估選 nDCG。
原書Online metrics
上線之後:使用者真的有找到喜歡的圖嗎?
這一步要解決考卷考得好,不代表真人用得開心。上線後要看使用者多快找到喜歡的圖。
📖 原書 Click-through rate(CTR)
CTR = 被點的圖數 ÷ 推薦出去的圖數
顯示的圖有多常被點。CTR 高代表使用者常點。搜尋和推薦系統很常用它當 online 指標,後面的章節會一直看到。
你猜猜看:小美這一週搜了 10 次,每次顯示 20 張,她總共點了 10 張。CTR?
顯示了 10 × 20 = 200 張,點了 10 張:10 ÷ 200 = 5%。
📖 原書 每天/每週/每月花在推薦圖上的平均時間
使用者對推薦結果有多投入。搜尋系統越準,這個數字應該越高。
本章的評估,整理一下
| 原書的選擇 | 理由 | |
|---|---|---|
| Offline | nDCG | 評估資料有 0–5 分,又看名次 |
| Online | CTR、停留時間 | 真人有沒有點、有沒有看 |
| 淘汰 | MRR、Recall@k、Precision@k、mAP | 只看第一個/分母太大/不看順序/只吃對錯 |
小結第 10–12 階:排得好不好
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
到這裡你已經會了
- 看名次:第一個對的排第幾MRR:取倒數再平均;盲點是後面的它不管(第 28 頁)
- 撈得準 vs 撈得全Precision@k 不看順序,Recall@k 分母可能大到沒意義(第 30 頁)
- 每個對的都給分,排後面打折mAP 只吃對錯;nDCG 吃 0–5 分,原書選它(第 32、34 頁)
小美的搜尋,現在可以打分數了
- Offline拿有 0–5 分的考卷,算 nDCG
- Online看她點不點(CTR)、看多久
- 還沒解決她的照片要跟 2,000 億個點比遠近
最後一階要解決:每次搜尋都跟 2,000 億個點一個一個比,要比多久?有沒有辦法只比一小部分,又找得夠準?
延伸基礎第 13 階 · 分區找 · 懂的人可以跳到第 38 頁
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
地圖上有 2,000 億個點,一定要每個都量一次距離嗎?
在 IKEA 找白色餐椅,你不會每一區都走一遍。先看指標「餐廳區」,再只在那一區裡慢慢挑。代價是:隔壁區的角落如果剛好有一張,你可能會錯過。
你猜猜看:100 個點分成 10 群、每群 10 個。先比 10 個群中心,再只比最近那群的 10 個點。總共比幾次?
10 個中心 + 10 個點 = 20 次,只有全部比的五分之一。資料越多,省得越多。
找地圖上最近的幾個點,叫 nearest neighbor search。只找「夠近」就好、換來很多速度,叫 ANN(approximate nearest neighbor)。
④ 跟這章的關係原書的 serving 用 ANN 找最像的 embedding(第 41–43 頁):tree、LSH、clustering 三類,都是在「分區」。
原書Serving · Figure 2.19
上線後的整套系統:兩條流水線
這一步要解決小美按下搜尋,到一排椅子出現,中間經過哪些服務?新上傳的圖,又怎麼變得搜得到?
Prediction pipeline(每次搜尋都走)
query image → 前處理 → embedding generation service 用訓練好的模型算 embedding → nearest neighbor service 去 index table 找最近的點 → re-ranking service 套商業規則 → similar images。第 39 頁。
Indexing pipeline(平時在背景做)
新圖片存進 object storage(存大量檔案的地方)→ indexing service 算出 embedding、放進 index table,讓它搜得到。第 40 頁。
原書Prediction pipeline · Figure 2.20、2.21 · 動手玩
小美按下搜尋之後:算點、找鄰居、再整理
這一步要解決找到最近的點還不夠:不當的、私人的、重複的圖,不能直接給小美看。
📖 原書 Embedding generation service:前處理 query image,用訓練好的模型算出 embedding。
📖 原書 Nearest neighbor service:給一個 query 點 q 和一群點 S,找出 S 裡最接近 q 的點。每個 embedding 都是 N 維空間的一個點,N 是 embedding 的長度。
📖 原書 Re-ranking service:動手玩
它負責商業邏輯與政策。勾選規則,看小美最後看到什麼。
你可能會想說,最近的點就是最好的答案啊?不一定。同一張商品照被十個賣家各上傳一次,前十名就全是同一張圖了。
原書Indexing pipeline · 動手算
2,000 億個點,放得下嗎?
這一步要解決所有圖都要先算好 embedding 放進 index table。新圖要加得進去,記憶體也要撐得住。
512 個數字、每個 4 bytes、64 bytes 的壓縮代號都是示意的常見設定,不是原書的數字。
📖 原書 Indexing service
- 平台上的所有圖片都由它建索引,讓搜尋變快
- 保持 index table 最新:創作者上傳新圖時,把新圖的 embedding 加進去,nearest neighbor search 才找得到它
📖 原書 代價:記憶體
把所有圖片的 embedding 存在 index table,會增加記憶體用量。可以用 vector quantization 和 product quantization 來省。白話:把一長串數字換成一個短短的「最像哪個代表點」的代號,查表時再還原個大概。
左邊拉到 2,000 億張:原樣存大約 400 TB,壓縮後大約 13 TB。差了 30 倍,就是「幾百台機器」和「幾十台機器」的差別。
原書Performance of NN algorithms · Exact vs ANN
全部比,還是找夠近的就好?
這一步要解決nearest neighbor search 是搜尋、推薦系統的核心元件,效率提升一點點,整體效能就差很多。面試官可能會要你深入講。
📖 原書 Exact nearest neighbor
又叫 linear search,最簡單:把整張 index table 掃一遍,算每個點跟 q 的距離,取最近的 k 個。時間複雜度 O(N × D):比的工作量跟「點數 N × 每個點的數字個數 D」成正比。N 動輒數十億的大系統,這太慢了。
📖 原書 Approximate nearest neighbor(ANN)
很多應用只要給使用者「夠像」的就好,不需要精確。ANN 用特殊的資料結構,把時間降到 sublinear(比 N 增加得慢很多),例如 O(D × log N);通常需要事先預處理或額外空間。三大類:tree-based、LSH-based、clustering-based。面試官通常不期待你懂每個細節,高層次理解就夠。
你猜猜看:小美搜一次,exact search 要量幾次距離?
平台上每張圖都要比一次,每次還要算 D 個數字。這只是「一個人搜一次」。
log N 是什麼?只要知道數量級
| 點數 N | 全部比(N) | log N 的量級 |
|---|---|---|
| 1,000 | 1,000 | 約 10 |
| 100 萬 | 100 萬 | 約 20 |
| 10 億 | 10 億 | 約 30 |
| 2,000 億 | 2,000 億 | 約 38 |
資料每多 1,000 倍,log 只多 10。這就是 sublinear。
原書Tree-based ANN · Figure 2.22、2.23 · 動手玩
Tree-based:一刀一刀把地圖切成小區
這一步要解決不想全部比,就先問幾個「是或否」的問題,把範圍縮到一小區。
📖 原書 樹的建法:一步步在每個節點加條件。例如 root 的條件可以是 gender === male,那 female 的點就屬於左子樹。非葉節點依條件把空間切成兩半;葉節點代表空間裡的一個區域。Figure 2.23 把空間分成 7 區,演算法只搜尋 query 所在的那一區。典型方法:R-trees、Kd-trees、Annoy(Approximate Nearest Neighbor Oh Yeah)。
點右邊的地圖放一個 q:左邊的樹會亮出它走的路,右邊只剩那一區要比。
原書LSH · Clustering-based · 選哪一個 · Figure 2.24
LSH 和 clustering:把相近的點丟進同一個桶
這一步要解決樹是用直線切。能不能直接讓「本來就靠近的點」被分在一起?
📖 原書 Locality sensitive hashing(LSH):用特別的 hash function(把資料丟進編號桶子的規則)降低點的維度、把點分進 bucket;這些函數會把彼此靠近的點映射到同一個 bucket。LSH 只搜尋跟 q 同一個 bucket 的點。
📖 原書 Clustering-based ANN
依相似度把點分群。群形成之後,只搜尋 query 所屬那一群裡的點。就是第 37 頁玩過的那個。
📖 原書 該用哪一個?
Exact 的結果保證準確:資料點有限、或一定要精確最近鄰時是好選擇;點數很大就跑不動。這時通常用 ANN:不一定回傳最精確的點,但找近的點有效率得多。以今天系統的資料量,ANN 比較務實,本章用 ANN 找相似的 image embedding。
📖 原書 Applied ML 的職位,面試官可能要你實作 ANN。兩個常用函式庫:Faiss(Meta)、ScaNN(Google),本章講的方法大多都支援。建議至少熟一個。
客座講評Triton 怎麼看「先算清楚 N」
但你的 N 真的是 2,000 億嗎?
「如果才 10000 個點 單純 2 層 for-loop , O(n^2) solution 吧 – 現實跑起來應該少於1秒」「如果 n > 1M 則肯定不能暴力解」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
「Bruteforce algorithm (暴力解法)也是算法的一種啊!」「N 很小時, O(n^2) / O(n^3) 也好 1ms 和 0.1ms 對用戶感覺是沒差別的」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
「對一個任意點 x ,我想知道在 10000 個點中,誰跟 x 最接近 暴力解法: O(m*n), m =你 query 的次數」「因為 m 可以很大,所以暴力解法不一定能接受」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
以每個 embedding 512 個數字、一台機器每秒約 1010 次乘加粗估(示意)。N 拉到最右邊就是原書的 2,000 億。
🔭 依 Triton 原則推論 Triton 沒有談過 visual search。這頁是把 064 的「先了解 N 和 m,再選演算法」套進來:原書的 2,000 億一定要 ANN;但如果你做的是一家 2,000 件商品的家具店,exact search 一次不到 1 毫秒,多一套 ANN 只是多一份要維護的東西。
客座講評Triton 的 geohash,和 ANN 是同一個想法
先分格,只查自己那格和隔壁幾格
「簡單來說:這是把地球坐標轉成 string 的 encoding」「你可以想像: 每一個 geohash 都是一個長方形」「在一個長方形內的點,其最近鄰居一定是…… – 在同一長方形內,或在鄰近八個長方形內」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
「Geohash 有現有 library ,不用自己來寫」「如果你用 postgresql 使用 postGIS 套件,以上的都不用自己來寫,有 人替你寫好了」「管理系統中的 tech debt ,在 N 變大時換上更好解法」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
🔭 依 Triton 原則推論 跟原書一致的地方:原書也叫你用 Faiss、ScaNN,不要自己寫 ANN。跟原書互補的地方:先用 exact search 上線、寫清楚用了哪種解法,等 N 真的變大再換 ANN。
為什麼 embedding 不能直接用 geohash?
你猜猜看:平面上一格的鄰居有 8 格。如果是立體的方塊,一格有幾個鄰居?
3 × 3 × 3 = 27,扣掉自己 = 26。平面是 3 × 3 − 1 = 8,就是 Triton 說的八個。
🔭 推論 地球座標只有 2 個數字,查 8 個鄰居很便宜。embedding 有幾百個數字,鄰居格數是天文數字。所以 ANN 改成照資料的形狀分群(clustering)或隨機切幾刀(LSH),想法還是 geohash 那一套:先分格,只查附近。
原書Other Talking Points
面試還有時間,可能會被問到這些
📖 原書 資深職位要準備的主題
- 辨識並擋掉不當圖片的 content moderation
- 系統裡的各種 bias,例如 positional bias(排越前面越容易被點)
- 用 tag 等 image metadata 改善搜尋結果(原書說在第 3 章 Google Street View Blurring System 有介紹)
- 用 object detection(在圖上框出物體)做 smart crop
- 用 graph neural network 學更好的 representation
- 支援用文字查詢搜圖(第 4 章)
- 用 active learning 或 human-in-the-loop 讓標註更有效率
會被問到哪些,看面試官偏好、你的專長和職位需求。
每一題回到今天的哪一頁
- content moderation → 第 39 頁 re-ranking 的「過濾不當內容」;需求頁說這不在範圍內(第 5 頁)
- positional bias → 第 35 頁:CTR 會被名次影響;也是第 21 頁「點擊很 noisy」的原因之一
- image metadata → 第 12 頁的 Table 2.1;需求頁假設只用像素
- smart crop → 第 5 頁「使用者框出一塊來搜」的需求,自動幫使用者框
- graph neural network → 第 15 頁換一種模型來產生 embedding
- 文字查詢 → 第 47 頁:文字和圖片放在同一張地圖
- active learning、human-in-the-loop → 第 21 頁:讓人只標最有幫助、最不確定的那些
📅 2026 補充方法怎麼演進
原書之後,這幾個零件換了做法
這一步要解決原書之後,這些零件的做法往哪裡演進?
Encoder:先拿別人練好的大模型
原書提到可以 fine-tune 預訓練的 contrastive 模型。後來這幾乎成了預設:用大量圖文配對做 contrastive 訓練的 CLIP 類模型,或用 self-supervision 訓練的大型 ViT(例如 DINOv2),直接當 embedding 模型,再視需要微調。原書第 15 頁說「比較新的 ViT」,現在已是主流選項之一。
文字搜圖:同一張地圖
原書把「用文字搜圖」放在 Other Talking Points。CLIP 類模型把文字和圖片放進同一個 embedding space,打「白色塑膠餐椅」就能直接找附近的圖片點。同一套 nearest neighbor 流程不用改。
ANN:graph-based 成了常見預設
原書列了 tree、LSH、clustering 三類。後來 graph-based 的 HNSW(把點連成好幾層的鄰居網,從粗的上層一路走到細的下層)被大量採用:Faiss 有支援,PostgreSQL 的 pgvector 擴充也有 HNSW 索引。
省記憶體:量化還在,而且更多種
原書的 product quantization 仍然是主力(例如 Faiss 的 IVF-PQ:先分群、群裡再壓縮)。現在也常見把每個數字從 4 bytes 壓到 1 byte 甚至 1 bit,先用壓縮版粗找,再用原始數字重新排前幾名。
回顧13 階全部爬完
- 像素
- 座標
- 比遠近
- 小放大鏡
- 調旋鈕
- 找同一張
- 自己出題
- 變百分比
- 驚訝分數
- 看名次
- 準與全
- 打折分數
- 分區找
Visual search 其實就是在地圖上找鄰居而已。
圖怎麼變成點
照片是一張數字表(pixel)→ 前處理 → CNN 用小放大鏡一層層看 → 濃縮成一組數字(embedding),像的圖站得近。
怎麼學會放點
contrastive training:自己幫照片變裝出題,同款拉近、路人推遠;相似度 → softmax → cross-entropy 就是 loss。
怎麼打分數
MRR 只看第一個、Precision 不看順序、Recall 分母太大、mAP 只吃對錯;原書 offline 用 nDCG,online 看 CTR 和停留時間。
怎麼找得快
背景先把所有圖算好 embedding 放進 index;搜尋時只算小美那一張,用 ANN 分區找鄰居,再 re-rank。但先問自己:N 到底多大?
把圖變成點,找最近的幾個點,排好給她看。然後呢?然後就結束了。
名詞小卡課後複習用 · 每個詞一行白話
本章名詞小卡
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| pixel、RGB | 照片的一小格;每格有紅綠藍三個 0–255 的亮度 | 第 6 頁 |
| embedding | 代表一張圖的一組數字,地圖上的一個點 | 第 7 頁 |
| embedding space | 放這些點的地圖;像的圖站得近 | 第 10 頁 |
| dot product | 對應的數字相乘再加起來 | 第 8 頁 |
| cosine similarity | 只看兩支箭頭的夾角,1 最像 | 第 8 頁 |
| Euclidean distance | 兩個點的直線距離 | 第 8 頁 |
| ranking problem | 把一堆東西照相關程度排名次 | 第 9 頁 |
| representation learning | 讓模型自己學會把資料變成好用的 embedding | 第 10 頁 |
| preprocessing | 縮成固定大小、除以 255、減平均除標準差 | 第 13 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| CNN、filter | 拿同一支小放大鏡掃全圖,一層層找線索 | 第 14 頁 |
| ResNet、ViT | 兩種常用的看圖模型;ViT 把圖切成小塊來讀 | 第 15 頁 |
| hyperparameter | 訓練前由人決定的設定,例如層數、embedding 長度 | 第 15 頁 |
| parameter、loss | 模型裡的旋鈕;離目標多遠 | 第 16 頁 |
| contrastive training | 練「找同一張」:同款拉近、路人推遠 | 第 17 頁 |
| positive、negative | 考題裡的同款;不相干的路人 | 第 18 頁 |
| data augmentation | 幫照片變裝:轉、翻、裁、調色 | 第 20 頁 |
| self-supervision | 答案由資料自己產生,不用人標 | 第 21 頁 |
| softmax | 把一排分數變成加起來 100% 的機率 | 第 22 頁 |
| cross-entropy | 驚訝分數:同款拿到的機率越小,罰越重 | 第 23 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| MRR | 第一個對的排第幾,取倒數再平均 | 第 28 頁 |
| Precision@k | 前 k 名裡幾成是對的(準) | 第 30 頁 |
| Recall@k | 所有對的裡面撈到幾成(全) | 第 30 頁 |
| mAP | 每個對的位置算一次準度,再平均;只吃對錯 | 第 33 頁 |
| nDCG | 照分數打折加總,除以最理想的總分 | 第 34 頁 |
| CTR | 顯示出去的圖,被點的比例 | 第 35 頁 |
| offline / online | 上線前用考卷考/上線後看真人 | 第 27 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| nearest neighbor search | 在地圖上找最近的幾個點 | 第 37 頁 |
| exact / linear search | 每個點都量一次,保證準但慢 | 第 41 頁 |
| ANN | 只找夠近的,用一點準度換很多速度 | 第 37 頁 |
| tree / LSH / clustering | 一刀刀切區/相近的丟同一桶/照形狀分群 | 第 42–43 頁 |
| index table | 事先算好、存好所有圖的 embedding | 第 40 頁 |
| product quantization | 把一長串數字壓成短代號,省記憶體 | 第 40 頁 |
| re-ranking | 找完鄰居後,套商業規則重排、過濾 | 第 39 頁 |
| Faiss、ScaNN | 現成的 ANN 函式庫,不用自己寫 | 第 43 頁 |
忘了哪個詞,就回到右邊那一頁,四步再走一次。
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Machine Learning System Design Interview · Visual Search System 章(第 2 章)。開場與 Figure 2.1(第 2 頁)、第 1 章框架與 Figure 1.2(4)、Clarifying Requirements(5)、ML objective、input/output、ranking 與 Figure 2.2(9)、representation learning 與 Figure 2.3–2.4(10)、data engineering 與 Table 2.1–2.3(12)、feature engineering(13)、model selection 與 Figure 2.5(15)、contrastive training、constructing the dataset 與 Figure 2.6–2.7(18)、三種 positive 與 Figure 2.8(21)、loss 與 Figure 2.9–2.10(24)、簡化 contrastive loss、pre-trained 與 Figure 2.11(25)、評估資料集與 Figure 2.12(27)、MRR 與 Figure 2.13–2.14(29)、recall@k、precision@k 與 Figure 2.15(31)、mAP 與 Figure 2.16(33)、nDCG 與 Figure 2.17–2.18(34)、online metrics(35)、serving 與 Figure 2.19(38)、prediction pipeline 與 Figure 2.20–2.21(39)、indexing pipeline(40)、exact vs ANN(41)、tree-based 與 Figure 2.22–2.23(42)、LSH、clustering、選擇與函式庫、Figure 2.24(43)、Other Talking Points(46)。24 張圖與第 1 章 Figure 1.2 依圖說與描述重繪,不是原圖;Figure 2.1 產品截圖改線框圖、不畫 logo;Figure 2.13、2.16 的 ✓ 位置依原書數字反推;Figure 2.14 依內文修正描述的矛盾
本簡報加的頁面:概念階梯(3)、13 個延伸基礎(6、7、8、14、16、17、20、22、23、28、30、32、37)、小結(11、19、26、36)、客座講評(44、45)、2026 補充(47)、名詞小卡(49)。小美、8 件商品、所有座標與分數都是示意
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 3 講:解剖大型語言模型 — Token Embedding 相近(Apple / Orange / Banana)、cosine similarity 最大是 1、softmax 兩步驟
- 同 · 第 5 講 — 參數、gradient descent「往左右各踏一小步」、餓狼下坡
- 同 · 第 6 講:訓練類神經網路的各種訣竅 — 彩色圖是三張圖疊在一起、CNN 的 receptive field 與參數共享(鳥嘴)、CNN 是 fully connected 的簡化、pre-train 大絕招、旋轉圖片的 pretext task、softmax 與 cross-entropy
來源:.claude/skills/hung-yi-lee 的 raw/youtube/transcripts/(8iFvM7WUUs8、Taj1eHmZyWw、mPWvAN4hzzY);受李宏毅教學風格啟發,非本人。contrastive、ranking 指標、ANN 沒有對應逐字稿,依標準定義
🗣️ Triton 與 📅 依據
- 064-introToAlgorithm.pdf.md — 1 萬點暴力解少於 1 秒、n > 1M 不能暴力、暴力解也是算法、O(m*n)、geohash 八鄰格、postGIS、tech debt
- 📅 CLIP(2021)、DINOv2(2023);HNSW(Faiss、pgvector 0.5.0 起);IVF-PQ、scalar / binary quantization
公式(主文用文字講過)
- loss = −log( exp(Eq·Ep) ÷ Σj exp(Eq·Ej) )(softmax + cross-entropy;SimCLR 另加 L2 normalize 與 temperature)
- MRR = (1/m) Σ 1/ranki;precision@k = rel@k ÷ k;recall@k = rel@k ÷ total rel
- AP = Σi∈rel P@i ÷ |rel|;mAP = mean(AP)
- DCGp = Σ reli ÷ log2(i+1);nDCG = DCG ÷ IDCG
- CTR = clicks ÷ impressions;exact O(N×D),ANN 例如 O(D×log N)