ML System Design · 第 4 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(只有搜尋 infra 的兩張客座卡)
YouTube 影片搜尋
其實就是:把句子和影片放上同一張地圖,再找離得最近的而已
你在搜尋框打「貓咪彈鋼琴」,一秒內跳出一排影片。可是有一支影片標題只寫 IMG_0423.mp4,它憑什麼被找到?原書用這個題目,講兩條搜尋的路:看字,和看畫面。
今天的路線
需求 → 一邊爬 12 階基礎、一邊對照原書(第 4 頁的階梯):怎麼比像不像 → 句子和影片怎麼變數字 → 怎麼教會它 → 怎麼打分數 → 怎麼上線 → Triton 客座 → 2026 年的變化。全程只用同一句搜尋。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 📝 上課筆記 🔭 依 Triton 原則推論 延伸基礎
標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。
先講跟你有關的動手玩 · 你來當搜尋引擎
只看標題,你找得到「貓咪彈鋼琴」嗎?
平台上有 5 支影片。先按「只看標題找」。
你可能會想說,搜尋不就是比對字嗎?標題有 cat、有 piano 就找出來嘛。可是你看 D:它的畫面真的是一隻貓在彈鋼琴,標題卻只有 IMG_0423.mp4。
還有 A:標題寫 kitty,不是 cat。字不一樣,意思一樣。只會比字的搜尋,兩個都會漏掉或排錯。
今天整堂課只在回答三個問題:怎麼看懂畫面?(模型)怎麼教它看懂?(訓練)怎麼在 10 億支影片裡一秒找完?(系統)
原書Introduction · Figure 4.1
原書的開場:影片多到數十億支,要一下子找到相關的
📖 原書 題目從哪裡來
在 YouTube 這類影片分享平台,影片數量很快就會長到數十億支。這一章要設計一套能有效處理這種量的影片搜尋系統:使用者在搜尋框輸入文字,系統顯示跟這段文字最相關的影片。
原書這一章的路線
- Clarifying requirements(第 5 頁)
- Frame the problem as an ML task(第 8–11 頁)
- Data preparation(第 13–18 頁)
- Model development(第 19–27 頁)
- Evaluation(第 29–32 頁)
- Serving(第 35–39 頁)
- Other talking points(第 42 頁)
「你可以想像說在 YouTube 上有非常大量的聲音訊號 我們有沒有辦法直接搜尋聲音訊號的內容」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 10 講(講他博士論文的 Spoken Content Retrieval)
學習地圖今天要爬的 12 階 · 每一階只用前面學過的東西
一階一階往上爬,不跳階
- 1一組數字影片怎麼變成地圖上的一點?
- 2比方向兩點多像,怎麼量?
- 3書後索引只看字,怎麼找得快?
- 4切字編號句子怎麼變數字?
- 5抽幾格影片怎麼變數字?
- 6看上下文同一個字,意思會變?
- 7配對題要練什麼題目?
- 8驚訝分數配錯要罰多重?
- 9前 k 名有沒有擠進第一頁?
- 10第一個對的排第幾名?
- 11大概找10 億支怎麼一秒找完?
- 12合併名單兩張榜單怎麼變一張?
怎麼比像不像 句子和影片怎麼變數字 怎麼教會它 怎麼打分數 怎麼上線 英文名字等爬到那一階才給。
整堂課只用一句搜尋
Cat playing piano!(貓咪彈鋼琴),和第 2 頁的 5 支影片 A–E。正確答案是 D。數字小到可以心算。
每一階都走四步
① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。按 → 一步一步出現。
每爬幾階就停一下
「到這裡你已經會了」:第 12、24、33 頁。最後還有名詞小卡(第 45 頁)。
原書Clarifying Requirements
原書的題目:輸入一句話,輸出一排相關影片
這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 查詢只能打字嗎?還是可以用圖片或影片搜尋? | 只有文字查詢 |
| 平台上只有影片嗎?圖片、音檔呢? | 平台只提供影片 |
| YouTube 的搜尋非常複雜。可以假設相關性只看影片的畫面內容和它的文字資料(標題、描述)嗎? | 可以,這是合理的假設 |
| 有訓練資料嗎? | 有,假設有一千萬對〈video, text query〉 |
| 要支援其他語言嗎? | 為了簡單,假設只支援英文 |
| 平台上有多少影片? | 十億支 |
| 要個人化嗎?不同使用者依過去的互動排不同順序? | 推薦系統一定要個人化,搜尋系統不一定。為了簡化,假設不需要個人化 |
📖 原書 整理成一句話
- 做什麼:設計一個影片搜尋系統
- 輸入:一句文字查詢;輸出:跟它相關的影片清單
- 靠什麼判斷:影片的畫面內容 + 文字資料
- 資料:一千萬對〈video, text query〉拿來訓練
你想想看,「十億支影片」和「一千萬對資料」這兩個數字,一個決定了要找得快(第 34 頁),一個決定了可以拿來練模型(第 25 頁)。
延伸基礎第 1 階 · 一組數字 · 懂的人可以跳到第 8 頁
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
一支影片,可以只用兩個數字描述嗎?
朋友問你一部電影怎樣。你說:「好笑 9 分、恐怖 1 分。」兩個數字,他大概就懂了。每部電影都能這樣打兩個分數。
你猜猜看:「好笑 9、恐怖 1」的電影,跟哪一部最像?
兩個分數都只差 1,畫在紙上就是兩個挨在一起的點。數字像,東西就像。
描述一個東西的「一組數字」叫 embedding(也叫向量)。把影片變成 embedding 的機器,叫 encoder。
「所以一段聲音訊號本來非常的複雜 它甚至長短是不一的 但我們就把它變成一個向量」🎓 李宏毅課堂 導論 2025 · 第 10 講
④ 跟這章的關係原書的模型就是兩台 encoder:一台把影片變成一組數字,一台把搜尋句變成一組數字(第 9 頁)。
延伸基礎第 2 階 · 比方向 · 懂的人可以跳到第 8 頁
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
兩組數字有多像,怎麼算成一個分數?
你和朋友在路口各伸手指路。手臂長短不重要,重要的是指的方向。兩隻手指同一邊,就是想去同一個地方。
你猜猜看:兩支箭頭夾成直角(90 度),「像不像」的分數是多少?
同方向是 1、直角是 0、反方向是 −1。右邊轉轉看搜尋句的箭頭。
看夾角大小的分數叫 cosine similarity。算法是「對應的數字相乘再加起來」,叫 dot product;箭頭長度都調成 1 時,兩個一樣。
「cosine similarity 算出來就是 1,最大就是 1。」🎓 李宏毅課堂 導論 2025 · 第 3 講(比較兩組一模一樣的數字)
④ 跟這章的關係原書就是算搜尋句和每支影片的 dot product,再由高到低排(第 9 頁)。
原書Frame the Problem as an ML Task · Figure 4.2、4.3
變成 ML 任務:依「跟這句話多相關」排影片
這一步要解決「找到相關的影片」要變成 ML(機器學習)題目:目標是什麼、輸入輸出是什麼、用哪一類方法?
📖 原書 ML objective
使用者期待搜尋給出相關、有用的結果。換成 ML 目標:依影片跟文字查詢的相關性,把影片排序。
📖 原書 Input / Output
輸入一句文字查詢,輸出一排依相關性排好的影片清單。
📖 原書 選哪一類方法
判斷相關性要同時用畫面內容和文字資料,所以拆成兩條路(Figure 4.3):
- Visual search:看畫面,下一頁
- Text search:看標題、描述、標籤,第 11 頁
- 兩邊的結果再交給 fusing(融合)合成一張榜,第 38 頁
原書Visual search · Representation learning · Figure 4.4
第一條路:句子一台 encoder、影片一台 encoder,再比分數
這一步要解決影片沒寫標題也要找得到。怎麼直接拿「畫面」跟一句話比?
📖 原書 處理影片畫面最常用的做法叫 representation learning(白話:學一種好的「一組數字」表示法)。文字查詢和影片分開用兩台 encoder 編碼:
- video encoder:影片 → video embedding
- text encoder:文字 → text embedding
- 兩者的相似度分數,用它們的 dot product 算
📖 原書 排序時,在 embedding 空間裡算文字跟每一支影片的 dot product,再依分數排。
「接下來我們比較這個 Spoken Query 的向量 跟我們資料庫裡面 每小段聲音訊號向量之間的相似度 就可以得到搜尋的結果 那比對向量跟向量之間的相似度 是可以做很快的」🎓 李宏毅課堂 導論 2025 · 第 10 講(語音搜尋語音,同一個想法)
延伸基礎第 3 階 · 書後索引 · 懂的人可以跳到第 11 頁
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
只看字的話,怎麼不用一頁一頁翻?
課本最後面有一份「索引」:「光合作用 …… p.12、p.48」。照字找頁碼,一翻就到,不用從第一頁讀起。
你猜猜看:課本 300 頁,想找「光合作用」。沒有索引最多要翻幾頁?有索引呢?
索引是事先整理好的「字 → 頁碼」清單。整理一次,之後每次查都很快。
「字 → 有這個字的影片」的清單,叫 inverted index(倒排索引)。最常見的現成搜尋軟體叫 Elasticsearch。
「一種是字面上的比對 就如果說這兩段文字 也就是關鍵字 跟這段文字的內容越像 這個關鍵字呢 出現在這一個 chunk 裡面越多次 分數就越高」🎓 李宏毅課堂 解剖小龍蝦 — 以 OpenClaw 為例介紹 AI Agent 的運作原理(chunk:一小段文字)
結果(中幾個字)
④ 跟這章的關係原書的第二條路 text search 就是查這種索引。它不是 ML,所以不用訓練(第 11 頁)。
原書Text search · Figure 4.5
第二條路:比標題、描述、標籤
這一步要解決使用者打的字,常常就寫在標題或標籤裡。這條老路怎麼走?
📖 原書 怎麼運作
使用者輸入「dogs playing indoor」,輸出的是標題、描述或標籤跟查詢最相似的影片。Figure 4.5 的結果是 Video ID 1 和 6。
📖 原書 用什麼做
- 常用 inverted index,能在資料庫裡有效率地做全文搜尋
- 倒排索引不是 ML,所以沒有訓練成本
- 很多公司常用 Elasticsearch:可擴展的搜尋引擎和文件儲存系統(原書附了它的 query DSL 教學連結)
兩條路各有盲點:看字的會漏掉 D(沒標題),看畫面的可能看不懂「教學」「第 1 集」這種只寫在標題的資訊。所以原書兩條都要,最後再合併。
小結第 1–3 階:怎麼比像不像
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
到這裡你已經會了
- 影片和句子都可以變成一組數字embedding:地圖上的一個點,意思近就坐得近(第 6 頁)
- 像不像,看箭頭的方向cosine similarity/dot product:同方向 1、直角 0(第 7 頁)
- 只看字,就查書後索引inverted index:字 → 影片清單,不用訓練(第 10 頁)
「Cat playing piano!」現在走到哪裡
- 看畫面句子 → (0.6, 0.8),跟 D 方向一樣,分數 1.00;A 0.96、C 0.80、B 0.60、E 0.28
- 看字查索引:A 中 2 個字、B/C/E 各中 1 個、D 找不到
- 還不會句子怎麼「真的」變成那兩個數字?影片呢?兩張榜單怎麼合併?
所有數字都是示意。
下一階要解決:電腦只吃數字。「Cat playing piano!」這串字母,和一支幾分鐘的影片,到底怎麼變成數字?怎麼辦呢?
原書Data Preparation · Data engineering · Table 4.1
資料已經標好了,接下來是把它變成數字
這一步要解決訓練資料長什麼樣?模型又只吃數字,要先做什麼?
📖 原書 Table 4.1 標註好的資料集
| Video name | Query | Split type |
|---|---|---|
| 76134.mp4 | Kids swimming in a pool! | Training |
| 92167.mp4 | Celebrating graduation | Training |
| 2867.mp4 | A group of teenagers playing soccer | Validation |
| 28543.mp4 | How Tensorboard works | Validation |
| 70310.mp4 | Road trip in winter | Test |
📖 原書 Data engineering:既然已經拿到標註好的資料集,就不需要另外做資料工程。每一筆是一支影片配一句查詢,並分好 Training/Validation/Test(練習用、調整用、期末考用)。
📖 原書 Feature engineering
幾乎所有 ML 演算法只接受數字輸入。文字和影片這種非結構化資料(不是整齊表格的資料),要在這一步轉成數字表示。原書分兩半講:
- 準備文字:正規化 → 切 token → 換成 ID(第 15–16 頁)
- 準備影片:解碼 → 抽幀 → 縮放、正規化(第 18 頁)
我們的〈D, Cat playing piano〉也可以想成表裡的一列。注意:一句查詢只配一支影片。這個小細節,到了打分數那一段會變成大問題(第 29 頁)。
延伸基礎第 4 階 · 切字編號 · 懂的人可以跳到第 15 頁
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
「Cat」「cats」「CAT!」,電腦知道是同一個字嗎?
點飲料寫「大杯冰拿鐵少冰」或「冰拿鐵 少冰 大杯」,店員都懂。電腦比較死板:要先把寫法統一,再切成一個個詞,最後換成號碼。
你猜猜看:什麼都不整理的話,「Cat」「cats」「CAT!」在電腦眼中是幾個不同的字?
大寫、複數、驚嘆號,每個都讓字串不一樣。所以要先整理:轉小寫、去標點、還原成 cat。
切成一個個詞叫 tokenization,每塊叫 token。不查字典、直接用一條公式算出號碼,叫 hashing。
「輸入的句子會先經過 Tokenization,被切成一個一個 Token,那每一個 Token 會對應到一個編號,對應到一個 ID。」🎓 李宏毅課堂 導論 2025 · 第 3 講
④ 跟這章的關係原書準備文字就是這三步:正規化 → tokenization → 換成 ID(第 15、16 頁)。
原書Preparing text data · Figure 4.6
準備文字:正規化、切 token、換 ID
這一步要解決同一個意思有很多寫法,句子還要變成一串數字。
📖 原書 Tokenization 三種
- Word:依分隔符號切成單字,「I have an interview tomorrow」→ ["I", "have", "an", "interview", "tomorrow"]
- Subword:切成 subword(或 n-gram 字元,也就是連續幾個字母)
- Character:切成一個個字元
各種 tokenization 演算法的細節,通常不是 ML 系統設計面試的重點。
📖 原書 Text normalization(又叫 text cleanup)
確保字和句子一致。「dog」「dogs」「DOG!」指同一個東西;「A person walking with his dog in Montréal !」和「a person walks with his dog, in Montreal.」意思一樣,只差標點和動詞形式。常見方法:
- Lowercasing:全部轉小寫,不改變意思
- Punctuation removal:拿掉句號、逗號、問號、驚嘆號等
- Trim whitespaces:修掉前後和重複的空白
- NFKD(Normalization Form KD):把組合起來的字形拆成簡單字形的組合
- Strip accents:拿掉重音符號,Màlaga → Malaga、Noël → Noel
- Lemmatization and stemming:一組相關字形找一個代表,walking、walks、walked → walk
我們的例子:Cat playing piano! → 轉小寫、去驚嘆號、playing 還原成 play → cat play piano。
原書Tokens to IDs · Figure 4.7、4.8 · Table 4.2
token 換成號碼:查字典,還是用公式算?
這一步要解決切好的 token 要變成整數 ID。兩種做法,各有代價。
📖 原書 Lookup table:每個不重複的 token 對應一個 ID,存成 1:1 的對照表。Hashing(又叫 feature hashing、hashing trick):用 hash function 算出 ID,不用存對照表,很省記憶體。
📖 原書 Table 4.2 Lookup table vs. feature hashing
| Lookup table | Hashing | |
|---|---|---|
| Speed | ✓ token 換 ID 很快 | ✘ 要先算 hash function |
| ID to token | ✓ 用反向表就能從 ID 換回 token | ✘ 沒辦法從 ID 換回 token |
| Memory | ✘ 表放在記憶體裡,token 越多越吃記憶體 | ✓ 一個 hash function 就能換任何 token |
| Unseen tokens | ✘ 新的、沒看過的字處理不好 | ✓ 任何字套公式就有 ID |
| Collisions | ✓ 沒有撞號問題 | ✘ 撞號是潛在問題 |
第 14 頁的 cat 和 act 撞到同一個號碼,就是表裡最後一列。ukulele 查不到字典,就是 Unseen tokens 那一列。
延伸基礎第 5 階 · 抽幾格 · 懂的人可以跳到第 18 頁
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
一支影片有幾萬張圖,每張都要看嗎?
翻過手翻書嗎?一張一張畫快速翻過去,就變成動畫。想知道這本在畫什麼,不用每張都看,隨手翻幾張就懂了。
你猜猜看:10 分鐘的影片,每秒 30 張圖,總共幾張?
10 分鐘 = 600 秒,600 × 30 = 18,000 張。一秒抽 1 張,就只剩 600 張要看。
影片裡的每一張圖叫 frame(幀)。抽幾張出來各自變成一組數字,再平均起來,叫 aggregation。
「其實影片就是一連串的圖片 …… 在影片裡面的每一張圖片 有一個專有名詞叫做 Frame 如果是翻成中文的話 通常就翻成幀」🎓 李宏毅課堂 導論 2025 · 第 9 講
④ 跟這章的關係原書影片前處理會抽幀(第 18 頁),video encoder 選的也是「每格各算、再平均」(第 23 頁)。
原書Preparing video data · Figure 4.9
準備影片:解碼、抽幀、縮放、正規化
這一步要解決原始影片檔不能直接餵給模型,要先變成一疊整齊的圖片數字。
📖 原書 Figure 4.9 是原始影片前處理的典型流程(例子是一支柯基犬在跑的影片):
- Decode frames:把影片檔解開成一張張 frame
- Sampling frames:從裡面抽一部分(第 17 頁)
- Resizing:縮成比較小、一樣大的尺寸
- Scaling, normalizing, and correcting color mode:把每格數字調到一致的範圍、統一顏色格式
- 存成一個 NumPy 陣列檔
frames.npy(一疊數字的檔案)
白話:不管原本是手機直拍還是 4K 橫拍,進模型前都變成「一樣多張、一樣大小、一樣色彩格式」的一疊數字。
原書Model selection · Text encoder · 統計方法 · Figure 4.10、4.11
Text encoder 第一種做法:數字數就好
這一步要解決一句話要變成一組數字,而且意思近的句子,數字也要近。最直覺的做法是什麼?
📖 原書 Figure 4.11 不同句子的 BoW 表示
| best | holiday | is | nice | person | this | today | trip | very | with | |
|---|---|---|---|---|---|---|---|---|---|---|
| this person is nice very nice | 0 | 0 | 1 | 2 | 1 | 1 | 0 | 0 | 1 | 0 |
| today is holiday | 0 | 1 | 1 | 0 | 0 | 0 | 1 | 0 | 0 | 0 |
| this trip with best person is best | 2 | 0 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 1 |
原書這張 Figure 是表格,所以直接排成表。
📖 原書 text encoder 把文字變成向量,意思相近的句子 embedding 也比較像。做法分兩大類:統計方法和 ML 方法(下一頁)。
BoW(Bag of Words,詞袋)
句子變成固定長度的向量:每一列是一句、每一欄是一個字,格子裡是出現次數。簡單、算得快,但:
- 不管順序:「let's watch TV after work」和「let's work after watch TV」一模一樣
- 抓不到語意:意思一樣、用字不同的兩句,表示完全不同
- 很稀疏:長度 = 所有不重複 token 的數量,通常很大,幾乎都是 0
TF-IDF
一樣的句子 × 字的表,但依字的頻率做正規化:常見的字給低權重,所以通常比 BoW 好。限制:加新句子要重算詞頻、不管順序、抓不到語意、一樣很稀疏。
小結:統計方法通常很快,但抓不到上下文的意思、表示又稀疏。ML 方法解決這些問題。
延伸基礎第 6 階 · 看上下文 · 懂的人可以跳到第 21 頁
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
同一個 play,中文要翻成什麼?
play piano 是「彈」鋼琴,play soccer 是「踢」足球,play the video 是「播放」影片。同一個字,要看旁邊的字才知道意思。
你猜猜看:「Cat playing piano」裡的 play,該翻成?
旁邊是 piano,所以是「彈」。人一看就懂,因為我們會看上下文。查字典式的做法不會。
每個字一個固定座標的做法,例如 word2vec。會看上下文、同一個字給不同座標的,是 Transformer 這類模型。
「同樣是 Apple 這個 Token 如果根據上下文指的是蘋果電腦的那個 Apple 跟根據上下文指的是可以吃的那個 Apple 它們的 Contextualized Embedding 就會有顯著的差距」🎓 李宏毅課堂 導論 2025 · 第 3 講
④ 跟這章的關係原書比較了三種 ML 做法,最後選會看上下文的 Transformer(BERT)當 text encoder(第 22 頁)。
原書Text encoder · ML-based methods · Figure 4.12、4.13
Text encoder 第二種做法:讓模型學座標
這一步要解決數字數的做法看不懂 rich 和 wealth 是同一類意思。怎麼讓「意思近 = 座標近」?
📖 原書 ML 方法讓模型把句子變成有意義的 embedding:兩個 embedding 的距離,反映對應的字在語意上多像。例如 rich 和 wealth 意思近,embedding 空間裡就靠得近;Figure 4.12 裡相似的字聚成一群。
📖 原書 三種常見的 ML 做法
- Embedding (lookup) layer:這一頁
- Word2vec:下一頁
- Transformer-based:下一頁
Embedding (lookup) layer
用一層 embedding layer,把每個 ID 對應到一個 embedding 向量(Figure 4.13)。把 ID 這類稀疏特徵(幾萬格裡只有一格有值)換成固定長度的 embedding,簡單又有效。原書說後面幾章會一直看到它。
原書Word2vec · Transformer-based · Figure 4.14、4.15
從「猜中間的字」到「看整句話」:原書選 BERT
這一步要解決座標要從哪裡學?學出來之後,能不能看上下文?
📖 原書 Word2vec
一系列產生詞 embedding 的模型。用淺層神經網路,靠「字在附近一起出現」來學:訓練時學著從周圍的字猜中間的字。練完就能把字換成有意義的 embedding。兩個主要模型:CBOW 和 Skip-gram(Figure 4.14 是 CBOW)。
📖 原書 Transformer-based
word2vec 和 embedding layer 簡單有效,但近年的 Transformer 架構表現更好。它轉 embedding 時考慮句子裡的上下文,同一個字在不同句子裡會得到不同的 embedding(Figure 4.15:一句話進去,每個字各出一個 embedding)。BERT、GPT3、BLOOM 都展示了 Transformer 在各種 NLP(自然語言處理)任務的潛力。
📖 原書的選擇 用 BERT 這類 Transformer 架構當 text encoder。有些面試官會要你深入講 Transformer 細節,原書附了從零實作的教學連結。
原書Video encoder · Figure 4.16、4.17
Video encoder:整支一起看,還是一格一格看?
這一步要解決影片也要變成一組數字。整支丟進去最完整,但算得完嗎?
📖 原書 Video-level models
處理整支影片產生一個 embedding。架構通常是 3D convolution(連時間一起掃的小放大鏡)或 Transformer。因為整支都要處理,計算很貴。
📖 原書 Frame-level models
- 前處理影片、抽幀
- 每個抽出的 frame 跑模型,得到 frame embedding
- 聚合(例如平均)成 video embedding
通常比較快、比較省。但看不懂時間:動作、運動(第 17 頁的「倒著播」)。實務上,只要不太需要理解時間,多半選 frame-level。
📖 原書的選擇 用 ViT(Vision Transformer,看圖片的 Transformer)這類 frame-level 模型,兩個理由:① 訓練和上線更快 ② 計算量更少。
小結第 4–6 階:句子和影片怎麼變數字
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
到這裡你已經會了
- 句子先整理、切詞、換號碼normalization、tokenization、lookup table 或 hashing(第 14 頁)
- 影片抽幾格,各算一組數字再平均frame、aggregation:省很多,但分不出先後(第 17 頁)
- 同一個字要看上下文word2vec 一字一座標;Transformer 看整句(第 20 頁)
「Cat playing piano!」現在走到哪裡
- 整理catplaypiano
- 換號碼#2 #5 #6(示範字典)
- text encoderBERT 看整句:play 是「彈」→ 一組數字 (0.6, 0.8)
- video encoderD 抽 4 格,ViT 各算一組,平均 → 也接近 (0.6, 0.8)
號碼和座標都是示意。
下一階要解決:兩台 encoder 是各自獨立的機器。誰保證「貓咪彈鋼琴」這句話,跟「貓咪彈鋼琴」的影片,會被放到地圖上同一個地方?怎麼辦呢?
延伸基礎第 7 階 · 配對題 · 懂的人可以跳到第 27 頁
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
怎麼讓「對的句子」跟影片靠在一起?
考卷上的配對題:左邊一張影片截圖,右邊四句描述,選一個對的。對的要連起來,錯的不能連。
你猜猜看:一題配對題 4 個選項,完全亂猜,猜對的機率是多少?
4 選 1,亂猜是 1/4 = 25%。剛做好的模型就是在亂猜;練習的目標是讓對的那句越來越突出。
這種「對的拉近、錯的推遠」的練法叫 contrastive learning(對比學習)。對的那句叫 positive(正例),其他的就是反例。
④ 跟這章的關係原書用 contrastive learning 同時練 text encoder 和 video encoder,一千萬對資料就是一千萬題配對題(第 27 頁)。
延伸基礎第 8 階 · 驚訝分數 · 懂的人可以跳到第 27 頁
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
配錯的時候,要罰多重?
四個候選人的分數有高有低,新聞會換成加起來 100% 的「支持率」。你押的人只有 1% 卻當選了,你一定很驚訝。
你猜猜看:四句話跟影片的分數都一樣,[1, 1, 1, 1]。換成百分比,每句多少?
大家一樣就平分 100%:模型在說「我不知道是哪一句」,跟上一頁的亂猜一樣。
把一排分數變成加起來 100% 的機率,叫 softmax。只看「正確答案拿到幾 %」來算驚訝程度,叫 cross-entropy。
「所謂轉成機率的意思就是,每一個向量裡面的數字,變成介於 0 到 1 之間,這個向量裡面所有數字的總和變成 1」🎓 李宏毅課堂 導論 2025 · 第 3 講(講 softmax)
④ 跟這章的關係原書 Figure 4.18 正是:dot product → softmax → 跟正確答案比 cross-entropy(第 27 頁)。練習就是想辦法讓這個分數變小。
原書Model training · Figure 4.18
訓練:一支影片、n 句話,只有一句是對的
這一步要解決兩台 encoder 要怎麼一起練,才會把對的句子和影片放在一起?
📖 原書 用 contrastive learning 同時訓練 text encoder 和 video encoder(細節原書請你看第 2 章「Model training」)。Figure 4.18 是算 loss 的過程:
- 影片 V 進 video encoder,得到 Ev
- 1 句 positive + (n−1) 句 negative 進 text encoder,得到 E1…En
- 算 Ev·E1、Ev·E2…Ev·En(dot product)
- 過 softmax 變成 Predictions(每句是正解的機率)
- 跟 Ground truth [1, 0, …, 0] 比,算 cross-entropy loss
換成我們的例子:V 是影片 D,T1 是 Cat playing piano,其他是別人的搜尋句。這就是第 25、26 頁玩過的那一題。
延伸基礎第 9 階 · 前 k 名 · 懂的人可以跳到第 29 頁
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
你要的那支影片,有沒有擠進第一頁?
搜尋結果第一頁放 10 支影片。大家很少翻第二頁。所以最在意的是:對的那支,有沒有在前 10 名?
你猜猜看:每句搜尋只有 1 支正確影片。模型把它排第 1 名,「前 10 名裡有幾成是對的」是多少?
前 10 名只有 1 支對,1 ÷ 10 = 0.1。明明排第一,分數卻很難看:問題出在「正解只有一支」。
「前 k 名裡有幾成是對的」叫 precision@k。「所有對的裡,有幾成擠進前 k 名」叫 recall@k。
④ 跟這章的關係原書先看這兩個,發現 precision 不好用、recall@k 又有盲點(第 29 頁)。
原書Offline metrics · Precision@k、mAP、Recall@k
離線評估:先試 precision 和 recall
這一步要解決上線前,拿標好的考題來考模型。用哪一個分數,才量得出搜尋排得好不好?
📖 原書 Precision@k 與 mAP
precision@k = 排行榜前 k 名裡相關的數量 ÷ k
評估資料裡,每句查詢只對應一支影片,分子最多是 1,所以 precision@k 很低。就算把正確影片排第 1,precision@10 也只有 0.1。因此 precision@k 和 mAP(把 precision 再平均的指標)這類精確度指標不太有幫助。
還記得第 4 頁說的嗎?A「Kitty plays piano」其實也算相關,但標註裡只有 D 是正解。就算模型把 A 排第 1,考試也不給分。
📖 原書 Recall@k
recall@k = 前 k 名裡相關影片的數量 ÷ 所有相關影片的數量
「所有相關影片的數量」永遠是 1,所以變成:相關影片在前 k 名裡就是 1,否則是 0。
優點 確實量出模型能不能替一句查詢找到對應的影片。
缺點 ① 要看 k,k 不好選 ② 不在前 k 名就永遠是 0:模型 A 排第 15、模型 B 排第 50,recall@10 都是 0,可是 A 明明比較好。
延伸基礎第 10 階 · 第一個對的 · 懂的人可以跳到第 31 頁
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
不只問「有沒有」,還要問「排第幾」
運動會換積分:第 1 名得 1 分、第 2 名得 1/2 分、第 3 名得 1/3 分……名次越後面,分數越少,但永遠不是 0。
你猜猜看:照這個算法,第 4 名得幾分?
名次倒過來當分數:1/4 = 0.25。第 15 名是 1/15,第 50 名是 1/50,排前面的永遠比較高分。
名次倒過來的分數叫 reciprocal rank。很多句搜尋各算一次再平均,叫 MRR(Mean Reciprocal Rank)。
④ 跟這章的關係MRR 補上 recall@k 的兩個缺點,原書選它當離線指標(第 31 頁)。
原書Offline metrics · MRR
原書選 MRR 當離線指標
📖 原書 Mean Reciprocal Rank
把每次搜尋結果裡第一個相關項目的名次取倒數,再平均,用來衡量模型品質。
MRR = (1/m) × [ 1/rank1 + 1/rank2 + … + 1/rankm ]
m 是查詢的數量,ranki 是第 i 句查詢的第一個相關項目排第幾名。原書:這個指標解決了 recall@k 的缺點,可以當我們的離線指標。
心算一次
| 搜尋句 | 正解排第幾 | 倒數 |
|---|---|---|
| Cat playing piano | 1 | 1 |
| Dog playing guitar | 2 | 0.5 |
| Piano lesson | 4 | 0.25 |
| 平均(÷ 3) | ≈ 0.58 | |
為什麼它補上 recall@k 的缺點?① 不用選 k ② 排第 15 和排第 50 分得出來(1/15 比 1/50 大)。
原書Online metrics
上線之後,看使用者怎麼用
這一步要解決考試分數好,不代表真實使用者滿意。上線後要追哪些數字?
📖 原書 Click-through rate(CTR)
使用者多常點開搜尋到的影片。問題:點了不代表相關。但它還是值得追,因為顯示了有多少人點搜尋結果。
📖 原書 Video completion rate
出現在搜尋結果、而且被看到結束的影片有多少。問題:使用者可能只看一部分,卻覺得很相關。單看完成率反映不了相關性。
📖 原書 Total watch time of search results
使用者看搜尋結果影片的總時間。結果相關,大家通常看比較久。原書說這是相關性的好指標。
你想想看:搜「貓咪彈鋼琴」,點開 D 看了 40 秒就關掉。CTR 有算、完成率沒算(沒看完,因為影片 3 分鐘)、觀看時間加 40 秒。三個數字講的是同一件事的三個面向。
小結第 7–10 階:怎麼教會它、怎麼打分數
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
到這裡你已經會了
- 用配對題同時練兩台 encodercontrastive learning:對的拉近、錯的推遠(第 25 頁)
- 配錯了就算驚訝分數softmax 換百分比、cross-entropy 看正解拿到幾 %(第 26 頁)
- 考試看「第一個對的排第幾」recall@k 只有 0/1;MRR 用名次的倒數(第 28、30 頁)
「Cat playing piano!」現在走到哪裡
- 練習〈D, Cat playing piano〉是一千萬題配對題之一
- 罰分練完 T1 拿到約 90%,驚訝分數約 0.1
- 考試D 排第 1 → 這句的 reciprocal rank 是 1
- 上線再看 CTR、完成率、總觀看時間
數字都是示意。
下一階要解決:考試時只有幾千句。上線後有十億支影片,每句搜尋都跟十億支算一次 dot product?怎麼辦呢?
延伸基礎第 11 階 · 大概找 · 懂的人可以跳到第 35 頁
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
十億個點,怎麼一下子找到最近的幾個?
在圖書館找一本貓的書,你不會從第一櫃翻到最後一櫃。你先走到「動物」那一區,只翻那一區。偶爾放錯區的書會漏掉,但快太多了。
你猜猜看:電腦一秒比 1 億支影片(示意),十億支一支一支比,一句搜尋要多久?
10 億 ÷ 1 億 = 10 秒。搜尋要等 10 秒,大家早就走了。只比「同一區」的,就能快很多。
找離查詢最近的幾個點叫 nearest neighbor search。先分區、只在附近找,換來速度、偶爾漏掉,叫 ANN(approximate nearest neighbor,大概找)。
④ 跟這章的關係原書的 nearest neighbor service 就用 ANN 加速(第 36 頁);分區、樹、雜湊等做法在第 2 章。
原書Serving · Figure 4.19
整個系統:一條預測管線、兩條索引管線
這一步要解決使用者按下搜尋那一刻,要做哪些事?影片上傳之後,又要先準備什麼?
原書Prediction pipeline · Visual search · Text search · Figure 4.20
預測管線:先各自撈幾百支
這一步要解決十億支影片裡,兩條路怎麼各自撈出一小批候選?
📖 原書 Prediction pipeline 有四個零件
- Visual search
- Text search
- Fusing layer(第 38 頁)
- Re-ranking service(第 38 頁)
Visual search
把文字查詢編碼,用 nearest neighbor service 找跟 text embedding 最像的 video embedding。為了加速,用 ANN 演算法(原書第 2 章 Visual Search System)。
Text search
用 Elasticsearch 找標題和標籤跟查詢有重疊的影片。
延伸基礎第 12 階 · 合併名單 · 懂的人可以跳到第 38 頁
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
兩張榜單,怎麼合成一張?
歌唱比賽:評審打一個分數,觀眾投票一個分數。節目說「評審佔 70%、觀眾佔 30%」,兩個分數各乘上比例再加起來,就是總分。
你猜猜看:評審給 90 分、觀眾給 60 分,評審 70%、觀眾 30%,總分是?
90 × 0.7 = 63,60 × 0.3 = 18,加起來 81。75 是不分比例的平均。
把兩條路的結果合成一張,叫 fusing(融合)。各乘比例再加起來,叫 weighted sum(加權總和)。
「那它也會做語意的比對 它會把關鍵字變成一個 embedding 然後把這個 chunk 變成 embedding 直接計算兩個 embedding 之間的相似度 得到另外一個相似程度 叫做 s2 它會把 s1 跟 s2 呢 做 weighted sum」🎓 李宏毅課堂 解剖小龍蝦 — 以 OpenClaw 為例介紹 AI Agent 的運作原理(s1 是字面比對的分數)
④ 跟這章的關係原書的 fusing layer 就用加權總和,因為最簡單(第 38 頁)。
原書Fusing layer · Re-ranking service
合併兩張榜,再套上平台自己的規則
這一步要解決兩條路各撈了幾百支,怎麼變成使用者看到的那一排?
📖 原書 Fusing layer
把前一步兩張不同的相關影片清單,合成一張新清單。兩種做法:
| 做法 | 代價 | |
|---|---|---|
| ① 最簡單 | 依兩邊預測相關分數的加權總和重新排序 | 不用訓練 |
| ② 比較複雜 | 多用一個模型來重新排序 | 要訓練,比較貴;上線時也比較慢 |
原書的選擇:用 ①。
📖 原書 Re-ranking service
加入商業層面的邏輯和政策,修改影片的排名清單。
商業規則長什麼樣,原書沒有列。你可以想成:違規影片要拿掉、某些地區不能顯示的要拿掉這一類「模型分數以外」的規定。最後這一排,才是使用者看到的。
我們的例子
- 看畫面D、A、C、B、E
- 看字A,B/C/E 並列(D 沒中)
- 加權 70%A 0.87、D 0.70、C 0.66、B 0.52、E 0.30
原書Video indexing pipeline · Text indexing pipeline
索引管線:影片上傳後,先準備好兩份索引
這一步要解決搜尋時才去算十億支影片的 embedding,一定來不及。要事先做好什麼?
📖 原書 Video indexing pipeline
用訓練好的 video encoder 算出影片的 embedding,再建索引。nearest neighbor service 用的就是這些索引好的 video embedding。
白話:每支新影片上傳,就先抽幀、算好它的那組數字,放上地圖。
📖 原書 Text indexing pipeline
用 Elasticsearch 索引標題、手動標籤、自動產生的標籤。
白話:把每支影片的字,整理進第 10 頁那種書後索引。
📖 原書 Auto-tagger
使用者上傳影片時,通常會填標籤幫忙辨識。沒填怎麼辦?用一個獨立的模型產生標籤,叫 auto-tagger。影片沒有手動標籤時特別有用。自動標籤可能比手動的雜訊多,但還是有價值。
我們的 D:auto-tagger 看了畫面,補上 cat、piano,看字那條路也找得到它了。
客座講評Triton 怎麼看搜尋的 infra
一定要多架一套 Elasticsearch 嗎?
這一步要解決Figure 4.19 有好幾套獨立的系統。每多一套,誰來顧?
「越少模組,便代表 – 你需要監控和管理的模組便越少 – 代表你的團隊需要掌握的語言/技術便越少」🗣️ Triton 本人說 073-lesson3.pdf.md · 第 8 頁
「通用 vs 專精? 例子:是否使用 ElasticSearch ? – 你需要 Tokenization 嗎? – 能不能先在 RDBMS 做 searching ?」🗣️ Triton 本人說 073-lesson3.pdf.md · 第 9 頁
📝 上課筆記「e-commerce 流量⼩ 先直接全放 Postgres 等流量⼤ 再慢慢搬出去做 例如搜尋⽤ Elasticsearch」058 · Roy 的 columnar storage mini-talk 筆記,記的是 Triton 的回答,非本人原文
白話:RDBMS 是一般的關聯式資料庫,例如 PostgreSQL;模組就是一套要獨立架設、監控的系統。
🔭 依 Triton 原則推論 套到這一章
Triton 沒談過影片搜尋。套他的問題:需要 tokenization 嗎?本章要(第 15 頁)。規模呢?原書是十億支影片,獨立的 Elasticsearch 和 nearest neighbor service 說得過去。但如果平台只有幾萬支,第一版可以先把兩份索引都放進同一套 RDBMS,流量大了再搬出去。
客座講評Triton 怎麼看 Search DB 的時差
影片剛上傳,為什麼搜不到?
這一步要解決兩條索引管線都要時間。這段時間,使用者會看到什麼?
「看老闆的錢包深度,沒錢別額外架 Search DB」「數據儲存結構有特別為搜尋作特化」「有 tokenization 和 auto correction等等幫助搜尋 的重要功能」「很多時候: Search DB 的數據跟 Main DB 的會 有時差」🗣️ Triton 本人說 073-lesson3.pdf.md · 第 28 頁 Search DB
白話:Main DB 是存正本的主資料庫;Search DB 是專門拿來搜尋的另一份,例如 Elasticsearch。auto correction 是自動改錯字。
🔭 依 Triton 原則推論 原書兩條索引管線都在上傳之後才跑:看字那條要等標題進索引、等 auto-tagger;看畫面那條要等抽幀和 video encoder。面試時可以先問一句:「新影片可以接受多久才搜得到?」另外,Triton 提到的 auto correction,正好是原書 other talking points 裡的 spelling correction(第 42 頁)。
各步驟要幾分鐘都是示意,真實時間要看影片長度和機器量。
原書Other Talking Points
原書自己說:這是簡化版,真實系統複雜得多
📖 原書 可以改進的地方
- 用 multi-stage 設計:candidate generation + ranking(先粗撈、再細排)
- 用更多影片特徵:影片長度、人氣等
- 不靠標註資料,改用互動(點擊、按讚等)建立和標記資料,就能持續訓練模型
- 用 ML 模型找跟查詢語意相似的標題和標籤,跟 Elasticsearch 結合提升品質
📖 原書 面試還有時間,可以聊
- Query understanding:拼字校正、查詢類別辨識、實體辨識,怎麼做?
- 處理語音和音訊的 multi-modal 系統
- 擴展到其他語言
- 最終結果裡的近重複影片傷體驗,怎麼偵測、移除?
- 查詢分成 head、torso、tail(熱門、中間、冷門),各用什麼方法?
- 排序時怎麼考慮人氣和新鮮度?
- 真實世界的搜尋系統怎麼運作?
每一題回到今天的哪一頁
- multi-stage → 第 36 頁:兩條路各撈幾百支,其實已經是「先粗撈」
- 用互動當標籤 → 第 32 頁:CTR、觀看時間本身就是訊號
- 語意相似的標籤 → 第 20、39 頁:看上下文、auto-tagger
- 拼字校正 → 第 41 頁 Triton 說的 auto correction
- head/tail → 熱門查詢常被重複搜,冷門的每句都很新,這就是第 14 頁 hashing 處理沒看過的字的場合
📅 2026 補充方法怎麼演進
原書之後,這幾個零件換了做法
這一步要解決原書之後,兩條搜尋的路往哪裡演進?
video encoder:直接借圖文配對練好的模型
CLIP(2021)用約 4 億對「圖片 + 說明文字」做 contrastive learning,圖和字一開始就在同一張地圖上。之後的 CLIP4Clip 就是拿 CLIP 的圖片 encoder 逐格算、再平均,跟原書的 frame-level 做法同一個想法。
兩條路可以放進同一套引擎
Elasticsearch 8.x 支援向量的近似 kNN 搜尋(用 HNSW 這種 ANN 索引);PostgreSQL 的 pgvector 擴充也支援 HNSW。看字和看畫面不一定要兩套系統,正好呼應第 40 頁「越少模組越好」。
合併:不只加權分數,也看名次
兩邊的分數單位不一樣,加權前要先調成可比。另一種常見做法是 RRF(Reciprocal Rank Fusion):只看每支影片在兩張榜的名次,加總 1 ÷ (常數 + 名次),跟 MRR 是同一種「名次倒數」。Elasticsearch 也內建了 RRF。
re-ranking:讓模型把句子和影片一起讀
原書嫌額外的排序模型貴。後來常見的分工是:前面用雙 encoder 快速撈幾百支,最後只對這幾百支用 cross-encoder(把查詢和候選一起讀的模型)細排,貴的模型只跑一小批。影片的語音轉成文字(例如 Whisper,2022)也成了常見的文字特徵。
回顧12 階全部爬完
- 一組數字
- 比方向
- 書後索引
- 切字編號
- 抽幾格
- 看上下文
- 配對題
- 驚訝分數
- 前 k 名
- 第一個對的
- 大概找
- 合併名單
影片搜尋,其實就是把句子和影片放上同一張地圖,再找離得最近的而已。
怎麼比像不像
句子和影片都變成一組數字(embedding),比箭頭方向(dot product)。看字的那條路查書後索引(inverted index、Elasticsearch)。
怎麼變成數字
句子:整理 → 切 token → 換號碼 → BERT 看上下文。影片:解碼 → 抽幀 → ViT 每格算 → 平均。
怎麼教會、怎麼打分數
一千萬題配對題(contrastive learning),softmax + cross-entropy 罰分。考試看 MRR;上線看 CTR、完成率、總觀看時間。
怎麼上線
事先建好兩份索引;搜尋時 ANN 和 Elasticsearch 各撈幾百支,加權合併,再套商業規則。先想想要幾套系統、能接受多久的時差。
IMG_0423.mp4 沒有標題也找得到,因為模型真的「看」了它。然後呢?然後就結束了。
名詞小卡課後複習用 · 每個詞一行白話
本章名詞小卡
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| embedding | 描述一個東西的一組數字,地圖上的一個點 | 第 6 頁 |
| encoder | 把句子或影片變成 embedding 的機器 | 第 6 頁 |
| representation learning | 學一種好的「一組數字」表示法 | 第 9 頁 |
| cosine similarity | 看兩支箭頭夾角:同方向 1、直角 0 | 第 7 頁 |
| dot product | 對應的數字相乘再加起來;長度 1 時等於 cosine | 第 7 頁 |
| visual search | 看畫面的那條路 | 第 9 頁 |
| text search | 看標題、描述、標籤的那條路 | 第 11 頁 |
| inverted index | 書後索引:字 → 有這個字的影片 | 第 10 頁 |
| Elasticsearch | 常用的現成搜尋引擎軟體 | 第 11 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| text normalization | 先統一寫法:小寫、去標點、還原字形 | 第 15 頁 |
| tokenization | 把句子切成一塊一塊的 token | 第 14 頁 |
| lookup table | 查字典換號碼,快但吃記憶體、新字查不到 | 第 16 頁 |
| hashing | 用公式算號碼,省記憶體但會撞號 | 第 14 頁 |
| BoW/TF-IDF | 數每個字出現幾次;TF-IDF 讓常見字分數低 | 第 19 頁 |
| word2vec(CBOW) | 看周圍猜中間,學出一字一座標 | 第 22 頁 |
| Transformer/BERT | 會看上下文,同一個字給不同座標 | 第 20 頁 |
| frame | 影片裡的一張圖(幀) | 第 17 頁 |
| video-level/frame-level | 整支一起看/一格一格看再平均 | 第 23 頁 |
| ViT | 看圖片的 Transformer,原書的 frame-level 選擇 | 第 23 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| contrastive learning | 配對題:對的拉近、錯的推遠 | 第 25 頁 |
| positive/negative | 對的那句/其他的句子 | 第 25 頁 |
| softmax | 把一排分數換成加起來 100% 的機率 | 第 26 頁 |
| cross-entropy | 正確答案只拿到幾 %,就有多驚訝 | 第 26 頁 |
| precision@k | 前 k 名裡有幾成是對的 | 第 28 頁 |
| recall@k | 對的有沒有擠進前 k 名(本章只有 0 或 1) | 第 28 頁 |
| MRR | 第一個對的名次取倒數,再平均 | 第 30 頁 |
| CTR | 搜尋結果被點開的比例 | 第 32 頁 |
| completion rate/watch time | 看到結束的比例/總共看了多久 | 第 32 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| nearest neighbor | 找離查詢最近的幾個點 | 第 34 頁 |
| ANN | 先分區、大概找:快很多,偶爾漏掉 | 第 34 頁 |
| fusing layer | 把兩條路的榜單合成一張 | 第 37 頁 |
| weighted sum | 各乘比例再加起來 | 第 37 頁 |
| re-ranking service | 最後套上平台自己的規則 | 第 38 頁 |
| indexing pipeline | 上傳後先算好 embedding、整理好索引 | 第 39 頁 |
| auto-tagger | 沒填標籤的影片,用模型自動補 | 第 39 頁 |
| Search DB 時差 | 正本有了,搜尋用的那份還沒更新 | 第 41 頁 |
忘了哪個詞,就回到右邊那一頁,四步再走一次。
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Machine Learning System Design Interview · YouTube Video Search 章。Introduction 與 Figure 4.1(第 3 頁)、Clarifying Requirements(5)、ML objective、input/output、ML category 與 Figure 4.2–4.3(8)、visual search 與 Figure 4.4(9)、text search、inverted index、Elasticsearch 與 Figure 4.5(11)、data engineering 與 Table 4.1、feature engineering(13)、preparing text data、normalization、tokenization 與 Figure 4.6(15)、tokens to IDs、Figure 4.7–4.8、Table 4.2(16)、preparing video data 與 Figure 4.9(18)、text encoder、BoW、TF-IDF、Figure 4.10–4.11(19)、ML-based methods、embedding layer、Figure 4.12–4.13(21)、word2vec、Transformer、Figure 4.14–4.15(22)、video encoder、Figure 4.16–4.17(23)、model training 與 Figure 4.18(27)、precision@k、mAP、recall@k(29)、MRR(31)、online metrics(32)、serving 與 Figure 4.19(35)、prediction pipeline 與 Figure 4.20(36)、fusing layer、re-ranking(38)、indexing pipelines、auto-tagger(39)、Other Talking Points(42)。20 張圖全部依圖說與描述重繪,不是原圖;Figure 4.11 原書是表格,照排成表;Figure 4.9 的影片截圖改成畫格示意;Figure 4.15 箭頭方向依內文
本簡報加的頁面:概念階梯(4)、12 個延伸基礎(6、7、10、14、17、20、25、26、28、30、34、37)、小結(12、24、33)、名詞小卡(45)。5 支影片 A–E、所有 embedding 與分數都是示意
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 3 講(8iFvM7WUUs8)— Tokenization 與 ID、cosine similarity 最大是 1、Contextualized Embedding 的 apple、softmax
- 同 · 第 7 講(YJoegm7kiUM)— 分類用 cross entropy 當距離
- 同 · 第 9 講(ccqCDD9LqCA)— 影片是一連串的圖片、Frame(幀)
- 同 · 第 10 講(CbIPjrOj2Tc)— Spoken Content Retrieval、Audio Word Vector、比對向量很快
- 解剖小龍蝦 — 以 OpenClaw 為例介紹 AI Agent 的運作原理(2rcJdFuNbZQ)— 字面比對、語意比對、weighted sum
來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)
🗣️ Triton、📝 筆記與 📅 依據
- 073-lesson3.pdf.md(🗣️ 本人投影片)— 第 8 頁越少模組、第 9 頁是否使用 ElasticSearch、第 28 頁 Search DB 與時差
- 058-…columnar_storage_mini-talk.pdf.md(📝 Roy 的筆記)— 流量小先全放 Postgres、流量大再把搜尋搬去 Elasticsearch
- 📅 CLIP(2021)、CLIP4Clip(2021)、Elasticsearch 8.x kNN 與 RRF、pgvector HNSW、RRF(2009)、Whisper(2022)
公式(主文用文字講過)
- cos(a,b) = a·b ÷ (|a||b|);|a| = |b| = 1 時等於 a·b
- softmax(si) = esi ÷ Σj esj;loss = −ln ppositive
- precision@k = 相關數 ÷ k;recall@k = 前 k 名相關數 ÷ 相關總數
- MRR = (1/m) Σi 1/ranki
- fusion = w·svisual + (1−w)·stext;RRF = Σ 1/(60 + rank)