ML System Design · 第 4 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(只有搜尋 infra 的兩張客座卡)

YouTube 影片搜尋
其實就是:把句子和影片放上同一張地圖,再找離得最近的而已

你在搜尋框打「貓咪彈鋼琴」,一秒內跳出一排影片。可是有一支影片標題只寫 IMG_0423.mp4,它憑什麼被找到?原書用這個題目,講兩條搜尋的路:看字,和看畫面。

今天的路線

需求 → 一邊爬 12 階基礎、一邊對照原書(第 4 頁的階梯):怎麼比像不像 → 句子和影片怎麼變數字 → 怎麼教會它 → 怎麼打分數 → 怎麼上線 → Triton 客座 → 2026 年的變化。全程只用同一句搜尋。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 📝 上課筆記 🔭 依 Triton 原則推論 延伸基礎

標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。

先講跟你有關的動手玩 · 你來當搜尋引擎

只看標題,你找得到「貓咪彈鋼琴」嗎?

Cat playing piano!(貓咪彈鋼琴)

平台上有 5 支影片。先按「只看標題找」。

你可能會想說,搜尋不就是比對字嗎?標題有 cat、有 piano 就找出來嘛。可是你看 D:它的畫面真的是一隻貓在彈鋼琴,標題卻只有 IMG_0423.mp4。

還有 A:標題寫 kitty,不是 cat。字不一樣,意思一樣。只會比字的搜尋,兩個都會漏掉或排錯。

今天整堂課只在回答三個問題:怎麼看懂畫面?(模型)怎麼教它看懂?(訓練)怎麼在 10 億支影片裡一秒找完?(系統)

原書Introduction · Figure 4.1

原書的開場:影片多到數十億支,要一下子找到相關的

📖 原書 Figure 4.1用文字查詢搜尋影片(依原書內容重繪)

📖 原書 題目從哪裡來

在 YouTube 這類影片分享平台,影片數量很快就會長到數十億支。這一章要設計一套能有效處理這種量的影片搜尋系統:使用者在搜尋框輸入文字,系統顯示跟這段文字最相關的影片。

原書這一章的路線

  1. Clarifying requirements(第 5 頁)
  2. Frame the problem as an ML task(第 8–11 頁)
  3. Data preparation(第 13–18 頁)
  4. Model development(第 19–27 頁)
  5. Evaluation(第 29–32 頁)
  6. Serving(第 35–39 頁)
  7. Other talking points(第 42 頁)

「你可以想像說在 YouTube 上有非常大量的聲音訊號 我們有沒有辦法直接搜尋聲音訊號的內容」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 10 講(講他博士論文的 Spoken Content Retrieval)

學習地圖今天要爬的 12 階 · 每一階只用前面學過的東西

一階一階往上爬,不跳階

  1. 1一組數字影片怎麼變成地圖上的一點?
  2. 2比方向兩點多像,怎麼量?
  3. 3書後索引只看字,怎麼找得快?
  4. 4切字編號句子怎麼變數字?
  5. 5抽幾格影片怎麼變數字?
  6. 6看上下文同一個字,意思會變?
  7. 7配對題要練什麼題目?
  8. 8驚訝分數配錯要罰多重?
  9. 9前 k 名有沒有擠進第一頁?
  10. 10第一個對的排第幾名?
  11. 11大概找10 億支怎麼一秒找完?
  12. 12合併名單兩張榜單怎麼變一張?

怎麼比像不像 句子和影片怎麼變數字 怎麼教會它 怎麼打分數 怎麼上線 英文名字等爬到那一階才給。

整堂課只用一句搜尋

Cat playing piano!(貓咪彈鋼琴),和第 2 頁的 5 支影片 A–E。正確答案是 D。數字小到可以心算。

每一階都走四步

① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。按 → 一步一步出現。

每爬幾階就停一下

「到這裡你已經會了」:第 12、24、33 頁。最後還有名詞小卡(第 45 頁)。

原書Clarifying Requirements

原書的題目:輸入一句話,輸出一排相關影片

這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。

📖 原書 應徵者 × 面試官

應徵者問面試官答
查詢只能打字嗎?還是可以用圖片或影片搜尋?只有文字查詢
平台上只有影片嗎?圖片、音檔呢?平台只提供影片
YouTube 的搜尋非常複雜。可以假設相關性只看影片的畫面內容和它的文字資料(標題、描述)嗎?可以,這是合理的假設
有訓練資料嗎?有,假設有一千萬對〈video, text query〉
要支援其他語言嗎?為了簡單,假設只支援英文
平台上有多少影片?十億支
要個人化嗎?不同使用者依過去的互動排不同順序?推薦系統一定要個人化,搜尋系統不一定。為了簡化,假設不需要個人化

📖 原書 整理成一句話

  • 做什麼:設計一個影片搜尋系統
  • 輸入:一句文字查詢;輸出:跟它相關的影片清單
  • 靠什麼判斷:影片的畫面內容 + 文字資料
  • 資料:一千萬對〈video, text query〉拿來訓練

你想想看,「十億支影片」和「一千萬對資料」這兩個數字,一個決定了要找得快(第 34 頁),一個決定了可以拿來練模型(第 25 頁)。

延伸基礎第 1 階 · 一組數字 · 懂的人可以跳到第 8 頁

  1. 一組數字
  2. 比方向
  3. 書後索引
  4. 切字編號
  5. 抽幾格
  6. 看上下文
  7. 配對題
  8. 驚訝分數
  9. 前 k 名
  10. 第一個對的
  11. 大概找
  12. 合併名單

一支影片,可以只用兩個數字描述嗎?

① 生活情境

朋友問你一部電影怎樣。你說:「好笑 9 分、恐怖 1 分。」兩個數字,他大概就懂了。每部電影都能這樣打兩個分數。

你猜猜看:「好笑 9、恐怖 1」的電影,跟哪一部最像?

③ 這時才給名字

描述一個東西的「一組數字」叫 embedding(也叫向量)。把影片變成 embedding 的機器,叫 encoder。

「所以一段聲音訊號本來非常的複雜 它甚至長短是不一的 但我們就把它變成一個向量」🎓 李宏毅課堂 導論 2025 · 第 10 講

② 動手玩:點一支影片,看它坐在地圖哪裡
橫軸:有多少「貓」;直軸:有多少「彈樂器」。

④ 跟這章的關係原書的模型就是兩台 encoder:一台把影片變成一組數字,一台把搜尋句變成一組數字(第 9 頁)。

延伸基礎第 2 階 · 比方向 · 懂的人可以跳到第 8 頁

  1. 一組數字
  2. 比方向
  3. 書後索引
  4. 切字編號
  5. 抽幾格
  6. 看上下文
  7. 配對題
  8. 驚訝分數
  9. 前 k 名
  10. 第一個對的
  11. 大概找
  12. 合併名單

兩組數字有多像,怎麼算成一個分數?

① 生活情境

你和朋友在路口各伸手指路。手臂長短不重要,重要的是指的方向。兩隻手指同一邊,就是想去同一個地方。

你猜猜看:兩支箭頭夾成直角(90 度),「像不像」的分數是多少?

③ 這時才給名字

看夾角大小的分數叫 cosine similarity。算法是「對應的數字相乘再加起來」,叫 dot product;箭頭長度都調成 1 時,兩個一樣。

「cosine similarity 算出來就是 1,最大就是 1。」🎓 李宏毅課堂 導論 2025 · 第 3 講(比較兩組一模一樣的數字)

② 動手玩:轉動搜尋句的箭頭

④ 跟這章的關係原書就是算搜尋句和每支影片的 dot product,再由高到低排(第 9 頁)。

原書Frame the Problem as an ML Task · Figure 4.2、4.3

變成 ML 任務:依「跟這句話多相關」排影片

這一步要解決「找到相關的影片」要變成 ML(機器學習)題目:目標是什麼、輸入輸出是什麼、用哪一類方法?

📖 原書 Figure 4.2影片搜尋系統的輸入與輸出(依原書內容重繪)

📖 原書 ML objective

使用者期待搜尋給出相關、有用的結果。換成 ML 目標:依影片跟文字查詢的相關性,把影片排序。

📖 原書 Input / Output

輸入一句文字查詢,輸出一排依相關性排好的影片清單。

📖 原書 選哪一類方法

判斷相關性要同時用畫面內容和文字資料,所以拆成兩條路(Figure 4.3):

  • Visual search:看畫面,下一頁
  • Text search:看標題、描述、標籤,第 11 頁
  • 兩邊的結果再交給 fusing(融合)合成一張榜,第 38 頁

原書Visual search · Representation learning · Figure 4.4

第一條路:句子一台 encoder、影片一台 encoder,再比分數

這一步要解決影片沒寫標題也要找得到。怎麼直接拿「畫面」跟一句話比?

📖 原書 處理影片畫面最常用的做法叫 representation learning(白話:學一種好的「一組數字」表示法)。文字查詢和影片分開用兩台 encoder 編碼:

  • video encoder:影片 → video embedding
  • text encoder:文字 → text embedding
  • 兩者的相似度分數,用它們的 dot product 算

📖 原書 排序時,在 embedding 空間裡算文字跟每一支影片的 dot product,再依分數排。

「接下來我們比較這個 Spoken Query 的向量 跟我們資料庫裡面 每小段聲音訊號向量之間的相似度 就可以得到搜尋的結果 那比對向量跟向量之間的相似度 是可以做很快的」🎓 李宏毅課堂 導論 2025 · 第 10 講(語音搜尋語音,同一個想法)

📖 原書 Figure 4.4ML 模型的輸入與輸出(依原書內容重繪)
dot = ?

延伸基礎第 3 階 · 書後索引 · 懂的人可以跳到第 11 頁

  1. 一組數字
  2. 比方向
  3. 書後索引
  4. 切字編號
  5. 抽幾格
  6. 看上下文
  7. 配對題
  8. 驚訝分數
  9. 前 k 名
  10. 第一個對的
  11. 大概找
  12. 合併名單

只看字的話,怎麼不用一頁一頁翻?

① 生活情境

課本最後面有一份「索引」:「光合作用 …… p.12、p.48」。照字找頁碼,一翻就到,不用從第一頁讀起。

你猜猜看:課本 300 頁,想找「光合作用」。沒有索引最多要翻幾頁?有索引呢?

③ 這時才給名字

「字 → 有這個字的影片」的清單,叫 inverted index(倒排索引)。最常見的現成搜尋軟體叫 Elasticsearch。

「一種是字面上的比對 就如果說這兩段文字 也就是關鍵字 跟這段文字的內容越像 這個關鍵字呢 出現在這一個 chunk 裡面越多次 分數就越高」🎓 李宏毅課堂 解剖小龍蝦 — 以 OpenClaw 為例介紹 AI Agent 的運作原理(chunk:一小段文字)

② 動手玩:點搜尋句裡的字,查索引

結果(中幾個字)

    ④ 跟這章的關係原書的第二條路 text search 就是查這種索引。它不是 ML,所以不用訓練(第 11 頁)。

    原書Text search · Figure 4.5

    第二條路:比標題、描述、標籤

    這一步要解決使用者打的字,常常就寫在標題或標籤裡。這條老路怎麼走?

    📖 原書 Figure 4.5Text search(依原書內容重繪;原圖表格的標題與標籤文字,描述裡沒有列出)

    📖 原書 怎麼運作

    使用者輸入「dogs playing indoor」,輸出的是標題、描述或標籤跟查詢最相似的影片。Figure 4.5 的結果是 Video ID 1 和 6。

    📖 原書 用什麼做

    • 常用 inverted index,能在資料庫裡有效率地做全文搜尋
    • 倒排索引不是 ML,所以沒有訓練成本
    • 很多公司常用 Elasticsearch:可擴展的搜尋引擎和文件儲存系統(原書附了它的 query DSL 教學連結)

    兩條路各有盲點:看字的會漏掉 D(沒標題),看畫面的可能看不懂「教學」「第 1 集」這種只寫在標題的資訊。所以原書兩條都要,最後再合併。

    小結第 1–3 階:怎麼比像不像

    1. 一組數字
    2. 比方向
    3. 書後索引
    4. 切字編號
    5. 抽幾格
    6. 看上下文
    7. 配對題
    8. 驚訝分數
    9. 前 k 名
    10. 第一個對的
    11. 大概找
    12. 合併名單

    到這裡你已經會了

    • 影片和句子都可以變成一組數字embedding:地圖上的一個點,意思近就坐得近(第 6 頁)
    • 像不像,看箭頭的方向cosine similarity/dot product:同方向 1、直角 0(第 7 頁)
    • 只看字,就查書後索引inverted index:字 → 影片清單,不用訓練(第 10 頁)

    「Cat playing piano!」現在走到哪裡

    1. 看畫面句子 → (0.6, 0.8),跟 D 方向一樣,分數 1.00;A 0.96、C 0.80、B 0.60、E 0.28
    2. 看字查索引:A 中 2 個字、B/C/E 各中 1 個、D 找不到
    3. 還不會句子怎麼「真的」變成那兩個數字?影片呢?兩張榜單怎麼合併?

    所有數字都是示意。

    下一階要解決:電腦只吃數字。「Cat playing piano!」這串字母,和一支幾分鐘的影片,到底怎麼變成數字?怎麼辦呢?

    原書Data Preparation · Data engineering · Table 4.1

    資料已經標好了,接下來是把它變成數字

    這一步要解決訓練資料長什麼樣?模型又只吃數字,要先做什麼?

    📖 原書 Table 4.1 標註好的資料集

    Video nameQuerySplit type
    76134.mp4Kids swimming in a pool!Training
    92167.mp4Celebrating graduationTraining
    2867.mp4A group of teenagers playing soccerValidation
    28543.mp4How Tensorboard worksValidation
    70310.mp4Road trip in winterTest

    📖 原書 Data engineering:既然已經拿到標註好的資料集,就不需要另外做資料工程。每一筆是一支影片配一句查詢,並分好 Training/Validation/Test(練習用、調整用、期末考用)。

    📖 原書 Feature engineering

    幾乎所有 ML 演算法只接受數字輸入。文字和影片這種非結構化資料(不是整齊表格的資料),要在這一步轉成數字表示。原書分兩半講:

    1. 準備文字:正規化 → 切 token → 換成 ID(第 15–16 頁)
    2. 準備影片:解碼 → 抽幀 → 縮放、正規化(第 18 頁)

    我們的〈D, Cat playing piano〉也可以想成表裡的一列。注意:一句查詢只配一支影片。這個小細節,到了打分數那一段會變成大問題(第 29 頁)。

    延伸基礎第 4 階 · 切字編號 · 懂的人可以跳到第 15 頁

    1. 一組數字
    2. 比方向
    3. 書後索引
    4. 切字編號
    5. 抽幾格
    6. 看上下文
    7. 配對題
    8. 驚訝分數
    9. 前 k 名
    10. 第一個對的
    11. 大概找
    12. 合併名單

    「Cat」「cats」「CAT!」,電腦知道是同一個字嗎?

    ① 生活情境

    點飲料寫「大杯冰拿鐵少冰」或「冰拿鐵 少冰 大杯」,店員都懂。電腦比較死板:要先把寫法統一,再切成一個個詞,最後換成號碼。

    你猜猜看:什麼都不整理的話,「Cat」「cats」「CAT!」在電腦眼中是幾個不同的字?

    ③ 這時才給名字

    切成一個個詞叫 tokenization,每塊叫 token。不查字典、直接用一條公式算出號碼,叫 hashing。

    「輸入的句子會先經過 Tokenization,被切成一個一個 Token,那每一個 Token 會對應到一個編號,對應到一個 ID。」🎓 李宏毅課堂 導論 2025 · 第 3 講

    ② 動手玩:三個按鈕,一步一步做

    ④ 跟這章的關係原書準備文字就是這三步:正規化 → tokenization → 換成 ID(第 15、16 頁)。

    原書Preparing text data · Figure 4.6

    準備文字:正規化、切 token、換 ID

    這一步要解決同一個意思有很多寫法,句子還要變成一串數字。

    📖 原書 Figure 4.6用數字向量表示一段文字(依原書內容重繪;原圖的引號照描述保留)

    📖 原書 Tokenization 三種

    • Word:依分隔符號切成單字,「I have an interview tomorrow」→ ["I", "have", "an", "interview", "tomorrow"]
    • Subword:切成 subword(或 n-gram 字元,也就是連續幾個字母)
    • Character:切成一個個字元

    各種 tokenization 演算法的細節,通常不是 ML 系統設計面試的重點。

    📖 原書 Text normalization(又叫 text cleanup)

    確保字和句子一致。「dog」「dogs」「DOG!」指同一個東西;「A person walking with his dog in Montréal !」和「a person walks with his dog, in Montreal.」意思一樣,只差標點和動詞形式。常見方法:

    • Lowercasing:全部轉小寫,不改變意思
    • Punctuation removal:拿掉句號、逗號、問號、驚嘆號等
    • Trim whitespaces:修掉前後和重複的空白
    • NFKD(Normalization Form KD):把組合起來的字形拆成簡單字形的組合
    • Strip accents:拿掉重音符號,Màlaga → Malaga、Noël → Noel
    • Lemmatization and stemming:一組相關字形找一個代表,walking、walks、walked → walk

    我們的例子:Cat playing piano! → 轉小寫、去驚嘆號、playing 還原成 play → cat play piano。

    原書Tokens to IDs · Figure 4.7、4.8 · Table 4.2

    token 換成號碼:查字典,還是用公式算?

    這一步要解決切好的 token 要變成整數 ID。兩種做法,各有代價。

    📖 原書 Figure 4.7查找表;原描述沒有列出 ID 的值,這裡的號碼是示意(依原書內容重繪)

    📖 原書 Lookup table:每個不重複的 token 對應一個 ID,存成 1:1 的對照表。Hashing(又叫 feature hashing、hashing trick):用 hash function 算出 ID,不用存對照表,很省記憶體。

    📖 原書 Table 4.2 Lookup table vs. feature hashing

    Lookup tableHashing
    Speed✓ token 換 ID 很快✘ 要先算 hash function
    ID to token✓ 用反向表就能從 ID 換回 token✘ 沒辦法從 ID 換回 token
    Memory✘ 表放在記憶體裡,token 越多越吃記憶體✓ 一個 hash function 就能換任何 token
    Unseen tokens✘ 新的、沒看過的字處理不好✓ 任何字套公式就有 ID
    Collisions✓ 沒有撞號問題✘ 撞號是潛在問題

    第 14 頁的 cat 和 act 撞到同一個號碼,就是表裡最後一列。ukulele 查不到字典,就是 Unseen tokens 那一列。

    延伸基礎第 5 階 · 抽幾格 · 懂的人可以跳到第 18 頁

    1. 一組數字
    2. 比方向
    3. 書後索引
    4. 切字編號
    5. 抽幾格
    6. 看上下文
    7. 配對題
    8. 驚訝分數
    9. 前 k 名
    10. 第一個對的
    11. 大概找
    12. 合併名單

    一支影片有幾萬張圖,每張都要看嗎?

    ① 生活情境

    翻過手翻書嗎?一張一張畫快速翻過去,就變成動畫。想知道這本在畫什麼,不用每張都看,隨手翻幾張就懂了。

    你猜猜看:10 分鐘的影片,每秒 30 張圖,總共幾張?

    ③ 這時才給名字

    影片裡的每一張圖叫 frame(幀)。抽幾張出來各自變成一組數字,再平均起來,叫 aggregation。

    「其實影片就是一連串的圖片 …… 在影片裡面的每一張圖片 有一個專有名詞叫做 Frame 如果是翻成中文的話 通常就翻成幀」🎓 李宏毅課堂 導論 2025 · 第 9 講

    ② 動手玩:影片 D 的 12 格,抽幾格?
    —要跑幾次圖片模型—平均出來的一組數字—跟搜尋句的分數

    ④ 跟這章的關係原書影片前處理會抽幀(第 18 頁),video encoder 選的也是「每格各算、再平均」(第 23 頁)。

    原書Preparing video data · Figure 4.9

    準備影片:解碼、抽幀、縮放、正規化

    這一步要解決原始影片檔不能直接餵給模型,要先變成一疊整齊的圖片數字。

    📖 原書 Figure 4.9 是原始影片前處理的典型流程(例子是一支柯基犬在跑的影片):

    1. Decode frames:把影片檔解開成一張張 frame
    2. Sampling frames:從裡面抽一部分(第 17 頁)
    3. Resizing:縮成比較小、一樣大的尺寸
    4. Scaling, normalizing, and correcting color mode:把每格數字調到一致的範圍、統一顏色格式
    5. 存成一個 NumPy 陣列檔 frames.npy(一疊數字的檔案)

    白話:不管原本是手機直拍還是 4K 橫拍,進模型前都變成「一樣多張、一樣大小、一樣色彩格式」的一疊數字。

    📖 原書 Figure 4.9影片前處理流程(依原書內容重繪;照片改成畫格示意)

    原書Model selection · Text encoder · 統計方法 · Figure 4.10、4.11

    Text encoder 第一種做法:數字數就好

    這一步要解決一句話要變成一組數字,而且意思近的句子,數字也要近。最直覺的做法是什麼?

    📖 原書 Figure 4.10Text encoder 的輸入與輸出(依原書內容重繪)

    📖 原書 Figure 4.11 不同句子的 BoW 表示

    bestholidayisnicepersonthistodaytripverywith
    this person is nice very nice0012110010
    today is holiday0110001000
    this trip with best person is best2010110101

    原書這張 Figure 是表格,所以直接排成表。

    📖 原書 text encoder 把文字變成向量,意思相近的句子 embedding 也比較像。做法分兩大類:統計方法和 ML 方法(下一頁)。

    BoW(Bag of Words,詞袋)

    句子變成固定長度的向量:每一列是一句、每一欄是一個字,格子裡是出現次數。簡單、算得快,但:

    • 不管順序:「let's watch TV after work」和「let's work after watch TV」一模一樣
    • 抓不到語意:意思一樣、用字不同的兩句,表示完全不同
    • 很稀疏:長度 = 所有不重複 token 的數量,通常很大,幾乎都是 0

    TF-IDF

    一樣的句子 × 字的表,但依字的頻率做正規化:常見的字給低權重,所以通常比 BoW 好。限制:加新句子要重算詞頻、不管順序、抓不到語意、一樣很稀疏。

    小結:統計方法通常很快,但抓不到上下文的意思、表示又稀疏。ML 方法解決這些問題。

    延伸基礎第 6 階 · 看上下文 · 懂的人可以跳到第 21 頁

    1. 一組數字
    2. 比方向
    3. 書後索引
    4. 切字編號
    5. 抽幾格
    6. 看上下文
    7. 配對題
    8. 驚訝分數
    9. 前 k 名
    10. 第一個對的
    11. 大概找
    12. 合併名單

    同一個 play,中文要翻成什麼?

    ① 生活情境

    play piano 是「彈」鋼琴,play soccer 是「踢」足球,play the video 是「播放」影片。同一個字,要看旁邊的字才知道意思。

    你猜猜看:「Cat playing piano」裡的 play,該翻成?

    ③ 這時才給名字

    每個字一個固定座標的做法,例如 word2vec。會看上下文、同一個字給不同座標的,是 Transformer 這類模型。

    「同樣是 Apple 這個 Token 如果根據上下文指的是蘋果電腦的那個 Apple 跟根據上下文指的是可以吃的那個 Apple 它們的 Contextualized Embedding 就會有顯著的差距」🎓 李宏毅課堂 導論 2025 · 第 3 講

    ② 動手玩:換句子,看 play 坐到哪裡

    ④ 跟這章的關係原書比較了三種 ML 做法,最後選會看上下文的 Transformer(BERT)當 text encoder(第 22 頁)。

    原書Text encoder · ML-based methods · Figure 4.12、4.13

    Text encoder 第二種做法:讓模型學座標

    這一步要解決數字數的做法看不懂 rich 和 wealth 是同一類意思。怎麼讓「意思近 = 座標近」?

    📖 原書 Figure 4.12二維 embedding 空間裡的字(依原書內容重繪;原圖的 twitt 是截斷,照畫)

    📖 原書 ML 方法讓模型把句子變成有意義的 embedding:兩個 embedding 的距離,反映對應的字在語意上多像。例如 rich 和 wealth 意思近,embedding 空間裡就靠得近;Figure 4.12 裡相似的字聚成一群。

    📖 原書 三種常見的 ML 做法

    1. Embedding (lookup) layer:這一頁
    2. Word2vec:下一頁
    3. Transformer-based:下一頁

    Embedding (lookup) layer

    用一層 embedding layer,把每個 ID 對應到一個 embedding 向量(Figure 4.13)。把 ID 這類稀疏特徵(幾萬格裡只有一格有值)換成固定長度的 embedding,簡單又有效。原書說後面幾章會一直看到它。

    原書Word2vec · Transformer-based · Figure 4.14、4.15

    從「猜中間的字」到「看整句話」:原書選 BERT

    這一步要解決座標要從哪裡學?學出來之後,能不能看上下文?

    📖 原書 Figure 4.14CBOW 的做法(依原書內容重繪)

    📖 原書 Word2vec

    一系列產生詞 embedding 的模型。用淺層神經網路,靠「字在附近一起出現」來學:訓練時學著從周圍的字猜中間的字。練完就能把字換成有意義的 embedding。兩個主要模型:CBOW 和 Skip-gram(Figure 4.14 是 CBOW)。

    📖 原書 Transformer-based

    word2vec 和 embedding layer 簡單有效,但近年的 Transformer 架構表現更好。它轉 embedding 時考慮句子裡的上下文,同一個字在不同句子裡會得到不同的 embedding(Figure 4.15:一句話進去,每個字各出一個 embedding)。BERT、GPT3、BLOOM 都展示了 Transformer 在各種 NLP(自然語言處理)任務的潛力。

    📖 原書的選擇 用 BERT 這類 Transformer 架構當 text encoder。有些面試官會要你深入講 Transformer 細節,原書附了從零實作的教學連結。

    原書Video encoder · Figure 4.16、4.17

    Video encoder:整支一起看,還是一格一格看?

    這一步要解決影片也要變成一組數字。整支丟進去最完整,但算得完嗎?

    📖 原書 Figure 4.16Video-level 模型(依原書內容重繪)

    📖 原書 Video-level models

    處理整支影片產生一個 embedding。架構通常是 3D convolution(連時間一起掃的小放大鏡)或 Transformer。因為整支都要處理,計算很貴。

    📖 原書 Frame-level models

    1. 前處理影片、抽幀
    2. 每個抽出的 frame 跑模型,得到 frame embedding
    3. 聚合(例如平均)成 video embedding

    通常比較快、比較省。但看不懂時間:動作、運動(第 17 頁的「倒著播」)。實務上,只要不太需要理解時間,多半選 frame-level。

    📖 原書的選擇 用 ViT(Vision Transformer,看圖片的 Transformer)這類 frame-level 模型,兩個理由:① 訓練和上線更快 ② 計算量更少。

    小結第 4–6 階:句子和影片怎麼變數字

    1. 一組數字
    2. 比方向
    3. 書後索引
    4. 切字編號
    5. 抽幾格
    6. 看上下文
    7. 配對題
    8. 驚訝分數
    9. 前 k 名
    10. 第一個對的
    11. 大概找
    12. 合併名單

    到這裡你已經會了

    • 句子先整理、切詞、換號碼normalization、tokenization、lookup table 或 hashing(第 14 頁)
    • 影片抽幾格,各算一組數字再平均frame、aggregation:省很多,但分不出先後(第 17 頁)
    • 同一個字要看上下文word2vec 一字一座標;Transformer 看整句(第 20 頁)

    「Cat playing piano!」現在走到哪裡

    1. 整理catplaypiano
    2. 換號碼#2 #5 #6(示範字典)
    3. text encoderBERT 看整句:play 是「彈」→ 一組數字 (0.6, 0.8)
    4. video encoderD 抽 4 格,ViT 各算一組,平均 → 也接近 (0.6, 0.8)

    號碼和座標都是示意。

    下一階要解決:兩台 encoder 是各自獨立的機器。誰保證「貓咪彈鋼琴」這句話,跟「貓咪彈鋼琴」的影片,會被放到地圖上同一個地方?怎麼辦呢?

    延伸基礎第 7 階 · 配對題 · 懂的人可以跳到第 27 頁

    1. 一組數字
    2. 比方向
    3. 書後索引
    4. 切字編號
    5. 抽幾格
    6. 看上下文
    7. 配對題
    8. 驚訝分數
    9. 前 k 名
    10. 第一個對的
    11. 大概找
    12. 合併名單

    怎麼讓「對的句子」跟影片靠在一起?

    ① 生活情境

    考卷上的配對題:左邊一張影片截圖,右邊四句描述,選一個對的。對的要連起來,錯的不能連。

    你猜猜看:一題配對題 4 個選項,完全亂猜,猜對的機率是多少?

    ③ 這時才給名字

    這種「對的拉近、錯的推遠」的練法叫 contrastive learning(對比學習)。對的那句叫 positive(正例),其他的就是反例。

    ② 動手玩:影片 D 配哪一句?

    ④ 跟這章的關係原書用 contrastive learning 同時練 text encoder 和 video encoder,一千萬對資料就是一千萬題配對題(第 27 頁)。

    延伸基礎第 8 階 · 驚訝分數 · 懂的人可以跳到第 27 頁

    1. 一組數字
    2. 比方向
    3. 書後索引
    4. 切字編號
    5. 抽幾格
    6. 看上下文
    7. 配對題
    8. 驚訝分數
    9. 前 k 名
    10. 第一個對的
    11. 大概找
    12. 合併名單

    配錯的時候,要罰多重?

    ① 生活情境

    四個候選人的分數有高有低,新聞會換成加起來 100% 的「支持率」。你押的人只有 1% 卻當選了,你一定很驚訝。

    你猜猜看:四句話跟影片的分數都一樣,[1, 1, 1, 1]。換成百分比,每句多少?

    ③ 這時才給名字

    把一排分數變成加起來 100% 的機率,叫 softmax。只看「正確答案拿到幾 %」來算驚訝程度,叫 cross-entropy。

    「所謂轉成機率的意思就是,每一個向量裡面的數字,變成介於 0 到 1 之間,這個向量裡面所有數字的總和變成 1」🎓 李宏毅課堂 導論 2025 · 第 3 講(講 softmax)

    ② 動手玩:拉分數,看百分比和驚訝分數
    —驚訝分數

    ④ 跟這章的關係原書 Figure 4.18 正是:dot product → softmax → 跟正確答案比 cross-entropy(第 27 頁)。練習就是想辦法讓這個分數變小。

    原書Model training · Figure 4.18

    訓練:一支影片、n 句話,只有一句是對的

    這一步要解決兩台 encoder 要怎麼一起練,才會把對的句子和影片放在一起?

    📖 原書 用 contrastive learning 同時訓練 text encoder 和 video encoder(細節原書請你看第 2 章「Model training」)。Figure 4.18 是算 loss 的過程:

    1. 影片 V 進 video encoder,得到 Ev
    2. 1 句 positive + (n−1) 句 negative 進 text encoder,得到 E1…En
    3. 算 Ev·E1、Ev·E2…Ev·En(dot product)
    4. 過 softmax 變成 Predictions(每句是正解的機率)
    5. 跟 Ground truth [1, 0, …, 0] 比,算 cross-entropy loss

    換成我們的例子:V 是影片 D,T1 是 Cat playing piano,其他是別人的搜尋句。這就是第 25、26 頁玩過的那一題。

    📖 原書 Figure 4.18Loss computation(依原書內容重繪)

    延伸基礎第 9 階 · 前 k 名 · 懂的人可以跳到第 29 頁

    1. 一組數字
    2. 比方向
    3. 書後索引
    4. 切字編號
    5. 抽幾格
    6. 看上下文
    7. 配對題
    8. 驚訝分數
    9. 前 k 名
    10. 第一個對的
    11. 大概找
    12. 合併名單

    你要的那支影片,有沒有擠進第一頁?

    ① 生活情境

    搜尋結果第一頁放 10 支影片。大家很少翻第二頁。所以最在意的是:對的那支,有沒有在前 10 名?

    你猜猜看:每句搜尋只有 1 支正確影片。模型把它排第 1 名,「前 10 名裡有幾成是對的」是多少?

    ③ 這時才給名字

    「前 k 名裡有幾成是對的」叫 precision@k。「所有對的裡,有幾成擠進前 k 名」叫 recall@k。

    ② 動手玩:排行榜
    —precision@k—recall@k

    ④ 跟這章的關係原書先看這兩個,發現 precision 不好用、recall@k 又有盲點(第 29 頁)。

    原書Offline metrics · Precision@k、mAP、Recall@k

    離線評估:先試 precision 和 recall

    這一步要解決上線前,拿標好的考題來考模型。用哪一個分數,才量得出搜尋排得好不好?

    📖 原書 Precision@k 與 mAP

    precision@k = 排行榜前 k 名裡相關的數量 ÷ k

    評估資料裡,每句查詢只對應一支影片,分子最多是 1,所以 precision@k 很低。就算把正確影片排第 1,precision@10 也只有 0.1。因此 precision@k 和 mAP(把 precision 再平均的指標)這類精確度指標不太有幫助。

    還記得第 4 頁說的嗎?A「Kitty plays piano」其實也算相關,但標註裡只有 D 是正解。就算模型把 A 排第 1,考試也不給分。

    📖 原書 Recall@k

    recall@k = 前 k 名裡相關影片的數量 ÷ 所有相關影片的數量

    「所有相關影片的數量」永遠是 1,所以變成:相關影片在前 k 名裡就是 1,否則是 0。

    優點 確實量出模型能不能替一句查詢找到對應的影片。

    缺點 ① 要看 k,k 不好選 ② 不在前 k 名就永遠是 0:模型 A 排第 15、模型 B 排第 50,recall@10 都是 0,可是 A 明明比較好。

    延伸基礎第 10 階 · 第一個對的 · 懂的人可以跳到第 31 頁

    1. 一組數字
    2. 比方向
    3. 書後索引
    4. 切字編號
    5. 抽幾格
    6. 看上下文
    7. 配對題
    8. 驚訝分數
    9. 前 k 名
    10. 第一個對的
    11. 大概找
    12. 合併名單

    不只問「有沒有」,還要問「排第幾」

    ① 生活情境

    運動會換積分:第 1 名得 1 分、第 2 名得 1/2 分、第 3 名得 1/3 分……名次越後面,分數越少,但永遠不是 0。

    你猜猜看:照這個算法,第 4 名得幾分?

    ③ 這時才給名字

    名次倒過來的分數叫 reciprocal rank。很多句搜尋各算一次再平均,叫 MRR(Mean Reciprocal Rank)。

    ② 動手玩:三句搜尋,正確影片各排第幾?
    —MRR(三句的平均)

    ④ 跟這章的關係MRR 補上 recall@k 的兩個缺點,原書選它當離線指標(第 31 頁)。

    原書Offline metrics · MRR

    原書選 MRR 當離線指標

    📖 原書 Mean Reciprocal Rank

    把每次搜尋結果裡第一個相關項目的名次取倒數,再平均,用來衡量模型品質。

    MRR = (1/m) × [ 1/rank1 + 1/rank2 + … + 1/rankm ]

    m 是查詢的數量,ranki 是第 i 句查詢的第一個相關項目排第幾名。原書:這個指標解決了 recall@k 的缺點,可以當我們的離線指標。

    心算一次

    搜尋句正解排第幾倒數
    Cat playing piano11
    Dog playing guitar20.5
    Piano lesson40.25
    平均(÷ 3)≈ 0.58

    為什麼它補上 recall@k 的缺點?① 不用選 k ② 排第 15 和排第 50 分得出來(1/15 比 1/50 大)。

    原書Online metrics

    上線之後,看使用者怎麼用

    這一步要解決考試分數好,不代表真實使用者滿意。上線後要追哪些數字?

    📖 原書 Click-through rate(CTR)

    使用者多常點開搜尋到的影片。問題:點了不代表相關。但它還是值得追,因為顯示了有多少人點搜尋結果。

    📖 原書 Video completion rate

    出現在搜尋結果、而且被看到結束的影片有多少。問題:使用者可能只看一部分,卻覺得很相關。單看完成率反映不了相關性。

    📖 原書 Total watch time of search results

    使用者看搜尋結果影片的總時間。結果相關,大家通常看比較久。原書說這是相關性的好指標。

    你想想看:搜「貓咪彈鋼琴」,點開 D 看了 40 秒就關掉。CTR 有算、完成率沒算(沒看完,因為影片 3 分鐘)、觀看時間加 40 秒。三個數字講的是同一件事的三個面向。

    小結第 7–10 階:怎麼教會它、怎麼打分數

    1. 一組數字
    2. 比方向
    3. 書後索引
    4. 切字編號
    5. 抽幾格
    6. 看上下文
    7. 配對題
    8. 驚訝分數
    9. 前 k 名
    10. 第一個對的
    11. 大概找
    12. 合併名單

    到這裡你已經會了

    • 用配對題同時練兩台 encodercontrastive learning:對的拉近、錯的推遠(第 25 頁)
    • 配錯了就算驚訝分數softmax 換百分比、cross-entropy 看正解拿到幾 %(第 26 頁)
    • 考試看「第一個對的排第幾」recall@k 只有 0/1;MRR 用名次的倒數(第 28、30 頁)

    「Cat playing piano!」現在走到哪裡

    1. 練習〈D, Cat playing piano〉是一千萬題配對題之一
    2. 罰分練完 T1 拿到約 90%,驚訝分數約 0.1
    3. 考試D 排第 1 → 這句的 reciprocal rank 是 1
    4. 上線再看 CTR、完成率、總觀看時間

    數字都是示意。

    下一階要解決:考試時只有幾千句。上線後有十億支影片,每句搜尋都跟十億支算一次 dot product?怎麼辦呢?

    延伸基礎第 11 階 · 大概找 · 懂的人可以跳到第 35 頁

    1. 一組數字
    2. 比方向
    3. 書後索引
    4. 切字編號
    5. 抽幾格
    6. 看上下文
    7. 配對題
    8. 驚訝分數
    9. 前 k 名
    10. 第一個對的
    11. 大概找
    12. 合併名單

    十億個點,怎麼一下子找到最近的幾個?

    ① 生活情境

    在圖書館找一本貓的書,你不會從第一櫃翻到最後一櫃。你先走到「動物」那一區,只翻那一區。偶爾放錯區的書會漏掉,但快太多了。

    你猜猜看:電腦一秒比 1 億支影片(示意),十億支一支一支比,一句搜尋要多久?

    ③ 這時才給名字

    找離查詢最近的幾個點叫 nearest neighbor search。先分區、只在附近找,換來速度、偶爾漏掉,叫 ANN(approximate nearest neighbor,大概找)。

    ② 動手玩:移動搜尋句,比較兩種找法
    —比了幾次—真正最近的 3 個找到幾個

    ④ 跟這章的關係原書的 nearest neighbor service 就用 ANN 加速(第 36 頁);分區、樹、雜湊等做法在第 2 章。

    原書Serving · Figure 4.19

    整個系統:一條預測管線、兩條索引管線

    這一步要解決使用者按下搜尋那一刻,要做哪些事?影片上傳之後,又要先準備什麼?

    📖 原書 Figure 4.19ML 系統設計(依原書內容重繪)
    服務時,系統顯示跟查詢相關的影片排名清單。

    原書Prediction pipeline · Visual search · Text search · Figure 4.20

    預測管線:先各自撈幾百支

    這一步要解決十億支影片裡,兩條路怎麼各自撈出一小批候選?

    📖 原書 Figure 4.20替一句文字查詢撈出前 3 名(依原書內容重繪)

    📖 原書 Prediction pipeline 有四個零件

    1. Visual search
    2. Text search
    3. Fusing layer(第 38 頁)
    4. Re-ranking service(第 38 頁)

    Visual search

    把文字查詢編碼,用 nearest neighbor service 找跟 text embedding 最像的 video embedding。為了加速,用 ANN 演算法(原書第 2 章 Visual Search System)。

    Text search

    用 Elasticsearch 找標題和標籤跟查詢有重疊的影片。

    延伸基礎第 12 階 · 合併名單 · 懂的人可以跳到第 38 頁

    1. 一組數字
    2. 比方向
    3. 書後索引
    4. 切字編號
    5. 抽幾格
    6. 看上下文
    7. 配對題
    8. 驚訝分數
    9. 前 k 名
    10. 第一個對的
    11. 大概找
    12. 合併名單

    兩張榜單,怎麼合成一張?

    ① 生活情境

    歌唱比賽:評審打一個分數,觀眾投票一個分數。節目說「評審佔 70%、觀眾佔 30%」,兩個分數各乘上比例再加起來,就是總分。

    你猜猜看:評審給 90 分、觀眾給 60 分,評審 70%、觀眾 30%,總分是?

    ③ 這時才給名字

    把兩條路的結果合成一張,叫 fusing(融合)。各乘比例再加起來,叫 weighted sum(加權總和)。

    「那它也會做語意的比對 它會把關鍵字變成一個 embedding 然後把這個 chunk 變成 embedding 直接計算兩個 embedding 之間的相似度 得到另外一個相似程度 叫做 s2 它會把 s1 跟 s2 呢 做 weighted sum」🎓 李宏毅課堂 解剖小龍蝦 — 以 OpenClaw 為例介紹 AI Agent 的運作原理(s1 是字面比對的分數)

    ② 動手玩:調比例,看 D 排第幾
    看字佔 50%

    ④ 跟這章的關係原書的 fusing layer 就用加權總和,因為最簡單(第 38 頁)。

    原書Fusing layer · Re-ranking service

    合併兩張榜,再套上平台自己的規則

    這一步要解決兩條路各撈了幾百支,怎麼變成使用者看到的那一排?

    📖 原書 Fusing layer

    把前一步兩張不同的相關影片清單,合成一張新清單。兩種做法:

    做法代價
    ① 最簡單依兩邊預測相關分數的加權總和重新排序不用訓練
    ② 比較複雜多用一個模型來重新排序要訓練,比較貴;上線時也比較慢

    原書的選擇:用 ①。

    📖 原書 Re-ranking service

    加入商業層面的邏輯和政策,修改影片的排名清單。

    商業規則長什麼樣,原書沒有列。你可以想成:違規影片要拿掉、某些地區不能顯示的要拿掉這一類「模型分數以外」的規定。最後這一排,才是使用者看到的。

    我們的例子

    1. 看畫面D、A、C、B、E
    2. 看字A,B/C/E 並列(D 沒中)
    3. 加權 70%A 0.87、D 0.70、C 0.66、B 0.52、E 0.30

    原書Video indexing pipeline · Text indexing pipeline

    索引管線:影片上傳後,先準備好兩份索引

    這一步要解決搜尋時才去算十億支影片的 embedding,一定來不及。要事先做好什麼?

    📖 原書 Video indexing pipeline

    用訓練好的 video encoder 算出影片的 embedding,再建索引。nearest neighbor service 用的就是這些索引好的 video embedding。

    白話:每支新影片上傳,就先抽幀、算好它的那組數字,放上地圖。

    📖 原書 Text indexing pipeline

    用 Elasticsearch 索引標題、手動標籤、自動產生的標籤。

    白話:把每支影片的字,整理進第 10 頁那種書後索引。

    📖 原書 Auto-tagger

    使用者上傳影片時,通常會填標籤幫忙辨識。沒填怎麼辦?用一個獨立的模型產生標籤,叫 auto-tagger。影片沒有手動標籤時特別有用。自動標籤可能比手動的雜訊多,但還是有價值。

    我們的 D:auto-tagger 看了畫面,補上 cat、piano,看字那條路也找得到它了。

    客座講評Triton 怎麼看搜尋的 infra

    一定要多架一套 Elasticsearch 嗎?

    這一步要解決Figure 4.19 有好幾套獨立的系統。每多一套,誰來顧?

    「越少模組,便代表 – 你需要監控和管理的模組便越少 – 代表你的團隊需要掌握的語言/技術便越少」🗣️ Triton 本人說 073-lesson3.pdf.md · 第 8 頁

    「通用 vs 專精? 例子:是否使用 ElasticSearch ? – 你需要 Tokenization 嗎? – 能不能先在 RDBMS 做 searching ?」🗣️ Triton 本人說 073-lesson3.pdf.md · 第 9 頁

    📝 上課筆記「e-commerce 流量⼩ 先直接全放 Postgres 等流量⼤ 再慢慢搬出去做 例如搜尋⽤ Elasticsearch」058 · Roy 的 columnar storage mini-talk 筆記,記的是 Triton 的回答,非本人原文

    白話:RDBMS 是一般的關聯式資料庫,例如 PostgreSQL;模組就是一套要獨立架設、監控的系統。

    🔭 依 Triton 原則推論 套到這一章

    Triton 沒談過影片搜尋。套他的問題:需要 tokenization 嗎?本章要(第 15 頁)。規模呢?原書是十億支影片,獨立的 Elasticsearch 和 nearest neighbor service 說得過去。但如果平台只有幾萬支,第一版可以先把兩份索引都放進同一套 RDBMS,流量大了再搬出去。

    —要獨立架設、監控的系統

    客座講評Triton 怎麼看 Search DB 的時差

    影片剛上傳,為什麼搜不到?

    這一步要解決兩條索引管線都要時間。這段時間,使用者會看到什麼?

    「看老闆的錢包深度,沒錢別額外架 Search DB」「數據儲存結構有特別為搜尋作特化」「有 tokenization 和 auto correction等等幫助搜尋 的重要功能」「很多時候: Search DB 的數據跟 Main DB 的會 有時差」🗣️ Triton 本人說 073-lesson3.pdf.md · 第 28 頁 Search DB

    白話:Main DB 是存正本的主資料庫;Search DB 是專門拿來搜尋的另一份,例如 Elasticsearch。auto correction 是自動改錯字。

    🔭 依 Triton 原則推論 原書兩條索引管線都在上傳之後才跑:看字那條要等標題進索引、等 auto-tagger;看畫面那條要等抽幀和 video encoder。面試時可以先問一句:「新影片可以接受多久才搜得到?」另外,Triton 提到的 auto correction,正好是原書 other talking points 裡的 spelling correction(第 42 頁)。

    各步驟要幾分鐘都是示意,真實時間要看影片長度和機器量。

    原書Other Talking Points

    原書自己說:這是簡化版,真實系統複雜得多

    📖 原書 可以改進的地方

    • 用 multi-stage 設計:candidate generation + ranking(先粗撈、再細排)
    • 用更多影片特徵:影片長度、人氣等
    • 不靠標註資料,改用互動(點擊、按讚等)建立和標記資料,就能持續訓練模型
    • 用 ML 模型找跟查詢語意相似的標題和標籤,跟 Elasticsearch 結合提升品質

    📖 原書 面試還有時間,可以聊

    • Query understanding:拼字校正、查詢類別辨識、實體辨識,怎麼做?
    • 處理語音和音訊的 multi-modal 系統
    • 擴展到其他語言
    • 最終結果裡的近重複影片傷體驗,怎麼偵測、移除?
    • 查詢分成 head、torso、tail(熱門、中間、冷門),各用什麼方法?
    • 排序時怎麼考慮人氣和新鮮度?
    • 真實世界的搜尋系統怎麼運作?

    每一題回到今天的哪一頁

    • multi-stage → 第 36 頁:兩條路各撈幾百支,其實已經是「先粗撈」
    • 用互動當標籤 → 第 32 頁:CTR、觀看時間本身就是訊號
    • 語意相似的標籤 → 第 20、39 頁:看上下文、auto-tagger
    • 拼字校正 → 第 41 頁 Triton 說的 auto correction
    • head/tail → 熱門查詢常被重複搜,冷門的每句都很新,這就是第 14 頁 hashing 處理沒看過的字的場合

    📅 2026 補充方法怎麼演進

    原書之後,這幾個零件換了做法

    這一步要解決原書之後,兩條搜尋的路往哪裡演進?

    video encoder:直接借圖文配對練好的模型

    CLIP(2021)用約 4 億對「圖片 + 說明文字」做 contrastive learning,圖和字一開始就在同一張地圖上。之後的 CLIP4Clip 就是拿 CLIP 的圖片 encoder 逐格算、再平均,跟原書的 frame-level 做法同一個想法。

    兩條路可以放進同一套引擎

    Elasticsearch 8.x 支援向量的近似 kNN 搜尋(用 HNSW 這種 ANN 索引);PostgreSQL 的 pgvector 擴充也支援 HNSW。看字和看畫面不一定要兩套系統,正好呼應第 40 頁「越少模組越好」。

    合併:不只加權分數,也看名次

    兩邊的分數單位不一樣,加權前要先調成可比。另一種常見做法是 RRF(Reciprocal Rank Fusion):只看每支影片在兩張榜的名次,加總 1 ÷ (常數 + 名次),跟 MRR 是同一種「名次倒數」。Elasticsearch 也內建了 RRF。

    re-ranking:讓模型把句子和影片一起讀

    原書嫌額外的排序模型貴。後來常見的分工是:前面用雙 encoder 快速撈幾百支,最後只對這幾百支用 cross-encoder(把查詢和候選一起讀的模型)細排,貴的模型只跑一小批。影片的語音轉成文字(例如 Whisper,2022)也成了常見的文字特徵。

    回顧12 階全部爬完

    1. 一組數字
    2. 比方向
    3. 書後索引
    4. 切字編號
    5. 抽幾格
    6. 看上下文
    7. 配對題
    8. 驚訝分數
    9. 前 k 名
    10. 第一個對的
    11. 大概找
    12. 合併名單

    影片搜尋,其實就是把句子和影片放上同一張地圖,再找離得最近的而已。

    怎麼比像不像

    句子和影片都變成一組數字(embedding),比箭頭方向(dot product)。看字的那條路查書後索引(inverted index、Elasticsearch)。

    怎麼變成數字

    句子:整理 → 切 token → 換號碼 → BERT 看上下文。影片:解碼 → 抽幀 → ViT 每格算 → 平均。

    怎麼教會、怎麼打分數

    一千萬題配對題(contrastive learning),softmax + cross-entropy 罰分。考試看 MRR;上線看 CTR、完成率、總觀看時間。

    怎麼上線

    事先建好兩份索引;搜尋時 ANN 和 Elasticsearch 各撈幾百支,加權合併,再套商業規則。先想想要幾套系統、能接受多久的時差。

    IMG_0423.mp4 沒有標題也找得到,因為模型真的「看」了它。然後呢?然後就結束了。

    名詞小卡課後複習用 · 每個詞一行白話

    本章名詞小卡

    名詞一行白話在哪一頁
    embedding描述一個東西的一組數字,地圖上的一個點第 6 頁
    encoder把句子或影片變成 embedding 的機器第 6 頁
    representation learning學一種好的「一組數字」表示法第 9 頁
    cosine similarity看兩支箭頭夾角:同方向 1、直角 0第 7 頁
    dot product對應的數字相乘再加起來;長度 1 時等於 cosine第 7 頁
    visual search看畫面的那條路第 9 頁
    text search看標題、描述、標籤的那條路第 11 頁
    inverted index書後索引:字 → 有這個字的影片第 10 頁
    Elasticsearch常用的現成搜尋引擎軟體第 11 頁

    忘了哪個詞,就回到右邊那一頁,四步再走一次。

    給工程師的重點出處、公式與頁碼對照

    本章引用的來源

    原書

    Machine Learning System Design Interview · YouTube Video Search 章。Introduction 與 Figure 4.1(第 3 頁)、Clarifying Requirements(5)、ML objective、input/output、ML category 與 Figure 4.2–4.3(8)、visual search 與 Figure 4.4(9)、text search、inverted index、Elasticsearch 與 Figure 4.5(11)、data engineering 與 Table 4.1、feature engineering(13)、preparing text data、normalization、tokenization 與 Figure 4.6(15)、tokens to IDs、Figure 4.7–4.8、Table 4.2(16)、preparing video data 與 Figure 4.9(18)、text encoder、BoW、TF-IDF、Figure 4.10–4.11(19)、ML-based methods、embedding layer、Figure 4.12–4.13(21)、word2vec、Transformer、Figure 4.14–4.15(22)、video encoder、Figure 4.16–4.17(23)、model training 與 Figure 4.18(27)、precision@k、mAP、recall@k(29)、MRR(31)、online metrics(32)、serving 與 Figure 4.19(35)、prediction pipeline 與 Figure 4.20(36)、fusing layer、re-ranking(38)、indexing pipelines、auto-tagger(39)、Other Talking Points(42)。20 張圖全部依圖說與描述重繪,不是原圖;Figure 4.11 原書是表格,照排成表;Figure 4.9 的影片截圖改成畫格示意;Figure 4.15 箭頭方向依內文

    本簡報加的頁面:概念階梯(4)、12 個延伸基礎(6、7、10、14、17、20、25、26、28、30、34、37)、小結(12、24、33)、名詞小卡(45)。5 支影片 A–E、所有 embedding 與分數都是示意

    🎓 李宏毅課堂(逐字稿)

    • 生成式人工智慧與機器學習導論 2025 · 第 3 講(8iFvM7WUUs8)— Tokenization 與 ID、cosine similarity 最大是 1、Contextualized Embedding 的 apple、softmax
    • 同 · 第 7 講(YJoegm7kiUM)— 分類用 cross entropy 當距離
    • 同 · 第 9 講(ccqCDD9LqCA)— 影片是一連串的圖片、Frame(幀)
    • 同 · 第 10 講(CbIPjrOj2Tc)— Spoken Content Retrieval、Audio Word Vector、比對向量很快
    • 解剖小龍蝦 — 以 OpenClaw 為例介紹 AI Agent 的運作原理(2rcJdFuNbZQ)— 字面比對、語意比對、weighted sum

    來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)

    🗣️ Triton、📝 筆記與 📅 依據

    • 073-lesson3.pdf.md(🗣️ 本人投影片)— 第 8 頁越少模組、第 9 頁是否使用 ElasticSearch、第 28 頁 Search DB 與時差
    • 058-…columnar_storage_mini-talk.pdf.md(📝 Roy 的筆記)— 流量小先全放 Postgres、流量大再把搜尋搬去 Elasticsearch
    • 📅 CLIP(2021)、CLIP4Clip(2021)、Elasticsearch 8.x kNN 與 RRF、pgvector HNSW、RRF(2009)、Whisper(2022)

    公式(主文用文字講過)

    • cos(a,b) = a·b ÷ (|a||b|);|a| = |b| = 1 時等於 a·b
    • softmax(si) = esi ÷ Σj esj;loss = −ln ppositive
    • precision@k = 相關數 ÷ k;recall@k = 前 k 名相關數 ÷ 相關總數
    • MRR = (1/m) Σi 1/ranki
    • fusion = w·svisual + (1−w)·stext;RRF = Σ 1/(60 + rank)
    ← → 翻頁 · S 講者備註 · D 深/淺色
    1 / 1目錄