ML System Design · 第 6 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟡 中(只有 infra:喜好分數、快取清單、top-N)

影片推薦系統
其實就是:從 100 億部裡先粗挑、再細排,挑出你今晚會點的那幾部而已

你打開 YouTube,首頁那排「為你推薦」不是隨便放的。原書要你設計這個首頁推薦:每次打開首頁,200 毫秒內,從大約 100 億部影片裡挑出你最可能喜歡的。

今天的路線

需求 → 一邊爬 15 階基礎、一邊對照原書(第 3 頁的階梯):怎麼知道你喜歡什麼 → 怎麼把喜歡變成數字 → 怎麼教模型 → 推得好不好 → 100 億部怎麼來得及。全程只用一個人:小安。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論 延伸基礎

標「延伸基礎」的頁只用高中數學講 ML 基本功,懂的人可以跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。Triton 只談過 infra,所以他只出現在客座講評卡。

先講跟你有關的動手玩 · 你來當推薦員

小安剛打開首頁。你會推哪一部給她?

小安這禮拜看過 3 部料理、1 部貓(灰底)。點一部,把它放上她的首頁。

—你挑一部花了幾秒—100 億部都看一遍要(不吃不睡)

從右邊兩個問題想想看,再點一部。

你可能會想說,這有什麼難的?她愛看料理,就推料理嘛。對,一個人、六部影片不難。

今天整堂課只在回答四個問題:怎麼知道她喜歡什麼?(資料)怎麼把喜歡變成數字?(模型)推得好不好?(評估)100 億部影片,200 毫秒,怎麼來得及?(系統)

你有沒有發現兩種推法?一種是「跟她看過的很像」,一種是「跟她口味像的人也看了」。這兩種推法,就是原書的兩大門派(第 8、9 頁)。

學習地圖今天要爬的 15 階 · 每一階只用前面學過的東西

一階一階往上爬,不跳階

  1. 1打勾表誰看過什麼?
  2. 2按讚·看完怎樣才算喜歡?
  3. 3看內容跟看過的像
  4. 4口味像的人他也看了
  5. 5新來的沒有紀錄怎麼辦?
  6. 6一組數字把影片變數字
  7. 7乘一乘加起來合不合口味?
  8. 8差多少猜得準不準?
  9. 9還原表格兩組數字相乘
  10. 10兩座塔新用戶也能算
  11. 11找反例沒看的當反例
  12. 12前 k 名前幾名準不準?
  13. 13別都一樣夠不夠多元?
  14. 14分兩組比上線怎麼比?
  15. 15漏斗100 億怎麼篩?

怎麼知道她喜歡什麼 怎麼把喜歡變成數字 怎麼教模型 推得好不好 100 億怎麼來得及 英文名字等爬到那一階才給。

整堂課只用一個人、六部影片

小安看過蛋炒飯、滷肉飯、烤布丁(料理)和橘貓搶罐罐(貓)。還沒看:貓咪陪我做壽司、滑雪初體驗。另外兩位:阿哲、小美。

每一階都走四步

① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。

每爬幾階就停一下

「到這裡你已經會了」:第 11、19、32、43 頁。最後有名詞小卡(第 50 頁)。

原書Introduction · Clarifying Requirements · Figure 6.1

原書的題目:首頁的「為你推薦」

這一步要解決推薦有很多種:看完一部推下一部、首頁推薦……先問清楚要做哪一種、做到多快。

📖 原書 應徵者 × 面試官

應徵者問面試官答
商業目標是提升使用者參與度(user engagement),對嗎?沒錯
是推薦「跟正在看的影片相似的影片」,還是首頁的個人化清單?首頁推薦:使用者載入首頁時,推薦個人化影片
YouTube 是全球服務,可以假設使用者遍布全球、影片語言多樣嗎?合理的假設
可以用使用者與影片的互動來建資料集嗎?可以
使用者能建播放清單嗎?播放清單在學習階段很有參考價值為了簡化,假設沒有播放清單
平台上有多少影片?大約 100 億支
要多快?可以假設不超過 200 毫秒嗎?聽起來不錯
📖 原書 Figure 6.1首頁影片推薦(依原書內容重繪)

📖 原書 推薦系統在 YouTube、Netflix、Spotify 都很關鍵,設計起來很複雜。但 45 分鐘的面試沒人期待完美系統,面試官想看的是思考過程、溝通、設計 ML 系統的能力、討論取捨。記住兩個數字:100 億、200 毫秒(第 38 頁會用到)。

延伸基礎第 1 階 · 打勾表 · 懂的人可以跳到第 7 頁

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

電腦怎麼記得「誰看過什麼」?一張打勾表

① 生活情境

班長幫全班訂飲料:一列一個同學、一欄一種飲料,誰點了就打勾。看一眼就知道誰愛喝什麼。

你猜猜看:假設一張 3 人 × 6 部的表,打了 9 個勾。空格佔幾成?

③ 這時才給名字

這張表叫 user–video matrix(使用者–影片矩陣),原書也叫 feedback matrix:一列一個人、一欄一部影片,打勾的格子是 1。

② 動手玩:點格子打勾,看看表有多空
—打勾的格子—空格比例

④ 跟這章的關係推薦,其實就是猜「空格裡哪幾格該打勾」。後面的模型,全都在猜這件事。

延伸基礎第 2 階 · 按讚·看完 · 懂的人可以跳到第 7 頁

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

怎樣才算「她喜歡」?按讚很準,但很少人按

① 生活情境

開餐廳想知道客人喜不喜歡:留五星評論的人很少,但很準;盤子吃光的人很多,但也可能只是很餓。

你猜猜看:「點開就算喜歡」,打勾表會怎樣?

③ 這時才給名字

按讚、分享這種「明白說出來」的叫 explicit feedback;點擊、看了多久這種「從行為猜」的叫 implicit feedback。

② 動手玩:換一條規則,看小安那一列打幾個勾

④ 跟這章的關係原書把「相關」定義成兩種一起用:按讚,或看超過一半(下一頁)。打勾表就是照這條規則打的勾。

原書Frame the Problem · Defining the ML objective · Figure 6.2

「提升參與度」要翻譯成模型聽得懂的目標

這一步要解決老闆說「讓使用者更投入」。模型只會把一個數字變大,要選哪個數字?

你猜猜看:如果目標是「點擊越多越好」,系統最愛推哪一種?

📖 原書 四個候選目標

目標問題
最大化點擊數會推 clickbait:標題縮圖吸引人,內容無聊、不相關甚至誤導,長期降低滿意度與參與度
最大化看完的影片數會偏好比較短、比較快看完的影片
最大化總觀看時間推出使用者花更多時間看的影片
最大化相關影片數 原書選這個由工程師或 PM 用規則定義「相關」,例如按讚或看超過一半;再訓練模型預測使用者與影片的相關分數

原書選最後一個:能掌控用哪些訊號,也沒有前面幾個的缺點。

「Goodhart's Law 講的就是 如果一個評量的指標 它被當作我們要努力的 optimize 的目標的話 它就不再是一個好的指標」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講

📖 原書 Figure 6.2輸入一個使用者,輸出依相關分數排序的影片清單(依原書內容重繪)

延伸基礎第 3 階 · 看內容 · 懂的人可以跳到第 10 頁

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

第一種推法:找「跟她看過的很像」的影片

① 生活情境

你跟唱片行店員說喜歡某個歌手,店員從架上拿出「風格很像」的專輯。他看的是專輯本身:曲風、樂器、語言。

你猜猜看:只看影片標籤,最該推給小安的是哪一部?

③ 這時才給名字

用影片本身的特徵(標籤、標題、長度……)找相似的影片,叫 content-based filtering(基於內容的過濾)。

② 動手玩:點一部她看過的,看標籤找到誰

④ 跟這章的關係原書的第一個門派(第 10 頁 Figure 6.4)。它只看影片長怎樣,不用看別人。

延伸基礎第 4 階 · 口味像的人 · 懂的人可以跳到第 10 頁

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

第二種推法:「跟你口味像的人也看了」

① 生活情境

網路書店說「買了這本的人也買了……」。它完全不讀書的內容,只看大家的購物車。

你猜猜看:阿哲看過 A、B、D、F,小美看過 D、E。誰跟小安(A、B、C、D)口味比較像?

③ 這時才給名字

只用打勾表找相似的人(或相似的影片)來推薦,叫 collaborative filtering(協同過濾,簡稱 CF)。

② 動手玩:按一步,找「口味像的人」

④ 跟這章的關係原書的第二個門派(第 10 頁 Figure 6.5)。它不看影片內容,卻能帶小安發現新興趣:滑雪。

原書Choosing the right ML category · Figure 6.3、6.4、6.5

原書的推薦系統家譜:兩大門派,再加一個混血

這一步要解決個人化推薦有哪幾種做法?各自擅長什麼?

📖 原書 Figure 6.3常見的推薦系統類型(依原書內容重繪)

📖 原書 Content-based filtering

用影片特徵推薦「跟使用者過去覺得相關的影片」相似的新影片,例如看很多滑雪影片就推更多滑雪。圖:A 看過 X、Y;Z 跟 X、Y 相似;推 Z 給 A。

優點:能推新影片(影片檔案只靠自己的特徵,不必等互動資料);能抓住使用者獨特的興趣。

缺點:難以發掘使用者的新興趣;需要領域知識,常得手動設計影片特徵。

📖 原書 Collaborative filtering(CF)

用使用者之間(user-based)或影片之間(item-based)的相似度推薦。直覺:相似的人對相似的影片有興趣。跟 content-based 最大的差別:不用影片特徵,只靠歷史互動。圖:找到跟 A 相似的 B;找 B 看過、A 沒看過的 Z;推 Z 給 A。

優點:不需要領域知識;容易發現新興趣;通常比較快、比較省運算(不靠影片特徵)。

缺點留到第 13 頁,先爬一階。

小結第 1–4 階:怎麼知道她喜歡什麼

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

到這裡你已經會了

  • 喜好記在一張打勾表上一列一個人、一欄一部影片;幾乎全是空格(第 5 頁)
  • 勾要怎麼打,是我們定的explicit(按讚)準但少;implicit(看多久)多但吵;原書:按讚或看一半(第 6、7 頁)
  • 兩種推法看內容找像的(content-based);看口味像的人(CF)(第 8、9 頁)

小安,現在走到哪裡

  1. 打勾A 蛋炒飯、B 滷肉飯、C 烤布丁、D 橘貓
  2. 看內容E 貓咪陪我做壽司:料理、貓兩個標籤都中
  3. 看口味阿哲跟她有 3 個共同勾 → F 滑雪初體驗
  4. 首頁E 壽司 · F 滑雪

下一階要解決:明天平台上新增一部「氣炸鍋雞翅」,還沒有人看過;又來了一位新用戶小新,一部都沒看過。這兩種推法,誰還推得動?

延伸基礎第 5 階 · 新來的 · 懂的人可以跳到第 13 頁

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

沒有紀錄的新人、新影片,要推什麼?

① 生活情境

新開的餐廳,網路上一則評論都沒有。「大家都說好吃」這招不能用,只能看菜單、看裝潢來猜。

你猜猜看:新影片「氣炸鍋雞翅」還沒人看過。哪一種推法推得動它?

③ 這時才給名字

新使用者、新影片資料太少、推不準的狀況,叫 cold start(冷啟動)。

② 動手玩:選一位「新來的」,兩種推法各試一次

④ 跟這章的關係原書說 CF 有 cold start 問題。新用戶兩種推法都卡住,要等到第 27 頁的「兩座塔」才有解。

原書CF 的缺點 · Table 6.1 · Hybrid filtering · Figure 6.6

兩個門派剛好互補,原書選「混血」

這一步要解決content-based 不會帶你看新東西,CF 推不動新影片。能不能兩個一起用?

📖 原書 CF 的缺點

  • Cold-start problem:新影片、新使用者沒有歷史互動,CF 找不到相似的使用者或影片(處理方式在 serving 一節,第 42 頁)
  • 處理不了小眾興趣:興趣很專門的人,很難找到口味像的人

📖 原書 Table 6.1 兩種方法的比較

Content-basedCollaborative
處理新影片✓✘
發現新興趣領域✘✓
不需要領域知識✘✓
效率✘✓

如你所見,兩種方法是互補的。

📖 原書 Figure 6.6Hybrid filtering:平行或依序(依原書內容重繪)

📖 原書 選哪一種?

Hybrid filtering 同時用兩種資料:歷史互動和影片特徵,推得更好。實務上公司通常用依序(sequential):Google 的論文描述 YouTube 先用 CF 模型當第一階段(candidate generator),再用 content-based 模型當第二階段。原書選 hybrid。

原書Data Preparation · Data engineering · Table 6.2、6.3、6.4

原書手上有三種資料:影片、使用者、互動

這一步要解決要教模型猜打勾表,手上有哪些原料?

Video IDLengthManual tagsManual titleLikesViewsLanguage
128Dog, FamilyOur lovely dog playing!1385300English
2300Car, OilHow to change your car oil?5250Spanish
33600Ouli, VlogHoneymoon to Bali2200255KArabic

📖 原書 Table 6.2影片的 metadata(照原書)

📖 原書 三種資料

  • Videos:原始影片檔和 metadata(ID、長度、標題……)。有些是上傳者明確給的,有些由系統自己判斷,例如長度
  • Users:一份簡單的使用者 schema(ID、名稱、年齡、性別、城市、國家、語言、時區)
  • User–video interactions:按讚、點擊、曝光(impression)、過去的搜尋、留言……連同位置和時間戳記一起記錄

對照小安:Table 6.4 一列,就是她的一個動作。第 6 頁的「按讚或看一半」規則,就是從這張表把勾打進打勾表。注意第 5 列的 Search 沒有 Video ID:搜尋本身也是一種線索。

延伸基礎第 6 階 · 一組數字 · 懂的人可以跳到第 16 頁

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

模型只會算數字。影片要怎麼變成數字?

① 生活情境

手搖飲的菜單上,每杯都標「甜度、冰塊、咖啡因」三格。三個數字,就把一杯飲料大概說清楚了。

你猜猜看:用[料理, 貓, 運動]三格打分(有就 1,沒有就 0),「貓咪陪我做壽司」是?

③ 這時才給名字

代表一個東西的一組數字,叫 embedding。數字多半由模型在訓練時自己學,學這些數字的那一層叫 embedding layer。

「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講(講文字,影片同理)

② 動手玩:點一部影片看它的三個數字,再算小安的

④ 跟這章的關係影片 ID、語言這種「類別」,原書都用 embedding layer 變成數字;使用者看過的影片,就把它們的 embedding 平均(第 17 頁)。

原書Feature engineering · Video features · Figure 6.7

原書怎麼把一部影片變成一串數字

這一步要解決模型要預測「哪些影片跟使用者相關」。影片的哪些資訊有用?怎麼變成數字?

📖 原書 Figure 6.7影片特徵的準備(依原書內容重繪)

📖 原書 重要的影片特徵

特徵為什麼、怎麼做
Video ID類別資料,用 embedding layer 變成數字向量,在訓練時一起學
Duration(長度)有些人偏好短片,有些人偏好長片
Language(語言)使用者自然偏好某些語言;有限的類別,用 embedding layer
Titles and tags描述影片,上傳者手動給,或由獨立的 ML 模型預測。「how to make pizza」就知道跟 pizza、烹飪有關

Tags:用輕量的預訓練模型 CBOW 變成特徵向量。Title:用看得懂上下文的預訓練 BERT 變成特徵向量。

白話:CBOW、BERT 都是別人先訓練好的「文字翻成數字」工具。一部影片有好幾個標籤,就把每個標籤的數字平均(Aggregate)起來,最後全部接成一長串(Concatenate)。

原書User features · Figure 6.8、6.9、6.10

使用者那一邊:是誰、現在在哪、以前看過什麼

這一步要解決同一個人,早上用手機和晚上用電腦,想看的可能不一樣。使用者的哪些資訊有用?

📖 原書 Figure 6.8使用者人口統計特徵(依原書內容重繪)

📖 原書 三類使用者特徵

  • Demographics(人口統計):ID、年齡、性別、語言、城市、國家。年齡先 bucketize(分成幾個區間)再 one-hot(一排格子只有一格是 1)
  • Contextual(情境):一天中的時間(工程師晚上看比較多教學影片)、裝置(手機上偏好短片)、星期幾
  • Historical interactions(歷史互動):搜尋紀錄:每個查詢用預訓練的 BERT 變成 embedding,再平均成固定長度;按讚的影片:影片 ID 經 embedding layer 再平均;看過的影片、曝光:做法同上

為什麼要平均?每個人的紀錄長短不一:小安看過 4 部,阿哲看過 400 部。平均之後,大家都變成一樣長的一組數字,模型才吃得下(第 15 頁算過小安的:[0.75, 0.25, 0])。

延伸基礎第 7 階 · 乘一乘加起來 · 懂的人可以跳到第 21 頁

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

她的口味 × 影片的成分:乘一乘、加起來,就是分數

① 生活情境

你超愛甜(3 分)、有點愛冰(1 分)。一杯飲料「甜 1、冰 1」:愛甜的那份 3 × 1,愛冰的那份 1 × 1,加起來 4 分。

你猜猜看:小安口味 [3, 1, 0](料理, 貓, 運動);壽司影片 [1, 1, 0]。分數是?

③ 這時才給名字

兩組數字逐項相乘再加總,叫 dot product(內積)。兩支箭頭方向越一致,分數越高。

「跟 embedding table 裡面的每一個 embedding、每一個 token embedding 都去計算 dot product,也就是計算某種相似度。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

② 動手玩:改小安的口味,看六部影片的分數重新排名

④ 跟這章的關係原書的兩個模型,最後都是拿「使用者那組數字」和「影片那組數字」做 dot product 當相關分數(第 26、30 頁)。

小結第 5–7 階:怎麼把喜歡變成數字

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

到這裡你已經會了

  • 新來的沒有紀錄,推不準cold start:新影片看內容還推得動,新用戶兩種都卡(第 12 頁)
  • 影片和使用者都能變成一組數字embedding;使用者 = 看過影片的平均(第 15、17 頁)
  • 乘一乘加起來,就是合不合口味dot product:小安 [3,1,0] · 壽司 [1,1,0] = 4(第 18 頁)

小安,現在走到哪裡

  1. 影片A,B,C [1,0,0] · D [0,1,0] · E [1,1,0] · F [0,0,1]
  2. 小安[3,1,0](平均是 [0.75,0.25,0])
  3. 分數E 4 · A B C 3 · D 1 · F 0
  4. 首頁壽司第一;滑雪墊底

下一階要解決:上面那組數字是我們用標籤「手寫」的。如果只有打勾表、沒有標籤,數字要從哪裡來?讓模型自己去「猜」,那要先知道它猜得準不準。

延伸基礎第 8 階 · 差多少 · 懂的人可以跳到第 21 頁

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

模型猜的分數準不準?算「差多少」

① 生活情境

對答案:猜小安會看(猜 0.8),她真的看了(答案 1),差 0.2。每一格都算差多少,再加起來,就知道猜得準不準。

你猜猜看:一格多猜 0.5、另一格少猜 0.5。把差距直接相加,會得到多少?

③ 這時才給名字

loss:猜的離正確答案多遠,越小越好。這裡用「差距平方加起來」,原書叫 squared distance。

「然後呢我們再把這些差距的平方呢 把它平均起來……那這個數值呢就被叫做 Loss」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講

② 動手玩:猜小安三格的分數,看 loss

④ 跟這章的關係原書的 matrix factorization,就是讓「預測的表」和「打勾表」的 loss 越來越小。但哪些格子要算進來,大有學問(第 24 頁)。

原書Model Development · Feedback matrix · Figure 6.11

原書的打勾表:feedback matrix,勾要用哪種回饋打?

這一步要解決模型要學的就是這張表的值。表要怎麼建,才跟「最大化相關影片」這個目標對得上?

📖 原書 Figure 6.11User–video feedback matrix(依原書內容重繪)

📖 原書 原書先介紹兩個 embedding 模型:matrix factorization 和 two-tower neural network,CF 和 content-based 都常用。要懂前者,先懂 feedback matrix(也叫 utility matrix):每列一個使用者、每欄一部影片,1 代表「observed」或「positive」。

📖 原書 怎麼判斷使用者覺得影片相關?三個選項

選項優點缺點
Explicit(按讚、分享)準確反映意見只有少數人會給,矩陣很稀疏,模型難訓練
Implicit(點擊、觀看時間)資料點多,訓練後模型較好不直接反映意見,可能有雜訊
兩者結合 原書選這個用啟發式規則(heuristics)把兩種結合

為什麼選結合?

模型要學的是 feedback matrix 的值,所以表要對齊 ML 目標。原書的目標是最大化相關性,而「相關」本來就定義成 explicit 加 implicit(按讚或看一半,第 7 頁),所以選第三個。

延伸基礎第 9 階 · 還原表格 · 懂的人可以跳到第 23 頁

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

超大的打勾表,能不能只記少少幾個數字?

① 生活情境

九九乘法表有 81 格,可是你不用背 81 個數字:只要記左邊 1 到 9、上面 1 到 9,任何一格都能「乘回來」。

你猜猜看:100 人 × 1000 部影片 = 10 萬格。每人記 2 個數字、每部影片記 2 個數字,一共要記幾個?

③ 這時才給名字

每人一組數字、每部影片一組數字,讓兩兩的 dot product 還原打勾表,叫 matrix factorization(矩陣分解)。

② 動手玩:影片的數字先固定,調小安那組數字,讓她那一列「乘回來」

④ 跟這章的關係原書的第一個模型。勾格子(看過的)乘回來要接近 1;空格乘出來的分數,就是推薦。

原書Matrix factorization model · Figure 6.12、6.13

原書:把 feedback matrix 拆成兩個小矩陣相乘

這一步要解決每個使用者、每部影片各要一組數字,而且兩兩相乘要接近原本的表。

📖 原書 Figure 6.12把 feedback matrix 分解成兩個矩陣(依原書內容重繪)

📖 原書 Matrix factorization model

一個簡單的 embedding 模型:把 user–video feedback matrix 分解成兩個低維度矩陣的乘積,一個是 user embeddings,一個是 video embeddings。換句話說,模型學著把每個使用者、每部影片各對應到一個 embedding,讓它們之間的距離代表相關程度。

📖 原書 訓練要做什麼

目標是讓兩個 embedding 矩陣的乘積,好好近似 feedback matrix。做法:先隨機初始化兩個 embedding 矩陣,再反覆調整,讓「Predicted scores 矩陣」和「Feedback 矩陣」之間的 loss 變小。loss 要怎麼選,是一個重要的考量(下一頁)。

白話:「矩陣」就是一張數字表。3 人 × 5 部的表,拆成「3 人 × 2 個數字」和「2 個數字 × 5 部」兩張小表。

原書Matrix factorization training · Loss · Figure 6.14、6.15、6.16 · 動手算

loss 要算哪些格子?三種算法,各有偷懶的解

這一步要解決打勾的格子要乘回 1,那空格呢?空格算不算錯?

📖 原書 Figure 6.14只對 observed 配對算平方距離(依原書內容重繪)

📖 原書 三種 loss

  • 只算 observed:不罰空格的錯。全部填 1 的 embedding,訓練 loss 就是 0,但對沒看過的配對沒用
  • 全部格子(空格當 0,當成負樣本):表很稀疏,空格主導訓練,預測大多接近 0,泛化差
  • 加權組合 原書選這個:看過的 + W × 空格。W 是超參數,不讓任一邊主導;調好 W 在實務上效果好

動手算:三個候選答案,哪個 loss 最小?

小安看過 4 部(答案 1),其他都是空格。甲「全部填 1」、乙「全部填 0」、丙「看過的猜 0.9、空格猜 0.1」(好答案)。

影片總數
算法

你猜猜看:影片有 1 萬部、「全部格子」都算。誰會贏?

原書Matrix factorization optimization · SGD · WALS · 動手玩

兩邊的數字都不知道,怎麼調?固定一邊、調另一邊

這一步要解決使用者的數字和影片的數字一起亂動,很難調。有沒有比較好走的路?

📖 原書 兩種常用的優化演算法

  • Stochastic Gradient Descent(SGD):用來把 loss 降到最小的一般做法
  • Weighted Alternating Least Squares(WALS):專門給 matrix factorization 用:
    1. 固定一個 embedding 矩陣(U),優化另一個(V)
    2. 固定 V,優化 U
    3. 重複

WALS 通常收斂比較快,而且可以平行化。原書選 WALS,因為收斂比較快。

SGD 就是蒙眼下山:「你就往左右各踏一小步 往左邊踏一小步 往右邊踏一小步 看往哪一邊可以讓 loss 下降」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講

為什麼固定一邊就好調?一邊固定以後,另一邊每個人的數字可以各自直接算出最好的值,不用一步一步試;每個人各算各的,所以能平行。

動手玩:小安、阿哲、小美的打勾表,從亂數開始

—加權 loss(W = 0.1)0已調幾次

原書Matrix factorization inference · Figure 6.17、6.18 · 優缺點

學完以後:任何一個使用者 × 任何一部影片,乘一下就有分數

📖 原書 Figure 6.17⟨user 2, video 5⟩ 的相關分數(依原書內容重繪)

📖 原書 要預測任一使用者和候選影片的相關性,用相似度量(例如 dot product)算兩個 embedding 的相似度。user 2 和 video 5 是 (−0.7)×(−0.5) + 0.1×(−0.3) = 0.32。系統依相關分數回傳推薦影片。

Reminder:matrix factorization 只用使用者與影片的互動,所以常用在 collaborative filtering。

📖 原書 優點

  • 訓練快:只有兩個 embedding 矩陣要學
  • 服務快:學好的 embedding 是靜態的,學完就能重複使用,查詢時不用轉換輸入

📖 原書 缺點

  • 只靠互動:不用年齡、語言這些特徵,限制了預測能力(語言對推薦品質很有幫助)
  • 新使用者難處理:互動不夠,產生不了有意義的 embedding,也就沒辦法用 dot product 判斷相關性

你猜猜看:新用戶小新一部都沒看過。matrix factorization 的打勾表裡,他那一列能學出數字嗎?

延伸基礎第 10 階 · 兩座塔 · 懂的人可以跳到第 28 頁

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

沒看過任何影片的新用戶,也能算出一組數字嗎?

① 生活情境

婚友社有兩位翻譯員:一位把你的問卷(年齡、語言、興趣)翻成地圖上一個點,另一位把每位對象的資料翻成同一張地圖上的點。點靠得近,就配對。

你猜猜看:小新剛註冊,一部都沒看過,但他搜尋過「滑雪場」。這樣能推薦嗎?

③ 這時才給名字

兩位翻譯員各是一個神經網路,叫 encoder;左右各一座,叫 two-tower neural network(雙塔)。

「那如果你有很多 Hidden Layer 就是深度學習 就是 Deep Learning」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講

② 動手玩:填使用者問卷,看「使用者塔」翻出的數字和排名
最近搜尋

④ 跟這章的關係原書的第二個模型(第 28 頁)。它吃特徵,所以能處理新用戶;影片那座塔吃標籤,新影片 G 也有分數。

原書Two-tower neural network · Figure 6.19、6.22

原書的雙塔:使用者塔、影片塔,在同一張地圖上比距離

這一步要解決matrix factorization 只看打勾表,不用年齡、語言,也處理不了新用戶。能不能把特徵也吃進來?

📖 原書 Figure 6.19Two-tower neural network(依原書內容重繪)

📖 原書 兩座 encoder 塔

User encoder 吃使用者特徵,輸出 user embedding;video encoder 吃影片特徵,輸出 video embedding。兩者在共享的 embedding 空間裡的距離,代表相關程度。跟 matrix factorization 比,雙塔夠彈性,能把各種特徵都放進來,更能抓住使用者的特定興趣。

📖 原書 兩個門派都能用

雙塔同時用在 content-based 和 collaborative filtering。用在 CF 時(Figure 6.22),video encoder 只是一個 embedding layer,把 video ID 變成 embedding,模型就不依賴其他影片特徵。

對照第 27 頁:左塔是「使用者問卷的翻譯員」,右塔是「影片資料的翻譯員」。

延伸基礎第 11 階 · 找反例 · 懂的人可以跳到第 30 頁

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

只告訴模型「她看了什麼」,它會學壞

① 生活情境

教小朋友認貓,你只給他看 100 張貓的照片。考試時你拿出一隻狗,他也說:「貓!」因為他從來沒看過「不是貓」。

你猜猜看:訓練資料只有小安看過的 4 部(全部標 1)。最偷懶的模型會怎麼猜?

③ 這時才給名字

標 1 的是 positive(正例)。從她沒互動的影片裡抽一些當 0,叫 negative sampling(負樣本抽樣)。

② 動手玩:一筆一筆加進訓練資料
—「全部猜 1」的偷懶模型答對幾成—正例 : 反例

④ 跟這章的關係原書建雙塔的訓練資料:反例可以隨機挑,也可以用她按倒讚的(第 30 頁)。

原書Constructing the dataset · Loss · Inference · Figure 6.20、6.21

雙塔怎麼訓練、怎麼用

這一步要解決資料要長什麼樣?用什麼 loss?上線時 100 億部怎麼找?

📖 原書 Figure 6.20兩筆建好的資料(依原書內容重繪)

白話:cross-entropy 是「猜錯時有多驚訝」的分數,street view 那份簡報講過(第 3 章 · 驚訝分數)。ANN 是事先把 100 億個影片向量整理成索引,不用一一比,就能很快找到「差不多最近」的 k 個。

📖 原書 建資料集

從 ⟨user, video⟩ 配對擷取特徵,依使用者回饋標成正或負:明確按讚,或看了至少一半,標 positive。反例可以挑隨機、不相關的影片,或使用者按倒讚的影片。注意:使用者通常只覺得一小部分影片相關,負例遠多於正例,資料不平衡,可以用第 1 章介紹的技巧處理。

📖 原書 Loss 與推論

預測二元標籤,是分類任務,用 cross-entropy 這類分類 loss 訓練兩座 encoder。推論時拿 embedding 找給定使用者最相關的影片:這是經典的 nearest neighbor 問題,用 approximate nearest neighbor(ANN)有效率地找出最相似的 top k。

「這兩個機率分布越接近,那這個 Loss 算出來呢就會越小。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

原書Two-tower 優缺點 · Table 6.5

matrix factorization vs. 雙塔:快 vs. 懂得多

📖 原書 雙塔的優點

  • 用得到使用者特徵:年齡、性別這些有預測力的特徵,幫模型推得更好
  • 能處理新使用者:靠的是使用者特徵(年齡、性別等)

📖 原書 雙塔的缺點

  • 服務比較慢:查詢時要算 user embedding;如果用在 content-based,還要把影片特徵轉成 video embedding,推論更久
  • 訓練比較貴:參數比 matrix factorization 多,運算量大

你猜猜看:小安每打開一次首頁,哪個模型要「當場」多算一次?

📖 原書 Table 6.5 兩個模型的比較

Matrix factorizationTwo-tower neural network
訓練成本✓ 訓練比較有效率✘ 訓練比較貴
推論速度✓ 比較快,embedding 是靜態、可以預先算好✘ 使用者特徵要在查詢時轉成 embedding
Cold-start✘ 不容易處理新使用者✓ 依賴使用者特徵,能處理新使用者
推薦品質✘ 不理想,沒有用到使用者/影片特徵✓ 用到更多特徵,推得更好

記住這張表:等一下 serving 的時候,原書會依「這一關要快還是要準」來挑模型(第 40、41 頁)。

小結第 8–11 階:怎麼教模型

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

到這裡你已經會了

  • 猜得準不準:差距平方加起來loss;空格要不要算、算多重,用 W 調(第 20、24 頁)
  • 大表格 = 兩組小數字相乘matrix factorization;WALS 固定一邊調另一邊(第 22、25 頁)
  • 雙塔吃特徵,新用戶也能算;但要找反例來教two-tower + negative sampling(第 27、29 頁)

小安,現在走到哪裡

  1. 正例A、B、C、D(按讚或看一半)
  2. 反例隨機抽沒看過的 + 按倒讚的「震驚!冰箱……」
  3. 兩座塔她的特徵 → 一組數字;影片的特徵 → 一組數字
  4. 分數dot product,最高的推上首頁

下一階要解決:模型訓練好了。首頁那 10 部,到底推得好不好?要拿什麼分數來比?

延伸基礎第 12 階 · 前 k 名 · 懂的人可以跳到第 35 頁

  1. 打勾表
  2. 按讚·看完
  3. 看內容
  4. 口味像的人
  5. 新來的
  6. 一組數字
  7. 乘一乘加起來
  8. 差多少
  9. 還原表格
  10. 兩座塔
  11. 找反例
  12. 前 k 名
  13. 別都一樣
  14. 分兩組比
  15. 漏斗

首頁只擺得下幾部。前幾名推得準不準?

① 生活情境

朋友推薦你 5 家餐廳,你只會去前 3 家。前 3 家有 2 家好吃,你就覺得他「三中二」。好吃的排第一還是排第三,感覺也不一樣。

你猜猜看:清單是 ✓ ✗ ✓ ✗ ✗(✓ 是她會看的)。前 3 名的準確率是?

③ 這時才給名字

前 k 名裡相關的比例,叫 precision@k。每個 ✓ 的位置各算一次 precision 再平均,叫 AP;每個人的 AP 再平均,叫 mAP。

② 動手玩:點一列切換 ✓/✗,看分數
    —P@1—P@3—P@5—AP

    ④ 跟這章的關係原書的兩個離線指標:precision@k(k 可以是 1、5、10)和 mAP。mAP 適合這題,因為相關分數是二元的:只有相關、不相關(第 35 頁)。

    延伸基礎第 13 階 · 別都一樣 · 懂的人可以跳到第 35 頁

    1. 打勾表
    2. 按讚·看完
    3. 看內容
    4. 口味像的人
    5. 新來的
    6. 一組數字
    7. 乘一乘加起來
    8. 差多少
    9. 還原表格
    10. 兩座塔
    11. 找反例
    12. 前 k 名
    13. 別都一樣
    14. 分兩組比
    15. 漏斗

    前三名全是蛋炒飯的變化版,準是準,但好看嗎?

    ① 生活情境

    自助餐五道菜:炸雞、炸雞排、鹽酥雞、炸雞翅、雞米花。每道都是你愛的,但吃到第三道就膩了。

    你猜猜看:哪一份清單比較多元?

    ③ 這時才給名字

    清單裡的影片彼此有多不一樣,叫 diversity(多樣性)。算法:兩兩的相似度(dot product)取平均,越低越多元。

    ② 動手玩:挑 3 部放上首頁
    —平均兩兩相似度(越低越多元)—跟小安口味的平均分數

    ④ 跟這章的關係原書的第三個離線指標。原書也提醒:只看 diversity 會誤導,多元但不相關的清單一樣沒用,要搭配 precision@k、mAP。

    原書Evaluation · Offline metrics

    原書的離線指標:前幾名準、排得好、還要夠多元

    這一步要解決上線之前,先用歷史資料打分數。推薦系統常用哪些分數?

    📖 原書 三個離線指標

    指標量什麼
    Precision@k前 k 部推薦裡,相關影片的比例。可以用好幾個 k,例如 1、5、10
    mAP推薦清單的排序品質。系統的相關分數是二元的,所以很適合
    Diversity推薦影片彼此有多不像。使用者對多元的影片比較有興趣,所以要追蹤。算清單內兩兩的平均相似度(cosine similarity 或 dot product),越低越多元

    📖 原書 注意:只用 diversity 當品質標準會誤導。推薦很多元但跟使用者無關,使用者不會覺得有幫助。所以 diversity 要和其他離線指標一起用,同時確保相關和多元。

    你猜猜看:首頁放了「滑雪、股市晨報、重機開箱」,小安一部都不想看。diversity 分數會怎樣?

    「雖然我們在訓練的時候 用 Cross-Entropy 但是你最後在做驗證跟測試的時候 你仍然會用 Accuracy 因為 Accuracy 才是你真正關心的東西」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

    這章也一樣:雙塔訓練時用 cross-entropy,評估時改看 precision@k、mAP、diversity,因為使用者在乎的是首頁那幾部。

    延伸基礎第 14 階 · 分兩組比 · 懂的人可以跳到第 37 頁

    1. 打勾表
    2. 按讚·看完
    3. 看內容
    4. 口味像的人
    5. 新來的
    6. 一組數字
    7. 乘一乘加起來
    8. 差多少
    9. 還原表格
    10. 兩座塔
    11. 找反例
    12. 前 k 名
    13. 別都一樣
    14. 分兩組比
    15. 漏斗

    新模型上線,真的比較好嗎?隨機分兩組來比

    ① 生活情境

    飲料店想知道新菜單有沒有比較好賣。同一週,客人進門時擲硬幣:正面拿新菜單、反面拿舊菜單。天氣、節日對兩組都一樣,差別只剩菜單。

    你猜猜看:各給 20 個人試,新版多 1 個人點擊。能說新版比較好嗎?

    ③ 這時才給名字

    隨機把使用者分成兩組,一組用舊系統(A)、一組用新系統(B),比線上指標,叫 A/B test。

    「我們不要過度相信 Evaluation 的分數……你可能會得到一個 在 Evaluation 的時候 取得高分 但實際上表現沒有那麼好的模型」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講

    ② 動手玩:舊版點擊率 5%、新版 6%(示意的真實值),做幾次實驗
    每組人數

    ④ 跟這章的關係原書的線上指標(下一頁)要靠這樣比,才知道差別是新模型帶來的,不是運氣或季節。

    原書Online metrics · 動手算 CTR

    上線以後看什麼?點擊率、看完的、看多久、按讚

    這一步要解決實務上公司會追很多線上指標。最重要的是哪幾個?各自漏看什麼?

    📖 原書 四個重要的線上指標

    指標怎麼算、注意什麼
    CTR(點擊率)CTR = 被點的影片數 ÷ 推薦的影片總數。看參與度很有用,缺點是抓不到 clickbait
    看完的影片數使用者從頭看到尾的推薦影片總數,知道系統多常推出「真的被看」的影片
    總觀看時間使用者看推薦影片花的總時間。推薦有趣,整體就看得久
    明確的使用者回饋使用者明確按讚或倒讚的影片總數,準確反映對推薦的意見

    動手算:小安今天首頁的 10 部推薦

    —CTR—看完的—總觀看分鐘—讚 / 倒讚

    你猜猜看:塞了 clickbait 之後,哪個指標反而「變好看」?

    延伸基礎第 15 階 · 漏斗 · 懂的人可以跳到第 39 頁

    1. 打勾表
    2. 按讚·看完
    3. 看內容
    4. 口味像的人
    5. 新來的
    6. 一組數字
    7. 乘一乘加起來
    8. 差多少
    9. 還原表格
    10. 兩座塔
    11. 找反例
    12. 前 k 名
    13. 別都一樣
    14. 分兩組比
    15. 漏斗

    100 億部、200 毫秒:每一部都仔細看,來不及

    ① 生活情境

    歌唱選秀:海選幾萬人,評審一人只聽 10 秒;複賽剩 100 人,每人唱完整首;決賽 10 人,還要看舞台、搭配。越後面人越少,看得越仔細。

    你猜猜看:100 億部影片,仔細的模型每部只要 1 微秒(百萬分之一秒)。全部算一遍要多久?

    ③ 這時才給名字

    先用便宜的方法粗挑幾千部,叫 candidate generation;再用貴的模型仔細打分排序,叫 scoring(也叫 ranking)。

    ② 動手玩:第一關要留幾部?看會不會超過 200 毫秒

    ④ 跟這章的關係原書的 serving 就是這個漏斗:100 億 → 幾千 → 幾百 → 幾十(第 39 頁)。第 13 頁「先 CF 再內容」的 sequential hybrid,就是它的雛形。

    原書Serving · Prediction pipeline · Figure 6.23

    原書的預測流程:三關,越後面越少、越仔細

    這一步要解決重模型很準但很慢,輕模型很快但推不準。100 億部影片要兩全其美,怎麼辦呢?

    📖 原書 Figure 6.23Prediction pipeline(依原書內容重繪)

    📖 原書 為什麼要分好幾關

    有數十億部影片,選吃很多特徵的重模型,服務會很慢;選輕量模型,推薦品質可能不好。自然的決定是多階段設計,用不只一個模型。例如兩階段:第一階段 candidate generation,輕量模型快速縮小範圍;第二階段 scoring,較重的模型準確地打分、排序。

    📖 原書 三個元件

    1. 候選生成數十億 → 數千(第 40 頁)
    2. 打分數千 → 數百(第 41 頁)
    3. 重新排序數百 → 數十,加上額外條件(第 41 頁)

    原書Candidate generation · Figure 6.24、6.25

    第一關:要快,不怕錯放;而且多開幾條路

    📖 原書 Figure 6.24Candidate generation 的流程(依原書內容重繪)

    你猜猜看:第一關把一部小安不會看的影片放進候選,嚴重嗎?

    📖 原書 Candidate generation

    目標:從可能數十億部縮到數千部。為了快,選不依賴影片特徵的模型,而且要能處理新使用者:雙塔很適合。流程:從 user encoder 拿到使用者 embedding,再向 approximate nearest neighbor service 取最相似的影片,依 embedding 空間的相似度排序後輸出。

    📖 原書 為什麼用好幾個

    使用者看影片的理由很多:熱門、趨勢、跟所在地有關……所以常用多個 candidate generation,例如 Relevant、Popular、Trending,讓推薦更多元,也能提升效果。

    原書Scoring · Re-ranking · Figure 6.26 · 動手玩

    第二關仔細打分,第三關加上規矩

    📖 原書 Figure 6.26Scoring 元件概覽(依原書內容重繪)

    📖 原書 Scoring(也叫 ranking)

    輸入使用者和候選影片,為每部影片打分,輸出排序後的清單。這一關準確優先於效率:選 content-based,挑依賴影片特徵的模型,雙塔是常見選擇。只剩少數影片要排,所以可以用參數更多的重模型。

    📖 原書 Re-ranking:加上額外條件或限制

    例如用獨立的 ML 模型判斷是不是 clickbait。要考慮:區域限制的影片、影片新鮮度、散播錯誤資訊的影片、重複或近似重複的影片、公平性與偏差。

      打分完的前 7 名(示意)。點上面的規則,看清單怎麼變。

      原書Challenges of video recommendation systems

      原書收尾:這套設計怎麼回應五個典型挑戰

      Serving speed

      數十億部影片,要又快又準很難。用兩階段設計:第一階段輕量模型,從數十億快速縮到數千。YouTube 用類似的做法,Instagram 用多階段設計。

      Precision

      scoring 用依賴更多特徵(包括影片特徵)的強模型。不影響速度,因為候選生成之後只剩一小部分影片要打分。

      Diversity

      大多數使用者喜歡多元的推薦。用多個 candidate generator(第 40 頁)。

      Cold-start problem

      新使用者:沒有互動資料,就用雙塔,依年齡、性別、語言、地點等特徵預測,也有一定程度的個人化;互動越多,預測越好。新影片:有 metadata 和內容,沒有互動。一種做法是 heuristics:先展示給隨機使用者收集互動,夠多以後用新互動 fine-tune 雙塔。

      Training scalability

      在大資料集上省錢地訓練很難。新互動不斷進來,模型要快速適應,所以要能 fine-tune。這裡的模型是神經網路,設計上就容易 fine-tune。

      你猜猜看:新影片 G 氣炸鍋雞翅剛上架,原書建議先怎麼做?

      小結第 12–15 階:推得好不好、怎麼來得及

      1. 打勾表
      2. 按讚·看完
      3. 看內容
      4. 口味像的人
      5. 新來的
      6. 一組數字
      7. 乘一乘加起來
      8. 差多少
      9. 還原表格
      10. 兩座塔
      11. 找反例
      12. 前 k 名
      13. 別都一樣
      14. 分兩組比
      15. 漏斗

      到這裡你已經會了

      • 前幾名準不準、排得好不好、夠不夠多元precision@k、mAP、diversity,要一起看(第 33、34 頁)
      • 上線靠隨機分兩組比A/B test;CTR 會被 clickbait 騙,要搭配觀看時間和讚(第 36、37 頁)
      • 100 億部用漏斗篩candidate generation → scoring → re-ranking(第 38、39 頁)

      小安打開首頁的 200 毫秒

      1. 特徵她的搜尋、看過的、現在的時間和裝置
      2. 候選使用者塔 → ANN 找幾千部;再加熱門、趨勢
      3. 打分重模型仔細排,留幾百部
      4. 規矩去 clickbait、去重複、新影片加分 → 首頁幾十部

      接下來:15 階爬完了。原書沒細講的 infra:使用者的喜好分數怎麼存、清單要不要即時算、熱門榜怎麼維護?請 Triton 來客座講評。

      客座講評Triton 怎麼存「使用者喜歡什麼」 · 076

      Triton 做過一個小型的推薦:喜好分數就是一串 key-value

      這一步要解決原書把使用者變成 embedding,卻沒講這些分數存在哪、多久更新。Triton 在 HYPEBEAST(超過 300 萬月活)的 suggestion feed 做過這件事。

      「Just Key-Value pairs」「Higher the value, more interest on the category」{ "Nike": 1345.543, "Adidas": 5456.873 }🗣️ Triton 本人說 076-mini-bigdata.pdf.md · Simple User Profile

      「All love will decay」「3 years ago I love BR, now I love CI」「No “optimum” half-life, thus we store values of multiple half-life」🗣️ Triton 本人說 076 · Natural Decay、Final User Profile

      「Store the user profile as one json, means we can get the user profile by ONE logical Random disk IO」「Instead of update the profiles daily, perform natural decay when the profile is read」「Disk IO at database is hard to scale, but not the CPU at application server」🗣️ Triton 本人說 076 · Physical Storage、Deferred profiles decay

      🔭 依 Triton 原則推論 套到這章:每個 tag 一個分數,其實就是一組「手寫的 user embedding」,做法接近 content-based(第 8 頁)。衰減處理了「口味會變」,正好是原書 other talking points 的季節性。而且衰減在讀的時候才算:省的是資料庫的寫入,多花的是好擴充的 application server CPU。

      動手算:小安 80 分的「料理」興趣,會怎麼退燒?

      這是幾天前的分數

      你猜猜看:半衰期 30 天,60 天前的 80 分,今天剩多少?

      客座講評首頁清單要不要每次都即時算? · 076、088

      Triton 的 suggestion feed:一個迷你版的漏斗,而且全部 cache

      你猜猜看:小安的首頁推薦晚了 1 分鐘才更新,她會發現嗎?

      「Recom Module query all articles within X days in local database」「For each candidate article, the hashTags are matched against the user profile to build a score」「For the top N article, Recom Module perform HTTP Request to get back the article content」🗣️ Triton 本人說 076 · Suggestion Feed workflow

      「All data is cached」「Performance is MUCH more important then data freshness」🗣️ Triton 本人說 076 · Suggestion Feed Performance

      「用戶頁面顯示的,是「某時間點的 snapshot」 而不是「即時資訊」」🗣️ Triton 本人說 088-redis-intro.pdf.md · 反思 caching(1)

      🔭 推論 對照原書的漏斗

      Triton 的四步(076)原書(第 39 頁)
      只撈 X 天內的文章candidate generation(加上新鮮度)
      hashTags × user profile 打分scoring
      前 N 篇才去抓內容只對留下來的去 video feature store 抓特徵
      全部 cache,freshness 讓位給 performance200 毫秒的延遲需求

      沒有語言專家怎麼辦?

      「We have no linguistic experts」「We picked ~1000 popular tags」「Need manual(a.k.a.工人智慧 ) tag merging」🗣️ Triton 本人說 076 · Suggestion Feed

      🔭 推論 原書用 CBOW、BERT 把標籤變數字(第 16 頁);團隊小、資料小時,先挑 1000 個熱門 tag、人工合併「Nikes/Nike」,也是一種能動的 content-based。

      客座講評熱門榜、趨勢榜怎麼存 · 088、182

      「Popular videos」那一路:100 億部不要全塞進一個排行榜

      這一步要解決原書 Figure 6.25 有 Popular、Trending 兩路候選。熱門榜每一次觀看都要更新分數,要存在哪?

      「因為sorted set只有一個,即使建立了redis-cluster也只會存到其中一台redis上。」「原來貓咪也會開趴的,開趴時是超級大量貓咪一起開罐罐派對。」「其實根本不用把所有的cat_id都存到單一的sorted set的,這個sorted set只需要存放top 1000貓的資料便好。」🗣️ Triton 本人說 182-資料結構很重要,他媽的重要!,用即時排名來講述.md

      「如果 item count < 1M,單純把全部 item用 redis sorted set來存就好」「如果 item count >10M,然後 N <= 1000時 以 List來存 Top 2N sorted item」🗣️ Triton 本人說 088-redis-intro.pdf.md · 實作 top-N item

      🔭 依 Triton 原則推論 100 億部遠超過 10M。熱門那一路只要維護「前 2N 部」:每部影片的觀看數照樣散在各台機器的 key-value,只有擠進榜的那幾筆才去動那一份榜單。

      動手比:每秒的觀看事件,有幾次打到「放排行榜的那一台」?

      你猜猜看:跨年夜大家同時看影片,「全部放一個排行榜」會怎樣?

      原書Other Talking Points

      面試還有時間,可能會被問到這些

      📖 原書 如果時間允許

      • 推薦系統裡的 exploration–exploitation(探索與利用)取捨
      • 推薦系統裡可能有的各種偏差(bias)
      • 建推薦系統時跟倫理有關的重要考量
      • 季節性:使用者在不同季節的行為變化
      • 針對多個目標優化,而不是單一目標
      • 怎麼從負面回饋(例如倒讚)中獲益
      • 利用使用者搜尋紀錄、觀看紀錄裡的影片順序

      每一題回到今天的哪一頁

      • 探索與利用 → 第 42 頁:新影片先給隨機的人看;一直只推她愛的料理是「利用」,偶爾推滑雪是「探索」
      • 偏差 → 第 29 頁:系統只從自己推過的東西學;第 41 頁的 fairness
      • 倫理 → 第 7 頁:目標選錯,就會推 clickbait;第 41 頁的錯誤資訊
      • 季節性 → 第 44 頁 Triton 的「All love will decay」
      • 多個目標 → 第 37 頁:點擊、看完、觀看時間、讚,同時都要顧
      • 負面回饋 → 第 29 頁:倒讚是最可靠的反例
      • 影片順序 → 第 17 頁是把紀錄平均,順序就不見了;第 48 頁

      📅 2026 補充方法怎麼演進 · 方法的限制

      原書之後,這幾個零件換了做法

      這一步要解決原書的雙塔 + 漏斗到今天還是主流骨架。哪些零件後來被改進了?

      反例不只隨機抽:同一批裡別人的正例

      雙塔訓練常用 in-batch negatives:同一批資料裡,別人看過的影片就當我的反例,省掉另外抽樣。但熱門影片會被當成反例太多次,Google 2019 年的 sampling-bias correction 就是在修正這個偏差。

      打分從一個數字變成好幾個目標

      原書參考資料 [13] 的 YouTube 多任務排序(2019,MMoE):同時預測點擊、觀看時間、按讚等多個目標再加權;也另外建模「排在前面所以被點」的位置偏差。

      不再只是平均:看「順序」

      把觀看紀錄平均,順序就不見了。SASRec(2018)、BERT4Rec(2019)用 Transformer 讀觀看順序;後來的 generative recommendation 更像文字接龍,直接「接」出下一部影片的編號,例如 TIGER(2023)的 semantic ID、Meta 的 HSTU(2024)。

      方法的限制:系統只從自己推過的東西學

      打勾表裡的勾,多半來自「系統當初推給她看的」。沒被推過的影片,永遠沒機會被打勾,熱門的越來越熱門(feedback loop)。所以才需要探索:YouTube 2019 年把 off-policy correction(REINFORCE)用在候選生成上,就是在處理這件事。

      回顧15 階全部爬完

      1. 打勾表
      2. 按讚·看完
      3. 看內容
      4. 口味像的人
      5. 新來的
      6. 一組數字
      7. 乘一乘加起來
      8. 差多少
      9. 還原表格
      10. 兩座塔
      11. 找反例
      12. 前 k 名
      13. 別都一樣
      14. 分兩組比
      15. 漏斗

      影片推薦系統,其實就是:把喜歡變成數字、乘一乘排名次,再用漏斗在 200 毫秒內篩完 100 億部而已。

      怎麼知道她喜歡什麼

      打勾表;勾用 explicit + implicit 規則打(按讚或看一半);看內容找像的、看口味像的人,兩個互補,原書選 hybrid。

      怎麼把喜歡變成數字、怎麼教

      embedding + dot product;matrix factorization 用加權 loss 和 WALS;雙塔吃特徵、能處理新用戶,用 negative sampling 和 cross-entropy 訓練。

      推得好不好

      離線看 precision@k、mAP、diversity;線上用 A/B test 看 CTR、看完數、觀看時間、讚與倒讚。

      100 億怎麼來得及

      candidate generation(雙塔 + ANN,多路)→ scoring(重模型)→ re-ranking(clickbait、地區、新鮮、重複、公平)。

      小安打開首頁,壽司和滑雪都在上面。然後呢?然後就結束了。

      名詞小卡課後複習用 · 每個詞一行白話

      本章名詞小卡

      名詞一行白話在哪一頁
      user–video matrix一列一個人、一欄一部影片的打勾表;原書叫 feedback matrix第 5 頁
      sparse表裡幾乎全是空格第 5 頁
      explicit feedback明白說出來的喜歡:按讚、分享第 6 頁
      implicit feedback從行為猜的喜歡:點擊、看了多久第 6 頁
      impression影片出現在畫面上(曝光),不一定有點第 14 頁
      clickbait標題很聳動、內容很無聊的點擊誘餌第 7 頁
      content-based filtering推「跟你看過的很像」的影片第 8 頁
      collaborative filtering推「跟你口味像的人也看了」的影片第 9 頁
      cold start新用戶、新影片沒有紀錄,推不準第 12 頁
      hybrid filtering兩種一起用;原書選先 CF 再內容的依序版第 13 頁

      忘了哪個詞,就回到右邊那一頁,四步再走一次。

      給工程師的重點出處、公式與頁碼對照

      本章引用的來源

      原書

      Machine Learning System Design Interview · Video Recommendation System 章。Introduction、Clarifying Requirements 與 Figure 6.1(第 4 頁)、Defining the ML objective 與 Figure 6.2(7)、Choosing the right ML category 與 Figure 6.3–6.5(10)、CF 缺點、Table 6.1、Hybrid 與 Figure 6.6(13)、Data engineering 與 Table 6.2–6.4(14)、Video features 與 Figure 6.7(16)、User features 與 Figure 6.8–6.10(17)、Feedback matrix 與 Figure 6.11(21)、MF model 與 Figure 6.12–6.13(23)、MF training/loss 與 Figure 6.14–6.16(24)、SGD/WALS(25)、MF inference、Figure 6.17–6.18、優缺點(26)、Two-tower 與 Figure 6.19、6.22(28)、Dataset、loss、inference 與 Figure 6.20–6.21(30)、Table 6.5(31)、Offline metrics(35)、Online metrics(37)、Serving 與 Figure 6.23(39)、Candidate generation 與 Figure 6.24–6.25(40)、Scoring、Re-ranking 與 Figure 6.26(41)、Challenges(42)、Other Talking Points(47)。26 張圖全部依圖說與描述重繪,不是原圖;Figure 6.12–6.18 的矩陣數字只部分出自 alt,其餘為示意(第 23 頁備註);Figure 6.7 依數字關係畫成「標籤向量取平均」

      本簡報加的頁面:開場(2)、階梯(3)、15 個延伸基礎(5、6、8、9、12、15、18、20、22、27、29、33、34、36、38)、小結(11、19、32、43)、客座(44–46)、2026(48)、小卡(50)。小安、阿哲、小美、小新與影片、分數、時間都是示意

      🎓 李宏毅課堂(逐字稿)

      • 導論 2025 · 第 3 講(解剖大型語言模型)— 意思相近的 Token 有相近的 Embedding;dot product 是計算某種相似度
      • 同 · 第 4 講(評估的各種坑)— Goodhart's Law;不要過度相信 Evaluation 的分數
      • 同 · 第 5 講(機器學習與深度學習的基本原理)— 差距平方平均叫 Loss;左右各踏一小步;很多 Hidden Layer 就是 Deep Learning
      • 同 · 第 6 講(訓練類神經網路的訣竅)— 機率分布越接近 Loss 越小;訓練用 Cross-Entropy、驗證用 Accuracy

      來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。raw/youtube/transcripts/8iFvM7WUUs8.md、dWQVY_h0YXU.md、Taj1eHmZyWw.md、mPWvAN4hzzY.md。逐字稿沒有推薦系統的課,推薦相關的直覺都是本簡報自己的比喻

      🗣️ Triton(materials/core)

      • 076-mini-bigdata.pdf.md — user profile key-value、natural decay、多種 half-life、一列 JSON、讀時衰減、suggestion feed workflow、All data is cached、工人智慧 tag merging(第 44、45 頁)
      • 088-redis-intro.pdf.md — snapshot 而非即時資訊、top-N item 規則(45、46)
      • 182-資料結構很重要…用即時排名來講述.md — 單一 sorted set 熱點、只存 top 1000(46)

      公式(主文用文字講過)

      • 相關分數:s(u, v) = Eu · Ev = Σk Eu,k Ev,k
      • MF:A ≈ U VT;Lobs = Σ(i,j)∈obs(Aij − Ui·Vj)²
      • Lall = Σ(i,j)(Aij − Ui·Vj)²;L = Lobs + W Σ(i,j)∉obs(Aij − Ui·Vj)²
      • WALS:固定 V,Ui = (Σj wijVjVjT + λI)−1 Σj wijAijVj;再對調(互動加了 λ = 0.05)
      • 雙塔:L = −[y log σ(s) + (1−y) log(1−σ(s))]
      • P@k = |rel ∩ top-k| / k;AP = (1/|rel ∩ list|) Σk: rel P@k;mAP = 平均每位使用者的 AP
      • Diversity = 清單內兩兩相似度的平均(越低越多元)
      • CTR = clicked / recommended
      • Triton 076:score(t) = s · 0.5t / half-life(互動示意)
      ← → 翻頁 · S 講者備註 · D 深/淺色
      1 / 1目錄