ML System Design · 第 6 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟡 中(只有 infra:喜好分數、快取清單、top-N)
影片推薦系統
其實就是:從 100 億部裡先粗挑、再細排,挑出你今晚會點的那幾部而已
你打開 YouTube,首頁那排「為你推薦」不是隨便放的。原書要你設計這個首頁推薦:每次打開首頁,200 毫秒內,從大約 100 億部影片裡挑出你最可能喜歡的。
今天的路線
需求 → 一邊爬 15 階基礎、一邊對照原書(第 3 頁的階梯):怎麼知道你喜歡什麼 → 怎麼把喜歡變成數字 → 怎麼教模型 → 推得好不好 → 100 億部怎麼來得及。全程只用一個人:小安。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論 延伸基礎
標「延伸基礎」的頁只用高中數學講 ML 基本功,懂的人可以跳過。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。Triton 只談過 infra,所以他只出現在客座講評卡。
先講跟你有關的動手玩 · 你來當推薦員
小安剛打開首頁。你會推哪一部給她?
小安這禮拜看過 3 部料理、1 部貓(灰底)。點一部,把它放上她的首頁。
從右邊兩個問題想想看,再點一部。
你可能會想說,這有什麼難的?她愛看料理,就推料理嘛。對,一個人、六部影片不難。
今天整堂課只在回答四個問題:怎麼知道她喜歡什麼?(資料)怎麼把喜歡變成數字?(模型)推得好不好?(評估)100 億部影片,200 毫秒,怎麼來得及?(系統)
你有沒有發現兩種推法?一種是「跟她看過的很像」,一種是「跟她口味像的人也看了」。這兩種推法,就是原書的兩大門派(第 8、9 頁)。
學習地圖今天要爬的 15 階 · 每一階只用前面學過的東西
一階一階往上爬,不跳階
- 1打勾表誰看過什麼?
- 2按讚·看完怎樣才算喜歡?
- 3看內容跟看過的像
- 4口味像的人他也看了
- 5新來的沒有紀錄怎麼辦?
- 6一組數字把影片變數字
- 7乘一乘加起來合不合口味?
- 8差多少猜得準不準?
- 9還原表格兩組數字相乘
- 10兩座塔新用戶也能算
- 11找反例沒看的當反例
- 12前 k 名前幾名準不準?
- 13別都一樣夠不夠多元?
- 14分兩組比上線怎麼比?
- 15漏斗100 億怎麼篩?
怎麼知道她喜歡什麼 怎麼把喜歡變成數字 怎麼教模型 推得好不好 100 億怎麼來得及 英文名字等爬到那一階才給。
整堂課只用一個人、六部影片
小安看過蛋炒飯、滷肉飯、烤布丁(料理)和橘貓搶罐罐(貓)。還沒看:貓咪陪我做壽司、滑雪初體驗。另外兩位:阿哲、小美。
每一階都走四步
① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。
每爬幾階就停一下
「到這裡你已經會了」:第 11、19、32、43 頁。最後有名詞小卡(第 50 頁)。
原書Introduction · Clarifying Requirements · Figure 6.1
原書的題目:首頁的「為你推薦」
這一步要解決推薦有很多種:看完一部推下一部、首頁推薦……先問清楚要做哪一種、做到多快。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 商業目標是提升使用者參與度(user engagement),對嗎? | 沒錯 |
| 是推薦「跟正在看的影片相似的影片」,還是首頁的個人化清單? | 首頁推薦:使用者載入首頁時,推薦個人化影片 |
| YouTube 是全球服務,可以假設使用者遍布全球、影片語言多樣嗎? | 合理的假設 |
| 可以用使用者與影片的互動來建資料集嗎? | 可以 |
| 使用者能建播放清單嗎?播放清單在學習階段很有參考價值 | 為了簡化,假設沒有播放清單 |
| 平台上有多少影片? | 大約 100 億支 |
| 要多快?可以假設不超過 200 毫秒嗎? | 聽起來不錯 |
📖 原書 推薦系統在 YouTube、Netflix、Spotify 都很關鍵,設計起來很複雜。但 45 分鐘的面試沒人期待完美系統,面試官想看的是思考過程、溝通、設計 ML 系統的能力、討論取捨。記住兩個數字:100 億、200 毫秒(第 38 頁會用到)。
延伸基礎第 1 階 · 打勾表 · 懂的人可以跳到第 7 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
電腦怎麼記得「誰看過什麼」?一張打勾表
班長幫全班訂飲料:一列一個同學、一欄一種飲料,誰點了就打勾。看一眼就知道誰愛喝什麼。
你猜猜看:假設一張 3 人 × 6 部的表,打了 9 個勾。空格佔幾成?
3 × 6 = 18 格,打了 9 格,空的也是 9 格,9 ÷ 18 = 五成。換成 100 億部影片,小安只看過 4 部,空格就是 99.99999996%。
這張表叫 user–video matrix(使用者–影片矩陣),原書也叫 feedback matrix:一列一個人、一欄一部影片,打勾的格子是 1。
④ 跟這章的關係推薦,其實就是猜「空格裡哪幾格該打勾」。後面的模型,全都在猜這件事。
延伸基礎第 2 階 · 按讚·看完 · 懂的人可以跳到第 7 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
怎樣才算「她喜歡」?按讚很準,但很少人按
開餐廳想知道客人喜不喜歡:留五星評論的人很少,但很準;盤子吃光的人很多,但也可能只是很餓。
你猜猜看:「點開就算喜歡」,打勾表會怎樣?
小安點開壽司影片只看了 10% 就走了。「點開就算」會把它也打勾:資料多了,雜訊也多了。右邊切切看。
按讚、分享這種「明白說出來」的叫 explicit feedback;點擊、看了多久這種「從行為猜」的叫 implicit feedback。
④ 跟這章的關係原書把「相關」定義成兩種一起用:按讚,或看超過一半(下一頁)。打勾表就是照這條規則打的勾。
原書Frame the Problem · Defining the ML objective · Figure 6.2
「提升參與度」要翻譯成模型聽得懂的目標
這一步要解決老闆說「讓使用者更投入」。模型只會把一個數字變大,要選哪個數字?
你猜猜看:如果目標是「點擊越多越好」,系統最愛推哪一種?
聳動的標題和縮圖讓人很想點,點進去卻很無聊,這叫 clickbait(點擊誘餌)。點擊數變高了,使用者卻越來越不開心。
📖 原書 四個候選目標
| 目標 | 問題 |
|---|---|
| 最大化點擊數 | 會推 clickbait:標題縮圖吸引人,內容無聊、不相關甚至誤導,長期降低滿意度與參與度 |
| 最大化看完的影片數 | 會偏好比較短、比較快看完的影片 |
| 最大化總觀看時間 | 推出使用者花更多時間看的影片 |
| 最大化相關影片數 原書選這個 | 由工程師或 PM 用規則定義「相關」,例如按讚或看超過一半;再訓練模型預測使用者與影片的相關分數 |
原書選最後一個:能掌控用哪些訊號,也沒有前面幾個的缺點。
「Goodhart's Law 講的就是 如果一個評量的指標 它被當作我們要努力的 optimize 的目標的話 它就不再是一個好的指標」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講
延伸基礎第 3 階 · 看內容 · 懂的人可以跳到第 10 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
第一種推法:找「跟她看過的很像」的影片
你跟唱片行店員說喜歡某個歌手,店員從架上拿出「風格很像」的專輯。他看的是專輯本身:曲風、樂器、語言。
你猜猜看:只看影片標籤,最該推給小安的是哪一部?
她看過的四部,標籤有料理也有貓,壽司影片兩個都中。滑雪一個都沒中。
用影片本身的特徵(標籤、標題、長度……)找相似的影片,叫 content-based filtering(基於內容的過濾)。
④ 跟這章的關係原書的第一個門派(第 10 頁 Figure 6.4)。它只看影片長怎樣,不用看別人。
延伸基礎第 4 階 · 口味像的人 · 懂的人可以跳到第 10 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
第二種推法:「跟你口味像的人也看了」
網路書店說「買了這本的人也買了……」。它完全不讀書的內容,只看大家的購物車。
你猜猜看:阿哲看過 A、B、D、F,小美看過 D、E。誰跟小安(A、B、C、D)口味比較像?
數共同打勾:阿哲和小安都有 A、B、D,3 個;小美只有 D,1 個。所以照阿哲的打勾推:他看過、小安還沒看的,是 F 滑雪。
只用打勾表找相似的人(或相似的影片)來推薦,叫 collaborative filtering(協同過濾,簡稱 CF)。
④ 跟這章的關係原書的第二個門派(第 10 頁 Figure 6.5)。它不看影片內容,卻能帶小安發現新興趣:滑雪。
原書Choosing the right ML category · Figure 6.3、6.4、6.5
原書的推薦系統家譜:兩大門派,再加一個混血
這一步要解決個人化推薦有哪幾種做法?各自擅長什麼?
📖 原書 Content-based filtering
用影片特徵推薦「跟使用者過去覺得相關的影片」相似的新影片,例如看很多滑雪影片就推更多滑雪。圖:A 看過 X、Y;Z 跟 X、Y 相似;推 Z 給 A。
優點:能推新影片(影片檔案只靠自己的特徵,不必等互動資料);能抓住使用者獨特的興趣。
缺點:難以發掘使用者的新興趣;需要領域知識,常得手動設計影片特徵。
📖 原書 Collaborative filtering(CF)
用使用者之間(user-based)或影片之間(item-based)的相似度推薦。直覺:相似的人對相似的影片有興趣。跟 content-based 最大的差別:不用影片特徵,只靠歷史互動。圖:找到跟 A 相似的 B;找 B 看過、A 沒看過的 Z;推 Z 給 A。
優點:不需要領域知識;容易發現新興趣;通常比較快、比較省運算(不靠影片特徵)。
缺點留到第 13 頁,先爬一階。
小結第 1–4 階:怎麼知道她喜歡什麼
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
到這裡你已經會了
- 喜好記在一張打勾表上一列一個人、一欄一部影片;幾乎全是空格(第 5 頁)
- 勾要怎麼打,是我們定的explicit(按讚)準但少;implicit(看多久)多但吵;原書:按讚或看一半(第 6、7 頁)
- 兩種推法看內容找像的(content-based);看口味像的人(CF)(第 8、9 頁)
小安,現在走到哪裡
- 打勾A 蛋炒飯、B 滷肉飯、C 烤布丁、D 橘貓
- 看內容E 貓咪陪我做壽司:料理、貓兩個標籤都中
- 看口味阿哲跟她有 3 個共同勾 → F 滑雪初體驗
- 首頁E 壽司 · F 滑雪
下一階要解決:明天平台上新增一部「氣炸鍋雞翅」,還沒有人看過;又來了一位新用戶小新,一部都沒看過。這兩種推法,誰還推得動?
延伸基礎第 5 階 · 新來的 · 懂的人可以跳到第 13 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
沒有紀錄的新人、新影片,要推什麼?
新開的餐廳,網路上一則評論都沒有。「大家都說好吃」這招不能用,只能看菜單、看裝潢來猜。
你猜猜看:新影片「氣炸鍋雞翅」還沒人看過。哪一種推法推得動它?
它那一欄一個勾都沒有,「誰也看了」問不出來;但它的標籤是料理,可以直接推給愛看料理的小安。
新使用者、新影片資料太少、推不準的狀況,叫 cold start(冷啟動)。
④ 跟這章的關係原書說 CF 有 cold start 問題。新用戶兩種推法都卡住,要等到第 27 頁的「兩座塔」才有解。
原書CF 的缺點 · Table 6.1 · Hybrid filtering · Figure 6.6
兩個門派剛好互補,原書選「混血」
這一步要解決content-based 不會帶你看新東西,CF 推不動新影片。能不能兩個一起用?
📖 原書 CF 的缺點
- Cold-start problem:新影片、新使用者沒有歷史互動,CF 找不到相似的使用者或影片(處理方式在 serving 一節,第 42 頁)
- 處理不了小眾興趣:興趣很專門的人,很難找到口味像的人
📖 原書 Table 6.1 兩種方法的比較
| Content-based | Collaborative | |
|---|---|---|
| 處理新影片 | ✓ | ✘ |
| 發現新興趣領域 | ✘ | ✓ |
| 不需要領域知識 | ✘ | ✓ |
| 效率 | ✘ | ✓ |
如你所見,兩種方法是互補的。
📖 原書 選哪一種?
Hybrid filtering 同時用兩種資料:歷史互動和影片特徵,推得更好。實務上公司通常用依序(sequential):Google 的論文描述 YouTube 先用 CF 模型當第一階段(candidate generator),再用 content-based 模型當第二階段。原書選 hybrid。
原書Data Preparation · Data engineering · Table 6.2、6.3、6.4
原書手上有三種資料:影片、使用者、互動
這一步要解決要教模型猜打勾表,手上有哪些原料?
| Video ID | Length | Manual tags | Manual title | Likes | Views | Language |
|---|---|---|---|---|---|---|
| 1 | 28 | Dog, Family | Our lovely dog playing! | 138 | 5300 | English |
| 2 | 300 | Car, Oil | How to change your car oil? | 5 | 250 | Spanish |
| 3 | 3600 | Ouli, Vlog | Honeymoon to Bali | 2200 | 255K | Arabic |
📖 原書 Table 6.2影片的 metadata(照原書)
| ID | Username | Age | Gender | City | Country | Language | Time zone |
|---|---|---|---|---|---|---|---|
| 原書這張表只有欄位名稱,沒有資料列 | |||||||
📖 原書 Table 6.3使用者資料的 schema(照原書)
| User | Video | Interaction type | Interaction value | Location (lat, long) | Timestamp |
|---|---|---|---|---|---|
| 4 | 18 | Like | - | 38.8951 -77.0364 | 1658451361 |
| 2 | 18 | Impression | 8 seconds | 38.8951 -77.0364 | 1658451841 |
| 2 | 6 | Watch | 46 minutes | 41.9241 -89.0389 | 1658822820 |
| 6 | 9 | Click | - | 22.7531 47.9642 | 1658832118 |
| 9 | - | Search | Basics of clustering | 22.7531 47.9642 | 1659259402 |
| 8 | 6 | Comment | Amazing video. Thanks | 37.5189 122.6405 | 1659244197 |
📖 原書 Table 6.4使用者與影片的互動(照原書)
📖 原書 三種資料
- Videos:原始影片檔和 metadata(ID、長度、標題……)。有些是上傳者明確給的,有些由系統自己判斷,例如長度
- Users:一份簡單的使用者 schema(ID、名稱、年齡、性別、城市、國家、語言、時區)
- User–video interactions:按讚、點擊、曝光(impression)、過去的搜尋、留言……連同位置和時間戳記一起記錄
對照小安:Table 6.4 一列,就是她的一個動作。第 6 頁的「按讚或看一半」規則,就是從這張表把勾打進打勾表。注意第 5 列的 Search 沒有 Video ID:搜尋本身也是一種線索。
延伸基礎第 6 階 · 一組數字 · 懂的人可以跳到第 16 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
模型只會算數字。影片要怎麼變成數字?
手搖飲的菜單上,每杯都標「甜度、冰塊、咖啡因」三格。三個數字,就把一杯飲料大概說清楚了。
你猜猜看:用[料理, 貓, 運動]三格打分(有就 1,沒有就 0),「貓咪陪我做壽司」是?
有料理、有貓、沒有運動:[1, 1, 0]。右邊點它看看。
代表一個東西的一組數字,叫 embedding。數字多半由模型在訓練時自己學,學這些數字的那一層叫 embedding layer。
「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講(講文字,影片同理)
④ 跟這章的關係影片 ID、語言這種「類別」,原書都用 embedding layer 變成數字;使用者看過的影片,就把它們的 embedding 平均(第 17 頁)。
原書Feature engineering · Video features · Figure 6.7
原書怎麼把一部影片變成一串數字
這一步要解決模型要預測「哪些影片跟使用者相關」。影片的哪些資訊有用?怎麼變成數字?
📖 原書 重要的影片特徵
| 特徵 | 為什麼、怎麼做 |
|---|---|
| Video ID | 類別資料,用 embedding layer 變成數字向量,在訓練時一起學 |
| Duration(長度) | 有些人偏好短片,有些人偏好長片 |
| Language(語言) | 使用者自然偏好某些語言;有限的類別,用 embedding layer |
| Titles and tags | 描述影片,上傳者手動給,或由獨立的 ML 模型預測。「how to make pizza」就知道跟 pizza、烹飪有關 |
Tags:用輕量的預訓練模型 CBOW 變成特徵向量。Title:用看得懂上下文的預訓練 BERT 變成特徵向量。
白話:CBOW、BERT 都是別人先訓練好的「文字翻成數字」工具。一部影片有好幾個標籤,就把每個標籤的數字平均(Aggregate)起來,最後全部接成一長串(Concatenate)。
原書User features · Figure 6.8、6.9、6.10
使用者那一邊:是誰、現在在哪、以前看過什麼
這一步要解決同一個人,早上用手機和晚上用電腦,想看的可能不一樣。使用者的哪些資訊有用?
📖 原書 三類使用者特徵
- Demographics(人口統計):ID、年齡、性別、語言、城市、國家。年齡先 bucketize(分成幾個區間)再 one-hot(一排格子只有一格是 1)
- Contextual(情境):一天中的時間(工程師晚上看比較多教學影片)、裝置(手機上偏好短片)、星期幾
- Historical interactions(歷史互動):搜尋紀錄:每個查詢用預訓練的 BERT 變成 embedding,再平均成固定長度;按讚的影片:影片 ID 經 embedding layer 再平均;看過的影片、曝光:做法同上
為什麼要平均?每個人的紀錄長短不一:小安看過 4 部,阿哲看過 400 部。平均之後,大家都變成一樣長的一組數字,模型才吃得下(第 15 頁算過小安的:[0.75, 0.25, 0])。
延伸基礎第 7 階 · 乘一乘加起來 · 懂的人可以跳到第 21 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
她的口味 × 影片的成分:乘一乘、加起來,就是分數
你超愛甜(3 分)、有點愛冰(1 分)。一杯飲料「甜 1、冰 1」:愛甜的那份 3 × 1,愛冰的那份 1 × 1,加起來 4 分。
你猜猜看:小安口味 [3, 1, 0](料理, 貓, 運動);壽司影片 [1, 1, 0]。分數是?
3×1 + 1×1 + 0×0 = 4。滑雪 [0, 0, 1]:3×0 + 1×0 + 0×1 = 0。右邊拉拉看。
兩組數字逐項相乘再加總,叫 dot product(內積)。兩支箭頭方向越一致,分數越高。
「跟 embedding table 裡面的每一個 embedding、每一個 token embedding 都去計算 dot product,也就是計算某種相似度。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講
④ 跟這章的關係原書的兩個模型,最後都是拿「使用者那組數字」和「影片那組數字」做 dot product 當相關分數(第 26、30 頁)。
小結第 5–7 階:怎麼把喜歡變成數字
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
到這裡你已經會了
- 新來的沒有紀錄,推不準cold start:新影片看內容還推得動,新用戶兩種都卡(第 12 頁)
- 影片和使用者都能變成一組數字embedding;使用者 = 看過影片的平均(第 15、17 頁)
- 乘一乘加起來,就是合不合口味dot product:小安 [3,1,0] · 壽司 [1,1,0] = 4(第 18 頁)
小安,現在走到哪裡
- 影片A,B,C [1,0,0] · D [0,1,0] · E [1,1,0] · F [0,0,1]
- 小安[3,1,0](平均是 [0.75,0.25,0])
- 分數E 4 · A B C 3 · D 1 · F 0
- 首頁壽司第一;滑雪墊底
下一階要解決:上面那組數字是我們用標籤「手寫」的。如果只有打勾表、沒有標籤,數字要從哪裡來?讓模型自己去「猜」,那要先知道它猜得準不準。
延伸基礎第 8 階 · 差多少 · 懂的人可以跳到第 21 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
模型猜的分數準不準?算「差多少」
對答案:猜小安會看(猜 0.8),她真的看了(答案 1),差 0.2。每一格都算差多少,再加起來,就知道猜得準不準。
你猜猜看:一格多猜 0.5、另一格少猜 0.5。把差距直接相加,會得到多少?
+0.5 和 −0.5 互相抵消,看起來像全對。所以先平方(都變 0.25)再加:0.5。
loss:猜的離正確答案多遠,越小越好。這裡用「差距平方加起來」,原書叫 squared distance。
「然後呢我們再把這些差距的平方呢 把它平均起來……那這個數值呢就被叫做 Loss」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講
④ 跟這章的關係原書的 matrix factorization,就是讓「預測的表」和「打勾表」的 loss 越來越小。但哪些格子要算進來,大有學問(第 24 頁)。
原書Model Development · Feedback matrix · Figure 6.11
原書的打勾表:feedback matrix,勾要用哪種回饋打?
這一步要解決模型要學的就是這張表的值。表要怎麼建,才跟「最大化相關影片」這個目標對得上?
📖 原書 原書先介紹兩個 embedding 模型:matrix factorization 和 two-tower neural network,CF 和 content-based 都常用。要懂前者,先懂 feedback matrix(也叫 utility matrix):每列一個使用者、每欄一部影片,1 代表「observed」或「positive」。
📖 原書 怎麼判斷使用者覺得影片相關?三個選項
| 選項 | 優點 | 缺點 |
|---|---|---|
| Explicit(按讚、分享) | 準確反映意見 | 只有少數人會給,矩陣很稀疏,模型難訓練 |
| Implicit(點擊、觀看時間) | 資料點多,訓練後模型較好 | 不直接反映意見,可能有雜訊 |
| 兩者結合 原書選這個 | 用啟發式規則(heuristics)把兩種結合 | |
為什麼選結合?
模型要學的是 feedback matrix 的值,所以表要對齊 ML 目標。原書的目標是最大化相關性,而「相關」本來就定義成 explicit 加 implicit(按讚或看一半,第 7 頁),所以選第三個。
延伸基礎第 9 階 · 還原表格 · 懂的人可以跳到第 23 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
超大的打勾表,能不能只記少少幾個數字?
九九乘法表有 81 格,可是你不用背 81 個數字:只要記左邊 1 到 9、上面 1 到 9,任何一格都能「乘回來」。
你猜猜看:100 人 × 1000 部影片 = 10 萬格。每人記 2 個數字、每部影片記 2 個數字,一共要記幾個?
100 × 2 + 1000 × 2 = 200 + 2,000 = 2,200 個,不到原本的 3%。表越大,省越多。
每人一組數字、每部影片一組數字,讓兩兩的 dot product 還原打勾表,叫 matrix factorization(矩陣分解)。
④ 跟這章的關係原書的第一個模型。勾格子(看過的)乘回來要接近 1;空格乘出來的分數,就是推薦。
原書Matrix factorization model · Figure 6.12、6.13
原書:把 feedback matrix 拆成兩個小矩陣相乘
這一步要解決每個使用者、每部影片各要一組數字,而且兩兩相乘要接近原本的表。
📖 原書 Matrix factorization model
一個簡單的 embedding 模型:把 user–video feedback matrix 分解成兩個低維度矩陣的乘積,一個是 user embeddings,一個是 video embeddings。換句話說,模型學著把每個使用者、每部影片各對應到一個 embedding,讓它們之間的距離代表相關程度。
📖 原書 訓練要做什麼
目標是讓兩個 embedding 矩陣的乘積,好好近似 feedback matrix。做法:先隨機初始化兩個 embedding 矩陣,再反覆調整,讓「Predicted scores 矩陣」和「Feedback 矩陣」之間的 loss 變小。loss 要怎麼選,是一個重要的考量(下一頁)。
白話:「矩陣」就是一張數字表。3 人 × 5 部的表,拆成「3 人 × 2 個數字」和「2 個數字 × 5 部」兩張小表。
原書Matrix factorization training · Loss · Figure 6.14、6.15、6.16 · 動手算
loss 要算哪些格子?三種算法,各有偷懶的解
這一步要解決打勾的格子要乘回 1,那空格呢?空格算不算錯?
📖 原書 三種 loss
- 只算 observed:不罰空格的錯。全部填 1 的 embedding,訓練 loss 就是 0,但對沒看過的配對沒用
- 全部格子(空格當 0,當成負樣本):表很稀疏,空格主導訓練,預測大多接近 0,泛化差
- 加權組合 原書選這個:看過的 + W × 空格。W 是超參數,不讓任一邊主導;調好 W 在實務上效果好
動手算:三個候選答案,哪個 loss 最小?
小安看過 4 部(答案 1),其他都是空格。甲「全部填 1」、乙「全部填 0」、丙「看過的猜 0.9、空格猜 0.1」(好答案)。
你猜猜看:影片有 1 萬部、「全部格子」都算。誰會贏?
丙在 9,996 個空格各錯 0.1,平方 0.01 × 9,996 ≈ 100;乙只錯 4 個勾格,loss 4。模型會學成「什麼都不推」。
原書Matrix factorization optimization · SGD · WALS · 動手玩
兩邊的數字都不知道,怎麼調?固定一邊、調另一邊
這一步要解決使用者的數字和影片的數字一起亂動,很難調。有沒有比較好走的路?
📖 原書 兩種常用的優化演算法
- Stochastic Gradient Descent(SGD):用來把 loss 降到最小的一般做法
- Weighted Alternating Least Squares(WALS):專門給 matrix factorization 用:
- 固定一個 embedding 矩陣(U),優化另一個(V)
- 固定 V,優化 U
- 重複
WALS 通常收斂比較快,而且可以平行化。原書選 WALS,因為收斂比較快。
SGD 就是蒙眼下山:「你就往左右各踏一小步 往左邊踏一小步 往右邊踏一小步 看往哪一邊可以讓 loss 下降」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講
為什麼固定一邊就好調?一邊固定以後,另一邊每個人的數字可以各自直接算出最好的值,不用一步一步試;每個人各算各的,所以能平行。
動手玩:小安、阿哲、小美的打勾表,從亂數開始
原書Matrix factorization inference · Figure 6.17、6.18 · 優缺點
學完以後:任何一個使用者 × 任何一部影片,乘一下就有分數
📖 原書 要預測任一使用者和候選影片的相關性,用相似度量(例如 dot product)算兩個 embedding 的相似度。user 2 和 video 5 是 (−0.7)×(−0.5) + 0.1×(−0.3) = 0.32。系統依相關分數回傳推薦影片。
Reminder:matrix factorization 只用使用者與影片的互動,所以常用在 collaborative filtering。
📖 原書 優點
- 訓練快:只有兩個 embedding 矩陣要學
- 服務快:學好的 embedding 是靜態的,學完就能重複使用,查詢時不用轉換輸入
📖 原書 缺點
- 只靠互動:不用年齡、語言這些特徵,限制了預測能力(語言對推薦品質很有幫助)
- 新使用者難處理:互動不夠,產生不了有意義的 embedding,也就沒辦法用 dot product 判斷相關性
你猜猜看:新用戶小新一部都沒看過。matrix factorization 的打勾表裡,他那一列能學出數字嗎?
他那一列沒有任何勾,loss 裡沒有一項跟他有關,學不出有意義的數字。這就是第 12 頁的 cold start。下一個模型來解決。
延伸基礎第 10 階 · 兩座塔 · 懂的人可以跳到第 28 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
沒看過任何影片的新用戶,也能算出一組數字嗎?
婚友社有兩位翻譯員:一位把你的問卷(年齡、語言、興趣)翻成地圖上一個點,另一位把每位對象的資料翻成同一張地圖上的點。點靠得近,就配對。
你猜猜看:小新剛註冊,一部都沒看過,但他搜尋過「滑雪場」。這樣能推薦嗎?
翻譯員看的是「特徵」,不是打勾表。搜尋、語言、裝置都是特徵,所以新用戶也能放上地圖。右邊試試看。
兩位翻譯員各是一個神經網路,叫 encoder;左右各一座,叫 two-tower neural network(雙塔)。
「那如果你有很多 Hidden Layer 就是深度學習 就是 Deep Learning」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講
④ 跟這章的關係原書的第二個模型(第 28 頁)。它吃特徵,所以能處理新用戶;影片那座塔吃標籤,新影片 G 也有分數。
原書Two-tower neural network · Figure 6.19、6.22
原書的雙塔:使用者塔、影片塔,在同一張地圖上比距離
這一步要解決matrix factorization 只看打勾表,不用年齡、語言,也處理不了新用戶。能不能把特徵也吃進來?
📖 原書 兩座 encoder 塔
User encoder 吃使用者特徵,輸出 user embedding;video encoder 吃影片特徵,輸出 video embedding。兩者在共享的 embedding 空間裡的距離,代表相關程度。跟 matrix factorization 比,雙塔夠彈性,能把各種特徵都放進來,更能抓住使用者的特定興趣。
📖 原書 兩個門派都能用
雙塔同時用在 content-based 和 collaborative filtering。用在 CF 時(Figure 6.22),video encoder 只是一個 embedding layer,把 video ID 變成 embedding,模型就不依賴其他影片特徵。
對照第 27 頁:左塔是「使用者問卷的翻譯員」,右塔是「影片資料的翻譯員」。
延伸基礎第 11 階 · 找反例 · 懂的人可以跳到第 30 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
只告訴模型「她看了什麼」,它會學壞
教小朋友認貓,你只給他看 100 張貓的照片。考試時你拿出一隻狗,他也說:「貓!」因為他從來沒看過「不是貓」。
你猜猜看:訓練資料只有小安看過的 4 部(全部標 1)。最偷懶的模型會怎麼猜?
「全部猜 1」在這份資料上 100% 答對,完全不用學。右邊加入反例,看它還騙不騙得了人。
標 1 的是 positive(正例)。從她沒互動的影片裡抽一些當 0,叫 negative sampling(負樣本抽樣)。
④ 跟這章的關係原書建雙塔的訓練資料:反例可以隨機挑,也可以用她按倒讚的(第 30 頁)。
原書Constructing the dataset · Loss · Inference · Figure 6.20、6.21
雙塔怎麼訓練、怎麼用
這一步要解決資料要長什麼樣?用什麼 loss?上線時 100 億部怎麼找?
白話:cross-entropy 是「猜錯時有多驚訝」的分數,street view 那份簡報講過(第 3 章 · 驚訝分數)。ANN 是事先把 100 億個影片向量整理成索引,不用一一比,就能很快找到「差不多最近」的 k 個。
📖 原書 建資料集
從 ⟨user, video⟩ 配對擷取特徵,依使用者回饋標成正或負:明確按讚,或看了至少一半,標 positive。反例可以挑隨機、不相關的影片,或使用者按倒讚的影片。注意:使用者通常只覺得一小部分影片相關,負例遠多於正例,資料不平衡,可以用第 1 章介紹的技巧處理。
📖 原書 Loss 與推論
預測二元標籤,是分類任務,用 cross-entropy 這類分類 loss 訓練兩座 encoder。推論時拿 embedding 找給定使用者最相關的影片:這是經典的 nearest neighbor 問題,用 approximate nearest neighbor(ANN)有效率地找出最相似的 top k。
「這兩個機率分布越接近,那這個 Loss 算出來呢就會越小。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
原書Two-tower 優缺點 · Table 6.5
matrix factorization vs. 雙塔:快 vs. 懂得多
📖 原書 雙塔的優點
- 用得到使用者特徵:年齡、性別這些有預測力的特徵,幫模型推得更好
- 能處理新使用者:靠的是使用者特徵(年齡、性別等)
📖 原書 雙塔的缺點
- 服務比較慢:查詢時要算 user embedding;如果用在 content-based,還要把影片特徵轉成 video embedding,推論更久
- 訓練比較貴:參數比 matrix factorization 多,運算量大
你猜猜看:小安每打開一次首頁,哪個模型要「當場」多算一次?
MF 的 user embedding 學完就存著,直接拿;雙塔要把她「現在」的特徵(剛剛的搜尋、時間、裝置)送進使用者塔,當場算一次。換來的是更懂她、也能處理新用戶。
📖 原書 Table 6.5 兩個模型的比較
| Matrix factorization | Two-tower neural network | |
|---|---|---|
| 訓練成本 | ✓ 訓練比較有效率 | ✘ 訓練比較貴 |
| 推論速度 | ✓ 比較快,embedding 是靜態、可以預先算好 | ✘ 使用者特徵要在查詢時轉成 embedding |
| Cold-start | ✘ 不容易處理新使用者 | ✓ 依賴使用者特徵,能處理新使用者 |
| 推薦品質 | ✘ 不理想,沒有用到使用者/影片特徵 | ✓ 用到更多特徵,推得更好 |
記住這張表:等一下 serving 的時候,原書會依「這一關要快還是要準」來挑模型(第 40、41 頁)。
小結第 8–11 階:怎麼教模型
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
到這裡你已經會了
- 猜得準不準:差距平方加起來loss;空格要不要算、算多重,用 W 調(第 20、24 頁)
- 大表格 = 兩組小數字相乘matrix factorization;WALS 固定一邊調另一邊(第 22、25 頁)
- 雙塔吃特徵,新用戶也能算;但要找反例來教two-tower + negative sampling(第 27、29 頁)
小安,現在走到哪裡
- 正例A、B、C、D(按讚或看一半)
- 反例隨機抽沒看過的 + 按倒讚的「震驚!冰箱……」
- 兩座塔她的特徵 → 一組數字;影片的特徵 → 一組數字
- 分數dot product,最高的推上首頁
下一階要解決:模型訓練好了。首頁那 10 部,到底推得好不好?要拿什麼分數來比?
延伸基礎第 12 階 · 前 k 名 · 懂的人可以跳到第 35 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
首頁只擺得下幾部。前幾名推得準不準?
朋友推薦你 5 家餐廳,你只會去前 3 家。前 3 家有 2 家好吃,你就覺得他「三中二」。好吃的排第一還是排第三,感覺也不一樣。
你猜猜看:清單是 ✓ ✗ ✓ ✗ ✗(✓ 是她會看的)。前 3 名的準確率是?
前 3 名裡有 2 個 ✓:2/3 ≈ 0.67。前 5 名才是 2/5。
前 k 名裡相關的比例,叫 precision@k。每個 ✓ 的位置各算一次 precision 再平均,叫 AP;每個人的 AP 再平均,叫 mAP。
④ 跟這章的關係原書的兩個離線指標:precision@k(k 可以是 1、5、10)和 mAP。mAP 適合這題,因為相關分數是二元的:只有相關、不相關(第 35 頁)。
延伸基礎第 13 階 · 別都一樣 · 懂的人可以跳到第 35 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
前三名全是蛋炒飯的變化版,準是準,但好看嗎?
自助餐五道菜:炸雞、炸雞排、鹽酥雞、炸雞翅、雞米花。每道都是你愛的,但吃到第三道就膩了。
你猜猜看:哪一份清單比較多元?
第一份三部都是 [1,0,0],兩兩 dot product 都是 1,平均 1;第二份兩兩都是 0,平均 0。平均相似度越低,越多元。
清單裡的影片彼此有多不一樣,叫 diversity(多樣性)。算法:兩兩的相似度(dot product)取平均,越低越多元。
④ 跟這章的關係原書的第三個離線指標。原書也提醒:只看 diversity 會誤導,多元但不相關的清單一樣沒用,要搭配 precision@k、mAP。
原書Evaluation · Offline metrics
原書的離線指標:前幾名準、排得好、還要夠多元
這一步要解決上線之前,先用歷史資料打分數。推薦系統常用哪些分數?
📖 原書 三個離線指標
| 指標 | 量什麼 |
|---|---|
| Precision@k | 前 k 部推薦裡,相關影片的比例。可以用好幾個 k,例如 1、5、10 |
| mAP | 推薦清單的排序品質。系統的相關分數是二元的,所以很適合 |
| Diversity | 推薦影片彼此有多不像。使用者對多元的影片比較有興趣,所以要追蹤。算清單內兩兩的平均相似度(cosine similarity 或 dot product),越低越多元 |
📖 原書 注意:只用 diversity 當品質標準會誤導。推薦很多元但跟使用者無關,使用者不會覺得有幫助。所以 diversity 要和其他離線指標一起用,同時確保相關和多元。
你猜猜看:首頁放了「滑雪、股市晨報、重機開箱」,小安一部都不想看。diversity 分數會怎樣?
三部彼此完全不像,平均相似度很低,diversity 看起來很棒;可是 precision@3 是 0。只看一個指標,就會被騙。
「雖然我們在訓練的時候 用 Cross-Entropy 但是你最後在做驗證跟測試的時候 你仍然會用 Accuracy 因為 Accuracy 才是你真正關心的東西」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
這章也一樣:雙塔訓練時用 cross-entropy,評估時改看 precision@k、mAP、diversity,因為使用者在乎的是首頁那幾部。
延伸基礎第 14 階 · 分兩組比 · 懂的人可以跳到第 37 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
新模型上線,真的比較好嗎?隨機分兩組來比
飲料店想知道新菜單有沒有比較好賣。同一週,客人進門時擲硬幣:正面拿新菜單、反面拿舊菜單。天氣、節日對兩組都一樣,差別只剩菜單。
你猜猜看:各給 20 個人試,新版多 1 個人點擊。能說新版比較好嗎?
人太少時,擲硬幣的運氣就能差出好幾個人。右邊把人數調小、多做幾次,看「舊版贏」的次數。
隨機把使用者分成兩組,一組用舊系統(A)、一組用新系統(B),比線上指標,叫 A/B test。
「我們不要過度相信 Evaluation 的分數……你可能會得到一個 在 Evaluation 的時候 取得高分 但實際上表現沒有那麼好的模型」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講
④ 跟這章的關係原書的線上指標(下一頁)要靠這樣比,才知道差別是新模型帶來的,不是運氣或季節。
原書Online metrics · 動手算 CTR
上線以後看什麼?點擊率、看完的、看多久、按讚
這一步要解決實務上公司會追很多線上指標。最重要的是哪幾個?各自漏看什麼?
📖 原書 四個重要的線上指標
| 指標 | 怎麼算、注意什麼 |
|---|---|
| CTR(點擊率) | CTR = 被點的影片數 ÷ 推薦的影片總數。看參與度很有用,缺點是抓不到 clickbait |
| 看完的影片數 | 使用者從頭看到尾的推薦影片總數,知道系統多常推出「真的被看」的影片 |
| 總觀看時間 | 使用者看推薦影片花的總時間。推薦有趣,整體就看得久 |
| 明確的使用者回饋 | 使用者明確按讚或倒讚的影片總數,準確反映對推薦的意見 |
動手算:小安今天首頁的 10 部推薦
你猜猜看:塞了 clickbait 之後,哪個指標反而「變好看」?
點的人變多,CTR 上升;可是點進去幾秒就走,看完的、觀看時間都下降,倒讚還變多。所以原書說 CTR 抓不到 clickbait。
延伸基礎第 15 階 · 漏斗 · 懂的人可以跳到第 39 頁
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
100 億部、200 毫秒:每一部都仔細看,來不及
歌唱選秀:海選幾萬人,評審一人只聽 10 秒;複賽剩 100 人,每人唱完整首;決賽 10 人,還要看舞台、搭配。越後面人越少,看得越仔細。
你猜猜看:100 億部影片,仔細的模型每部只要 1 微秒(百萬分之一秒)。全部算一遍要多久?
100 億 × 百萬分之一秒 = 1 萬秒 ≈ 2.8 小時。小安早就關掉 App 了。
先用便宜的方法粗挑幾千部,叫 candidate generation;再用貴的模型仔細打分排序,叫 scoring(也叫 ranking)。
④ 跟這章的關係原書的 serving 就是這個漏斗:100 億 → 幾千 → 幾百 → 幾十(第 39 頁)。第 13 頁「先 CF 再內容」的 sequential hybrid,就是它的雛形。
原書Serving · Prediction pipeline · Figure 6.23
原書的預測流程:三關,越後面越少、越仔細
這一步要解決重模型很準但很慢,輕模型很快但推不準。100 億部影片要兩全其美,怎麼辦呢?
📖 原書 為什麼要分好幾關
有數十億部影片,選吃很多特徵的重模型,服務會很慢;選輕量模型,推薦品質可能不好。自然的決定是多階段設計,用不只一個模型。例如兩階段:第一階段 candidate generation,輕量模型快速縮小範圍;第二階段 scoring,較重的模型準確地打分、排序。
📖 原書 三個元件
- 候選生成數十億 → 數千(第 40 頁)
- 打分數千 → 數百(第 41 頁)
- 重新排序數百 → 數十,加上額外條件(第 41 頁)
原書Candidate generation · Figure 6.24、6.25
第一關:要快,不怕錯放;而且多開幾條路
你猜猜看:第一關把一部小安不會看的影片放進候選,嚴重嗎?
原書:這一關「效率優先於準確」,不在意 false positive(錯放進來的)。後面還有仔細的 scoring 把關。
📖 原書 Candidate generation
目標:從可能數十億部縮到數千部。為了快,選不依賴影片特徵的模型,而且要能處理新使用者:雙塔很適合。流程:從 user encoder 拿到使用者 embedding,再向 approximate nearest neighbor service 取最相似的影片,依 embedding 空間的相似度排序後輸出。
📖 原書 為什麼用好幾個
使用者看影片的理由很多:熱門、趨勢、跟所在地有關……所以常用多個 candidate generation,例如 Relevant、Popular、Trending,讓推薦更多元,也能提升效果。
原書Scoring · Re-ranking · Figure 6.26 · 動手玩
第二關仔細打分,第三關加上規矩
📖 原書 Scoring(也叫 ranking)
輸入使用者和候選影片,為每部影片打分,輸出排序後的清單。這一關準確優先於效率:選 content-based,挑依賴影片特徵的模型,雙塔是常見選擇。只剩少數影片要排,所以可以用參數更多的重模型。
📖 原書 Re-ranking:加上額外條件或限制
例如用獨立的 ML 模型判斷是不是 clickbait。要考慮:區域限制的影片、影片新鮮度、散播錯誤資訊的影片、重複或近似重複的影片、公平性與偏差。
打分完的前 7 名(示意)。點上面的規則,看清單怎麼變。
原書Challenges of video recommendation systems
原書收尾:這套設計怎麼回應五個典型挑戰
Serving speed
數十億部影片,要又快又準很難。用兩階段設計:第一階段輕量模型,從數十億快速縮到數千。YouTube 用類似的做法,Instagram 用多階段設計。
Precision
scoring 用依賴更多特徵(包括影片特徵)的強模型。不影響速度,因為候選生成之後只剩一小部分影片要打分。
Diversity
大多數使用者喜歡多元的推薦。用多個 candidate generator(第 40 頁)。
Cold-start problem
新使用者:沒有互動資料,就用雙塔,依年齡、性別、語言、地點等特徵預測,也有一定程度的個人化;互動越多,預測越好。新影片:有 metadata 和內容,沒有互動。一種做法是 heuristics:先展示給隨機使用者收集互動,夠多以後用新互動 fine-tune 雙塔。
Training scalability
在大資料集上省錢地訓練很難。新互動不斷進來,模型要快速適應,所以要能 fine-tune。這裡的模型是神經網路,設計上就容易 fine-tune。
你猜猜看:新影片 G 氣炸鍋雞翅剛上架,原書建議先怎麼做?
先讓一小群隨機的使用者看到它,有了互動,再用這些新資料 fine-tune 雙塔。這就是 other talking points 裡「探索與利用」的味道(第 47 頁)。
小結第 12–15 階:推得好不好、怎麼來得及
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
到這裡你已經會了
- 前幾名準不準、排得好不好、夠不夠多元precision@k、mAP、diversity,要一起看(第 33、34 頁)
- 上線靠隨機分兩組比A/B test;CTR 會被 clickbait 騙,要搭配觀看時間和讚(第 36、37 頁)
- 100 億部用漏斗篩candidate generation → scoring → re-ranking(第 38、39 頁)
小安打開首頁的 200 毫秒
- 特徵她的搜尋、看過的、現在的時間和裝置
- 候選使用者塔 → ANN 找幾千部;再加熱門、趨勢
- 打分重模型仔細排,留幾百部
- 規矩去 clickbait、去重複、新影片加分 → 首頁幾十部
接下來:15 階爬完了。原書沒細講的 infra:使用者的喜好分數怎麼存、清單要不要即時算、熱門榜怎麼維護?請 Triton 來客座講評。
客座講評Triton 怎麼存「使用者喜歡什麼」 · 076
Triton 做過一個小型的推薦:喜好分數就是一串 key-value
這一步要解決原書把使用者變成 embedding,卻沒講這些分數存在哪、多久更新。Triton 在 HYPEBEAST(超過 300 萬月活)的 suggestion feed 做過這件事。
「Just Key-Value pairs」「Higher the value, more interest on the category」{ "Nike": 1345.543, "Adidas": 5456.873 }🗣️ Triton 本人說 076-mini-bigdata.pdf.md · Simple User Profile
「All love will decay」「3 years ago I love BR, now I love CI」「No “optimum” half-life, thus we store values of multiple half-life」🗣️ Triton 本人說 076 · Natural Decay、Final User Profile
「Store the user profile as one json, means we can get the user profile by ONE logical Random disk IO」「Instead of update the profiles daily, perform natural decay when the profile is read」「Disk IO at database is hard to scale, but not the CPU at application server」🗣️ Triton 本人說 076 · Physical Storage、Deferred profiles decay
🔭 依 Triton 原則推論 套到這章:每個 tag 一個分數,其實就是一組「手寫的 user embedding」,做法接近 content-based(第 8 頁)。衰減處理了「口味會變」,正好是原書 other talking points 的季節性。而且衰減在讀的時候才算:省的是資料庫的寫入,多花的是好擴充的 application server CPU。
動手算:小安 80 分的「料理」興趣,會怎麼退燒?
你猜猜看:半衰期 30 天,60 天前的 80 分,今天剩多少?
每 30 天減半:80 → 40 → 20。半衰期 360 天的那一份還剩約 71。Triton 三份都存,用的人自己挑。
客座講評首頁清單要不要每次都即時算? · 076、088
Triton 的 suggestion feed:一個迷你版的漏斗,而且全部 cache
你猜猜看:小安的首頁推薦晚了 1 分鐘才更新,她會發現嗎?
首頁本來就只是「某個時間點」的推薦。但如果每次打開都要多等一秒,她一定會發現。Triton 的取捨就是這個。
「Recom Module query all articles within X days in local database」「For each candidate article, the hashTags are matched against the user profile to build a score」「For the top N article, Recom Module perform HTTP Request to get back the article content」🗣️ Triton 本人說 076 · Suggestion Feed workflow
「All data is cached」「Performance is MUCH more important then data freshness」🗣️ Triton 本人說 076 · Suggestion Feed Performance
「用戶頁面顯示的,是「某時間點的 snapshot」 而不是「即時資訊」」🗣️ Triton 本人說 088-redis-intro.pdf.md · 反思 caching(1)
🔭 推論 對照原書的漏斗
| Triton 的四步(076) | 原書(第 39 頁) |
|---|---|
| 只撈 X 天內的文章 | candidate generation(加上新鮮度) |
| hashTags × user profile 打分 | scoring |
| 前 N 篇才去抓內容 | 只對留下來的去 video feature store 抓特徵 |
| 全部 cache,freshness 讓位給 performance | 200 毫秒的延遲需求 |
沒有語言專家怎麼辦?
「We have no linguistic experts」「We picked ~1000 popular tags」「Need manual(a.k.a.工人智慧 ) tag merging」🗣️ Triton 本人說 076 · Suggestion Feed
🔭 推論 原書用 CBOW、BERT 把標籤變數字(第 16 頁);團隊小、資料小時,先挑 1000 個熱門 tag、人工合併「Nikes/Nike」,也是一種能動的 content-based。
客座講評熱門榜、趨勢榜怎麼存 · 088、182
「Popular videos」那一路:100 億部不要全塞進一個排行榜
這一步要解決原書 Figure 6.25 有 Popular、Trending 兩路候選。熱門榜每一次觀看都要更新分數,要存在哪?
「因為sorted set只有一個,即使建立了redis-cluster也只會存到其中一台redis上。」「原來貓咪也會開趴的,開趴時是超級大量貓咪一起開罐罐派對。」「其實根本不用把所有的cat_id都存到單一的sorted set的,這個sorted set只需要存放top 1000貓的資料便好。」🗣️ Triton 本人說 182-資料結構很重要,他媽的重要!,用即時排名來講述.md
「如果 item count < 1M,單純把全部 item用 redis sorted set來存就好」「如果 item count >10M,然後 N <= 1000時 以 List來存 Top 2N sorted item」🗣️ Triton 本人說 088-redis-intro.pdf.md · 實作 top-N item
🔭 依 Triton 原則推論 100 億部遠超過 10M。熱門那一路只要維護「前 2N 部」:每部影片的觀看數照樣散在各台機器的 key-value,只有擠進榜的那幾筆才去動那一份榜單。
動手比:每秒的觀看事件,有幾次打到「放排行榜的那一台」?
你猜猜看:跨年夜大家同時看影片,「全部放一個排行榜」會怎樣?
一個排行榜只住在一台機器上,加再多台也分不掉它。這就是 182 裡「開罐罐派對」把單一 redis 打爆的故事。
原書Other Talking Points
面試還有時間,可能會被問到這些
📖 原書 如果時間允許
- 推薦系統裡的 exploration–exploitation(探索與利用)取捨
- 推薦系統裡可能有的各種偏差(bias)
- 建推薦系統時跟倫理有關的重要考量
- 季節性:使用者在不同季節的行為變化
- 針對多個目標優化,而不是單一目標
- 怎麼從負面回饋(例如倒讚)中獲益
- 利用使用者搜尋紀錄、觀看紀錄裡的影片順序
每一題回到今天的哪一頁
- 探索與利用 → 第 42 頁:新影片先給隨機的人看;一直只推她愛的料理是「利用」,偶爾推滑雪是「探索」
- 偏差 → 第 29 頁:系統只從自己推過的東西學;第 41 頁的 fairness
- 倫理 → 第 7 頁:目標選錯,就會推 clickbait;第 41 頁的錯誤資訊
- 季節性 → 第 44 頁 Triton 的「All love will decay」
- 多個目標 → 第 37 頁:點擊、看完、觀看時間、讚,同時都要顧
- 負面回饋 → 第 29 頁:倒讚是最可靠的反例
- 影片順序 → 第 17 頁是把紀錄平均,順序就不見了;第 48 頁
📅 2026 補充方法怎麼演進 · 方法的限制
原書之後,這幾個零件換了做法
這一步要解決原書的雙塔 + 漏斗到今天還是主流骨架。哪些零件後來被改進了?
反例不只隨機抽:同一批裡別人的正例
雙塔訓練常用 in-batch negatives:同一批資料裡,別人看過的影片就當我的反例,省掉另外抽樣。但熱門影片會被當成反例太多次,Google 2019 年的 sampling-bias correction 就是在修正這個偏差。
打分從一個數字變成好幾個目標
原書參考資料 [13] 的 YouTube 多任務排序(2019,MMoE):同時預測點擊、觀看時間、按讚等多個目標再加權;也另外建模「排在前面所以被點」的位置偏差。
不再只是平均:看「順序」
把觀看紀錄平均,順序就不見了。SASRec(2018)、BERT4Rec(2019)用 Transformer 讀觀看順序;後來的 generative recommendation 更像文字接龍,直接「接」出下一部影片的編號,例如 TIGER(2023)的 semantic ID、Meta 的 HSTU(2024)。
方法的限制:系統只從自己推過的東西學
打勾表裡的勾,多半來自「系統當初推給她看的」。沒被推過的影片,永遠沒機會被打勾,熱門的越來越熱門(feedback loop)。所以才需要探索:YouTube 2019 年把 off-policy correction(REINFORCE)用在候選生成上,就是在處理這件事。
回顧15 階全部爬完
- 打勾表
- 按讚·看完
- 看內容
- 口味像的人
- 新來的
- 一組數字
- 乘一乘加起來
- 差多少
- 還原表格
- 兩座塔
- 找反例
- 前 k 名
- 別都一樣
- 分兩組比
- 漏斗
影片推薦系統,其實就是:把喜歡變成數字、乘一乘排名次,再用漏斗在 200 毫秒內篩完 100 億部而已。
怎麼知道她喜歡什麼
打勾表;勾用 explicit + implicit 規則打(按讚或看一半);看內容找像的、看口味像的人,兩個互補,原書選 hybrid。
怎麼把喜歡變成數字、怎麼教
embedding + dot product;matrix factorization 用加權 loss 和 WALS;雙塔吃特徵、能處理新用戶,用 negative sampling 和 cross-entropy 訓練。
推得好不好
離線看 precision@k、mAP、diversity;線上用 A/B test 看 CTR、看完數、觀看時間、讚與倒讚。
100 億怎麼來得及
candidate generation(雙塔 + ANN,多路)→ scoring(重模型)→ re-ranking(clickbait、地區、新鮮、重複、公平)。
小安打開首頁,壽司和滑雪都在上面。然後呢?然後就結束了。
名詞小卡課後複習用 · 每個詞一行白話
本章名詞小卡
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| user–video matrix | 一列一個人、一欄一部影片的打勾表;原書叫 feedback matrix | 第 5 頁 |
| sparse | 表裡幾乎全是空格 | 第 5 頁 |
| explicit feedback | 明白說出來的喜歡:按讚、分享 | 第 6 頁 |
| implicit feedback | 從行為猜的喜歡:點擊、看了多久 | 第 6 頁 |
| impression | 影片出現在畫面上(曝光),不一定有點 | 第 14 頁 |
| clickbait | 標題很聳動、內容很無聊的點擊誘餌 | 第 7 頁 |
| content-based filtering | 推「跟你看過的很像」的影片 | 第 8 頁 |
| collaborative filtering | 推「跟你口味像的人也看了」的影片 | 第 9 頁 |
| cold start | 新用戶、新影片沒有紀錄,推不準 | 第 12 頁 |
| hybrid filtering | 兩種一起用;原書選先 CF 再內容的依序版 | 第 13 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| embedding | 代表一個東西的一組數字 | 第 15 頁 |
| embedding layer | 把 ID、語言這種類別查成一組數字的表,訓練時一起學 | 第 16 頁 |
| CBOW / BERT | 別人先訓練好的「文字翻成數字」工具 | 第 16 頁 |
| aggregate | 把好幾組數字平均成一組,長度固定 | 第 17 頁 |
| bucketize / one-hot | 把年齡分區間/一排格子只有一格是 1 | 第 17 頁 |
| dot product | 兩組數字逐項相乘再加起來;越大越合 | 第 18 頁 |
| loss | 猜的離答案多遠;越小越好 | 第 20 頁 |
| squared distance | 差距平方加起來;matrix factorization 用這個 | 第 20 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| matrix factorization | 每人一組、每部影片一組數字,相乘還原打勾表 | 第 22 頁 |
| W(weight) | 空格在 loss 裡算多重的旋鈕 | 第 24 頁 |
| SGD / WALS | 蒙眼下山/固定一邊調另一邊 | 第 25 頁 |
| two-tower network | 使用者塔、影片塔各翻成一組數字,再比 | 第 27 頁 |
| encoder (DNN) | 負責「翻譯」的多層神經網路 | 第 28 頁 |
| positive / negative | 標 1 的正例/標 0 的反例 | 第 29 頁 |
| negative sampling | 從沒互動的影片裡抽一些當反例 | 第 29 頁 |
| cross-entropy | 分類用的 loss:猜錯時有多驚訝 | 第 30 頁 |
| ANN | 用索引快速找「差不多最近」的 k 個 | 第 30 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| precision@k | 前 k 名裡相關的比例 | 第 33 頁 |
| AP / mAP | 每個 ✓ 位置的 precision 平均/每個人再平均 | 第 33 頁 |
| diversity | 兩兩相似度的平均;越低越多元 | 第 34 頁 |
| A/B test | 隨機分兩組,一組舊版、一組新版來比 | 第 36 頁 |
| CTR | 被點的 ÷ 推薦的;會被 clickbait 騙 | 第 37 頁 |
| candidate generation | 第一關:便宜又快,100 億 → 幾千 | 第 38 頁 |
| scoring / ranking | 第二關:重模型仔細打分 | 第 38 頁 |
| re-ranking | 第三關:加上規矩(clickbait、地區、重複) | 第 41 頁 |
| fine-tune | 不從頭訓練,用新資料把模型再微調 | 第 42 頁 |
| exploration | 偶爾推她沒看過的類型,收集新資訊 | 第 47 頁 |
忘了哪個詞,就回到右邊那一頁,四步再走一次。
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Machine Learning System Design Interview · Video Recommendation System 章。Introduction、Clarifying Requirements 與 Figure 6.1(第 4 頁)、Defining the ML objective 與 Figure 6.2(7)、Choosing the right ML category 與 Figure 6.3–6.5(10)、CF 缺點、Table 6.1、Hybrid 與 Figure 6.6(13)、Data engineering 與 Table 6.2–6.4(14)、Video features 與 Figure 6.7(16)、User features 與 Figure 6.8–6.10(17)、Feedback matrix 與 Figure 6.11(21)、MF model 與 Figure 6.12–6.13(23)、MF training/loss 與 Figure 6.14–6.16(24)、SGD/WALS(25)、MF inference、Figure 6.17–6.18、優缺點(26)、Two-tower 與 Figure 6.19、6.22(28)、Dataset、loss、inference 與 Figure 6.20–6.21(30)、Table 6.5(31)、Offline metrics(35)、Online metrics(37)、Serving 與 Figure 6.23(39)、Candidate generation 與 Figure 6.24–6.25(40)、Scoring、Re-ranking 與 Figure 6.26(41)、Challenges(42)、Other Talking Points(47)。26 張圖全部依圖說與描述重繪,不是原圖;Figure 6.12–6.18 的矩陣數字只部分出自 alt,其餘為示意(第 23 頁備註);Figure 6.7 依數字關係畫成「標籤向量取平均」
本簡報加的頁面:開場(2)、階梯(3)、15 個延伸基礎(5、6、8、9、12、15、18、20、22、27、29、33、34、36、38)、小結(11、19、32、43)、客座(44–46)、2026(48)、小卡(50)。小安、阿哲、小美、小新與影片、分數、時間都是示意
🎓 李宏毅課堂(逐字稿)
- 導論 2025 · 第 3 講(解剖大型語言模型)— 意思相近的 Token 有相近的 Embedding;dot product 是計算某種相似度
- 同 · 第 4 講(評估的各種坑)— Goodhart's Law;不要過度相信 Evaluation 的分數
- 同 · 第 5 講(機器學習與深度學習的基本原理)— 差距平方平均叫 Loss;左右各踏一小步;很多 Hidden Layer 就是 Deep Learning
- 同 · 第 6 講(訓練類神經網路的訣竅)— 機率分布越接近 Loss 越小;訓練用 Cross-Entropy、驗證用 Accuracy
來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。raw/youtube/transcripts/8iFvM7WUUs8.md、dWQVY_h0YXU.md、Taj1eHmZyWw.md、mPWvAN4hzzY.md。逐字稿沒有推薦系統的課,推薦相關的直覺都是本簡報自己的比喻
🗣️ Triton(materials/core)
076-mini-bigdata.pdf.md— user profile key-value、natural decay、多種 half-life、一列 JSON、讀時衰減、suggestion feed workflow、All data is cached、工人智慧 tag merging(第 44、45 頁)088-redis-intro.pdf.md— snapshot 而非即時資訊、top-N item 規則(45、46)182-資料結構很重要…用即時排名來講述.md— 單一 sorted set 熱點、只存 top 1000(46)
公式(主文用文字講過)
- 相關分數:s(u, v) = Eu · Ev = Σk Eu,k Ev,k
- MF:A ≈ U VT;Lobs = Σ(i,j)∈obs(Aij − Ui·Vj)²
- Lall = Σ(i,j)(Aij − Ui·Vj)²;L = Lobs + W Σ(i,j)∉obs(Aij − Ui·Vj)²
- WALS:固定 V,Ui = (Σj wijVjVjT + λI)−1 Σj wijAijVj;再對調(互動加了 λ = 0.05)
- 雙塔:L = −[y log σ(s) + (1−y) log(1−σ(s))]
- P@k = |rel ∩ top-k| / k;AP = (1/|rel ∩ list|) Σk: rel P@k;mAP = 平均每位使用者的 AP
- Diversity = 清單內兩兩相似度的平均(越低越多元)
- CTR = clicked / recommended
- Triton 076:score(t) = s · 0.5t / half-life(互動示意)