ML System Design · 第 7 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟡 低(一張客座卡:N 小先暴力、geohash)
活動推薦系統
其實就是:幫每一場活動打一個分數,再排名次而已
週末到了,你打開售票 App,「你附近的推薦活動」一排排出來。哪一場排第一?不是編輯挑的,是一個模型幫你和每一場活動配對、打分、排序出來的。原書用一個類似 Eventbrite 的平台,把「排名次」這件事從頭講到尾。
今天的路線
需求 → 一邊爬 15 階基礎、一邊對照原書(第 4 頁的階梯):要回答什麼 → 活動怎麼變成數字 → 用什麼模型、怎麼教 → 怎麼打分數 → 怎麼上線 → 方法的限制與 2026 年的變化。全程只用同一個人、同一個週末。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論 延伸基礎
標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。
先講跟你有關的動手玩 · 你來當推薦員
小安這個週末,你會先推哪一場?
依你覺得小安最可能報名的順序,一張一張點下去。
小安是誰(虛構人物)
28 歲,住舊金山。過去報名過 10 場活動:週五 5 場、週六 3 場、週日 2 場。平常去的地方平均 3 英里遠,票價平均 $30。
你可能會想說,這有什麼難的?看距離、看朋友去不去就好了嘛。對,一個人不難。可是原書的平台每天有 100 萬人上來,每個月有 100 萬場活動。
今天整堂課只在回答四個問題:要回答什麼?(題目)活動怎麼變成數字?(特徵)用什麼模型、怎麼教?(模型與訓練)排得好不好?(評估)。最後再加一個:每天 100 萬人,怎麼排得完?(系統)
原書Introduction · Figure 7.1
原書的開場:一個類似 Eventbrite 的活動平台
📖 原書 題目從哪裡來
Eventbrite 是一個受歡迎的活動管理與售票平台,使用者可以建立、瀏覽、報名活動。推薦系統把體驗個人化,顯示跟使用者相關的活動。這一章要設計一個類似的活動推薦系統。
原書這一章的路線
- Clarifying requirements(第 5–6 頁)
- Frame the problem as an ML task(第 8–9 頁)
- Data preparation(第 11–21 頁)
- Model development(第 23–34 頁)
- Evaluation(第 41、43 頁)
- Serving(第 45–46 頁)
- Other talking points(第 48 頁)
學習地圖今天要爬的 15 階 · 每一階只用前面學過的東西
一階一階往上爬,不跳階
- 1排名次要回答的是什麼?
- 2新來的為什麼特別難?
- 3變數字活動怎麼餵給模型?
- 4分桶亮燈距離要怎麼寫?
- 5跟平常比對她來說遠不遠?
- 6加權打分最簡單的模型
- 720 題猜謎一題一題問
- 8投票接力很多棵樹一起
- 9很多段直線彎彎的關係
- 10驚訝分數猜錯罰多重?
- 11少數派報名的人很少
- 12前 k 名準不準、全不全
- 13名次算分排第幾也要算
- 14有程度很喜歡 vs 有點喜歡
- 15看行為上線後看什麼
要回答什麼 活動怎麼變成數字 用什麼模型、怎麼教 排得好不好 英文名字等爬到那一階才給。
整堂課只用一個人、一個週末
小安,和她附近的 5 場活動 A–E。距離 0.5、3、8、25、120 英里,朋友報名 3、0、1、0、0 人。數字小到可以心算。
每一階都走四步
① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。
每爬幾階就停一下
「到這裡你已經會了」:第 16、29、37、44 頁。最後還有名詞小卡(第 52 頁)。
原書Clarifying Requirements
原書的題目:幫使用者挑出想去的活動
這一步要解決先問清楚要做什麼、手上有什麼資料,免得答錯題目。
📖 原書 應徵者 × 面試官(1/2)
| 應徵者問 | 面試官答 |
|---|---|
| 商業目標可以假設是增加票券銷售嗎? | 是的,聽起來不錯 |
| 除了活動,平台也能訂飯店或餐廳嗎? | 為了簡單,假設只支援活動 |
| 活動是一次性的,辦完就結束,對嗎? | 這是很好的觀察 |
| 可以拿到活動的文字描述、價格範圍、地點、日期時間嗎? | 當然,這些假設合理 |
| 有標註好的資料嗎? | 沒有人工標註的資料集;用活動和使用者的互動資料來建訓練資料 |
| 拿得到使用者目前的位置嗎? | 可以。這題聚焦在以位置為基礎的推薦,假設使用者同意分享位置 |
| 使用者可以在平台上當朋友嗎? | 好問題,可以。友誼是雙向的:A 是 B 的朋友,B 也是 A 的朋友 |
📖 原書 應徵者 × 面試官(2/2)
| 應徵者問 | 面試官答 |
|---|---|
| 使用者可以邀請別人參加活動嗎? | 可以 |
| 可以回覆 RSVP(出席意願)嗎? | 為了簡單,假設活動只有報名這個選項 |
| 活動是免費還是付費? | 兩種都要支援 |
| 有多少使用者和活動? | 每個月總共約 100 萬場活動 |
| 每天有多少活躍使用者? | 假設每天 100 萬名不重複使用者 |
| 要有效率地算兩地之間的距離和交通時間,可以用 Google Maps API 這類外部服務嗎? | 好問題。假設可以用第三方服務拿位置資料 |
原書Problem statement
整理成一句話:推一份個人化的活動清單,讓票賣更多
📖 原書 問題陳述
- 做什麼:設計一個活動推薦系統,給每個使用者一份個人化的活動清單
- 活動的特性:活動結束後就不能再報名
- 使用者能做的事:報名活動、邀請別人參加、建立友誼
- 資料:訓練資料要從使用者互動中線上建立
- 目標:增加總票券銷售量
心算一下規模
你想想看,如果每來一個人,就把 100 萬場活動全部算一遍分數,一秒 12 個人,就是一秒算 1200 萬次。這件事第 46 頁和第 47 頁會回來找我們。
還有一句話很關鍵:沒有標準答案。沒有人幫你標「小安喜歡爵士」。答案要從她點了什麼、報了什麼裡面自己挖出來。
延伸基礎第 1 階 · 排名次 · 懂的人可以跳到第 8 頁
排名次有三種排法:各自打分、兩兩比、整排一起排
歌唱比賽要排名次。評審可以每人各打一個分數;也可以兩兩 PK 看誰贏;也可以直接把整排參賽者排好。
你猜猜看:小安附近 5 場活動,如果用「兩兩 PK」,總共要比幾場?
A 跟其他 4 場比、B 再跟剩下 3 場比……4 + 3 + 2 + 1 = 10。各自打分只要 5 次。
從例子學會排名次,叫 learning to rank(LTR)。三種排法依序叫 pointwise、pairwise、listwise。
講 Chatbot Arena 怎麼排模型時,課堂上說:
「第I個模型贏過第J個模型的機率有多大呢,它可以根據這兩個模型的戰力計算出來」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講
④ 跟這章的關係原書選最簡單的「各自打分」:每場活動單獨算一個「小安會報名的機率」,再照機率排(第 9 頁)。
原書Frame the Problem as an ML Task · Figure 7.2
把「賣更多票」翻譯成 ML 題目:排名次
這一步要解決「賣更多票」不是模型能直接學的東西。要換成模型能算的目標、輸入和輸出。
📖 原書 ML objective 與 input/output
商業目標是增加票券銷售。翻成定義清楚的 ML 目標:最大化活動報名數。系統的 input 是一個使用者,output 是跟這個使用者相關程度最高的前 k 場活動,依相關程度排序。
📖 原書 推薦問題有三種解法
- 簡單規則:例如推熱門活動
- Embedding-based:依賴 content-based 或 collaborative filtering(用內容相似、或用「品味相近的人喜歡什麼」來推)
- 改寫成排名問題
規則適合當 baseline(比較用的起點),但 ML 通常效果更好。這一章把任務改寫成排名問題,用 Learning to Rank(LTR)來解。
📖 原書 LTR 是一類用 supervised learning(有答案可以對照的學習)解排名問題的方法。排名問題的正式定義:「給一個 query 和一串 item,怎麼把 item 從最相關排到最不相關?」詳細說明超出本書範圍,原書請讀者看參考資料 [1]。
原書Pointwise · Pairwise · Listwise · Figure 7.3–7.6
三種 LTR,原書選最好做的 pointwise
這一步要解決三種排法都能排出名次,要選哪一種?
📖 原書 Pointwise
一個一個 item 看,用 classification 或 regression 預測 query 和這個 item 的相關分數。每個 item 的分數各自獨立,最後照分數排序就是名次。
📖 原書 Pairwise 與 Listwise
Pairwise:一次拿兩個 item,預測哪一個比較相關;熱門演算法有 RankNet、LambdaRank、LambdaMART。Listwise:給 query,直接預測一整串 item 的最佳順序;熱門演算法有 SoftRank、ListNet、AdaRank。
📖 原書 選哪一種
一般來說 pairwise、listwise 比較準,但比較難實作和訓練。為了簡單,原書用 pointwise:一個 binary classification(二選一的分類)模型,一次看一場活動,預測使用者會報名的機率(Figure 7.6 的 0.81)。
延伸基礎第 2 階 · 新來的 · 懂的人可以跳到第 11 頁
一場活動從上架到結束,只有短短幾天
一部電影可以紅好幾年,評論越累積越多。一場週六的爵士之夜,週一上架、週六晚上辦完,之後就沒人能買票了。
你猜猜看:一場活動上架第 1 天,平台對它的了解,比較像哪一種?
剛上架時還沒什麼人看過、點過、報名過。等資料累積夠了,活動也快結束了。
新東西沒有互動紀錄、很難推,叫 cold start(冷啟動)。活動天天都是新的,原書說這是一個永遠的 new-item problem。
④ 跟這章的關係沒有歷史紀錄可以靠,原書就改靠「描述這場活動」的資訊:多遠、幾點、多少錢、朋友去不去(第 13 頁)。
原書Data Preparation · Data engineering · Table 7.1–7.4
手上有四種原始資料:人、活動、友誼、互動
這一步要解決要做出好特徵,得先知道系統裡有哪些原始資料。
| ID | Username | Age | Gender | City | Country | Language | Time zone |
|---|---|---|---|---|---|---|---|
| 原書這張表只有欄位,沒有範例資料 | |||||||
📖 原書 Table 7.1使用者資料結構
| ID | Host User ID | Category / Subcategory | Description | Price | Location | Date/Time |
|---|---|---|---|---|---|---|
| 1 | 5 | Music · Concert | Dua Lipa Tour in Miami | 200-900 | American Airlines Arena Miami, FL | 09/18/2022 19:00-24:00 |
| 2 | 11 | Sports · Basketball | Golden State Warriors vs. Milwaukee Bucks | 140-2500 | Chase Center SF, CA | 09/22/2022 17:00-19:00 |
| 3 | 7 | Art · Theater | The Comedy and Magic of Robert Hall | Free | San Jose Improv San Jose, CA | 09/06/2022 18:00-19:30 |
📖 原書 Table 7.2活動資料
| User ID 1 | User ID 2 | Timestamp when friendship was formed |
|---|---|---|
| 28 | 3 | 1658451341 |
| 7 | 39 | 1659281720 |
| 11 | 25 | 1659312942 |
📖 原書 Table 7.3友誼資料:每一列是兩個人成為朋友,和成為朋友的時間
| User ID | Event ID | Interaction type | Interaction value | Location (lat, long) | Timestamp |
|---|---|---|---|---|---|
| 4 | 18 | Impression | - | 38.8951 -77.0364 | 1658450539 |
| 4 | 18 | Register | Confirmation number | 38.8951 -77.0364 | 1658451341 |
| 4 | 18 | Invite | User 9 | 41.9241 -89.0389 | 1658451365 |
📖 原書 Table 7.4互動資料:報名、邀請、曝光放在同一張表
📖 原書 四種資料
- Users:年齡、性別、城市、國家、語言、時區
- Events:主辦人、類別、描述、價格、地點、日期時間
- Friendship:誰跟誰是朋友、什麼時候成為朋友
- Interactions:報名、邀請、impression(曝光:活動被顯示在使用者面前一次),附位置和時間
實務上互動資料可能放在不同的資料庫,原書為了簡單放在同一張表。
把小安放進 Table 7.4 看:她看到爵士之夜是一列 Impression,報名又是一列 Register,邀請朋友再一列 Invite。等一下的「標準答案」,就是從這張表挖出來的(第 32 頁)。
延伸基礎第 3 階 · 變數字 · 懂的人可以跳到第 13 頁
模型看不懂「週五晚上的爵士」,只看得懂一串數字
媒人幫人配對,會先問:住多遠?幾歲?有沒有共同朋友?每個問題的答案,都可以寫成一個數字,填進一張表。
你猜猜看:「主辦人是不是小安的朋友」這件事,最簡單要用幾個數字記?
是非題就用 1 和 0。原書很多特徵都是這樣寫的:同城市 1、不同城市 0。
每一個數字叫一個 feature(特徵)。想辦法把原始資料變成好用的數字,叫 feature engineering。
「那把一個東西表示成一些數值,這些數值要當作函式的輸入,這些數值就叫做 Feature」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講
④ 跟這章的關係每一對「小安 × 某場活動」都變成一串數字,餵給模型去猜會不會報名。原書花最多篇幅的就是這一步。
原書Feature engineering · 為什麼這一章特別難
活動推薦天生就是 cold start,所以要拼命做特徵
這一步要解決活動很新、紀錄很少,模型要靠什麼判斷?
📖 原書 活動跟電影、書不一樣
活動結束後就沒有消費了。活動通常很短命:從建立到結束的時間很短,所以一場活動能累積的歷史互動不多。因此 event-based recommendation 本質上就是 cold start,而且一直面臨 new-item problem(第 10 頁)。
📖 原書 解法:多花力氣在 feature engineering
盡可能做出很多有意義的特徵。篇幅有限,原書只討論最重要的幾個;實務上特徵可以多很多。
📖 原書 五類特徵(按 → 逐一出現)
- 地點好不好到?同城市嗎?距離她習慣嗎?(第 15 頁)
- 時間還剩多久開始?路上要多久?她平常哪天出門?(第 18 頁)
- 社交多少人報名?朋友去嗎?誰邀請她?(第 19 頁)
- 使用者年齡、性別(第 20 頁)
- 活動票價、描述跟她報過的像不像(第 20 頁)
你有沒有發現,前三類全部都是「她和這場活動之間」的關係。活動再新,距離、時間、朋友,第一天就算得出來。
延伸基礎第 4 階 · 分桶亮燈 · 懂的人可以跳到第 15 頁
距離要寫成「0.5 英里」,還是「很近」?
問朋友住多遠,他不會說「4.37 公里」。他會說「走路就到」「要騎車」「要開車」。分成幾格,反而比較好比。
你猜猜看:照原書的分法,籃球賽 C 在 8 英里外,落在第幾桶?
8 介於 5 和 20 之間,所以是第 2 桶。只要看它落在哪一格,不用管小數點。
把連續的數字切成幾格,叫 bucketize(分桶)。每一格配一盞燈、只亮一盞,叫 one-hot encoding。
④ 跟這章的關係原書的距離、剩餘時間、票價、年齡,全部先分桶,再 one-hot(第 15、18、20 頁)。
原書Location-related features · Table 7.5 · Figure 7.7
地點特徵:好不好到、同不同城、遠不遠
這一步要解決活動在山上、離大眾運輸很遠,通勤就會讓人不想去。怎麼把「好不好到」變成數字?
📖 原書 好不好到(accessibility)
Walk score:0 到 100 的分數,依離附近設施的距離、行人友善度、人口密度等算出地址有多好走;假設可從 Google Maps、OpenStreetMap 等外部來源取得。Walk score similarity:活動的 walk score 和她過去報名活動的平均 walk score 差多少。同樣做 transit score、bike score 和各自的 similarity。
| Category | Walk score | Description |
|---|---|---|
| 1 | 90-100 | No car needed 不需要開車 |
| 2 | 70-89 | Very walkable 非常適合步行 |
| 3 | 50-69 | Somewhat walkable 有點適合步行 |
| 4 | 25-49 | Car-dependent 依賴開車 |
| 5 | 0-24 | Requires a car 需要開車 |
📖 原書 Table 7.5Walk score 分成 5 類
📖 原書 同國家、同城市?距離習慣嗎?
兩個是非特徵:同國家 1/0、同城市 1/0。距離由外部 API 取得再分桶:0 不到 1 英里、1:1–5、2:5–20、3:20–50、4:50–100、5:超過 100。Distance similarity:這場的距離和她過去報名活動的平均距離差多少(實務上可用中位數或百分位範圍)。
小結第 1–4 階:要回答什麼、怎麼開始變成數字
到這裡你已經會了
- 推薦 = 排名次原書用 pointwise:每場活動各自算「會報名的機率」,再排序(第 7、9 頁)
- 活動永遠是新來的cold start,所以改靠描述「她和活動關係」的特徵(第 10、13 頁)
- 特徵就是一串數字;連續數字先分桶再亮燈feature、bucketize、one-hot(第 12、14 頁)
小安 × 籃球賽 C,現在變成
- 原始8 英里、同城市、週六 17:00、$140、1 個朋友報名
- 是非題同城市 1 · 同國家 1
- 分桶距離 → 第 2 桶 → [0,0,1,0,0,0]
- 接起來[1, 1, 0,0,1,0,0,0, …]
下一階要解決:8 英里,對小安來說算遠嗎?她平常都去 3 英里內的地方。同一個數字,對不同人意思不一樣,怎麼辦呢?
延伸基礎第 5 階 · 跟平常比 · 懂的人可以跳到第 18 頁
8 英里遠不遠?要看她平常走多遠
對住在市中心的人,開車 30 分鐘是遠征。對住郊區的人,那只是去買菜。同一段路,要跟「她平常」比才知道。
你猜猜看:小安最近報名的 4 場,距離是 2、3、3、4 英里。她的平均是多少?
(2 + 3 + 3 + 4) ÷ 4 = 12 ÷ 4 = 3。12 是總和,不是平均。
「這場活動」減掉「她過去報名活動的平均」,原書叫 similarity 特徵(例如 distance similarity)。差越小,越像她平常會去的。
④ 跟這章的關係原書幾乎每個特徵都配一個 similarity:步行分數、距離、剩餘時間、交通時間、報名人數、朋友數、票價(第 15–20 頁)。
原書Time-related features · Figure 7.8–7.9
時間特徵:還剩多久、路上多久、她習慣哪一天
這一步要解決有人會提前好幾天規劃,有人臨時起意;有人只在週末出門。怎麼寫成數字?
📖 原書 距離開始還剩多久?方便嗎?
- Remaining time:分桶後 one-hot。0:不到 1 小時、1:1–2 小時、2:2–4 小時、3:4–6 小時、4:6–12 小時、5:12–24 小時、6:1–3 天、7:3–7 天、8:超過 7 天
- Remaining time similarity:和她過去報名活動的平均剩餘時間差多少
- Estimated travel time:從她的位置到活動地點的預估交通時間,由外部服務取得再分桶;另有 travel time similarity
📖 原書 日期和時間方便嗎?
做一個 user profile:長度 7 的一組數字,每格記她在星期幾參加過幾場;除以總場數,就是每天的參加比例(Figure 7.8)。這個人從沒在週一、週三參加過,推週三的活動可能不太好。用同樣方法做每小時的 profile,再加上 day 與 hour similarity。
切到「小安」:週五 5 場、週六 3 場、週日 2 場,除以 10 就是 0.5、0.3、0.2。爵士之夜在週五,這一格是 0.5。
原書Social-related features
社交特徵:人多嗎?朋友去嗎?誰邀請她?
這一步要解決大家都去的、朋友在的、被邀請的,人比較會報名。怎麼寫成數字?
📖 原書 有多少人參加這場?
- 這場活動的報名人數
- 報名人數 ÷ 曝光次數的比例
- Registered user similarity:這場的報名人數和她以前報名過的活動差多少
📖 原書 朋友有沒有去?
- 她的朋友裡,報名這場的人數
- 報名的朋友 ÷ 朋友總數
- Registered friend similarity:這場的報名朋友數和她以前報名過的活動差多少
📖 原書 有人邀請她嗎?主辦人是誰?
- 邀請她的朋友人數、邀請她的一般使用者人數:被邀請的活動比較會去
- 主辦人是不是她朋友:是 1、不是 0,人傾向參加朋友辦的活動
- 她過去多常參加這位主辦人的活動:有些人會追特定主辦人
放進小安的週末
| A | B | C | D | E | |
|---|---|---|---|---|---|
| 朋友報名 | 3 | 0 | 1 | 0 | 0 |
| 朋友邀請 | 1 | 0 | 0 | 0 | 0 |
| 主辦是朋友 | 0 | 0 | 0 | 1 | 0 |
D 很遠,但「主辦是朋友」這一格亮了。少了這個特徵,模型就看不到她報名 D 的理由。
原書User-related · Event-related features · Figure 7.10
使用者特徵與活動特徵,最後全部接成一長串
這一步要解決有些活動只針對某些族群;票價會影響決定;描述能透露她的興趣。
📖 原書 使用者:年齡與性別
「Women in Tech」「Life lessons to excel in your 30 s」這類活動針對特定族群。兩個特徵:性別用 one-hot;年齡先分桶再 one-hot。
📖 原書 活動:票價與描述
- 票價分桶:0 免費、1:$1–$99、2:$100–$499、3:$500–$1,999、4:$2,000 以上
- Price similarity:和她過去報名活動的平均票價差多少
- 描述相似度:以前的描述常出現「concert」,可能代表她喜歡音樂會。把描述用 TF-IDF(依字詞出現頻率把文字變成一組數字)轉成向量,再用 cosine(看兩組數字方向有多接近)算相似度
- 描述是主辦人手寫的,可能很雜;可以有/沒有這個特徵各訓練一次,量它的重要性
📖 原書 以上不是全部。實務上還可以做主辦人的人氣、使用者的搜尋紀錄、活動類別、自動產生的活動標籤等。面試時不必照本宣科,當起點,再挑面試官有興趣的深入。
原書Feature engineering · 可以延伸的討論點
特徵做完了,面試官可能追問的五件事
📖 原書 Batch vs. streaming features
Batch(靜態)特徵變得慢:年齡、性別、活動描述,可以定期批次算好放進 feature store(存特徵的倉庫)。Streaming(動態)特徵變得快:報名人數、剩餘時間。面試官可能想聽 ML 裡 batch 與 online processing 的差別。
📖 原書 特徵計算的效率
即時算特徵沒效率。例如:不把「她和活動的距離」當特徵即時算,而是把兩個位置分別當特徵傳進模型,讓模型自己從兩個位置學出有用的資訊。
📖 原書 Decay factor 與 embedding
依賴「最近 X 次互動」的特徵,用 decay factor(衰減係數)讓越近的行為權重越大。也可以用 embedding learning 把每場活動、每個人變成一組數字當特徵。
📖 原書 用使用者屬性可能造成偏見
例如靠年齡、性別判斷一個人適不適合某份工作,可能造成歧視。我們從使用者屬性做特徵,就要留意偏見問題。
距離要自己算,還是讓模型自己學?
原書給的選項是「丟兩個位置,讓模型自己學」。課堂上剛好有一個反方向的經驗:
「那我今天既然都知道這是一個好的 feature 了,何必仰賴 network 自己發現呢,我直接告訴它有這個 feature 可以用,不就好了嗎」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講(投影片總字數 ÷ 頁數 = 平均字數)
兩邊不衝突:一個在省上線時的計算,一個在省模型要學的東西。面試時把這個取捨講出來就好。
Decay factor 心算
每往前一場,權重打五折:最近一場 1、前一場 0.5、再前一場 0.25。她最近三場距離 2、4、8 英里:(2×1 + 4×0.5 + 8×0.25) ÷ (1 + 0.5 + 0.25) = 6 ÷ 1.75 ≈ 3.4,比單純平均 4.7 更貼近她最近的習慣(示意)。
延伸基礎第 6 階 · 加權打分 · 懂的人可以跳到第 23 頁
每個特徵乘一個重要程度,加起來,再壓成 0 到 100%
學測算加權總分:數學乘 2、國文乘 1,加起來。重要的科目權重大,扣分的事情權重是負的。
你猜猜看:總分剛好是 0,不偏向會也不偏向不會。壓成機率之後是多少?
0 分正好在中間,就是一半一半。分數越大越接近 100%,越負越接近 0%,但永遠不會超出去。
加權總分再壓成機率的模型叫 logistic regression(LR)。負責「壓」的那條 S 形曲線叫 sigmoid。
講 Elo 分數時,課堂上說:
「這其實就是sigmoid function,如果 I的戰力比J的戰力大很多的話,算出來的數值就會趨近於1」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講
④ 跟這章的關係這就是原書第一個候選模型(第 23 頁)。權重看得懂,但它只會「直直地加」。
原書Model selection · Logistic regression · Figure 7.11–7.12
四個候選模型,先看最簡單的 logistic regression
這一步要解決二選一的分類問題有很多種模型可以解。哪一種適合活動推薦?
📖 原書 候選:Logistic regression、Decision tree、Gradient-boosted decision tree(GBDT)、Neural network。LR 用一個或多個特徵的線性組合(乘權重再加起來)來建模二元結果的機率。
📖 原書 優點
- 推論快:算特徵的加權組合很快
- 訓練有效率:架構簡單,好實作、好解釋、訓練快
- 資料 linearly separable(一條直線就能分開)時效果好(Figure 7.12)
- 好解釋:每個特徵的權重代表它多重要,看得出為什麼做了這個決定
📖 原書 缺點
- 解不了非線性問題,因為它只用特徵的線性組合
- Multicollinearity(兩個以上特徵高度相關,例如「距離」和「交通時間」)時學不好
我們的系統特徵很多,而且常常跟答案有複雜的非線性關係,LR 可能學不起來。
「如果說今天 x 跟 y 之間真正的關係是這樣一條曲線,在這個函式範圍裡面,我們不管怎麼找,都找不出這麼一條線」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講
延伸基礎第 7 階 · 20 題猜謎 · 懂的人可以跳到第 25 頁
不加分數了,改成一題一題問是非題
玩 20 題猜謎:「是動物嗎?」「比貓大嗎?」每問一題,可能的答案就砍掉一半。問對問題,幾題就猜中。
你猜猜看:小安以前看過 8 場活動。第一題問哪一個,比較能把「會去」和「不會去」分開?
名稱幾個字跟她去不去沒什麼關係。朋友有報名的 4 場裡,她去了 3 場;沒朋友的 4 場,只去了 1 場。
一路問是非題、問到底給答案的模型叫 decision tree。問太多題、把舊資料的巧合也背起來,叫 overfitting。
「overfitting 的其中一個來源就是,當你劃定的選函式的範圍越大,就越容易發生 overfitting 的現象」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講
④ 跟這章的關係樹不用乘權重,也不怕數字大小差很多;但它對資料很敏感,原書因此改用「很多棵樹」(第 25 頁)。
原書Decision tree · Figure 7.13
決策樹:快、好懂,但太敏感
這一步要解決LR 只會畫直線。換成一題一題問的樹,會比較好嗎?
📖 原書 決策樹用樹狀的「決策和可能結果」來預測。Figure 7.13 是只用年齡、性別兩個特徵的樹;每個葉子是一個二元結果,「+」是 positive、「−」是 negative。
📖 原書 優點
- 訓練快、推論快
- 幾乎不用準備資料:不需要 normalization 或 scaling(把數字縮到差不多大小),因為演算法不依賴特徵的分布
- 好解釋:把樹畫出來,就看得出為什麼這樣決定、哪些因素重要
📖 原書 缺點
- 邊界不一定最好:決策樹的邊界跟座標軸平行,對某些資料分布不是最好的切法
- Overfitting:對資料的小變動非常敏感。輸入一點點不同,上線時結果就可能不同;訓練資料一點點不同,樹的結構就可能完全不同。這是主要問題,讓預測不可靠
📖 原書 所以實務上很少用單純的決策樹。降低敏感度的兩個常用技術:Bagging 和 Boosting,業界用得很廣,一定要懂(第 26 頁)。
延伸基礎第 8 階 · 投票接力 · 懂的人可以跳到第 27 頁
一棵樹太敏感,那就找很多棵:投票,或接力訂正
三個臭皮匠:各自猜,再投票,比較不會被一個人的偏見帶走。另一種是接力改作業:第二個人只專心改第一個人寫錯的地方。
你猜猜看:接力的時候,第 2 棵樹要學的是什麼?
第 1 棵猜 D 只有 0.2,答案是 1,還差 0.8。第 2 棵只學這個差距,加上去就更接近了。
各自訓練、最後投票叫 bagging。一棵接一棵、每棵修前面的錯叫 boosting。
講模型產生很多答案、要挑哪一個時,課堂上說:
「那一個直覺的方式就是,投票做majority vote,看看在所有模型出現的答案裡面,哪一個答案出現的次數最多,就是正確答案」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第七講
④ 跟這章的關係投票的代表是 random forest;接力的代表是 GBDT、XGBoost,原書最後拿來當 baseline(第 28 頁)。
原書Bagging · Boosting · Figure 7.14–7.15
Bagging 平行投票、Boosting 依序修錯
這一步要解決單棵決策樹太敏感。兩種「很多棵樹」各解決什麼、代價是什麼?
📖 原書 Bagging(Bootstrap aggregation)
一種 ensemble learning(集合多個模型)方法:在訓練資料的多個子集上平行訓練一組模型,再把它們的預測合起來,大幅降低模型對資料變化(variance)的敏感度。例子是常用的 random forest:每棵樹獨立預測正或負,再投票(Figure 7.14)。
- 降低 overfitting(高 variance)的影響
- 樹可以平行訓練,訓練時間不會增加太多
- 樹可以平行處理輸入,推論延遲不會增加太多
- 但模型 underfitting(高 bias,模型太簡單、連舊資料都學不好)時沒有幫助
📖 原書 Boosting
依序訓練幾個 weak classifier(只比亂猜好一點的簡單分類器),一步步降低預測錯誤,合成一個強模型。優點:同時降低 bias 和 variance。缺點:每個分類器根據前一個的錯誤來訓練,只能依序做,訓練和推論都比較慢。實務上通常偏好 boosting,因為 bagging 對 bias 沒用。典型的有 AdaBoost、XGBoost、Gradient boost。
原書GBDT · Figure 7.16
GBDT:結構化資料的強手,但不擅長「邊上線邊學」
這一步要解決我們的特徵都是一格一格的數字。哪個模型最擅長這種資料?
📖 原書 GBDT 是常用的樹模型,用 GradientBoost 改良決策樹。它的一些變體,例如 XGBoost,在各種 ML 競賽表現很強。我們的特徵是結構化資料(像表格一樣一格一格的數字),所以 GBDT 或 XGBoost 是值得實驗的好選擇。
📖 原書 優點
- 資料準備簡單:跟決策樹一樣不需要前處理
- 降低 variance:用了 boosting
- 降低 bias:靠多個 weak classifier,一輪輪修正前面分錯的點
- 擅長結構化資料
📖 原書 缺點
- 超參數很多:迭代次數、樹深、regularization 參數等
- 不擅長非結構化資料:圖片、影片、聲音
- 不適合從串流資料做 continual learning(持續學習)
📖 原書 最後一點是大問題:新的互動、新的報名、新活動、新使用者一直進來,口味也會變。好的活動推薦要持續適應新資料;不能持續學習,就得定期從頭重新訓練 GBDT,非常貴。接下來看能克服這點的 neural network。
小結第 5–8 階:跟平常比,和三種會打分的模型
到這裡你已經會了
- 同一個數字,要跟她的平常比similarity 特徵:這場減掉她過去的平均(第 17 頁)
- 最簡單的模型:加權總分壓成機率logistic regression + sigmoid;好懂但只會直直地加(第 22、23 頁)
- 樹:一題一題問;很多棵樹:投票或接力decision tree 太敏感;bagging 降 variance,boosting(GBDT)連 bias 一起降(第 24–28 頁)
小安的 D(朋友主辦、25 英里),三個模型怎麼看
- LR沒給「主辦是朋友」:5%;給了、權重 3:50%
- 一棵樹沒朋友報名、又遠 → 猜不會去
- 接力第 2 棵樹專修 D 的差距:0.2 → 0.8
- 教訓模型再強,沒給的特徵它就看不到
下一階要解決:GBDT 每次都要從頭重訓,新活動又天天來。有沒有一種模型,關係再彎都學得起來,而且可以邊上線邊學?
延伸基礎第 9 階 · 很多段直線 · 懂的人可以跳到第 31 頁
彎彎的關係,用很多小段直線拼起來
有些人只去家附近的活動,但每個月也愛出一趟遠門。「想去的程度」跟距離的關係是先往下、再往上,不是一條直線。
你猜猜看:「先往下、再往上」的曲線,一條直線畫得出來嗎?
直線不能轉彎。但兩段直線接起來就能轉一次,段數越多,越能貼著曲線走。
能用很多段「轉彎的直線」疊出任何曲線的模型,叫 neural network(類神經網路)。不是一條直線的關係叫 non-linear。
「其實所謂的深度學習,所謂的類神經網路,就是畫一個比較大的函式選擇範圍,還有機會包含更多不同的函式」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係活動推薦的特徵很多、關係很彎,而且新資料一直來。原書說 neural network 這兩點都擅長(第 31 頁)。
原書Neural network · Figure 7.17 · Which model should we select?
先用 XGBoost 當 baseline,再試 neural network
這一步要解決GBDT 和 NN 各有長短,原書最後怎麼選?
📖 原書 NN 的優缺點
優點:① Continual learning:設計上就是從資料學、持續改進;② 擅長文字、圖片、影片、聲音這類非結構化資料;③ 表達力強:參數多,學得了很複雜的任務和非線性邊界。
缺點:① 訓練運算成本高;② 對輸入品質很敏感,特徵範圍差很多時訓練會收斂得慢,所以要 normalization、log-scaling、one-hot 等資料準備;③ 需要大量訓練資料;④ 黑盒子:特徵經過好幾層非線性轉換,很難看出每個特徵對結果的影響。
📖 原書 該選哪一個?
選模型很難,常常要實驗。可以看:任務複雜度、資料分布與型態、產品需求或限制(訓練成本、速度、模型大小等)。這題 GBDT 和 NN 都是好候選。
- 先用 GBDT 的變體 XGBoost:實作、訓練都快,結果當初始 baseline
- 再試 NN 能不能更好。理由一:系統裡有大量訓練資料,使用者一直在報名、邀請、發佈新活動
- 理由二:資料可能不是 linearly separable,NN 學得了非線性
📖 原書 設計 NN 架構要決定很多 hyperparameter:hidden layer 幾層、每層幾個 neuron、activation function 等,可以用 hyperparameter tuning 決定。但 NN 架構細節通常不是 ML 系統設計面試的重點,因為沒有系統化的方法選出正確架構。
原書Model training · Constructing the dataset · Figure 7.18
沒有人工標註,答案從「她有沒有報名」來
這一步要解決面試官說沒有標註資料。模型要從例子學,例子和答案從哪裡來?
📖 原書 一筆資料怎麼做
從互動資料裡取出一對 ⟨user, event⟩,用這一對算出輸入特徵。如果使用者報名了這場活動,label(標準答案)是 1,沒有就是 0。建好訓練和評估資料集,是開發模型的必要步驟。
小安這個週末,變成 5 筆資料
| ⟨user, event⟩ | 距離桶 | 朋友 | 主辦是朋友 | … | Label |
|---|---|---|---|---|---|
| ⟨小安, A⟩ | 0 | 3 | 0 | … | 1 |
| ⟨小安, B⟩ | 1 | 0 | 0 | … | 0 |
| ⟨小安, C⟩ | 2 | 1 | 0 | … | 0 |
| ⟨小安, D⟩ | 3 | 0 | 1 | … | 1 |
| ⟨小安, E⟩ | 5 | 0 | 0 | … | 0 |
你有沒有發現一件事?5 筆裡只有 2 筆是 1。真實世界更誇張:一個人可能看了幾十、幾百場才報名一場。原書接著就談這個 class imbalance;我們先把「猜錯怎麼罰」講完(第 33 頁),再回來處理它(第 35 頁)。
延伸基礎第 10 階 · 驚訝分數 · 懂的人可以跳到第 34 頁
猜錯要罰多重?看你猜得有多篤定
氣象說降雨機率 90%,結果沒下雨,大家只會小小抱怨。說 1% 結果下大雨,大家就很驚訝、罵很兇。越篤定地猜錯,越該罰。
你猜猜看:模型說小安只有 5% 會報名 D,結果她報了。這次該罰重還是輕?
給正確答案的機率越低,驚訝就越大。5% 的驚訝分數大約 3.0,猜 95% 對了只有 0.05,差了 60 倍。
「離正確答案多遠」的分數叫 loss。二選一時這個驚訝分數叫 binary cross-entropy。
「這兩個機率分布越接近,那這個 Loss 算出來呢就會越小」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係原書的模型就是用 binary cross-entropy 訓練:把 5 筆的驚訝分數加起來,調權重讓總分越小越好(第 34 頁)。
原書Choosing the loss function · Figure 7.19
預測 P 和答案 G 比一比,算 binary cross-entropy
這一步要解決模型猜了一個機率,要怎麼量它猜得好不好,好讓它往對的方向改?
📖 原書 選 loss function
模型是 binary classification 模型,所以用典型的分類 loss,例如 binary cross-entropy,來最佳化 neural network。
流程用白話講一次
- 一筆 ⟨小安, D⟩ 的特徵進 neural network
- 吐出 P(prediction):例如 0.05
- 拿去跟 G(ground truth,標準答案):1 比
- 算 binary cross-entropy:約 3.0
- 根據這個 loss,回頭調整 network 裡的權重,讓下次的 P 更接近 G
第 5 步原圖沒有畫箭頭,但原書的描述說 loss「用來更新 network 的權重」。怎麼調?就是往 loss 變小的方向一步一步走,也就是梯度下降(gradient descent)。
延伸基礎第 11 階 · 少數派 · 懂的人可以跳到第 36 頁
報名的人太少:全部猜「不會」,正確率居然很高
機場安檢,一萬個旅客裡可能只有一個帶違禁品。一個什麼都放行的安檢員,「正確率」是 99.99%,但他一點用都沒有。
你猜猜看:100 次曝光只有 2 次報名。偷懶模型全部猜「不會報名」,正確率是多少?
100 筆裡有 98 筆真的是「不會」,全猜不會就對 98 筆。可是它一場活動都推不出來。
一種答案特別多、另一種特別少,叫 class imbalance。把多的那一類隨機丟掉一部分,叫 undersampling。
④ 跟這章的關係活動推薦的訓練資料就是這樣:大部分 ⟨user, event⟩ 都是 0。原書列了兩招(第 36 頁)。
原書Class imbalance
兩招:改 loss,或少用一點多數派
這一步要解決負的 ⟨user, event⟩ 遠比正的多。模型會被大量的 0 淹沒,怎麼辦?
📖 原書 為什麼會不平衡
使用者可能瀏覽數十或數百個活動才報名一個。所以負的 ⟨user, event⟩ 配對數量遠高於正的資料點。可以用下面其中一招:
📖 原書 招式一:focal loss 或 class-balanced loss
用這兩種 loss 訓練分類器。白話:class-balanced loss 是少數類別猜錯時罰得更重;focal loss 是「已經很容易猜對」的例子少罰一點,讓模型把力氣花在難的例子上。
📖 原書 招式二:undersample 多數類別
把大量的「沒報名」隨機抽掉一部分,再拿去訓練(第 35 頁)。
拿第 33 頁的驚訝分數來心算(示意)
| 例子 | 正確答案的機率 | 原本的驚訝分數 | focal 的感覺 |
|---|---|---|---|
| 很好猜的 0(E,120 英里) | 99% | 0.01 | 幾乎不罰 |
| 普通的 0(B) | 73% | 0.31 | 罰少一點 |
| 難猜的 1(D) | 5% | 3.0 | 照罰 |
一萬個「很好猜的 0」各罰 0.01,加起來是 100,比 D 的 3.0 大很多。這就是為什麼大量的簡單負例會把模型的注意力搶走。focal loss 把這種例子的罰分再打折,D 這種難題就浮上來了。
小結第 9–11 階:更彎的模型,和怎麼教它
到這裡你已經會了
- 很多段直線拼成曲線neural network 學得了 non-linear,而且可以邊上線邊學;原書先拿 XGBoost 當 baseline 再試它(第 30、31 頁)
- 答案是她有沒有報名,罰分看猜得多篤定⟨user, event⟩ 的 label 是 1/0,loss 用 binary cross-entropy(第 32–34 頁)
- 報名的太少,要特別處理class imbalance:focal/class-balanced loss,或 undersampling(第 35、36 頁)
一筆 ⟨小安, D⟩ 走完訓練
- 特徵距離桶 3 · 朋友 0 · 主辦是朋友 1 · …
- 預測P = 0.05(還沒學好)
- 答案G = 1(她報名了)
- 罰分約 3.0 → 調權重 → 下次 P 變大
下一階要解決:模型訓練好了,排出一份名單。這份名單到底排得好不好?只看「猜對幾場」夠嗎?
延伸基礎第 12 階 · 前 k 名 · 懂的人可以跳到第 41 頁
手機一頁只放得下前幾名:前 k 名裡對了幾場?
App 首頁只放得下 3 場。你推的 3 場裡她想去幾場?她想去的那些,你推中了幾場?這是兩個不同的問題。
你猜猜看:前 3 名裡只有 1 場是她報名的。前 3 名「推得準」的比例是多少?
推了 3 場、中了 1 場,就是 1/3。她總共報了 2 場、你推中 1 場,那是另一個數字 1/2。
前 k 名裡對了幾成,叫 precision@k(抓得準)。她要的裡面你抓到幾成,叫 recall@k(抓得全)。
④ 跟這章的關係名單甲把爵士之夜排第 1,名單乙排第 3,k = 3 時兩個分數卻一模一樣。原書因此說它們不看名次,不夠用(第 41 頁)。
延伸基礎第 13 階 · 名次算分 · 懂的人可以跳到第 41 頁
排第 1 和排第 3,分數要不一樣
Google 搜尋,答案在第 1 個你會很開心,在第 10 個你可能就放棄了。所以名次越前面,分數應該越高。
你猜猜看:名單甲、乙的第 1 名都是她報名的。只看「第一個對的在第幾名」,分得出誰比較好嗎?
第一個對的都在第 1 名,倒數都是 1/1 = 1。可是甲把第二場 D 排第 2、乙排第 4,只看第一個就看不到這個差別。
只看第一個對的名次取倒數,再對所有人平均,叫 MRR。每個對的都看名次、算平均 precision,再對所有人平均,叫 mAP。
④ 跟這章的關係小安想去的不只一場,所以只看第一個不夠。原書在 MRR 和 mAP 之間選了 mAP(第 41 頁)。
延伸基礎第 14 階 · 有程度 · 懂的人可以跳到第 41 頁
「很喜歡」和「有點喜歡」,分數也該不一樣
評電影不只「看」或「不看」,還有一到五顆星。報名是很喜歡,按收藏是有點喜歡。排名次時,很喜歡的應該更前面。
你猜猜看:同一場很喜歡的活動(2 分),排第 1 名拿 2 分。排到第 5 名大概拿幾分?
名次越後面打越多折:第 2 名約六三折、第 3 名五折、第 5 名約四折。2 × 0.39 ≈ 0.8。
每場的喜歡程度叫 relevance。依名次打折加總、再除以「完美排法」的總分,叫 nDCG,滿分是 1。
④ 跟這章的關係nDCG 適合「喜歡程度不只兩種」的時候。原書的答案只有報名/沒報名兩種,所以沒選它(第 41 頁)。
原書Evaluation · Offline metrics
離線評估:五個候選指標,原書選 mAP
這一步要解決上線前,拿歷史資料替排名打分數。該用哪一把尺?
📖 原書 Recall@k、Precision@k
不太適合,因為它們不考慮輸出的排序品質(第 38 頁的名單甲、乙)。
📖 原書 MRR、nDCG、mAP
三個都常用來量排序品質。MRR 只看清單裡第一個相關 item 的名次,適合只期待找到一個相關 item 的系統;活動推薦可能有好幾場都相關,所以 MRR 不太適合。
📖 原書 nDCG vs. mAP
nDCG 適合使用者和 item 的相關分數不是二元的時候;mAP 只在相關分數是二元時適用。活動要嘛相關(報名了),要嘛不相關(看了沒報名),所以 mAP 比較合適。
同一個小安,五把尺(本簡報的互動數字)
| 名單 | P@3 | R@3 | RR | AP | nDCG |
|---|---|---|---|---|---|
| 甲 A D B C E | 2/3 | 1 | 1 | 1 | 0.98 |
| 乙 A B C D E | 1/3 | 1/2 | 1 | 0.75 | 0.89 |
| 丙 B A C D E | 1/3 | 1/2 | 1/2 | 0.5 | 0.70 |
只有 AP 和 nDCG 把三份名單完全分開。nDCG 還能用到 C 的「收藏」。
「但是雖然我們在訓練的時候,用 Cross-Entropy,但是你最後在做驗證跟測試的時候,你仍然會用 Accuracy,因為 Accuracy 才是你真正關心的東西」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
這一章也一樣:訓練時壓 binary cross-entropy,評估時看的是排名的 mAP。訓練的尺和評估的尺,不是同一把。
延伸基礎第 15 階 · 看行為 · 懂的人可以跳到第 43 頁
上線之後:大家有點進去嗎?點進去之後有買票嗎?
夜市攤販的招牌寫「全台最好吃」,路過的人都停下來看。停下來的多,不代表買的多。
你猜猜看:一場標題很誘人的活動,曝光 100 次、被點 30 次、只有 1 人報名。「被點的比例」是多少?
30 ÷ 100 = 30%,看起來很成功。可是報名的比例只有 1 ÷ 100 = 1%。
點擊數 ÷ 曝光數叫 CTR(click-through rate)。報名數 ÷ 曝光數叫 conversion rate(轉換率)。
「一旦一項指標啊,被當作目標,它就不再是一個好的指標」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講(Goodhart's Law)
④ 跟這章的關係原書說只看 CTR 不夠,因為有些活動是 clickbait(誘餌標題);真正接近「賣票」的是轉換率(第 43 頁)。
原書Evaluation · Online metrics
線上評估:四個指標,一路往「收入」靠近
這一步要解決商業目標是靠多賣票來增加收入。上線後要看什麼,才量得到對收入的影響?
📖 原書 CTR
CTR = 被點擊的活動總數 ÷ 曝光總數
看到推薦的使用者有多常點進活動。CTR 高代表很會推讓人想點的活動;點擊多,通常報名也多。但只靠 CTR 不夠:有些活動是 clickbait。理想上要量推薦的活動跟使用者有多相關,這就是轉換率。
📖 原書 Conversion rate
Conversion rate = 活動報名總數 ÷ 曝光總數
看到推薦的使用者有多常去報名。例如轉換率 0.3:平均每推 10 場,使用者報名 3 場。
📖 原書 Bookmark rate
使用者有多常把推薦的活動加入收藏。前提是平台允許使用者儲存或收藏活動。
📖 原書 Revenue lift
因為活動推薦而增加的收入。
四個指標排成一條漏斗
- 看到曝光(impression)
- 有興趣點擊 → CTR;收藏 → bookmark rate
- 買票報名 → conversion rate
- 賺錢revenue lift,最接近商業目標
小結第 12–15 階:排得好不好
到這裡你已經會了
- 前 k 名:抓得準、抓得全precision@k、recall@k;但不看名次(第 38 頁)
- 名次也要算分MRR 只看第一個;mAP 每個對的都看;nDCG 還能分「很喜歡、有點喜歡」。原書選 mAP(第 39–41 頁)
- 上線後看真實行為CTR 會被誘餌標題騙;轉換率、收藏率、revenue lift 更接近賣票(第 42、43 頁)
15 階全部爬完,小安的週末變成
- 題目pointwise:每場算「會報名的機率」
- 特徵距離桶、朋友、主辦是朋友、跟平常比……
- 模型XGBoost 當 baseline → neural network
- 分數離線 mAP;線上轉換率
最後一個問題:每秒 12 個人上來、每個月 100 萬場活動,名單要在一眨眼之內排好。系統要怎麼搭?
原書Serving · Figure 7.20 · Online learning pipeline
整個系統:一條管線一直學,一條管線一直排
這一步要解決模型要天天跟上新活動,又要即時幫每個人排名單。原書怎麼拆?
📖 原書 Online learning pipeline
活動推薦本質上是 cold start、一直有新 item,所以模型必須持續 fine-tune 來適應新資料。這條管線負責:納入新資料持續訓練新模型、評估、部署。
📖 原書 Prediction pipeline
負責預測跟某個使用者最相關的前 k 場活動。最重要的兩個元件:event filtering 和 ranking service(第 46 頁)。
原書Prediction pipeline · Figure 7.21–7.22
先用規則篩到幾百場,再讓模型細細排
這一步要解決100 萬場活動,不可能每個人每次都全部打分。怎麼辦呢?
📖 原書 Event filtering
以 query user 為輸入,用簡單規則把活動從 100 萬場縮到一小部分,例如活動地點或使用者自己加的篩選。使用者加了「只看音樂會」,就能很快縮成候選。這類篩選在活動推薦很常見,可以把搜尋空間從可能上百萬場縮到幾百場候選。
📖 原書 Ranking service
輸入使用者和候選活動,替每一對 ⟨user, event⟩ 算特徵,依模型預測的機率排序,輸出最相關的前 k 場。特徵由 feature computation 元件負責:靜態特徵從 feature store 拿,動態特徵從 raw data 即時算。
講 RAG 的 Reranking 時,課堂上說:
「搜尋引擎給了我們一大堆文章,但也不見得是搜尋引擎給的每一篇文章都是有關的。可以讓語言模型再挑一次,只挑真正最相關的文章放到 context 裡面。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 2 講
客座講評Triton 怎麼看「先篩再排」
先算 N:100 萬場活動要篩,幾百場候選直接排序就好
這一步要解決原書說「用地點規則縮小範圍」,但沒說怎麼縮才快。要上 R-tree、quadtree 這類高深的資料結構嗎?
「如果才 10000 個點 單純 2 層 for-loop , O(n^2) solution 吧 – 現實跑起來應該少於1秒」「如果 n > 1M 則肯定不能暴力解」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
「在一個長方形內的點,其最近鄰居一定是…… – 在同一長方形內,或在鄰近八個長方形內」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md(講 geohash)
「實戰上,如果 n < 1M ,我會…… – 用 standand library 跑 sorting – 然後 return array[k]」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
白話:geohash 是把經緯度變成一串字的編碼,每一串字代表地圖上一個長方形格子,字越長格子越小。
🔭 依 Triton 原則推論 Triton 沒有談過活動推薦;064 原本是回答論壇上「1 萬個點找最近鄰居」的問題。套進這章:① 先算 N:活動 100 萬場、每天 100 萬人來查,m 很大,每次全掃是 m × n,不能暴力;② 064 的簡化解法是每場活動存各種長度的 geohash 欄位,放進 Elasticsearch 或一般 RDBMS 的 index,查她那一格加鄰近 8 格(或直接用 PostGIS);③ 篩完只剩幾百場,n 很小,模型打完分直接 sort 取前 k,不需要特殊的 top-k 演算法;④ 外部地圖 API 的交通時間只對候選查,不對 100 萬場查。
原書Other Talking Points
面試還有時間,可能會被問到這些
📖 原書 如果時間允許
- 這個系統裡可能觀察到哪些不同類型的 bias?
- 怎麼用 feature crossing(把兩個特徵交叉成新特徵)提高表達力?
- 有些使用者喜歡看到多元的活動清單,怎麼確保推薦多元而且新鮮?
- 我們用使用者屬性訓練模型,也依賴使用者的即時位置,隱私和安全還要考慮什麼?
- 活動平台通常是雙邊市場:主辦方是供給方、使用者是需求方。怎麼確保系統不只對一邊最佳化?怎麼對不同主辦方保持公平?
- 建資料集時怎麼避免 data leakage(訓練時偷看到未來的資訊)?
- 怎麼決定更新模型的頻率?
每一題回到今天的哪一頁
- Bias → 第 21 頁用年齡性別的偏見,和第 49 頁「只看得到被曝光的」
- Feature crossing → 第 24 頁:樹靠連問兩題做到「近『而且』有朋友」;LR 要自己先把兩個特徵交叉起來
- 多元與新鮮 → 第 46 頁排完前 k 名之後,再加一步調整順序,別讓前 5 名全是爵士
- 隱私 → 第 47 頁:只要格子不要精確座標,也能做篩選
- 雙邊市場、公平 → 第 49 頁新主辦人的 cold start
- Data leakage → 第 49 頁「報名人數要算曝光當下的」
- 更新頻率 → 第 45 頁的 online learning pipeline,和第 28 頁 GBDT 重訓很貴
📅 2026 補充方法的限制
四個容易踩到的坑:機率、曝光、未來、新主辦人
這一步要解決原書的流程每一步都合理。接在一起之後,會漏掉什麼?
你猜猜看:訓練時把「沒報名」丟掉 90%。模型說小安 50% 會報名 D,真實的機率比 50%?
模型練習時看到的報名比例被灌水了 10 倍,所以它講的機率也偏高。換算回來大約只有 9%。
一、undersampling 會讓機率偏高
只拿來排序,影響不大,名次不會變。但要拿機率去設門檻、算預期營收,就要先換算回來(第 35 頁)。換算公式在最後一頁。
二、label 只來自「被曝光的」
0 和 1 都來自 impression。沒被推過的活動永遠沒有 label,排在前面的又比較容易被點。模型會越來越相信自己以前推過的東西,這叫 position bias 和 feedback loop。
三、特徵要用「當下」的值
「報名人數」是動態特徵。建訓練資料時,如果用活動結束時的最終人數,等於讓模型偷看了未來,離線分數很漂亮、上線就掉。要用曝光那一刻的數字,叫 point-in-time correctness,這正是原書提的 data leakage。
四、新主辦人也是 cold start
「她多常參加這位主辦人的活動」「主辦人的人氣」這類特徵,對第一次辦活動的人永遠是 0。模型一直推老牌主辦人,新主辦人就沒人看見,這是雙邊市場的公平問題。常見做法是保留一小部分曝光給新活動探索。
📅 2026 補充方法怎麼演進
原書之後,這幾個零件換了做法
這一步要解決原書說 pairwise、listwise 難做,GBDT 不能持續學、描述用 TF-IDF。現在呢?
Pairwise、listwise 變成一個參數
XGBoost 有 rank:pairwise、rank:ndcg、rank:map,LightGBM 有 lambdarank。用 GBDT 做 LambdaMART 式的排序,只要換 objective、把資料依使用者分組。「難實作」這個代價小了很多,表格資料上它仍是很強的 baseline。
GBDT 也能接著練
XGBoost、LightGBM 都能從已訓練好的模型接著加新的樹,不必每次從頭重練。限制是舊的樹不會改,口味大轉變時還是要定期重訓。原書「GBDT 不適合 continual learning」比較精確的說法是:它不擅長一筆一筆即時更新。
描述相似度改用語意 embedding
TF-IDF 看字面:「爵士」和「Jazz」對它是兩個字。現在常用文字 embedding 模型(從 Sentence-BERT 一路到各家的 embedding API)把描述變成一組數字,意思相近就靠近。活動一建立就有描述,特別適合對付 cold start。
把「一連串行為」當成句子來接龍
生成式推薦把使用者過去的互動排成序列,用 Transformer 預測下一個,例如 Google 的 TIGER(2023,用 semantic ID 代表 item)、Meta 的 HSTU(2024)。這跟原書「每場各自打分」是完全不同的路線,但「先篩再排」的骨架還在。
回顧15 階全部爬完
活動推薦系統,其實就是:先篩到幾百場,把每一對「人 × 活動」變成一串數字,打一個會報名的機率,再排名次而已。
要回答什麼
input 是一個人、output 是前 k 場活動。用 pointwise LTR:binary classification,預測會報名的機率。活動短命,天生 cold start。
活動怎麼變成數字
地點、時間、社交、使用者、活動五類特徵;連續數字先分桶再 one-hot;幾乎每個特徵都配一個「跟她平常比」的 similarity。
用什麼模型、怎麼教
LR 太直、單棵樹太敏感;XGBoost 當 baseline,再試能持續學習的 neural network。label 是有沒有報名,loss 是 binary cross-entropy,報名太少要處理 class imbalance。
排得好不好、怎麼上線
離線看 mAP,線上看 CTR、轉換率、收藏率、revenue lift。系統是 online learning pipeline 加 prediction pipeline:event filtering 篩、ranking service 排。
篩一篩,算一算,排一排。然後呢?然後就結束了。
名詞小卡課後複習用 · 每個詞一行白話
本章名詞小卡
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| learning to rank(LTR) | 從例子學會排名次 | 第 7 頁 |
| pointwise | 每個 item 各自打分,再照分數排 | 第 7 頁 |
| pairwise | 一次比兩個,誰比較好 | 第 7 頁 |
| listwise | 一次排好整串 | 第 7 頁 |
| binary classification | 答案只有兩種的分類:會報名 1、不會 0 | 第 9 頁 |
| cold start | 新東西沒有互動紀錄,很難推 | 第 10 頁 |
| impression | 活動被顯示在使用者面前一次 | 第 11 頁 |
| baseline | 拿來比較的簡單起點 | 第 8 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| feature | 描述一筆資料的一個數字 | 第 12 頁 |
| feature engineering | 把原始資料變成好用的數字 | 第 12 頁 |
| bucketize | 把連續數字切成幾格 | 第 14 頁 |
| one-hot | 每一格一盞燈,只亮一盞 | 第 14 頁 |
| similarity 特徵 | 這場減掉她過去報名活動的平均 | 第 17 頁 |
| walk score | 0–100,地址有多好走路到 | 第 15 頁 |
| user profile(每日) | 她每週各天參加活動的比例,7 個數字 | 第 18 頁 |
| TF-IDF · cosine | 依字詞頻率把文字變數字 · 看兩組數字方向多接近 | 第 20 頁 |
| batch / streaming features | 變得慢、先算好放 feature store/變得快、即時算 | 第 21 頁 |
| decay factor | 越近的行為權重越大 | 第 21 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| logistic regression · sigmoid | 加權總分 · 把總分壓成 0–100% 的 S 形曲線 | 第 22 頁 |
| decision tree | 一題一題問是非題的模型 | 第 24 頁 |
| overfitting | 把舊資料的巧合背起來,新資料反而猜不準 | 第 24 頁 |
| bagging · random forest | 很多棵樹各自學、最後投票 | 第 26 頁 |
| boosting · GBDT · XGBoost | 一棵接一棵,每棵修前面的錯 | 第 26 頁 |
| bias / variance | 整體偏了(太簡單)/換批資料就亂跳(太敏感) | 第 27 頁 |
| neural network · non-linear | 用很多段轉彎的直線拼出曲線 · 不是一條直線的關係 | 第 30 頁 |
| continual learning | 邊上線邊用新資料繼續學 | 第 28 頁 |
| label | 標準答案:報名 1、沒報名 0 | 第 32 頁 |
| loss · binary cross-entropy | 離答案多遠 · 越篤定地猜錯罰越重 | 第 33 頁 |
| class imbalance · undersampling | 一種答案特別少 · 把多的那類丟掉一些 | 第 35 頁 |
| focal loss | 很容易猜對的例子少罰一點 | 第 36 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| precision@k · recall@k | 前 k 名裡對了幾成 · 她要的你抓到幾成 | 第 38 頁 |
| MRR | 第一個對的在第幾名,取倒數再平均 | 第 39 頁 |
| mAP | 每個對的都看名次,平均 precision 再對所有人平均 | 第 39 頁 |
| nDCG | 喜歡程度依名次打折加總,除以完美排法 | 第 40 頁 |
| CTR · conversion rate | 點擊 ÷ 曝光 · 報名 ÷ 曝光 | 第 42 頁 |
| bookmark rate · revenue lift | 收藏 ÷ 曝光 · 推薦帶來的收入增加 | 第 43 頁 |
| event filtering | 用規則把 100 萬場篩到幾百場 | 第 46 頁 |
| ranking service · feature store | 替候選打分排序 · 存靜態特徵的倉庫 | 第 46 頁 |
| geohash | 經緯度變成一串字,每串是一個格子 | 第 47 頁 |
| data leakage | 訓練時偷看到未來的資訊 | 第 49 頁 |
忘了哪個詞,就回到右邊那一頁,四步再走一次。
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Machine Learning System Design Interview · Event Recommendation System 章。開場與 Figure 7.1(第 3 頁)、Clarifying Requirements(5、6)、ML objective、input/output、ML category 與 Figure 7.2(8)、Pointwise/Pairwise/Listwise 與 Figure 7.3–7.6(9)、Data engineering 與 Table 7.1–7.4(11)、Feature engineering 開場(13)、Location 與 Table 7.5、Figure 7.7(15)、Time 與 Figure 7.8–7.9(18)、Social(19)、User、Event 與 Figure 7.10(20)、特徵討論點(21)、Model selection、LR 與 Figure 7.11–7.12(23)、Decision tree 與 Figure 7.13(25)、Bagging/Boosting 與 Figure 7.14–7.15(27)、GBDT 與 Figure 7.16(28)、NN、選模型與 Figure 7.17(31)、Constructing the dataset 與 Figure 7.18(32)、Loss 與 Figure 7.19(34)、Class imbalance(36)、Offline metrics(41)、Online metrics(43)、Serving 與 Figure 7.20(45)、Event filtering、Ranking service 與 Figure 7.21–7.22(46)、Other Talking Points(48)。22 張圖全部依圖說與描述重繪,不是原圖;Figure 7.1 網頁截圖改線框圖;Figure 7.4、7.5 被吃掉的輸入標籤依內文補;Figure 7.8 週一、週三依內文畫 0
本簡報加的頁面:開場互動(2)、概念階梯(4)、15 個延伸基礎(7、10、12、14、17、22、24、26、30、33、35、38、39、40、42)、小結(16、29、37、44)、客座卡(47)、方法限制(49)、2026 補充(50)、名詞小卡(52)。小安與 A–E 五場活動、權重、樹的資料、relevance、漏斗數字都是示意
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 5 講 — 把一個東西表示成數值就叫 Feature(12)、直接告訴它有這個 feature(21)、找不出這麼一條線(23)、函式範圍越大越容易 overfitting(24)
- 同 · 第 6 講 — 類神經網路是比較大的函式選擇範圍(30)、兩個機率分布越接近 Loss 越小(33)、訓練用 Cross-Entropy、測試用 Accuracy(41)
- 同 · 第 2 講 — Reranking(46)
- 生成式AI時代下的機器學習(2025) · 第九講 — Elo 勝率與 sigmoid(7、22)、Goodhart's Law(42)
- 同 · 第七講 — majority vote(26)
來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。逐字稿:raw/youtube/transcripts/Taj1eHmZyWw.md、mPWvAN4hzzY.md、lVdajtNpaGI.md、s266BzGNKKc.md、bJFtcwLSNxI.md
🗣️ Triton 與 📅 依據
- 🗣️
materials/core/064-introToAlgorithm.pdf.md(N 小先暴力、n > 1M 不能暴力、geohash 9 格、n < 1M 直接 sort);套用到本章的部分都標 🔭 - 📅 XGBoost/LightGBM 的 ranking objective 與接續訓練;Sentence-BERT(2019);TIGER(NeurIPS 2023);HSTU(ICML 2024)
公式(主文用文字講過)
- z = b + Σi wixi;p = σ(z) = 1 / (1 + e−z)
- BCE = −[y log p + (1 − y) log(1 − p)]
- Focal = −(1 − pt)γ log pt,pt = 正確答案的機率
- similarity 特徵 = xevent − mean(x過去報名)
- decay 加權平均 = Σ λjxj / Σ λj(j = 0 是最近一次)
- P@k = 前 k 名中相關數 / k;R@k = 前 k 名中相關數 / 相關總數
- RR = 1 / rank第一個相關;MRR = 平均 RR
- AP = (1/|R|) Σk∈R P@k;mAP = 對使用者平均 AP
- DCG = Σi reli / log2(i + 1);nDCG = DCG / IDCG
- CTR = clicks / impressions;Conversion = registrations / impressions
- 負例保留比例 w 的機率校正:p′ = p / (p + (1 − p) / w)