ML System Design · 第 7 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟡 低(一張客座卡:N 小先暴力、geohash)

活動推薦系統
其實就是:幫每一場活動打一個分數,再排名次而已

週末到了,你打開售票 App,「你附近的推薦活動」一排排出來。哪一場排第一?不是編輯挑的,是一個模型幫你和每一場活動配對、打分、排序出來的。原書用一個類似 Eventbrite 的平台,把「排名次」這件事從頭講到尾。

今天的路線

需求 → 一邊爬 15 階基礎、一邊對照原書(第 4 頁的階梯):要回答什麼 → 活動怎麼變成數字 → 用什麼模型、怎麼教 → 怎麼打分數 → 怎麼上線 → 方法的限制與 2026 年的變化。全程只用同一個人、同一個週末。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論 延伸基礎

標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。

先講跟你有關的動手玩 · 你來當推薦員

小安這個週末,你會先推哪一場?

—你的前 2 名裡,小安真的報名的

依你覺得小安最可能報名的順序,一張一張點下去。

小安是誰(虛構人物)

28 歲,住舊金山。過去報名過 10 場活動:週五 5 場、週六 3 場、週日 2 場。平常去的地方平均 3 英里遠,票價平均 $30。

你可能會想說,這有什麼難的?看距離、看朋友去不去就好了嘛。對,一個人不難。可是原書的平台每天有 100 萬人上來,每個月有 100 萬場活動。

今天整堂課只在回答四個問題:要回答什麼?(題目)活動怎麼變成數字?(特徵)用什麼模型、怎麼教?(模型與訓練)排得好不好?(評估)。最後再加一個:每天 100 萬人,怎麼排得完?(系統)

原書Introduction · Figure 7.1

原書的開場:一個類似 Eventbrite 的活動平台

📖 原書 Figure 7.1推薦活動(原圖是網頁截圖,這裡改畫成線框圖,不畫 logo;依原書內容重繪)

📖 原書 題目從哪裡來

Eventbrite 是一個受歡迎的活動管理與售票平台,使用者可以建立、瀏覽、報名活動。推薦系統把體驗個人化,顯示跟使用者相關的活動。這一章要設計一個類似的活動推薦系統。

原書這一章的路線

  1. Clarifying requirements(第 5–6 頁)
  2. Frame the problem as an ML task(第 8–9 頁)
  3. Data preparation(第 11–21 頁)
  4. Model development(第 23–34 頁)
  5. Evaluation(第 41、43 頁)
  6. Serving(第 45–46 頁)
  7. Other talking points(第 48 頁)

學習地圖今天要爬的 15 階 · 每一階只用前面學過的東西

一階一階往上爬,不跳階

  1. 1排名次要回答的是什麼?
  2. 2新來的為什麼特別難?
  3. 3變數字活動怎麼餵給模型?
  4. 4分桶亮燈距離要怎麼寫?
  5. 5跟平常比對她來說遠不遠?
  6. 6加權打分最簡單的模型
  7. 720 題猜謎一題一題問
  8. 8投票接力很多棵樹一起
  9. 9很多段直線彎彎的關係
  10. 10驚訝分數猜錯罰多重?
  11. 11少數派報名的人很少
  12. 12前 k 名準不準、全不全
  13. 13名次算分排第幾也要算
  14. 14有程度很喜歡 vs 有點喜歡
  15. 15看行為上線後看什麼

要回答什麼 活動怎麼變成數字 用什麼模型、怎麼教 排得好不好 英文名字等爬到那一階才給。

整堂課只用一個人、一個週末

小安,和她附近的 5 場活動 A–E。距離 0.5、3、8、25、120 英里,朋友報名 3、0、1、0、0 人。數字小到可以心算。

每一階都走四步

① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。

每爬幾階就停一下

「到這裡你已經會了」:第 16、29、37、44 頁。最後還有名詞小卡(第 52 頁)。

原書Clarifying Requirements

原書的題目:幫使用者挑出想去的活動

這一步要解決先問清楚要做什麼、手上有什麼資料,免得答錯題目。

📖 原書 應徵者 × 面試官(1/2)

應徵者問面試官答
商業目標可以假設是增加票券銷售嗎?是的,聽起來不錯
除了活動,平台也能訂飯店或餐廳嗎?為了簡單,假設只支援活動
活動是一次性的,辦完就結束,對嗎?這是很好的觀察
可以拿到活動的文字描述、價格範圍、地點、日期時間嗎?當然,這些假設合理
有標註好的資料嗎?沒有人工標註的資料集;用活動和使用者的互動資料來建訓練資料
拿得到使用者目前的位置嗎?可以。這題聚焦在以位置為基礎的推薦,假設使用者同意分享位置
使用者可以在平台上當朋友嗎?好問題,可以。友誼是雙向的:A 是 B 的朋友,B 也是 A 的朋友

📖 原書 應徵者 × 面試官(2/2)

應徵者問面試官答
使用者可以邀請別人參加活動嗎?可以
可以回覆 RSVP(出席意願)嗎?為了簡單,假設活動只有報名這個選項
活動是免費還是付費?兩種都要支援
有多少使用者和活動?每個月總共約 100 萬場活動
每天有多少活躍使用者?假設每天 100 萬名不重複使用者
要有效率地算兩地之間的距離和交通時間,可以用 Google Maps API 這類外部服務嗎?好問題。假設可以用第三方服務拿位置資料

原書Problem statement

整理成一句話:推一份個人化的活動清單,讓票賣更多

📖 原書 問題陳述

  • 做什麼:設計一個活動推薦系統,給每個使用者一份個人化的活動清單
  • 活動的特性:活動結束後就不能再報名
  • 使用者能做的事:報名活動、邀請別人參加、建立友誼
  • 資料:訓練資料要從使用者互動中線上建立
  • 目標:增加總票券銷售量

心算一下規模

100 萬每月活動數100 萬每日使用者≈ 12 次平均每秒要排一份清單(100 萬 ÷ 86,400 秒)

你想想看,如果每來一個人,就把 100 萬場活動全部算一遍分數,一秒 12 個人,就是一秒算 1200 萬次。這件事第 46 頁和第 47 頁會回來找我們。

還有一句話很關鍵:沒有標準答案。沒有人幫你標「小安喜歡爵士」。答案要從她點了什麼、報了什麼裡面自己挖出來。

延伸基礎第 1 階 · 排名次 · 懂的人可以跳到第 8 頁

    排名次有三種排法:各自打分、兩兩比、整排一起排

    ① 生活情境

    歌唱比賽要排名次。評審可以每人各打一個分數;也可以兩兩 PK 看誰贏;也可以直接把整排參賽者排好。

    你猜猜看:小安附近 5 場活動,如果用「兩兩 PK」,總共要比幾場?

    ③ 這時才給名字

    從例子學會排名次,叫 learning to rank(LTR)。三種排法依序叫 pointwise、pairwise、listwise。

    講 Chatbot Arena 怎麼排模型時,課堂上說:

    「第I個模型贏過第J個模型的機率有多大呢,它可以根據這兩個模型的戰力計算出來」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講

    ② 動手玩:同樣 5 場,換一種排法

    ④ 跟這章的關係原書選最簡單的「各自打分」:每場活動單獨算一個「小安會報名的機率」,再照機率排(第 9 頁)。

    原書Frame the Problem as an ML Task · Figure 7.2

    把「賣更多票」翻譯成 ML 題目:排名次

    這一步要解決「賣更多票」不是模型能直接學的東西。要換成模型能算的目標、輸入和輸出。

    📖 原書 ML objective 與 input/output

    商業目標是增加票券銷售。翻成定義清楚的 ML 目標:最大化活動報名數。系統的 input 是一個使用者,output 是跟這個使用者相關程度最高的前 k 場活動,依相關程度排序。

    📖 原書 推薦問題有三種解法

    • 簡單規則:例如推熱門活動
    • Embedding-based:依賴 content-based 或 collaborative filtering(用內容相似、或用「品味相近的人喜歡什麼」來推)
    • 改寫成排名問題

    規則適合當 baseline(比較用的起點),但 ML 通常效果更好。這一章把任務改寫成排名問題,用 Learning to Rank(LTR)來解。

    📖 原書 Figure 7.2解推薦問題的不同方法(依原書內容重繪)

    📖 原書 LTR 是一類用 supervised learning(有答案可以對照的學習)解排名問題的方法。排名問題的正式定義:「給一個 query 和一串 item,怎麼把 item 從最相關排到最不相關?」詳細說明超出本書範圍,原書請讀者看參考資料 [1]。

    原書Pointwise · Pairwise · Listwise · Figure 7.3–7.6

    三種 LTR,原書選最好做的 pointwise

    這一步要解決三種排法都能排出名次,要選哪一種?

    📖 原書 Figure 7.3Pointwise ranking model(依原書內容重繪)

    📖 原書 Pointwise

    一個一個 item 看,用 classification 或 regression 預測 query 和這個 item 的相關分數。每個 item 的分數各自獨立,最後照分數排序就是名次。

    📖 原書 Pairwise 與 Listwise

    Pairwise:一次拿兩個 item,預測哪一個比較相關;熱門演算法有 RankNet、LambdaRank、LambdaMART。Listwise:給 query,直接預測一整串 item 的最佳順序;熱門演算法有 SoftRank、ListNet、AdaRank。

    📖 原書 選哪一種

    一般來說 pairwise、listwise 比較準,但比較難實作和訓練。為了簡單,原書用 pointwise:一個 binary classification(二選一的分類)模型,一次看一場活動,預測使用者會報名的機率(Figure 7.6 的 0.81)。

    延伸基礎第 2 階 · 新來的 · 懂的人可以跳到第 11 頁

      一場活動從上架到結束,只有短短幾天

      ① 生活情境

      一部電影可以紅好幾年,評論越累積越多。一場週六的爵士之夜,週一上架、週六晚上辦完,之後就沒人能買票了。

      你猜猜看:一場活動上架第 1 天,平台對它的了解,比較像哪一種?

      ③ 這時才給名字

      新東西沒有互動紀錄、很難推,叫 cold start(冷啟動)。活動天天都是新的,原書說這是一個永遠的 new-item problem。

      ② 動手玩:拉時間,看互動紀錄累積多少

      ④ 跟這章的關係沒有歷史紀錄可以靠,原書就改靠「描述這場活動」的資訊:多遠、幾點、多少錢、朋友去不去(第 13 頁)。

      原書Data Preparation · Data engineering · Table 7.1–7.4

      手上有四種原始資料:人、活動、友誼、互動

      這一步要解決要做出好特徵,得先知道系統裡有哪些原始資料。

      IDUsernameAgeGenderCityCountryLanguageTime zone
      原書這張表只有欄位,沒有範例資料

      📖 原書 Table 7.1使用者資料結構

      📖 原書 四種資料

      • Users:年齡、性別、城市、國家、語言、時區
      • Events:主辦人、類別、描述、價格、地點、日期時間
      • Friendship:誰跟誰是朋友、什麼時候成為朋友
      • Interactions:報名、邀請、impression(曝光:活動被顯示在使用者面前一次),附位置和時間

      實務上互動資料可能放在不同的資料庫,原書為了簡單放在同一張表。

      把小安放進 Table 7.4 看:她看到爵士之夜是一列 Impression,報名又是一列 Register,邀請朋友再一列 Invite。等一下的「標準答案」,就是從這張表挖出來的(第 32 頁)。

      延伸基礎第 3 階 · 變數字 · 懂的人可以跳到第 13 頁

        模型看不懂「週五晚上的爵士」,只看得懂一串數字

        ① 生活情境

        媒人幫人配對,會先問:住多遠?幾歲?有沒有共同朋友?每個問題的答案,都可以寫成一個數字,填進一張表。

        你猜猜看:「主辦人是不是小安的朋友」這件事,最簡單要用幾個數字記?

        ③ 這時才給名字

        每一個數字叫一個 feature(特徵)。想辦法把原始資料變成好用的數字,叫 feature engineering。

        「那把一個東西表示成一些數值,這些數值要當作函式的輸入,這些數值就叫做 Feature」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講

        ② 動手玩:選一場活動,勾要問的問題

        ④ 跟這章的關係每一對「小安 × 某場活動」都變成一串數字,餵給模型去猜會不會報名。原書花最多篇幅的就是這一步。

        原書Feature engineering · 為什麼這一章特別難

        活動推薦天生就是 cold start,所以要拼命做特徵

        這一步要解決活動很新、紀錄很少,模型要靠什麼判斷?

        📖 原書 活動跟電影、書不一樣

        活動結束後就沒有消費了。活動通常很短命:從建立到結束的時間很短,所以一場活動能累積的歷史互動不多。因此 event-based recommendation 本質上就是 cold start,而且一直面臨 new-item problem(第 10 頁)。

        📖 原書 解法:多花力氣在 feature engineering

        盡可能做出很多有意義的特徵。篇幅有限,原書只討論最重要的幾個;實務上特徵可以多很多。

        📖 原書 五類特徵(按 → 逐一出現)

        1. 地點好不好到?同城市嗎?距離她習慣嗎?(第 15 頁)
        2. 時間還剩多久開始?路上要多久?她平常哪天出門?(第 18 頁)
        3. 社交多少人報名?朋友去嗎?誰邀請她?(第 19 頁)
        4. 使用者年齡、性別(第 20 頁)
        5. 活動票價、描述跟她報過的像不像(第 20 頁)

        你有沒有發現,前三類全部都是「她和這場活動之間」的關係。活動再新,距離、時間、朋友,第一天就算得出來。

        延伸基礎第 4 階 · 分桶亮燈 · 懂的人可以跳到第 15 頁

          距離要寫成「0.5 英里」,還是「很近」?

          ① 生活情境

          問朋友住多遠,他不會說「4.37 公里」。他會說「走路就到」「要騎車」「要開車」。分成幾格,反而比較好比。

          你猜猜看:照原書的分法,籃球賽 C 在 8 英里外,落在第幾桶?

          ③ 這時才給名字

          把連續的數字切成幾格,叫 bucketize(分桶)。每一格配一盞燈、只亮一盞,叫 one-hot encoding。

          ② 動手玩:拉距離,看哪一盞燈亮

          ④ 跟這章的關係原書的距離、剩餘時間、票價、年齡,全部先分桶,再 one-hot(第 15、18、20 頁)。

          原書Location-related features · Table 7.5 · Figure 7.7

          地點特徵:好不好到、同不同城、遠不遠

          這一步要解決活動在山上、離大眾運輸很遠,通勤就會讓人不想去。怎麼把「好不好到」變成數字?

          📖 原書 好不好到(accessibility)

          Walk score:0 到 100 的分數,依離附近設施的距離、行人友善度、人口密度等算出地址有多好走;假設可從 Google Maps、OpenStreetMap 等外部來源取得。Walk score similarity:活動的 walk score 和她過去報名活動的平均 walk score 差多少。同樣做 transit score、bike score 和各自的 similarity。

          CategoryWalk scoreDescription
          190-100No car needed 不需要開車
          270-89Very walkable 非常適合步行
          350-69Somewhat walkable 有點適合步行
          425-49Car-dependent 依賴開車
          50-24Requires a car 需要開車

          📖 原書 Table 7.5Walk score 分成 5 類

          📖 原書 同國家、同城市?距離習慣嗎?

          兩個是非特徵:同國家 1/0、同城市 1/0。距離由外部 API 取得再分桶:0 不到 1 英里、1:1–5、2:5–20、3:20–50、4:50–100、5:超過 100。Distance similarity:這場的距離和她過去報名活動的平均距離差多少(實務上可用中位數或百分位範圍)。

          📖 原書 Figure 7.7地點相關特徵(數字照原圖;依原書內容重繪)

          小結第 1–4 階:要回答什麼、怎麼開始變成數字

            到這裡你已經會了

            • 推薦 = 排名次原書用 pointwise:每場活動各自算「會報名的機率」,再排序(第 7、9 頁)
            • 活動永遠是新來的cold start,所以改靠描述「她和活動關係」的特徵(第 10、13 頁)
            • 特徵就是一串數字;連續數字先分桶再亮燈feature、bucketize、one-hot(第 12、14 頁)

            小安 × 籃球賽 C,現在變成

            1. 原始8 英里、同城市、週六 17:00、$140、1 個朋友報名
            2. 是非題同城市 1 · 同國家 1
            3. 分桶距離 → 第 2 桶 → [0,0,1,0,0,0]
            4. 接起來[1, 1, 0,0,1,0,0,0, …]

            下一階要解決:8 英里,對小安來說算遠嗎?她平常都去 3 英里內的地方。同一個數字,對不同人意思不一樣,怎麼辦呢?

            延伸基礎第 5 階 · 跟平常比 · 懂的人可以跳到第 18 頁

              8 英里遠不遠?要看她平常走多遠

              ① 生活情境

              對住在市中心的人,開車 30 分鐘是遠征。對住郊區的人,那只是去買菜。同一段路,要跟「她平常」比才知道。

              你猜猜看:小安最近報名的 4 場,距離是 2、3、3、4 英里。她的平均是多少?

              ③ 這時才給名字

              「這場活動」減掉「她過去報名活動的平均」,原書叫 similarity 特徵(例如 distance similarity)。差越小,越像她平常會去的。

              ② 動手玩:選一場活動,跟她的平常比

              ④ 跟這章的關係原書幾乎每個特徵都配一個 similarity:步行分數、距離、剩餘時間、交通時間、報名人數、朋友數、票價(第 15–20 頁)。

              原書Time-related features · Figure 7.8–7.9

              時間特徵:還剩多久、路上多久、她習慣哪一天

              這一步要解決有人會提前好幾天規劃,有人臨時起意;有人只在週末出門。怎麼寫成數字?

              📖 原書 距離開始還剩多久?方便嗎?

              • Remaining time:分桶後 one-hot。0:不到 1 小時、1:1–2 小時、2:2–4 小時、3:4–6 小時、4:6–12 小時、5:12–24 小時、6:1–3 天、7:3–7 天、8:超過 7 天
              • Remaining time similarity:和她過去報名活動的平均剩餘時間差多少
              • Estimated travel time:從她的位置到活動地點的預估交通時間,由外部服務取得再分桶;另有 travel time similarity

              📖 原書 日期和時間方便嗎?

              做一個 user profile:長度 7 的一組數字,每格記她在星期幾參加過幾場;除以總場數,就是每天的參加比例(Figure 7.8)。這個人從沒在週一、週三參加過,推週三的活動可能不太好。用同樣方法做每小時的 profile,再加上 day 與 hour similarity。

              📖 原書 Figure 7.8以前參加活動的每日分布;週一、週三依內文畫成 0(依原書內容重繪)

              切到「小安」:週五 5 場、週六 3 場、週日 2 場,除以 10 就是 0.5、0.3、0.2。爵士之夜在週五,這一格是 0.5。

              原書Social-related features

              社交特徵:人多嗎?朋友去嗎?誰邀請她?

              這一步要解決大家都去的、朋友在的、被邀請的,人比較會報名。怎麼寫成數字?

              📖 原書 有多少人參加這場?

              • 這場活動的報名人數
              • 報名人數 ÷ 曝光次數的比例
              • Registered user similarity:這場的報名人數和她以前報名過的活動差多少

              📖 原書 朋友有沒有去?

              • 她的朋友裡,報名這場的人數
              • 報名的朋友 ÷ 朋友總數
              • Registered friend similarity:這場的報名朋友數和她以前報名過的活動差多少

              📖 原書 有人邀請她嗎?主辦人是誰?

              • 邀請她的朋友人數、邀請她的一般使用者人數:被邀請的活動比較會去
              • 主辦人是不是她朋友:是 1、不是 0,人傾向參加朋友辦的活動
              • 她過去多常參加這位主辦人的活動:有些人會追特定主辦人

              放進小安的週末

              ABCDE
              朋友報名30100
              朋友邀請10000
              主辦是朋友00010

              D 很遠,但「主辦是朋友」這一格亮了。少了這個特徵,模型就看不到她報名 D 的理由。

              原書User-related · Event-related features · Figure 7.10

              使用者特徵與活動特徵,最後全部接成一長串

              這一步要解決有些活動只針對某些族群;票價會影響決定;描述能透露她的興趣。

              📖 原書 使用者:年齡與性別

              「Women in Tech」「Life lessons to excel in your 30 s」這類活動針對特定族群。兩個特徵:性別用 one-hot;年齡先分桶再 one-hot。

              📖 原書 活動:票價與描述

              • 票價分桶:0 免費、1:$1–$99、2:$100–$499、3:$500–$1,999、4:$2,000 以上
              • Price similarity:和她過去報名活動的平均票價差多少
              • 描述相似度:以前的描述常出現「concert」,可能代表她喜歡音樂會。把描述用 TF-IDF(依字詞出現頻率把文字變成一組數字)轉成向量,再用 cosine(看兩組數字方向有多接近)算相似度
              • 描述是主辦人手寫的,可能很雜;可以有/沒有這個特徵各訓練一次,量它的重要性
              📖 原書 Figure 7.10使用者、活動、社交特徵(數字照原圖;依原書內容重繪)

              📖 原書 以上不是全部。實務上還可以做主辦人的人氣、使用者的搜尋紀錄、活動類別、自動產生的活動標籤等。面試時不必照本宣科,當起點,再挑面試官有興趣的深入。

              原書Feature engineering · 可以延伸的討論點

              特徵做完了,面試官可能追問的五件事

              📖 原書 Batch vs. streaming features

              Batch(靜態)特徵變得慢:年齡、性別、活動描述,可以定期批次算好放進 feature store(存特徵的倉庫)。Streaming(動態)特徵變得快:報名人數、剩餘時間。面試官可能想聽 ML 裡 batch 與 online processing 的差別。

              📖 原書 特徵計算的效率

              即時算特徵沒效率。例如:不把「她和活動的距離」當特徵即時算,而是把兩個位置分別當特徵傳進模型,讓模型自己從兩個位置學出有用的資訊。

              📖 原書 Decay factor 與 embedding

              依賴「最近 X 次互動」的特徵,用 decay factor(衰減係數)讓越近的行為權重越大。也可以用 embedding learning 把每場活動、每個人變成一組數字當特徵。

              📖 原書 用使用者屬性可能造成偏見

              例如靠年齡、性別判斷一個人適不適合某份工作,可能造成歧視。我們從使用者屬性做特徵,就要留意偏見問題。

              距離要自己算,還是讓模型自己學?

              原書給的選項是「丟兩個位置,讓模型自己學」。課堂上剛好有一個反方向的經驗:

              「那我今天既然都知道這是一個好的 feature 了,何必仰賴 network 自己發現呢,我直接告訴它有這個 feature 可以用,不就好了嗎」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講(投影片總字數 ÷ 頁數 = 平均字數)

              兩邊不衝突:一個在省上線時的計算,一個在省模型要學的東西。面試時把這個取捨講出來就好。

              Decay factor 心算

              每往前一場,權重打五折:最近一場 1、前一場 0.5、再前一場 0.25。她最近三場距離 2、4、8 英里:(2×1 + 4×0.5 + 8×0.25) ÷ (1 + 0.5 + 0.25) = 6 ÷ 1.75 ≈ 3.4,比單純平均 4.7 更貼近她最近的習慣(示意)。

              延伸基礎第 6 階 · 加權打分 · 懂的人可以跳到第 23 頁

                每個特徵乘一個重要程度,加起來,再壓成 0 到 100%

                ① 生活情境

                學測算加權總分:數學乘 2、國文乘 1,加起來。重要的科目權重大,扣分的事情權重是負的。

                你猜猜看:總分剛好是 0,不偏向會也不偏向不會。壓成機率之後是多少?

                ③ 這時才給名字

                加權總分再壓成機率的模型叫 logistic regression(LR)。負責「壓」的那條 S 形曲線叫 sigmoid。

                講 Elo 分數時,課堂上說:

                「這其實就是sigmoid function,如果 I的戰力比J的戰力大很多的話,算出來的數值就會趨近於1」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講

                ② 動手玩:調權重,看小安的 5 場怎麼排

                ④ 跟這章的關係這就是原書第一個候選模型(第 23 頁)。權重看得懂,但它只會「直直地加」。

                原書Model selection · Logistic regression · Figure 7.11–7.12

                四個候選模型,先看最簡單的 logistic regression

                這一步要解決二選一的分類問題有很多種模型可以解。哪一種適合活動推薦?

                📖 原書 候選:Logistic regression、Decision tree、Gradient-boosted decision tree(GBDT)、Neural network。LR 用一個或多個特徵的線性組合(乘權重再加起來)來建模二元結果的機率。

                📖 原書 Figure 7.11Logistic regression(依原書內容重繪)

                📖 原書 優點

                • 推論快:算特徵的加權組合很快
                • 訓練有效率:架構簡單,好實作、好解釋、訓練快
                • 資料 linearly separable(一條直線就能分開)時效果好(Figure 7.12)
                • 好解釋:每個特徵的權重代表它多重要,看得出為什麼做了這個決定

                📖 原書 缺點

                • 解不了非線性問題,因為它只用特徵的線性組合
                • Multicollinearity(兩個以上特徵高度相關,例如「距離」和「交通時間」)時學不好

                我們的系統特徵很多,而且常常跟答案有複雜的非線性關係,LR 可能學不起來。

                「如果說今天 x 跟 y 之間真正的關係是這樣一條曲線,在這個函式範圍裡面,我們不管怎麼找,都找不出這麼一條線」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講

                延伸基礎第 7 階 · 20 題猜謎 · 懂的人可以跳到第 25 頁

                  不加分數了,改成一題一題問是非題

                  ① 生活情境

                  玩 20 題猜謎:「是動物嗎?」「比貓大嗎?」每問一題,可能的答案就砍掉一半。問對問題,幾題就猜中。

                  你猜猜看:小安以前看過 8 場活動。第一題問哪一個,比較能把「會去」和「不會去」分開?

                  ③ 這時才給名字

                  一路問是非題、問到底給答案的模型叫 decision tree。問太多題、把舊資料的巧合也背起來,叫 overfitting。

                  「overfitting 的其中一個來源就是,當你劃定的選函式的範圍越大,就越容易發生 overfitting 的現象」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講

                  ② 動手玩:選第一題,再自動問第二題

                  ④ 跟這章的關係樹不用乘權重,也不怕數字大小差很多;但它對資料很敏感,原書因此改用「很多棵樹」(第 25 頁)。

                  原書Decision tree · Figure 7.13

                  決策樹:快、好懂,但太敏感

                  這一步要解決LR 只會畫直線。換成一題一題問的樹,會比較好嗎?

                  📖 原書 Figure 7.13決策樹(左)與學到的 decision boundary(右);點的位置是示意(依原書內容重繪)

                  📖 原書 決策樹用樹狀的「決策和可能結果」來預測。Figure 7.13 是只用年齡、性別兩個特徵的樹;每個葉子是一個二元結果,「+」是 positive、「−」是 negative。

                  📖 原書 優點

                  • 訓練快、推論快
                  • 幾乎不用準備資料:不需要 normalization 或 scaling(把數字縮到差不多大小),因為演算法不依賴特徵的分布
                  • 好解釋:把樹畫出來,就看得出為什麼這樣決定、哪些因素重要

                  📖 原書 缺點

                  • 邊界不一定最好:決策樹的邊界跟座標軸平行,對某些資料分布不是最好的切法
                  • Overfitting:對資料的小變動非常敏感。輸入一點點不同,上線時結果就可能不同;訓練資料一點點不同,樹的結構就可能完全不同。這是主要問題,讓預測不可靠

                  📖 原書 所以實務上很少用單純的決策樹。降低敏感度的兩個常用技術:Bagging 和 Boosting,業界用得很廣,一定要懂(第 26 頁)。

                  延伸基礎第 8 階 · 投票接力 · 懂的人可以跳到第 27 頁

                    一棵樹太敏感,那就找很多棵:投票,或接力訂正

                    ① 生活情境

                    三個臭皮匠:各自猜,再投票,比較不會被一個人的偏見帶走。另一種是接力改作業:第二個人只專心改第一個人寫錯的地方。

                    你猜猜看:接力的時候,第 2 棵樹要學的是什麼?

                    ③ 這時才給名字

                    各自訓練、最後投票叫 bagging。一棵接一棵、每棵修前面的錯叫 boosting。

                    講模型產生很多答案、要挑哪一個時,課堂上說:

                    「那一個直覺的方式就是,投票做majority vote,看看在所有模型出現的答案裡面,哪一個答案出現的次數最多,就是正確答案」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第七講

                    ② 動手玩:同樣 5 場,換一種「很多棵樹」

                    ④ 跟這章的關係投票的代表是 random forest;接力的代表是 GBDT、XGBoost,原書最後拿來當 baseline(第 28 頁)。

                    原書Bagging · Boosting · Figure 7.14–7.15

                    Bagging 平行投票、Boosting 依序修錯

                    這一步要解決單棵決策樹太敏感。兩種「很多棵樹」各解決什麼、代價是什麼?

                    📖 原書 Bagging(Bootstrap aggregation)

                    一種 ensemble learning(集合多個模型)方法:在訓練資料的多個子集上平行訓練一組模型,再把它們的預測合起來,大幅降低模型對資料變化(variance)的敏感度。例子是常用的 random forest:每棵樹獨立預測正或負,再投票(Figure 7.14)。

                    • 降低 overfitting(高 variance)的影響
                    • 樹可以平行訓練,訓練時間不會增加太多
                    • 樹可以平行處理輸入,推論延遲不會增加太多
                    • 但模型 underfitting(高 bias,模型太簡單、連舊資料都學不好)時沒有幫助
                    📖 原書 Figure 7.14Random forest,三棵樹投票(依原書內容重繪)

                    📖 原書 Boosting

                    依序訓練幾個 weak classifier(只比亂猜好一點的簡單分類器),一步步降低預測錯誤,合成一個強模型。優點:同時降低 bias 和 variance。缺點:每個分類器根據前一個的錯誤來訓練,只能依序做,訓練和推論都比較慢。實務上通常偏好 boosting,因為 bagging 對 bias 沒用。典型的有 AdaBoost、XGBoost、Gradient boost。

                    原書GBDT · Figure 7.16

                    GBDT:結構化資料的強手,但不擅長「邊上線邊學」

                    這一步要解決我們的特徵都是一格一格的數字。哪個模型最擅長這種資料?

                    📖 原書 Figure 7.16二元輸出的 GBDT 模型(依原書內容重繪)

                    📖 原書 GBDT 是常用的樹模型,用 GradientBoost 改良決策樹。它的一些變體,例如 XGBoost,在各種 ML 競賽表現很強。我們的特徵是結構化資料(像表格一樣一格一格的數字),所以 GBDT 或 XGBoost 是值得實驗的好選擇。

                    📖 原書 優點

                    • 資料準備簡單:跟決策樹一樣不需要前處理
                    • 降低 variance:用了 boosting
                    • 降低 bias:靠多個 weak classifier,一輪輪修正前面分錯的點
                    • 擅長結構化資料

                    📖 原書 缺點

                    • 超參數很多:迭代次數、樹深、regularization 參數等
                    • 不擅長非結構化資料:圖片、影片、聲音
                    • 不適合從串流資料做 continual learning(持續學習)

                    📖 原書 最後一點是大問題:新的互動、新的報名、新活動、新使用者一直進來,口味也會變。好的活動推薦要持續適應新資料;不能持續學習,就得定期從頭重新訓練 GBDT,非常貴。接下來看能克服這點的 neural network。

                    小結第 5–8 階:跟平常比,和三種會打分的模型

                      到這裡你已經會了

                      • 同一個數字,要跟她的平常比similarity 特徵:這場減掉她過去的平均(第 17 頁)
                      • 最簡單的模型:加權總分壓成機率logistic regression + sigmoid;好懂但只會直直地加(第 22、23 頁)
                      • 樹:一題一題問;很多棵樹:投票或接力decision tree 太敏感;bagging 降 variance,boosting(GBDT)連 bias 一起降(第 24–28 頁)

                      小安的 D(朋友主辦、25 英里),三個模型怎麼看

                      1. LR沒給「主辦是朋友」:5%;給了、權重 3:50%
                      2. 一棵樹沒朋友報名、又遠 → 猜不會去
                      3. 接力第 2 棵樹專修 D 的差距:0.2 → 0.8
                      4. 教訓模型再強,沒給的特徵它就看不到

                      下一階要解決:GBDT 每次都要從頭重訓,新活動又天天來。有沒有一種模型,關係再彎都學得起來,而且可以邊上線邊學?

                      延伸基礎第 9 階 · 很多段直線 · 懂的人可以跳到第 31 頁

                        彎彎的關係,用很多小段直線拼起來

                        ① 生活情境

                        有些人只去家附近的活動,但每個月也愛出一趟遠門。「想去的程度」跟距離的關係是先往下、再往上,不是一條直線。

                        你猜猜看:「先往下、再往上」的曲線,一條直線畫得出來嗎?

                        ③ 這時才給名字

                        能用很多段「轉彎的直線」疊出任何曲線的模型,叫 neural network(類神經網路)。不是一條直線的關係叫 non-linear。

                        「其實所謂的深度學習,所謂的類神經網路,就是畫一個比較大的函式選擇範圍,還有機會包含更多不同的函式」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

                        ② 動手玩:加段數,看能不能貼著曲線
                        —平均差距

                        ④ 跟這章的關係活動推薦的特徵很多、關係很彎,而且新資料一直來。原書說 neural network 這兩點都擅長(第 31 頁)。

                        原書Neural network · Figure 7.17 · Which model should we select?

                        先用 XGBoost 當 baseline,再試 neural network

                        這一步要解決GBDT 和 NN 各有長短,原書最後怎麼選?

                        📖 原書 Figure 7.17Neural network 的輸入與輸出(依原書內容重繪)

                        📖 原書 NN 的優缺點

                        優點:① Continual learning:設計上就是從資料學、持續改進;② 擅長文字、圖片、影片、聲音這類非結構化資料;③ 表達力強:參數多,學得了很複雜的任務和非線性邊界。

                        缺點:① 訓練運算成本高;② 對輸入品質很敏感,特徵範圍差很多時訓練會收斂得慢,所以要 normalization、log-scaling、one-hot 等資料準備;③ 需要大量訓練資料;④ 黑盒子:特徵經過好幾層非線性轉換,很難看出每個特徵對結果的影響。

                        📖 原書 該選哪一個?

                        選模型很難,常常要實驗。可以看:任務複雜度、資料分布與型態、產品需求或限制(訓練成本、速度、模型大小等)。這題 GBDT 和 NN 都是好候選。

                        1. 先用 GBDT 的變體 XGBoost:實作、訓練都快,結果當初始 baseline
                        2. 再試 NN 能不能更好。理由一:系統裡有大量訓練資料,使用者一直在報名、邀請、發佈新活動
                        3. 理由二:資料可能不是 linearly separable,NN 學得了非線性

                        📖 原書 設計 NN 架構要決定很多 hyperparameter:hidden layer 幾層、每層幾個 neuron、activation function 等,可以用 hyperparameter tuning 決定。但 NN 架構細節通常不是 ML 系統設計面試的重點,因為沒有系統化的方法選出正確架構。

                        原書Model training · Constructing the dataset · Figure 7.18

                        沒有人工標註,答案從「她有沒有報名」來

                        這一步要解決面試官說沒有標註資料。模型要從例子學,例子和答案從哪裡來?

                        📖 原書 一筆資料怎麼做

                        從互動資料裡取出一對 ⟨user, event⟩,用這一對算出輸入特徵。如果使用者報名了這場活動,label(標準答案)是 1,沒有就是 0。建好訓練和評估資料集,是開發模型的必要步驟。

                        📖 原書 Figure 7.18建好的資料集(依原書內容重繪)

                        小安這個週末,變成 5 筆資料

                        ⟨user, event⟩距離桶朋友主辦是朋友…Label
                        ⟨小安, A⟩030…1
                        ⟨小安, B⟩100…0
                        ⟨小安, C⟩210…0
                        ⟨小安, D⟩301…1
                        ⟨小安, E⟩500…0

                        你有沒有發現一件事?5 筆裡只有 2 筆是 1。真實世界更誇張:一個人可能看了幾十、幾百場才報名一場。原書接著就談這個 class imbalance;我們先把「猜錯怎麼罰」講完(第 33 頁),再回來處理它(第 35 頁)。

                        延伸基礎第 10 階 · 驚訝分數 · 懂的人可以跳到第 34 頁

                          猜錯要罰多重?看你猜得有多篤定

                          ① 生活情境

                          氣象說降雨機率 90%,結果沒下雨,大家只會小小抱怨。說 1% 結果下大雨,大家就很驚訝、罵很兇。越篤定地猜錯,越該罰。

                          你猜猜看:模型說小安只有 5% 會報名 D,結果她報了。這次該罰重還是輕?

                          ③ 這時才給名字

                          「離正確答案多遠」的分數叫 loss。二選一時這個驚訝分數叫 binary cross-entropy。

                          「這兩個機率分布越接近,那這個 Loss 算出來呢就會越小」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

                          ② 動手玩:拉模型猜的機率,看驚訝分數

                          ④ 跟這章的關係原書的模型就是用 binary cross-entropy 訓練:把 5 筆的驚訝分數加起來,調權重讓總分越小越好(第 34 頁)。

                          原書Choosing the loss function · Figure 7.19

                          預測 P 和答案 G 比一比,算 binary cross-entropy

                          這一步要解決模型猜了一個機率,要怎麼量它猜得好不好,好讓它往對的方向改?

                          📖 原書 Figure 7.19預測與 label 之間的 loss(依原書內容重繪)

                          📖 原書 選 loss function

                          模型是 binary classification 模型,所以用典型的分類 loss,例如 binary cross-entropy,來最佳化 neural network。

                          流程用白話講一次

                          1. 一筆 ⟨小安, D⟩ 的特徵進 neural network
                          2. 吐出 P(prediction):例如 0.05
                          3. 拿去跟 G(ground truth,標準答案):1 比
                          4. 算 binary cross-entropy:約 3.0
                          5. 根據這個 loss,回頭調整 network 裡的權重,讓下次的 P 更接近 G

                          第 5 步原圖沒有畫箭頭,但原書的描述說 loss「用來更新 network 的權重」。怎麼調?就是往 loss 變小的方向一步一步走,也就是梯度下降(gradient descent)。

                          延伸基礎第 11 階 · 少數派 · 懂的人可以跳到第 36 頁

                            報名的人太少:全部猜「不會」,正確率居然很高

                            ① 生活情境

                            機場安檢,一萬個旅客裡可能只有一個帶違禁品。一個什麼都放行的安檢員,「正確率」是 99.99%,但他一點用都沒有。

                            你猜猜看:100 次曝光只有 2 次報名。偷懶模型全部猜「不會報名」,正確率是多少?

                            ③ 這時才給名字

                            一種答案特別多、另一種特別少,叫 class imbalance。把多的那一類隨機丟掉一部分,叫 undersampling。

                            ② 動手玩:丟掉一些「沒報名」,看比例怎麼變
                            —報名 : 沒報名—全猜「不會」的正確率

                            ④ 跟這章的關係活動推薦的訓練資料就是這樣:大部分 ⟨user, event⟩ 都是 0。原書列了兩招(第 36 頁)。

                            原書Class imbalance

                            兩招:改 loss,或少用一點多數派

                            這一步要解決負的 ⟨user, event⟩ 遠比正的多。模型會被大量的 0 淹沒,怎麼辦?

                            📖 原書 為什麼會不平衡

                            使用者可能瀏覽數十或數百個活動才報名一個。所以負的 ⟨user, event⟩ 配對數量遠高於正的資料點。可以用下面其中一招:

                            📖 原書 招式一:focal loss 或 class-balanced loss

                            用這兩種 loss 訓練分類器。白話:class-balanced loss 是少數類別猜錯時罰得更重;focal loss 是「已經很容易猜對」的例子少罰一點,讓模型把力氣花在難的例子上。

                            📖 原書 招式二:undersample 多數類別

                            把大量的「沒報名」隨機抽掉一部分,再拿去訓練(第 35 頁)。

                            拿第 33 頁的驚訝分數來心算(示意)

                            例子正確答案的機率原本的驚訝分數focal 的感覺
                            很好猜的 0(E,120 英里)99%0.01幾乎不罰
                            普通的 0(B)73%0.31罰少一點
                            難猜的 1(D)5%3.0照罰

                            一萬個「很好猜的 0」各罰 0.01,加起來是 100,比 D 的 3.0 大很多。這就是為什麼大量的簡單負例會把模型的注意力搶走。focal loss 把這種例子的罰分再打折,D 這種難題就浮上來了。

                            小結第 9–11 階:更彎的模型,和怎麼教它

                              到這裡你已經會了

                              • 很多段直線拼成曲線neural network 學得了 non-linear,而且可以邊上線邊學;原書先拿 XGBoost 當 baseline 再試它(第 30、31 頁)
                              • 答案是她有沒有報名,罰分看猜得多篤定⟨user, event⟩ 的 label 是 1/0,loss 用 binary cross-entropy(第 32–34 頁)
                              • 報名的太少,要特別處理class imbalance:focal/class-balanced loss,或 undersampling(第 35、36 頁)

                              一筆 ⟨小安, D⟩ 走完訓練

                              1. 特徵距離桶 3 · 朋友 0 · 主辦是朋友 1 · …
                              2. 預測P = 0.05(還沒學好)
                              3. 答案G = 1(她報名了)
                              4. 罰分約 3.0 → 調權重 → 下次 P 變大

                              下一階要解決:模型訓練好了,排出一份名單。這份名單到底排得好不好?只看「猜對幾場」夠嗎?

                              延伸基礎第 12 階 · 前 k 名 · 懂的人可以跳到第 41 頁

                                手機一頁只放得下前幾名:前 k 名裡對了幾場?

                                ① 生活情境

                                App 首頁只放得下 3 場。你推的 3 場裡她想去幾場?她想去的那些,你推中了幾場?這是兩個不同的問題。

                                你猜猜看:前 3 名裡只有 1 場是她報名的。前 3 名「推得準」的比例是多少?

                                ③ 這時才給名字

                                前 k 名裡對了幾成,叫 precision@k(抓得準)。她要的裡面你抓到幾成,叫 recall@k(抓得全)。

                                ② 動手玩:拉 k,再換一份名單
                                —precision@k—recall@k

                                ④ 跟這章的關係名單甲把爵士之夜排第 1,名單乙排第 3,k = 3 時兩個分數卻一模一樣。原書因此說它們不看名次,不夠用(第 41 頁)。

                                延伸基礎第 13 階 · 名次算分 · 懂的人可以跳到第 41 頁

                                  排第 1 和排第 3,分數要不一樣

                                  ① 生活情境

                                  Google 搜尋,答案在第 1 個你會很開心,在第 10 個你可能就放棄了。所以名次越前面,分數應該越高。

                                  你猜猜看:名單甲、乙的第 1 名都是她報名的。只看「第一個對的在第幾名」,分得出誰比較好嗎?

                                  ③ 這時才給名字

                                  只看第一個對的名次取倒數,再對所有人平均,叫 MRR。每個對的都看名次、算平均 precision,再對所有人平均,叫 mAP。

                                  ② 動手玩:換一份名單,看兩個分數

                                  ④ 跟這章的關係小安想去的不只一場,所以只看第一個不夠。原書在 MRR 和 mAP 之間選了 mAP(第 41 頁)。

                                  延伸基礎第 14 階 · 有程度 · 懂的人可以跳到第 41 頁

                                    「很喜歡」和「有點喜歡」,分數也該不一樣

                                    ① 生活情境

                                    評電影不只「看」或「不看」,還有一到五顆星。報名是很喜歡,按收藏是有點喜歡。排名次時,很喜歡的應該更前面。

                                    你猜猜看:同一場很喜歡的活動(2 分),排第 1 名拿 2 分。排到第 5 名大概拿幾分?

                                    ③ 這時才給名字

                                    每場的喜歡程度叫 relevance。依名次打折加總、再除以「完美排法」的總分,叫 nDCG,滿分是 1。

                                    ② 動手玩:上下移動,自己排
                                    —打折後的總分3.76完美排法的總分—nDCG

                                    ④ 跟這章的關係nDCG 適合「喜歡程度不只兩種」的時候。原書的答案只有報名/沒報名兩種,所以沒選它(第 41 頁)。

                                    原書Evaluation · Offline metrics

                                    離線評估:五個候選指標,原書選 mAP

                                    這一步要解決上線前,拿歷史資料替排名打分數。該用哪一把尺?

                                    📖 原書 Recall@k、Precision@k

                                    不太適合,因為它們不考慮輸出的排序品質(第 38 頁的名單甲、乙)。

                                    📖 原書 MRR、nDCG、mAP

                                    三個都常用來量排序品質。MRR 只看清單裡第一個相關 item 的名次,適合只期待找到一個相關 item 的系統;活動推薦可能有好幾場都相關,所以 MRR 不太適合。

                                    📖 原書 nDCG vs. mAP

                                    nDCG 適合使用者和 item 的相關分數不是二元的時候;mAP 只在相關分數是二元時適用。活動要嘛相關(報名了),要嘛不相關(看了沒報名),所以 mAP 比較合適。

                                    同一個小安,五把尺(本簡報的互動數字)

                                    名單P@3R@3RRAPnDCG
                                    甲 A D B C E2/31110.98
                                    乙 A B C D E1/31/210.750.89
                                    丙 B A C D E1/31/21/20.50.70

                                    只有 AP 和 nDCG 把三份名單完全分開。nDCG 還能用到 C 的「收藏」。

                                    「但是雖然我們在訓練的時候,用 Cross-Entropy,但是你最後在做驗證跟測試的時候,你仍然會用 Accuracy,因為 Accuracy 才是你真正關心的東西」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

                                    這一章也一樣:訓練時壓 binary cross-entropy,評估時看的是排名的 mAP。訓練的尺和評估的尺,不是同一把。

                                    延伸基礎第 15 階 · 看行為 · 懂的人可以跳到第 43 頁

                                      上線之後:大家有點進去嗎?點進去之後有買票嗎?

                                      ① 生活情境

                                      夜市攤販的招牌寫「全台最好吃」,路過的人都停下來看。停下來的多,不代表買的多。

                                      你猜猜看:一場標題很誘人的活動,曝光 100 次、被點 30 次、只有 1 人報名。「被點的比例」是多少?

                                      ③ 這時才給名字

                                      點擊數 ÷ 曝光數叫 CTR(click-through rate)。報名數 ÷ 曝光數叫 conversion rate(轉換率)。

                                      「一旦一項指標啊,被當作目標,它就不再是一個好的指標」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講(Goodhart's Law)

                                      ② 動手玩:換一種活動,看兩個比例
                                      —CTR—conversion rate

                                      ④ 跟這章的關係原書說只看 CTR 不夠,因為有些活動是 clickbait(誘餌標題);真正接近「賣票」的是轉換率(第 43 頁)。

                                      原書Evaluation · Online metrics

                                      線上評估:四個指標,一路往「收入」靠近

                                      這一步要解決商業目標是靠多賣票來增加收入。上線後要看什麼,才量得到對收入的影響?

                                      📖 原書 CTR

                                      CTR = 被點擊的活動總數 ÷ 曝光總數

                                      看到推薦的使用者有多常點進活動。CTR 高代表很會推讓人想點的活動;點擊多,通常報名也多。但只靠 CTR 不夠:有些活動是 clickbait。理想上要量推薦的活動跟使用者有多相關,這就是轉換率。

                                      📖 原書 Conversion rate

                                      Conversion rate = 活動報名總數 ÷ 曝光總數

                                      看到推薦的使用者有多常去報名。例如轉換率 0.3:平均每推 10 場,使用者報名 3 場。

                                      📖 原書 Bookmark rate

                                      使用者有多常把推薦的活動加入收藏。前提是平台允許使用者儲存或收藏活動。

                                      📖 原書 Revenue lift

                                      因為活動推薦而增加的收入。

                                      四個指標排成一條漏斗

                                      1. 看到曝光(impression)
                                      2. 有興趣點擊 → CTR;收藏 → bookmark rate
                                      3. 買票報名 → conversion rate
                                      4. 賺錢revenue lift,最接近商業目標

                                      小結第 12–15 階:排得好不好

                                        到這裡你已經會了

                                        • 前 k 名:抓得準、抓得全precision@k、recall@k;但不看名次(第 38 頁)
                                        • 名次也要算分MRR 只看第一個;mAP 每個對的都看;nDCG 還能分「很喜歡、有點喜歡」。原書選 mAP(第 39–41 頁)
                                        • 上線後看真實行為CTR 會被誘餌標題騙;轉換率、收藏率、revenue lift 更接近賣票(第 42、43 頁)

                                        15 階全部爬完,小安的週末變成

                                        1. 題目pointwise:每場算「會報名的機率」
                                        2. 特徵距離桶、朋友、主辦是朋友、跟平常比……
                                        3. 模型XGBoost 當 baseline → neural network
                                        4. 分數離線 mAP;線上轉換率

                                        最後一個問題:每秒 12 個人上來、每個月 100 萬場活動,名單要在一眨眼之內排好。系統要怎麼搭?

                                        原書Serving · Figure 7.20 · Online learning pipeline

                                        整個系統:一條管線一直學,一條管線一直排

                                        這一步要解決模型要天天跟上新活動,又要即時幫每個人排名單。原書怎麼拆?

                                        📖 原書 Figure 7.20ML system design(依原書內容重繪)

                                        📖 原書 Online learning pipeline

                                        活動推薦本質上是 cold start、一直有新 item,所以模型必須持續 fine-tune 來適應新資料。這條管線負責:納入新資料持續訓練新模型、評估、部署。

                                        📖 原書 Prediction pipeline

                                        負責預測跟某個使用者最相關的前 k 場活動。最重要的兩個元件:event filtering 和 ranking service(第 46 頁)。

                                        原書Prediction pipeline · Figure 7.21–7.22

                                        先用規則篩到幾百場,再讓模型細細排

                                        這一步要解決100 萬場活動,不可能每個人每次都全部打分。怎麼辦呢?

                                        📖 原書 Figure 7.21Event filtering 的輸入與輸出(依原書內容重繪)

                                        📖 原書 Event filtering

                                        以 query user 為輸入,用簡單規則把活動從 100 萬場縮到一小部分,例如活動地點或使用者自己加的篩選。使用者加了「只看音樂會」,就能很快縮成候選。這類篩選在活動推薦很常見,可以把搜尋空間從可能上百萬場縮到幾百場候選。

                                        📖 原書 Ranking service

                                        輸入使用者和候選活動,替每一對 ⟨user, event⟩ 算特徵,依模型預測的機率排序,輸出最相關的前 k 場。特徵由 feature computation 元件負責:靜態特徵從 feature store 拿,動態特徵從 raw data 即時算。

                                        講 RAG 的 Reranking 時,課堂上說:

                                        「搜尋引擎給了我們一大堆文章,但也不見得是搜尋引擎給的每一篇文章都是有關的。可以讓語言模型再挑一次,只挑真正最相關的文章放到 context 裡面。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 2 講

                                        客座講評Triton 怎麼看「先篩再排」

                                        先算 N:100 萬場活動要篩,幾百場候選直接排序就好

                                        這一步要解決原書說「用地點規則縮小範圍」,但沒說怎麼縮才快。要上 R-tree、quadtree 這類高深的資料結構嗎?

                                        「如果才 10000 個點 單純 2 層 for-loop , O(n^2) solution 吧 – 現實跑起來應該少於1秒」「如果 n > 1M 則肯定不能暴力解」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

                                        「在一個長方形內的點,其最近鄰居一定是…… – 在同一長方形內,或在鄰近八個長方形內」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md(講 geohash)

                                        「實戰上,如果 n < 1M ,我會…… – 用 standand library 跑 sorting – 然後 return array[k]」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

                                        白話:geohash 是把經緯度變成一串字的編碼,每一串字代表地圖上一個長方形格子,字越長格子越小。

                                        —要算距離的活動(這張圖)—放大到原書規模,一天要算幾次(示意)

                                        🔭 依 Triton 原則推論 Triton 沒有談過活動推薦;064 原本是回答論壇上「1 萬個點找最近鄰居」的問題。套進這章:① 先算 N:活動 100 萬場、每天 100 萬人來查,m 很大,每次全掃是 m × n,不能暴力;② 064 的簡化解法是每場活動存各種長度的 geohash 欄位,放進 Elasticsearch 或一般 RDBMS 的 index,查她那一格加鄰近 8 格(或直接用 PostGIS);③ 篩完只剩幾百場,n 很小,模型打完分直接 sort 取前 k,不需要特殊的 top-k 演算法;④ 外部地圖 API 的交通時間只對候選查,不對 100 萬場查。

                                        原書Other Talking Points

                                        面試還有時間,可能會被問到這些

                                        📖 原書 如果時間允許

                                        • 這個系統裡可能觀察到哪些不同類型的 bias?
                                        • 怎麼用 feature crossing(把兩個特徵交叉成新特徵)提高表達力?
                                        • 有些使用者喜歡看到多元的活動清單,怎麼確保推薦多元而且新鮮?
                                        • 我們用使用者屬性訓練模型,也依賴使用者的即時位置,隱私和安全還要考慮什麼?
                                        • 活動平台通常是雙邊市場:主辦方是供給方、使用者是需求方。怎麼確保系統不只對一邊最佳化?怎麼對不同主辦方保持公平?
                                        • 建資料集時怎麼避免 data leakage(訓練時偷看到未來的資訊)?
                                        • 怎麼決定更新模型的頻率?

                                        每一題回到今天的哪一頁

                                        • Bias → 第 21 頁用年齡性別的偏見,和第 49 頁「只看得到被曝光的」
                                        • Feature crossing → 第 24 頁:樹靠連問兩題做到「近『而且』有朋友」;LR 要自己先把兩個特徵交叉起來
                                        • 多元與新鮮 → 第 46 頁排完前 k 名之後,再加一步調整順序,別讓前 5 名全是爵士
                                        • 隱私 → 第 47 頁:只要格子不要精確座標,也能做篩選
                                        • 雙邊市場、公平 → 第 49 頁新主辦人的 cold start
                                        • Data leakage → 第 49 頁「報名人數要算曝光當下的」
                                        • 更新頻率 → 第 45 頁的 online learning pipeline,和第 28 頁 GBDT 重訓很貴

                                        📅 2026 補充方法的限制

                                        四個容易踩到的坑:機率、曝光、未來、新主辦人

                                        這一步要解決原書的流程每一步都合理。接在一起之後,會漏掉什麼?

                                        你猜猜看:訓練時把「沒報名」丟掉 90%。模型說小安 50% 會報名 D,真實的機率比 50%?

                                        一、undersampling 會讓機率偏高

                                        只拿來排序,影響不大,名次不會變。但要拿機率去設門檻、算預期營收,就要先換算回來(第 35 頁)。換算公式在最後一頁。

                                        二、label 只來自「被曝光的」

                                        0 和 1 都來自 impression。沒被推過的活動永遠沒有 label,排在前面的又比較容易被點。模型會越來越相信自己以前推過的東西,這叫 position bias 和 feedback loop。

                                        三、特徵要用「當下」的值

                                        「報名人數」是動態特徵。建訓練資料時,如果用活動結束時的最終人數,等於讓模型偷看了未來,離線分數很漂亮、上線就掉。要用曝光那一刻的數字,叫 point-in-time correctness,這正是原書提的 data leakage。

                                        四、新主辦人也是 cold start

                                        「她多常參加這位主辦人的活動」「主辦人的人氣」這類特徵,對第一次辦活動的人永遠是 0。模型一直推老牌主辦人,新主辦人就沒人看見,這是雙邊市場的公平問題。常見做法是保留一小部分曝光給新活動探索。

                                        📅 2026 補充方法怎麼演進

                                        原書之後,這幾個零件換了做法

                                        這一步要解決原書說 pairwise、listwise 難做,GBDT 不能持續學、描述用 TF-IDF。現在呢?

                                        Pairwise、listwise 變成一個參數

                                        XGBoost 有 rank:pairwise、rank:ndcg、rank:map,LightGBM 有 lambdarank。用 GBDT 做 LambdaMART 式的排序,只要換 objective、把資料依使用者分組。「難實作」這個代價小了很多,表格資料上它仍是很強的 baseline。

                                        GBDT 也能接著練

                                        XGBoost、LightGBM 都能從已訓練好的模型接著加新的樹,不必每次從頭重練。限制是舊的樹不會改,口味大轉變時還是要定期重訓。原書「GBDT 不適合 continual learning」比較精確的說法是:它不擅長一筆一筆即時更新。

                                        描述相似度改用語意 embedding

                                        TF-IDF 看字面:「爵士」和「Jazz」對它是兩個字。現在常用文字 embedding 模型(從 Sentence-BERT 一路到各家的 embedding API)把描述變成一組數字,意思相近就靠近。活動一建立就有描述,特別適合對付 cold start。

                                        把「一連串行為」當成句子來接龍

                                        生成式推薦把使用者過去的互動排成序列,用 Transformer 預測下一個,例如 Google 的 TIGER(2023,用 semantic ID 代表 item)、Meta 的 HSTU(2024)。這跟原書「每場各自打分」是完全不同的路線,但「先篩再排」的骨架還在。

                                        回顧15 階全部爬完

                                          活動推薦系統,其實就是:先篩到幾百場,把每一對「人 × 活動」變成一串數字,打一個會報名的機率,再排名次而已。

                                          要回答什麼

                                          input 是一個人、output 是前 k 場活動。用 pointwise LTR:binary classification,預測會報名的機率。活動短命,天生 cold start。

                                          活動怎麼變成數字

                                          地點、時間、社交、使用者、活動五類特徵;連續數字先分桶再 one-hot;幾乎每個特徵都配一個「跟她平常比」的 similarity。

                                          用什麼模型、怎麼教

                                          LR 太直、單棵樹太敏感;XGBoost 當 baseline,再試能持續學習的 neural network。label 是有沒有報名,loss 是 binary cross-entropy,報名太少要處理 class imbalance。

                                          排得好不好、怎麼上線

                                          離線看 mAP,線上看 CTR、轉換率、收藏率、revenue lift。系統是 online learning pipeline 加 prediction pipeline:event filtering 篩、ranking service 排。

                                          篩一篩,算一算,排一排。然後呢?然後就結束了。

                                          名詞小卡課後複習用 · 每個詞一行白話

                                          本章名詞小卡

                                          名詞一行白話在哪一頁
                                          learning to rank(LTR)從例子學會排名次第 7 頁
                                          pointwise每個 item 各自打分,再照分數排第 7 頁
                                          pairwise一次比兩個,誰比較好第 7 頁
                                          listwise一次排好整串第 7 頁
                                          binary classification答案只有兩種的分類:會報名 1、不會 0第 9 頁
                                          cold start新東西沒有互動紀錄,很難推第 10 頁
                                          impression活動被顯示在使用者面前一次第 11 頁
                                          baseline拿來比較的簡單起點第 8 頁

                                          忘了哪個詞,就回到右邊那一頁,四步再走一次。

                                          給工程師的重點出處、公式與頁碼對照

                                          本章引用的來源

                                          原書

                                          Machine Learning System Design Interview · Event Recommendation System 章。開場與 Figure 7.1(第 3 頁)、Clarifying Requirements(5、6)、ML objective、input/output、ML category 與 Figure 7.2(8)、Pointwise/Pairwise/Listwise 與 Figure 7.3–7.6(9)、Data engineering 與 Table 7.1–7.4(11)、Feature engineering 開場(13)、Location 與 Table 7.5、Figure 7.7(15)、Time 與 Figure 7.8–7.9(18)、Social(19)、User、Event 與 Figure 7.10(20)、特徵討論點(21)、Model selection、LR 與 Figure 7.11–7.12(23)、Decision tree 與 Figure 7.13(25)、Bagging/Boosting 與 Figure 7.14–7.15(27)、GBDT 與 Figure 7.16(28)、NN、選模型與 Figure 7.17(31)、Constructing the dataset 與 Figure 7.18(32)、Loss 與 Figure 7.19(34)、Class imbalance(36)、Offline metrics(41)、Online metrics(43)、Serving 與 Figure 7.20(45)、Event filtering、Ranking service 與 Figure 7.21–7.22(46)、Other Talking Points(48)。22 張圖全部依圖說與描述重繪,不是原圖;Figure 7.1 網頁截圖改線框圖;Figure 7.4、7.5 被吃掉的輸入標籤依內文補;Figure 7.8 週一、週三依內文畫 0

                                          本簡報加的頁面:開場互動(2)、概念階梯(4)、15 個延伸基礎(7、10、12、14、17、22、24、26、30、33、35、38、39、40、42)、小結(16、29、37、44)、客座卡(47)、方法限制(49)、2026 補充(50)、名詞小卡(52)。小安與 A–E 五場活動、權重、樹的資料、relevance、漏斗數字都是示意

                                          🎓 李宏毅課堂(逐字稿)

                                          • 生成式人工智慧與機器學習導論 2025 · 第 5 講 — 把一個東西表示成數值就叫 Feature(12)、直接告訴它有這個 feature(21)、找不出這麼一條線(23)、函式範圍越大越容易 overfitting(24)
                                          • 同 · 第 6 講 — 類神經網路是比較大的函式選擇範圍(30)、兩個機率分布越接近 Loss 越小(33)、訓練用 Cross-Entropy、測試用 Accuracy(41)
                                          • 同 · 第 2 講 — Reranking(46)
                                          • 生成式AI時代下的機器學習(2025) · 第九講 — Elo 勝率與 sigmoid(7、22)、Goodhart's Law(42)
                                          • 同 · 第七講 — majority vote(26)

                                          來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。逐字稿:raw/youtube/transcripts/Taj1eHmZyWw.md、mPWvAN4hzzY.md、lVdajtNpaGI.md、s266BzGNKKc.md、bJFtcwLSNxI.md

                                          🗣️ Triton 與 📅 依據

                                          • 🗣️ materials/core/064-introToAlgorithm.pdf.md(N 小先暴力、n > 1M 不能暴力、geohash 9 格、n < 1M 直接 sort);套用到本章的部分都標 🔭
                                          • 📅 XGBoost/LightGBM 的 ranking objective 與接續訓練;Sentence-BERT(2019);TIGER(NeurIPS 2023);HSTU(ICML 2024)

                                          公式(主文用文字講過)

                                          • z = b + Σi wixi;p = σ(z) = 1 / (1 + e−z)
                                          • BCE = −[y log p + (1 − y) log(1 − p)]
                                          • Focal = −(1 − pt)γ log pt,pt = 正確答案的機率
                                          • similarity 特徵 = xevent − mean(x過去報名)
                                          • decay 加權平均 = Σ λjxj / Σ λj(j = 0 是最近一次)
                                          • P@k = 前 k 名中相關數 / k;R@k = 前 k 名中相關數 / 相關總數
                                          • RR = 1 / rank第一個相關;MRR = 平均 RR
                                          • AP = (1/|R|) Σk∈R P@k;mAP = 對使用者平均 AP
                                          • DCG = Σi reli / log2(i + 1);nDCG = DCG / IDCG
                                          • CTR = clicks / impressions;Conversion = registrations / impressions
                                          • 負例保留比例 w 的機率校正:p′ = p / (p + (1 − p) / w)
                                          ← → 翻頁 · S 講者備註 · D 深/淺色
                                          1 / 1目錄