ML System Design · 第 11 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無(本章沒有 Triton 客座卡)
People You May Know
其實就是:在朋友的朋友裡面,猜誰會連上線而已
你打開 LinkedIn 或 Facebook,旁邊總有一排「你可能認識的人」。有時候準到有點嚇人。原書用這個題目,把「在一張關係圖上做預測」從頭到尾講一遍。
今天的路線
需求 → 一邊爬 14 階基礎、一邊對照原書(第 4 頁的階梯):關係怎麼畫成圖 → 人怎麼變成數字 → 模型怎麼算出機率 → 怎麼教、怎麼考 → 10 億人怎麼算得完 → 方法的限制與 2026 年的變化。全程只用小安的 7 人朋友圈。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 延伸基礎
標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。這一章的 infra 沒有 Triton 的出處,所以沒有客座卡。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。小安和他的朋友都是虛構人物。
先講跟你有關的動手玩 · 你來當推薦系統
小安的手機上,只放得下一張推薦卡。你要放誰?
先憑感覺點一張卡。點完,下面會畫出他們跟小安的關係。
你可能會想說,這有什麼難?挑一個小安認識的人就好了嘛。問題是,小安還不認識他們。你只能從「他們跟誰認識」去猜。
你看,三張卡長得一模一樣,資料卻完全不一樣:小玉跟小安有 3 個共同朋友,阿凱和老王各只有 1 個。人一看圖就知道要推誰。電腦呢?
今天整堂課只在回答四個問題:關係怎麼變成資料?(圖)機率怎麼算出來?(模型)算得好不好?(評估)最後再加一個:10 億人,怎麼算得完?(系統)
原書Introduction · Figure 11.1
原書的開場:一份「你可能想連結的人」清單
📖 原書 PYMK 是一份清單,根據你們的共同點(例如共同朋友、學校、工作地點),推薦你可能想連結的使用者。Facebook、LinkedIn、Twitter 等社群網路都用 ML 驅動這個功能。本章要設計一個類似 LinkedIn 的 PYMK:輸入一個使用者,輸出一份潛在連結的清單。
原書這一章的路線
- Clarifying requirements(第 5 頁)
- Frame the problem as an ML task(第 8–14 頁)
- Data preparation(第 16–21 頁)
- Model development(第 24–29 頁)
- Evaluation(第 34、37 頁)
- Serving(第 38–42 頁)
- Other talking points(第 44 頁)
英文縮寫先記一個:PYMK = People You May Know,你可能認識的人。後面的英文名詞,等爬到那一階才給。
學習地圖今天要爬的 14 階 · 每一階只用前面學過的東西
一階一階往上爬,不跳階
- 1點和線關係怎麼畫下來?
- 2朋友的朋友走兩步會到誰?
- 3二選一答案只有會、不會
- 4猜一條線猜點、猜線、猜整張
- 5數字履歷人和關係變數字
- 6傳話遊戲聽聽鄰居怎麼說
- 7座標每個人一個位置
- 8同向打分分數變機率
- 9驚訝分數猜錯扣幾分?
- 10超多沒加九成九都是「不」
- 11兩兩比賽排得對不對?
- 12排名分數好的有沒有排前面
- 13送出·接受上線後看什麼?
- 14先算好10 億人怎麼算完
題目怎麼出 模型怎麼算 怎麼教、怎麼考 怎麼上線 英文名字等爬到那一階才給。
整堂課只用一個朋友圈
小安的朋友:阿哲、小美、大雄。朋友的朋友:小玉(3 個共同朋友)、阿凱、老王(各 1 個)。總共 7 個人、10 條線,可以心算。
每一階都走四步
① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。
每爬幾階就停一下
「到這裡你已經會了」:第 15、27、35、43 頁。最後還有名詞小卡(第 48 頁)。
原書Clarifying Requirements
原書的題目:做一個像 LinkedIn 的 PYMK
這一步要解決先問清楚要做什麼、做到多大,免得答錯題目。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 做 PYMK 的動機,是幫使用者發現潛在的連結、擴展人脈,對嗎? | 對,這是很好的假設 |
| 要考慮的因素很多:地點、學歷、工作經歷、既有的連結、過去的活動……可以先專注在最重要的:學歷、工作經歷、社交環境嗎? | 聽起來不錯 |
| 在 LinkedIn 上,兩個人「互為朋友」才算朋友,對嗎? | 對,友誼是對稱的。發出連結請求後,對方要接受才會連上 |
| 平台總共多少使用者?每日活躍有多少? | 將近 10 億使用者,每日活躍 3 億 |
| 平均每人有幾個連結? | 1,000 個 |
| 大多數人的社交圖不太會變,短時間內連結不會大幅改變。可以這樣假設嗎? | 很好的觀點。是,這是合理的假設 |
📖 原書 整理成一句話
- 做什麼:類似 LinkedIn 的 PYMK。輸入一個使用者,輸出排好名次的潛在連結清單
- 為什麼:讓使用者更容易發現新連結、擴展人脈
- 多大:總共 10 億使用者,平均每人 1,000 個連結
你想想看:「每人 1,000 個朋友」這一句,會讓候選人從 10 億變成 100 萬(第 38 頁)。「關係不太會變」這一句,會決定系統可以先算好(第 40 頁)。
延伸基礎第 1 階 · 點和線 · 懂的人可以跳到第 8 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
「誰認識誰」不是一張表,是一張畫滿線的圖
班上同學在白板上畫「誰跟誰是好朋友」:每人寫成一個圈,好朋友之間連一條線。畫完一看,誰人緣好、誰跟誰同一掛,一目瞭然。
你猜猜看:4 個人兩兩都是好朋友,白板上要畫幾條線?
每人連另外 3 人,4 × 3 = 12,但每條線被兩端各算了一次,所以是 12 ÷ 2 = 6。右邊把線全部點出來數數看。
這張圖叫 graph(圖),每條線叫 edge(邊)。LinkedIn 的友誼是雙向的,所以線沒有箭頭。
課堂上講用資料建圖:
「先把這一些訓練資料……統統建立成 Graph 在這個 Graph 上面 夠相近的點就把它連在一起」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係原書把整個社交環境畫成一張 graph:一個人是一個點,已經連上的兩個人之間有一條線。PYMK 就是在這張圖上猜「下一條線會長在哪」。
延伸基礎第 2 階 · 朋友的朋友 · 懂的人可以跳到第 8 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
新朋友從哪裡來?多半是「朋友的朋友」
你去參加朋友的生日派對,認識了一個新朋友。你們之所以會在同一個房間,是因為你們都認識壽星。
你猜猜看:小安有 3 個朋友,每個朋友都各自另外有 3 個朋友(彼此不重複)。小安的「朋友的朋友」最多幾人?
3 × 3 = 9。實際上朋友之間常常認識同一批人,所以通常比 9 少。右邊的小安就是這樣:三個朋友都認識小玉。
沿著線走一步會到的人叫 1-hop(一跳鄰居)。走兩步會到、但還不是朋友的人,叫朋友的朋友(FoF,friends of friends,也叫 2-hop)。中間經過的那幾個人,就是「共同朋友」。
④ 跟這章的關係原書說「共同朋友數」是最重要的特徵之一(第 20 頁),而且 92% 的新友誼來自 FoF,所以上線時只在 FoF 裡找(第 38 頁)。
原書Frame the Problem as an ML Task · Figure 11.2
把「擴展人脈」翻譯成 ML 題目
這一步要解決「幫使用者擴展人脈」不是模型能直接學的目標,要換成模型做得到的事。
📖 原書 Defining the ML objective
PYMK 常見的 ML 目標:最大化使用者之間形成的連結數。連結多了,使用者的人脈就長得快。
📖 原書 Input 與 Output
Input:一個使用者。Output:一份連結清單,依「跟這個使用者有多相關」排好名次。
📖 原書 Choosing the right ML category
原書比較兩種常見做法:
- Pointwise Learning to Rank:一次只看兩個人,猜他們會不會連上(第 10 頁)
- Edge prediction:把整張社交圖也給模型看(第 14 頁)
換成小安:輸入小安,輸出「小玉、阿凱、老王」這份排好的清單。誰排第一,就是模型要回答的問題。
延伸基礎第 3 階 · 二選一 · 懂的人可以跳到第 10 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
答案只有「會」和「不會」,模型卻回答「七成會」
明天會不會下雨?最後只有「下」和「不下」兩種結果。可是氣象預報不說「會下」,它說「降雨機率 70%」。
你猜猜看:模型說「小安和小玉會成為朋友的機率是 0.71」。如果有 100 對一樣是 0.71 的人,大約幾對會真的連上?
0.71 就是 71%。100 對裡大約 71 對會連上、29 對不會。右邊拉拉看。
答案只有兩種的題目叫 binary classification(二元分類)。模型輸出 0 到 1 之間的數字,叫機率(probability):越接近 1,越有把握會發生。
「如果是分類的問題 假設你有兩個類別 那你就希望類神經網路給你兩個數字 那每一個數字就代表 那個類別的信心分數」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係PYMK 每一對人都問一次「會不會連上」。把小安和每個候選人的機率算出來,由高排到低,清單就排好了。
原書Pointwise LTR · Figure 11.3、11.4
做法一:一次只看兩個人,猜他們會不會連上
這一步要解決要排名次,最直覺的做法是什麼?它少看了什麼?
📖 原書 Pointwise LTR
把 PYMK 當成排名問題,用 pointwise LTR 排使用者。做法是一個二元分類模型:輸入兩個使用者,輸出這一對形成連結的機率(圖上是 0.71)。
📖 原書 主要缺點
模型的輸入只有兩個獨立的使用者,沒有考慮社交環境(social context)。這樣比較簡單,但少了「他們各自的朋友是誰」,預測可能比較不準。
你猜猜看:只給模型看「小安」和「小玉」兩個人的資料,它看不到哪一個線索?
年齡、學校都是「一個人自己」的資料。共同朋友要看兩人周圍的線才知道,正是 pointwise 少看的社交環境。
原書Social context · Figure 11.5
同樣是 A 和 B,周圍的線不一樣,答案就不一樣
這一步要解決「社交環境」到底提供了什麼線索?
你猜猜看:哪個情境裡,A 和 B 比較可能成為朋友?
情境 1 有 4 個共同朋友,朋友之間也互相認識;情境 2 一個共同朋友都沒有。只看 A、B 兩人的資料,兩個情境一模一樣,pointwise 分不出來。
📖 原書 看一跳鄰居(one-hop neighborhood)
- 情境 1:A 和 B 各有 4 個共同連結(C、D、E、F),C、D、E、F 之間也有連結
- 情境 2:A 和 B 各只有 2 個朋友,而且 A 的朋友和 B 的朋友之間沒有任何連結
看一跳鄰居,你會預期情境 1 比較可能連上。實務上甚至可以看二跳、三跳鄰居,從社交環境擷取更多資訊。
延伸基礎第 4 階 · 猜一條線 · 懂的人可以跳到第 13 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
同一張圖,可以問三種不同大小的問題
班導看著那張好朋友白板,可以問:「這班感情好不好?」(問整張)、「阿凱是不是被排擠?」(問一個人)、「小安和小玉會不會變好朋友?」(問一對)。
你猜猜看:「這個帳號是不是垃圾帳號?」是在問哪一種?
垃圾帳號是「一個人」的屬性,所以是問一個點。原書就是用這個當「問一個點」的例子。
問「一對點之間會不會有線」,叫 edge-level prediction,也叫 link prediction(連結預測)。問整張、問一個點的英文名字,下一頁原書會給。
④ 跟這章的關係PYMK 是 edge-level:猜小安和小玉之間,會不會長出一條線。原書的第二種做法就叫 edge prediction(第 14 頁)。
原書Graphs · Figure 11.6
原書:graph 怎麼存關係,可以在上面做哪些預測
這一步要解決講第二種做法之前,先搞懂 graph 這種資料。
📖 原書 Graph
一般來說,graph 表示一群實體(nodes)之間的關係(edges)。整個社交環境都可以畫成一張 graph:每個 node 是一個使用者,兩個 node 之間的 edge 代表兩人已經連上。右邊是一張 4 個 node、3 條 edge 的簡單 graph。
📖 原書 在 graph 上的三種預測
- Graph-level:例如給一個化合物的 graph,預測它是不是酵素
- Node-level:例如給一張社群網路 graph,預測某個使用者(node)是不是垃圾帳號
- Edge-level:預測兩個 node 之間有沒有 edge。例如給社群網路 graph,預測兩個使用者會不會連上
線沒有箭頭:1 連到 4,4 也連到 1。這跟需求裡的「友誼是對稱的」一致。
你猜猜看:這張圖裡,node 2 和 node 4 之間有 edge 嗎?
2–3、3–4 有線,2–4 沒有。node 3 就是它們的「共同朋友」。原書第 26 頁就要猜 2 和 4 之間會不會長出線。
原書Edge prediction · Figure 11.7
做法二:把整張社交圖也交給模型
這一步要解決pointwise 少看了社交環境。那就把圖也當成輸入。
📖 原書 Edge prediction
這個做法替模型補上 graph 的資訊,讓模型可以依靠從社交圖擷取的額外知識,預測兩個 node 之間有沒有 edge。
更正式地說:模型以整張社交圖為輸入,預測兩個特定 node 之間存在 edge 的機率。要替使用者 A 排潛在連結,就計算 A 和其他使用者之間的 edge 機率,用機率當排名的依據。
除了模型平常用的特徵,它還依靠從社交圖擷取的額外知識。
兩種做法,差在哪裡
| Pointwise LTR | Edge prediction | |
|---|---|---|
| 輸入 | 兩個使用者 | 整張社交圖 + 指定的兩個 node |
| 輸出 | 兩人連上的機率(都是二元分類) | |
| 社交環境 | 沒看到 | 看得到 |
原書接下來用 edge prediction。
小結第 1–4 階:題目怎麼出
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
到這裡你已經會了
- 關係可以畫成 graph人是 node,已經連上的兩人之間有 edge;友誼是雙向的(第 6 頁)
- 新朋友多半是朋友的朋友走兩步會到的人叫 FoF,中間經過幾個人,就是幾個共同朋友(第 7 頁)
- PYMK = 在圖上猜一條線每一對人回答「會不會連上」的機率(二元分類),看整張圖的做法叫 edge prediction(第 9、14 頁)
小安的朋友圈,現在走到哪裡
- 圖7 個 node、10 條 edge
- 候選小安的 FoF:小玉、阿凱、老王
- 題目小安–小玉、小安–阿凱、小安–老王,各會不會長出 edge?
- 輸出三個機率,由高排到低
下一階要解決:模型只吃數字。「小安」「小玉」「他們的關係」,要怎麼變成數字?
原書Data Preparation · Data engineering · Table 11.1、11.2
手上有三種原始資料:使用者、連結、互動
這一步要解決模型要吃數字之前,先看看倉庫裡有什麼。同一件事寫法不同,要先統一。
📖 原書 Users:教育背景(Table 11.1)
除了人口統計資料,還有學歷、工作經歷、技能等。工作經歷、技能可能也有類似的表。
| User ID | School | Degree | Major | Start date | End date |
|---|---|---|---|---|---|
| 11 | Waterloo | M.Sc | Computer Science | August 2015 | May 2017 |
| 11 | Harvard | M.Sc | Physics | May 2004 | August 2006 |
| 11 | UCLA | Bachelors | Electrical Engineering | Sep 2022 | - |
📖 原書 Connections:連結(Table 11.2)
每一列是兩個使用者之間的一條連結,以及連上的時間(簡化版)。
| User ID 1 | User ID 2 | Timestamp when the connection was formed |
|---|---|---|
| 28 | 3 | 1658451341 |
| 7 | 39 | 1659281720 |
| 11 | 25 | 1659312942 |
📖 原書 同一個屬性,很多種寫法
「computer science」和「CS」意思一樣,文字卻不同。要在 data engineering 階段標準化,才不會把同一件事當成兩件事。原書列三種方法:
- 強迫使用者從預先定好的清單裡選
- 用 heuristics(經驗規則)把不同寫法歸成一組
- 用 ML 方法,例如 clustering(分群)或語言模型,把相似的屬性歸成一組
動手玩:五個人填的主修,其實是幾種?
原書Interactions · Table 11.3
第三種資料:大家在平台上做了什麼
這一步要解決除了「誰是誰」和「誰連了誰」,行為也是線索:誰看了誰的頁面、誰發了請求。
📖 原書 Interactions(Table 11.3)
| User ID | Interaction type | Interaction value | Timestamp |
|---|---|---|---|
| 11 | Connection request | user_id_8 | 1658450539 |
| 8 | Accepted connection | user_id_11 | 1658451341 |
| 11 | Comment | [user_id_4, Very insightful] | 1658451365 |
| 4 | Search | "Scott Belsky" | 1658435948 |
| 11 | Profile view | user_id_21 | 1658451849 |
互動有很多種:發連結請求、接受請求、追蹤別人、搜尋、瀏覽個人頁面、對貼文按讚或回應等。實務上可能存在不同的資料庫;原書為了簡單,放在同一張表。
你猜猜看:使用者 11 在 1658450539 發請求給 8,8 在 1658451341 接受。中間隔了多久?
1658451341 − 1658450539 = 802 秒,大約 13 分鐘。時間戳記是「秒數」,兩個相減就是隔了幾秒。
從表格到線索
- Connection request / Accepted:之後會變成標籤和線上指標(第 29、37 頁)
- Profile view:誰常去看誰的頁面,會變成一個特徵(第 20 頁)
- Comment、Search:誰對誰有興趣的間接線索
延伸基礎第 5 階 · 數字履歷 · 懂的人可以跳到第 19 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
模型只吃數字:每個人一列數字,每一對人也一列數字
媒人介紹對象,會先看兩種資料:「這個人」的條件(幾歲、做什麼),和「你們兩個」的交集(同校?共同朋友?見過幾次面?)。
你猜猜看:哪一個是「兩個人之間」才有的數字,一個人自己算不出來?
年齡和朋友數是小玉自己的;共同朋友數要同時看兩個人才算得出來,它屬於「那條線」。
描述一個東西的數字叫 feature(特徵)。描述一個人的叫 node feature,描述一對人的叫 edge feature。
「那把一個東西表示成一些數值 這些數值要當作函式的輸入 這些數值就叫做 Feature」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講
一個人:[年齡, 帳號幾年, 朋友數]
小安和他:[共同朋友, 同校, 同屆重疊年, 同公司, 看過頁面]
④ 跟這章的關係原書的特徵就分這兩類:user features(一個人,第 19 頁)和 user-user affinities(一對人,第 20 頁)。
原書Feature engineering · User features
一個人的數字履歷:四種 user features
這一步要解決要猜小安會跟誰連上,先描述小安這個人,和每個候選人這個人。
📖 原書 Demographics
年齡、性別、城市、國家等。使用者傾向跟人口統計相似的人連結。這類資料常有缺失值,處理方法見原書「Introduction and Overview」一章。
📖 原書 連結數、追蹤者數、追蹤中數、待處理請求數
使用者比較可能跟追蹤者或連結很多的人連結,而不是連結很少的人。
📖 原書 Account's age(帳號年齡)
剛建立的帳號比較不可靠。例如昨天才建立的帳號,比較可能是垃圾帳號,推薦給使用者不是好主意。
📖 原書 收到的反應數
一段時間內(例如一週)收到的讚、分享、留言總數。使用者傾向跟平台上比較活躍、收到比較多互動的人連結。
課堂上講用 graph 做分類時的假設:
「這是一個物以類聚的世界 也就是說 如果兩筆資料 他們長得很像 他們非常的接近 他們就應該屬於同樣的類別」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
對到小安的朋友圈:阿凱的帳號是昨天建的,原書的建議就是先別推他。第 18 頁左表的「帳號幾年 = 0」,就是在抓這件事。
原書Feature engineering · User-user affinities
一對人的數字履歷:教育與工作、社交
這一步要解決兩個人「有多親近」,是預測會不會連上最好的訊號。怎麼量?
📖 原書 Education and work affinity
- Schools in common:使用者傾向跟讀過同一所學校的人連結
- Contemporaries at school:在學校的重疊年份越多,越可能連結。例如想跟同時期讀 X 校的人連結
- Same major:是否同主修,是一個二元(0 或 1)特徵
- Number of companies in common:可能跟在同一家公司工作過的人連結
- Same industry:是否在同一個產業,二元特徵
📖 原書 Social affinity
- Profile visits:一個人看另一個人個人頁面的次數
- Number of connections in common(也就是 mutual connections,共同連結):共同連結越多,越可能連結。這是最重要的預測特徵之一(原書引 Facebook 的 PYMK 演講)
- Time discounted mutual connections:依共同連結存在多久來加權(下一頁)
你猜猜看:小安 2016–2020 讀山海大學,小玉 2018–2022 讀同一所。「同屆重疊年」是幾年?
兩人都在學校的是 2018 到 2020,重疊 2 年。同校但完全沒重疊,例如差了十屆,就不太可能在學校認識。
原書Time discounted mutual connections · Figure 11.8
都是 3 個共同朋友,最近才認識的那 3 個比較算數
這一步要解決共同朋友數一樣,什麼時候比較可能連上?
📖 原書 兩個情境
想判斷 B 是不是 A 的潛在連結。情境 1:A 的連結都是最近才建立的(3、6、18 天前)。情境 2:連結是很久以前建立的(311、256、839 天前)。
你猜猜看:哪個情境的 A,比較可能跟 B 連上?
原書:情境 1 的 A 人脈最近在長,所以比較可能跟 B 連上。情境 2 的 A 大概早就知道 B 了,卻一直沒連,可能是決定不連。
做法:每個共同朋友不再一律算 1,而是越久以前認識的,算得越少。左邊拉拉看「打對折」的速度。
延伸基礎第 6 階 · 傳話遊戲 · 懂的人可以跳到第 24 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
每個人只跟朋友講話,傳兩輪,就聽得到朋友的朋友
傳話遊戲:每一輪,每個人把自己知道的名字寫成紙條,傳給所有朋友。你只跟朋友講話,傳了兩輪,手上卻出現陌生人的名字。
你猜猜看:傳兩輪之後,小安手上「小玉」的紙條會有幾張?
阿哲、小美、大雄三個人第一輪都收到小玉的名字,第二輪各傳一張給小安:3 張。剛好等於共同朋友數。
跟鄰居交換訊息、再跟自己的合起來,叫 message passing。一層層這樣做的模型叫 GNN(graph neural network)。傳幾輪,就看得到幾步遠。
原書選 GNN,因為它能直接吃 graph:每個人的數字會混進朋友的數字,社交環境就進了模型(第 24 頁)。
講 attention 時,課堂上說:
「所以 attention 第一件做的事情 是找出輸入的 token 裡面 哪些 token 會影響……『果』這個 token 的意思 然後接下來把這些 token 的資訊 跟『果』這個 token 的資訊合在一起 你就會得到新的意思」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講
延伸基礎第 7 階 · 座標 · 懂的人可以跳到第 24 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
傳完話之後,每個人變成地圖上的一個位置
畢業旅行分房間:老師把每個人放在一張地圖上,越常混在一起的人,放得越近。分房時,看地圖上誰靠誰就好。
你猜猜看:小安在 [1, 1]、小玉在 [1.5, 0.5]、阿凱在 [1, −1]。誰離小安比較近?
小玉往右 0.5、往下 0.5;阿凱往下整整 2 格。右邊點點看,地圖上一眼就看得出來。
代表一個人的那一組數字,叫 embedding。一組數字可以想成地圖上的座標,也可以畫成一支箭頭。
「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講(講文字,人也同理)
④ 跟這章的關係原書的 GNN 輸出的就是每個人的 embedding(第 24 頁)。真正的 embedding 有幾十、幾百個數字,這裡只畫 2 個。
原書Model Development · GNNs · Figure 11.9
原書選 GNN:吃進一張圖,替每個人吐出一組數字
這一步要解決題目是 edge prediction,模型要能直接處理 graph。
用前兩階的話講:node 和 edge 上的屬性是「數字履歷」(第 18 頁),GNN 一層一層玩傳話遊戲(第 22 頁),最後每個人得到一個座標(第 23 頁)。
📖 原書 Model selection
前面把 PYMK 定成 edge prediction:模型吃社交圖,預測兩人之間存在 edge 的機率。要處理這個任務,就選一個能吃 graph 的模型。Graph neural networks(GNNs)就是為 graph 資料設計的。
📖 原書 GNNs
GNN 是可以直接用在 graph 上的類神經網路,能方便地做 graph-level、node-level、edge-level 預測。
GNN 的輸入是一張 graph,node 和 edge 都帶著屬性:node 可以存年齡、性別等;edge 可以存共同學校數、共同工作地點數、連上多久等。給定輸入圖和屬性,GNN 替每個 node 產生一個 node embedding。
延伸基礎第 8 階 · 同向打分 · 懂的人可以跳到第 26 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
兩組數字對應相乘再加起來,就是「合不合」的分數
兩人填興趣問卷:喜歡打 +1、討厭打 −1。同一題都 +1,加分;一個 +1 一個 −1,扣分。每題加總,就是「合不合」。
你猜猜看:小安是 [1, 1]、阿凱是 [1, −1]。對應相乘再加起來是多少?
1×1 + 1×(−1) = 0。一題合、一題不合,抵消了。分數 0 變成機率是 50%,像丟銅板。
對應相乘再加總,叫 dot product(內積):箭頭越同向、越長,分數越大。把任何分數壓進 0 到 1 的那條 S 形曲線,叫 sigmoid。
「那現在剩下主流的方法是最簡單的做法,就是直接算它們的 dot product (點積)。直接算這兩個向量的相似程度。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講
④ 跟這章的關係原書拿兩個 node embedding 算 dot product,預測兩人之間有沒有 edge(第 26 頁)。小安的清單就是:小玉 88%、老王 73%、阿凱 50%。
原書Figure 11.10 · GNN 家族
原書的例子:node 2 和 node 4 之間,會長出線嗎?
這一步要解決每個 node 有了 embedding,怎麼變成「兩人會連上」的機率?
📖 原書 用相似度預測
產生 node embedding 之後,用相似度量(例如 dot product)預測兩個 node 形成連結的可能性。例如計算 node 2 和 node 4 的 embedding 的 dot product,預測它們之間有沒有 edge。
📖 原書 GNN 家族
近年發展出很多以 GNN 為基礎的架構,例如 GCN、GraphSAGE、GAT、GIT。它們架構不同、複雜度也不同。哪一種最好,要做大量實驗才知道。想深入了解,原書推薦 Distill 的 GNN 介紹。
算出來 node 2 · node 4 = −0.81,經過 sigmoid 大約 31%:中間雖然隔著 node 3,但兩支箭頭方向差很多。換成 node 3 · node 4,分數就是正的。
小結第 5–8 階:模型怎麼算
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
到這裡你已經會了
- 人和關係都變成一列數字一個人的叫 node feature,一對人的叫 edge feature;共同朋友數是最重要的那一格(第 18、20 頁)
- GNN 就是傳話遊戲每一層跟鄰居交換數字;傳兩層,就看得到朋友的朋友,最後每人一組 embedding(第 22、23 頁)
- 兩組數字 → 一個機率dot product 打「合不合」的分數,sigmoid 壓成 0 到 1(第 25、26 頁)
小安的朋友圈,現在走到哪裡
- 履歷每個人、每一對人都有一列數字
- 傳話GNN 傳兩層,小安的數字混進了小玉的消息
- 座標小安 [1, 1]、小玉 [1.5, 0.5]、老王 [0.5, 0.5]、阿凱 [1, −1]
- 清單小玉 88% · 老王 73% · 阿凱 50%
下一階要解決:這些座標是怎麼學出來的?要先有「標準答案」,還要知道「猜錯扣幾分」。
原書Model training · Constructing the dataset · Figure 11.11–11.13
訓練資料:拿「上個月的圖」去猜「這個月長出的線」
這一步要解決GNN 要學,得先有題目和標準答案。題目和答案從哪裡來?
📖 原書 Model training
給模型時間 t 的社交圖快照,模型預測在 t+1 會形成的連結。建資料集分三步:
- 建立時間 t 的圖快照:GNN 的輸入是社交圖,就用手上的原始資料,拼出 t 那一刻的圖(Figure 11.11)
- 計算 node 和 edge 的初始特徵:擷取年齡、性別、帳號年齡、連結數等,當作 node 的初始特徵向量(Figure 11.12);擷取使用者之間的親和力,當作 edge 的初始特徵向量。例如 user 2 和 user 4 之間的 E2,4,記著共同連結數、個人頁瀏覽次數、共同學校的重疊時間等(Figure 11.13)
- 建立標籤:用 t+1 的圖快照決定正、負標籤(下一頁)
換成小安:t 是「上個月」的 7 人圖,t+1 是「這個月」。小安和小玉這個月連上了,那就是一題答案是「會」的考題。
原書Create labels · Choosing the loss · Figure 11.14、11.15
比對兩張快照:新長出來的線是「正」,沒長出來的是「負」
這一步要解決每一對還沒連上的人,標準答案是什麼?
📖 原書 Create labels
用 t+1 的圖快照決定標籤:一對 node 在 t+1 連上了,標成正標籤(positive);否則標成負標籤(negative)。
你猜猜看:小安的 7 人圖,上個月有 11 對人還沒連上,這個月長出 2 條新線。有幾個負標籤?
11 對裡,連上的 2 對(小安–小玉、阿哲–大雄)是正,剩下 11 − 2 = 9 對是負。負的比正的多很多,第 31 頁會回來談。
📖 原書 Choosing the loss function
輸入圖和標籤都建好,就可以訓練 GNN。原書說:GNN 訓練怎麼運作、該用哪種 loss,超出本書範圍,請看參考資料 [7]。
本簡報補一個最常見的選擇:每一對都是二選一,用下一頁的 binary cross-entropy。
延伸基礎第 9 階 · 驚訝分數 · 懂的人可以跳到第 31 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
猜錯不只要扣分,越有把握地猜錯,扣得越重
朋友說「明天 99% 不會下雨」,結果下大雨,你很驚訝。他說「50% 會下」,下雨了你一點都不意外。說得越肯定、錯得越離譜,越該被罵。
你猜猜看:小安和小玉後來連上了。模型事前說的哪一個機率,最該被重罰?
它幾乎打包票說不會,結果會了。正確答案只拿到 1% 的機率,最驚訝、最該重罰。右邊拉到 0.01 看看。
看「正確答案拿到多少機率」來扣分的 loss,叫 cross-entropy;答案只有二選一時叫 binary cross-entropy(BCE)。
「這兩個機率分布越接近 那這個 Loss 算出來呢就會越小」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係第 29 頁的每一對都是一題二選一:正的要猜高、負的要猜低。訓練就是轉動 GNN 的旋鈕,讓所有題目的驚訝分數平均起來越小越好。
延伸基礎第 10 階 · 超多沒加 · 懂的人可以跳到第 32 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
10 億人裡,你下個月會加的人只有幾個。「全部猜不會」就 99 分?
一個偷懶的氣象主播,在沙漠城市每天都說「明天不會下雨」。一年只下 3 天雨,他的「準確率」超過 99%。可是他從來沒預報對過任何一場雨。
你猜猜看:100 對人裡只有 1 對會連上。一個永遠說「不會」的模型,準確率是多少?
99 對「不會」都猜對了,只錯 1 對:99%。看起來很厲害,其實一個朋友都推薦不出來。
正例少、負例超多,叫 class imbalance(類別不平衡)。常見對策:只抽一部分負例來訓練,叫 negative sampling;或讓正例答錯時扣更多分。
④ 跟這章的關係第 29 頁的 7 人圖就有 9 個負、2 個正。所以不能用準確率打分;原書用的是 ROC-AUC 和 mAP(下兩頁)。
延伸基礎第 11 階 · 兩兩比賽 · 懂的人可以跳到第 34 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
不看「猜對幾題」,看「真的連上的,分數有沒有比較高」
選秀評審要證明眼光好:從「後來紅了」和「沒紅」的歌手裡各抽一位,看當初是不是給紅的那位比較高分。抽很多次,算贏的比例。
你猜猜看:一個完全亂給分的評審,這樣比下去,贏的比例大約是多少?
亂給分像丟銅板,一半對一半錯:0.5。所以 0.5 是及格線,1 是滿分。
每個「正」跟每個「負」比一次,正的分數比較高的比例,就是 ROC-AUC。它只看排得對不對,不管門檻,也不怕負例超多。
「但是雖然我們在訓練的時候 用 Cross-Entropy 但是你最後在做驗證跟測試的時候 你仍然會用 Accuracy 因為 Accuracy 才是你真正關心的東西」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係原書說 GNN 預測的是「有沒有 edge」,就當成二元分類模型,用 ROC-AUC 打分數(第 34 頁)。
延伸基礎第 12 階 · 排名分數 · 懂的人可以跳到第 34 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
推薦清單好不好:真的會加的人,有沒有排在前面?
同一份清單,好朋友排第 1 名,你一打開就看到;排第 3 名,你要滑一下;排第 50 名,你根本不會看到。同樣「有推到」,價值不一樣。
你猜猜看:清單只有一個人是對的,排在第 2 名。「看到他時,前面有幾成是對的」?
看到第 2 名時,看過 2 個、對 1 個:1 ÷ 2 = 50%。排越後面,這個比例越低。
每遇到一個對的人,就記下「到這裡為止對幾成」,再平均,叫 AP。很多使用者的 AP 再平均,叫 mAP(mean average precision)。
④ 跟這章的關係原書說:使用者對推薦的人只有「連」或「不連」兩種反應,因為這種二元性,整個 PYMK 系統用 mAP 打分數(第 34 頁)。
原書Evaluation · Offline metrics
離線考兩科:模型考 ROC-AUC,整個系統考 mAP
這一步要解決上線之前,拿歷史資料先考一次。要考什麼?
📖 原書 Offline metrics
離線評估時,要評估 GNN 模型和整個 PYMK 系統兩者的表現。
📖 原書 GNN model → ROC-AUC
GNN 預測 edge 存不存在,可以把它當成一個二元分類模型,用 ROC-AUC 衡量表現(第 32 頁)。
📖 原書 PYMK system → mAP
前幾章已經詳細討論過排名與推薦系統的離線指標,這裡不再細講。在這個系統裡,使用者對推薦的連結不是連就是捨棄。因為這個二元性(連或不連),mAP 是好的選擇(第 33 頁)。
你猜猜看:GNN 的 ROC-AUC 很高,PYMK 系統的 mAP 卻很低。最可能是哪裡出問題?
模型只負責「一對一對打分」。如果候選人裡根本沒有對的人(例如只看 FoF),或排序時又被別的規則改掉,清單還是不好。兩科分開考,就是為了找出問題在哪一段。
「我們不要過度相信 Evaluation 的分數」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講
離線分數考的是「歷史資料裡猜得準不準」。使用者真的會不會按下連結,要上線才知道(第 37 頁)。
小結第 9–12 階:怎麼教、怎麼考
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
到這裡你已經會了
- 考題來自兩張快照t 的圖當題目,t+1 新長出的線是正、沒長出的是負;猜錯時用 BCE 扣分(第 29、30 頁)
- 負例多到誇張「全部猜不會」準確率也有 99%,所以要負例抽樣,也不能用準確率打分(第 31 頁)
- 離線考兩科模型看 ROC-AUC(兩兩比賽),系統看 mAP(對的人有沒有排前面)(第 32、33、34 頁)
小安的朋友圈,現在走到哪裡
- 考題11 對沒連上的人:2 正、9 負
- 扣分小安–小玉猜 88%,驚訝分數很小
- AUC6 場比賽贏 5 場 ≈ 0.83
- mAP小安 1、阿哲 0.5,平均 0.75
下一階要解決:離線分數好看,上線之後要看什麼?而且 10 億人,每個人都要算一次,怎麼算得完?
延伸基礎第 13 階 · 送出·接受 · 懂的人可以跳到第 37 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
發出去的邀請很多,不代表交到的朋友很多
辦生日派對,你在群組裡發了 200 張邀請,只來了 6 個人。另一位朋友只私訊邀了 20 個人,來了 15 個。誰的派對比較熱鬧?
你猜猜看:版本 A 讓大家送出 1,000 個請求、5% 被接受;版本 B 送出 600 個、15% 被接受。哪個版本讓大家多交到朋友?
A:1,000 × 5% = 50 個新朋友。B:600 × 15% = 90 個。送出的少,交到的卻多。
上線之後,在真實使用者身上量的數字,叫 online metrics(線上指標)。「被接受幾成」叫 acceptance rate(接受率)。
④ 跟這章的關係需求說連結要對方接受才成立(第 5 頁)。所以原書的兩個線上指標:送出的請求數,和被接受的請求數(下一頁)。
原書Evaluation · Online metrics
原書的兩個線上指標:送出的請求數 → 被接受的請求數
這一步要解決實務上要追蹤很多線上指標。哪兩個最重要?各有什麼缺點?
📖 原書 ① 過去 X 天送出的連結請求總數
幫助我們了解模型讓連結請求變多還是變少。例如新模型讓送出的請求總數增加 5%,可以推斷模型對商業目標有正面影響。
重大缺點:新連結要等對方接受才成立。一個人可能送出 1,000 個請求,對方只接受一小部分。這個指標可能沒辦法正確反映人脈真正的成長。
📖 原書 ② 過去 X 天被接受的連結請求總數
新連結只有在對方接受時才成立,所以這個指標準確反映使用者人脈真正的成長。用它來補第一個指標的缺點。
你猜猜看:如果團隊只拿「送出的請求數」當 KPI 拚命衝,系統最可能變成什麼樣?
送出數很容易灌:推一堆「按一下就送出」的人就好。被接受數才灌不了,因為對方要真的願意。
「Goodhart's Law 講的就是 如果一個評量的指標 它被當作我們要努力的 optimize 的目標的話 它就不再是一個好的指標」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講
原書Serving · Efficiency · Utilizing FoF · Figure 11.16
10 億人逐一比對太慢了:先只看朋友的朋友
這一步要解決每個人都要跟 10 億個 embedding 比一次,而且每個人都要做。怎麼辦呢?
你猜猜看:只看 FoF,會漏掉哪一種人?
FoF 只沿著線走。沒有任何共同朋友的人,就算同校同屆,也不在候選裡。那是 92% 以外的 8%。剛註冊、0 個朋友的新人更慘,第 45 頁再談。
📖 原書 Efficiency
平台有 10 億使用者,表示替一個人找潛在連結,就要排過 10 億個 embedding。更麻煩的是,每個人都要跑一次。在這個規模下不切實際。常見兩招:① 利用 FoF ② 預先計算 PYMK(第 39 頁)。
📖 原書 Utilizing FoF
根據 Meta 的研究,92% 的新友誼是透過 FoF 形成的。這招用使用者的 FoF 縮小搜尋範圍。平均每人 1,000 個朋友,所以平均有 100 萬(1000 × 1000)個 FoF,搜尋範圍從 10 億縮到 100 萬。
延伸基礎第 14 階 · 先算好 · 懂的人可以跳到第 40 頁
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
現點現做,還是先做好放著?
早餐店有兩種做法:客人點了才做,要等 10 分鐘;或是一早先做好 100 份放保溫箱,客人一到就拿。可是今天只來了 20 個客人。
你猜猜看:先做好 100 份,只來了 20 個客人。白做了幾成?
100 份只賣出 20 份,80 份白做:80%。原書用的就是這組數字:每天只有 20% 的使用者登入。
使用者來了才當場算,叫 online prediction(線上預測);事先替大家算好存起來,叫 batch prediction(批次預測)。
④ 跟這章的關係原書選批次預測(第 40 頁),並建議只替活躍使用者先算,省掉白算的那一大塊(第 42 頁)。
原書Pre-compute PYMK · Online vs. batch · Figure 11.17、11.18
原書選批次預測:3 億人當場算太慢,而且朋友圈不太會變
這一步要解決線上預測和批次預測,PYMK 該選哪一個?
| Online prediction | Batch prediction | |
|---|---|---|
| 什麼時候算 | 使用者載入首頁時,即時產生 | 事先替所有使用者算好,存進資料庫 |
| 好處 | 不替不活躍的人算 | 使用者看來是瞬間出現 |
| 壞處 | 算太久,使用者體驗差 | 可能白算:每天只有 20% 登入,就有 80% 白算 |
📖 原書 選哪一個?批次,兩個理由
- 需求說每日活躍有 3 億人。3 億人都當場算,可能太慢,影響使用者體驗
- PYMK 的社交圖變化不快,算好的推薦可以用很久。例如保存 7 天再重算;新使用者人脈長得快,可以縮短成例如 1 天
📖 原書 不要一直推同一批人
使用者可能不想反覆看到同樣的推薦。做法:預先算比需要更多的連結,只顯示使用者還沒看過的。
原書ML system design · Figure 11.19
整個系統:一條管線半夜算好,一條管線白天取貨
📖 原書 PYMK generation pipeline:替所有使用者產生 PYMK,結果存進資料庫。
📖 原書 Prediction pipeline:請求進來時,從資料庫取出這個人的 PYMK。
原書PYMK generation pipeline · Prediction pipeline · Figure 11.20、11.21
拆開來看:FoF 圈候選 → GNN 打分排名 → 存起來等人來拿
這一步要解決兩條管線裡,每個元件各做什麼?面試官要你優化,還能改哪裡?
換成小安:FoF service 吐出小玉、阿凱、老王;scoring service 打分後排成「小玉 0.88、老王 0.73、阿凱 0.50」,存進資料庫。
📖 原書 兩條管線
- FoF service:針對一個使用者,把範圍縮小成候選連結(2-hop 鄰居)
- Scoring service:拿 FoF 的候選,用 GNN 替每一個打分,產生排好名次的 PYMK,存進資料庫。使用者發出請求時,直接從資料庫拉出他的清單
- Prediction pipeline:請求進來,PYMK service 先查預先算好的 PYMK。有就直接取;沒有就向 generation pipeline 發一次性的請求
📖 原書 這是簡化版。被要求優化時可以談:
- 只替活躍使用者預先算 PYMK
- 先用輕量的 ranker 把候選縮小,再交給 scoring service 打分
- 用 re-ranking service 替最後的清單增加多樣性
小結第 13–14 階:怎麼上線
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
到這裡你已經會了
- 上線看「被接受」送出數會被灌水,被接受數才代表人脈真的長了(第 36、37 頁)
- 先縮小、再先算好只看 FoF,10 億變 100 萬;朋友圈不太變,所以批次算好存 7 天(第 38、40 頁)
- 兩條管線generation:FoF → GNN 打分 → 存資料庫;prediction:有就取、沒有就臨時算一次(第 41、42 頁)
小安打開 App 的那一刻
- 昨晚FoF service 圈出小玉、阿凱、老王
- 打分GNN:小玉 0.88、老王 0.73、阿凱 0.50
- 存好Pre-computed PYMK,保存 7 天
- 今天PYMK service 直接取出,小安看到小玉排第一
接下來:原書的其他討論點,以及這個方法的限制、2026 年的演進。
原書Other Talking Points
面試還有時間,可能會被問到這些
📖 原書 如果時間允許
- Personalized random walk:另一種常用的推薦方法。因為很有效率,適合拿來當 baseline(比較基準)
- Bias issue:常用的人在訓練資料裡的比例比偶爾用的人高,模型可能偏向某些族群。例如常用的人被推薦給別人的比例比較高,於是連結更多,在訓練資料裡的比例又更高
- 使用者一再忽略某些推薦,未來重新排序時要怎麼考慮?理想上,被忽略的推薦應該排得比較低
- 推薦之後,使用者可能過幾天、幾週才送出請求。那什麼時候該把一個推薦標成負的?推薦系統怎麼處理 delayed feedback(延遲回饋)?
每一題回到今天的哪一頁
- Random walk → 第 22 頁的傳話遊戲是「每輪傳給所有朋友」;random walk 是「每一步隨機挑一個朋友走」,走很多次,常被走到的人就推薦
- Bias → 第 19 頁「連結多的人比較容易被連」,第 45 頁動手看富者越富
- 被忽略的推薦 → 第 40 頁「只顯示沒看過的」再往前一步:看過但沒按的,降分
- Delayed feedback → 第 29 頁的 t+1 要選多久:選太短,晚一點才加的會被誤標成負
📅 2026 補充方法的限制 · 動手看富者越富
推薦會改變那張圖:今天推誰,明天誰的線就多
這一步要解決PYMK 不只是預測圖,它也在改變圖。這會帶來什麼問題?
動手玩:每一輪只推「目前朋友最多的前 3 名」
限制一:富者越富
原書的 bias issue。推薦會回頭改變訓練資料:被推得多的人線越多,下一輪又被推得更多。原書參考資料 [9] 是 LinkedIn 談 PYMK 公平性的文章;re-ranking 加多樣性是常見解法。
你猜猜看:剛註冊、一個朋友都沒有的新人,FoF service 會給他幾個候選?
沒有朋友,就沒有朋友的朋友。只靠 FoF 的系統,對新人完全沒輒,要另外用學校、公司、通訊錄等線索找候選。
限制二:新人沒有朋友的朋友
FoF 和 GNN 都靠「已經有的線」。新使用者是最需要推薦、卻最難推薦的人(cold start)。
限制三:推薦本身會洩漏關係
「你可能認識」等於在說「你們圈子有交集」。不想公開的關係,可能被一張推薦卡透露出來。哪些訊號能拿來推薦,要先想清楚。
📅 2026 補充方法怎麼演進
原書之後,這幾個零件換了做法
這一步要解決10 億個 node 的圖,GNN 真的跑得動嗎?候選只看 FoF 夠嗎?
大圖上的 GNN:只抽一部分鄰居
一個人有 1,000 個朋友,傳兩層就是 100 萬人。原書提到的 GraphSAGE(2017)每層只抽樣固定幾個鄰居;Pinterest 的 PinSage(2018)用隨機漫步挑「最重要的鄰居」,把 GNN 用在數十億個 node 的圖上。
候選不只 FoF:用 embedding 找最近的人
每個人都有 embedding,就可以直接找「座標最近的人」,把同校、同公司但沒有共同朋友的人也找回來。10 億個座標裡找最近的,要用近似最近鄰搜尋(ANN),例如 FAISS(2017)。
新人不再完全沒輒
GraphSAGE 這類方法是學「怎麼從鄰居和自己的 feature 算出 embedding」,不是背每個人的座標。所以新加入、朋友還很少的人,只要有學校、公司這些 feature,也算得出 embedding。
從「猜得準」到「對大家公平」
原書參考資料 [9](LinkedIn,2021)談的就是讓人脈的機會分配得更公平,而不只追求被接受數最大。上一頁的富者越富,是這類工作要處理的問題。
回顧14 階全部爬完
- 點和線
- 朋友的朋友
- 二選一
- 猜一條線
- 數字履歷
- 傳話遊戲
- 座標
- 同向打分
- 驚訝分數
- 超多沒加
- 兩兩比賽
- 排名分數
- 送出·接受
- 先算好
PYMK 其實就是:把關係畫成圖,跟鄰居傳話傳兩輪,替朋友的朋友打分,先算好放著而已。
題目怎麼出
社交環境是一張 graph。PYMK 是 edge prediction:每一對人二選一,輸出會連上的機率,再排名次。
模型怎麼算
node feature 和 edge feature(共同朋友最重要,最近認識的更算數)→ GNN 跟鄰居傳話 → 每人一組 embedding → dot product + sigmoid。
怎麼教、怎麼考
t 的圖當題目、t+1 新長的線當正例;負例超多要抽樣;模型考 ROC-AUC,系統考 mAP,上線看被接受的請求數。
怎麼天天跑
只看 FoF,10 億變 100 萬;朋友圈不太變,所以批次算好存 7 天;有就取、沒有就臨時算。
你朋友的朋友,就是你下一個朋友。然後呢?然後就結束了。
名詞小卡課後複習用 · 每個詞一行白話
本章名詞小卡
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| PYMK | People You May Know,你可能認識的人 | 第 3 頁 |
| graph | 用點和線畫出「誰跟誰有關係」的圖 | 第 6 頁 |
| node / edge | 圖上的點(一個人)/線(一段關係) | 第 6、13 頁 |
| 1-hop / 2-hop | 走一步會到的人/走兩步會到的人 | 第 7 頁 |
| FoF | friends of friends,朋友的朋友 | 第 7 頁 |
| mutual connections | 共同朋友;最重要的特徵之一 | 第 20 頁 |
| binary classification | 答案只有兩種的題目,輸出一個機率 | 第 9 頁 |
| pointwise LTR | 一次只看兩個人打分,再拿分數排名 | 第 10 頁 |
| graph / node / edge-level | 問整張圖/問一個點/問一對點之間有沒有線 | 第 13 頁 |
| edge (link) prediction | 猜兩個點之間會不會長出線;PYMK 用這個 | 第 12、14 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| feature | 描述一個東西的數字 | 第 18 頁 |
| node / edge feature | 描述一個人/描述一對人的數字 | 第 18 頁 |
| user-user affinity | 兩人有多親近:同校、同公司、看過頁面、共同朋友 | 第 20 頁 |
| time discount | 越久以前認識的共同朋友,算得越少 | 第 21 頁 |
| message passing | 跟鄰居交換數字,再跟自己的合在一起 | 第 22 頁 |
| GNN | 一層一層做 message passing 的模型 | 第 22、24 頁 |
| embedding | 代表一個人的一組數字,像地圖座標 | 第 23 頁 |
| dot product | 對應相乘再加總;越同向分數越高 | 第 25 頁 |
| sigmoid | 把任何分數壓進 0 到 1 的 S 形曲線 | 第 25 頁 |
| GCN / GraphSAGE / GAT | 幾種 GNN 架構;哪個好要實驗 | 第 26 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| snapshot t / t+1 | 某一刻的整張圖;拿 t 當題目、t+1 對答案 | 第 28 頁 |
| positive / negative label | t+1 長出線的一對/沒長出線的一對 | 第 29 頁 |
| BCE | binary cross-entropy;越有把握地猜錯扣越多 | 第 30 頁 |
| class imbalance | 正例很少、負例超多 | 第 31 頁 |
| negative sampling | 只抽一部分負例來訓練 | 第 31 頁 |
| ROC-AUC | 每個正例跟每個負例比,正的分數比較高的比例 | 第 32 頁 |
| AP / mAP | 對的人有沒有排前面/很多人的 AP 平均 | 第 33 頁 |
| offline metrics | 上線前用歷史資料考的分數 | 第 34 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| online metrics | 上線後在真實使用者身上量的數字 | 第 36 頁 |
| requests sent / accepted | 送出的連結請求數/被接受的連結請求數 | 第 37 頁 |
| online prediction | 使用者來了才當場算 | 第 39 頁 |
| batch prediction | 事先替大家算好存起來 | 第 39、40 頁 |
| FoF service | 替一個人圈出朋友的朋友當候選 | 第 42 頁 |
| scoring service | 用 GNN 替候選打分、排名 | 第 42 頁 |
| re-ranking | 最後再排一次,例如加入多樣性 | 第 42、45 頁 |
| delayed feedback | 使用者過幾天才回應,標籤要等多久 | 第 44 頁 |
| cold start | 新人沒有線,FoF 和 GNN 都很難推薦 | 第 45 頁 |
忘了哪個詞,就回到右邊那一頁,四步再走一次。
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Machine Learning System Design Interview · People You May Know 章。Introduction 與 Figure 11.1(第 3 頁)、Clarifying Requirements(5)、ML objective、input/output 與 Figure 11.2(8)、Pointwise LTR 與 Figure 11.3–11.4(10)、one-hop 情境與 Figure 11.5(11)、graph 與三種預測、Figure 11.6(13)、Edge prediction 與 Figure 11.7(14)、Data engineering 與 Table 11.1–11.2(16)、Interactions 與 Table 11.3(17)、User features(19)、User-user affinities(20)、Time discounted mutual connections 與 Figure 11.8(21)、Model selection、GNNs 與 Figure 11.9(24)、Figure 11.10 與 GNN 架構(26)、Model training 與 Figure 11.11–11.13(28)、Create labels、loss 與 Figure 11.14–11.15(29)、Offline metrics(34)、Online metrics(37)、Efficiency、FoF 與 Figure 11.16(38)、Online vs. batch 與 Figure 11.17–11.18(40)、ML system design 與 Figure 11.19(41)、兩條 pipeline、優化點與 Figure 11.20–11.21(42)、Other Talking Points(44)。21 張圖全部依圖說與描述重繪,不是原圖;Figure 11.2 方塊名依圖說寫 PYMK;11.10、11.14、11.18、11.19、11.21 的箭頭或新邊依內文整理
本簡報加的頁面:開場互動(2)、概念階梯(4)、14 個延伸基礎(6、7、9、12、18、22、23、25、30、31、32、33、36、39)、小結(15、27、35、43)、方法限制(45)、2026 補充(46)、名詞小卡(48)。小安的朋友圈、所有特徵值、座標、分數、比例都是示意
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 3 講(解剖大型語言模型)— 意思相近的 Token 有相近的 Embedding、attention 把相關 token 的資訊合在一起、直接算 dot product
- 同 · 第 4 講(評估的各種坑)— 不要過度相信 Evaluation 的分數、Goodhart's Law
- 同 · 第 5 講(機器學習基本原理)— Feature 的定義
- 同 · 第 6 講(訓練類神經網路的訣竅)— 建立成 Graph、物以類聚、兩個類別的信心分數、Cross-Entropy、訓練用 Cross-Entropy 測試用 Accuracy
- 生成式AI時代下的機器學習 2025 · 第九講 — sigmoid(備註)
來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。逐字稿:raw/youtube/transcripts/8iFvM7WUUs8.md、dWQVY_h0YXU.md、Taj1eHmZyWw.md、mPWvAN4hzzY.md、s266BzGNKKc.md
📅 依據
- GraphSAGE(NeurIPS 2017)、PinSage(KDD 2018)、FAISS(2017)、LinkedIn PYMK equity(2021,原書 [9])
- Triton:本章無出處,不放客座卡
公式(主文用文字講過)
- mutual(u, v) = |N(u) ∩ N(v)| = (A²)uv(A 為鄰接矩陣)
- FoF(u) = N(N(u)) \ (N(u) ∪ {u});|FoF| ≤ d²
- 時間折扣(示意):Σw∈N(u)∩N(v) 0.5Δtw/H
- message passing:hv(k) = σ(W · [hv(k−1) ‖ AGGu∈N(v) hu(k−1)]);k 層 ⇒ k-hop
- p(u, v) = σ(zu · zv),σ(s) = 1 / (1 + e−s)
- BCE = −(1/N) Σ [y log p + (1−y) log(1−p)](主文以 log₁₀ 示意)
- ROC-AUC = P(score+ > score−) = 勝場 / (n+ · n−)
- AP = (1/|R|) Σk: rel(k)=1 precision@k;mAP = 對使用者平均
- batch 浪費 = 1 − (DAU ÷ 預算人數)