ML System Design · 第 11 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無(本章沒有 Triton 客座卡)

People You May Know
其實就是:在朋友的朋友裡面,猜誰會連上線而已

你打開 LinkedIn 或 Facebook,旁邊總有一排「你可能認識的人」。有時候準到有點嚇人。原書用這個題目,把「在一張關係圖上做預測」從頭到尾講一遍。

今天的路線

需求 → 一邊爬 14 階基礎、一邊對照原書(第 4 頁的階梯):關係怎麼畫成圖 → 人怎麼變成數字 → 模型怎麼算出機率 → 怎麼教、怎麼考 → 10 億人怎麼算得完 → 方法的限制與 2026 年的變化。全程只用小安的 7 人朋友圈。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 延伸基礎

標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。這一章的 infra 沒有 Triton 的出處,所以沒有客座卡。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。小安和他的朋友都是虛構人物。

先講跟你有關的動手玩 · 你來當推薦系統

小安的手機上,只放得下一張推薦卡。你要放誰?

先憑感覺點一張卡。點完,下面會畫出他們跟小安的關係。

你可能會想說,這有什麼難?挑一個小安認識的人就好了嘛。問題是,小安還不認識他們。你只能從「他們跟誰認識」去猜。

你看,三張卡長得一模一樣,資料卻完全不一樣:小玉跟小安有 3 個共同朋友,阿凱和老王各只有 1 個。人一看圖就知道要推誰。電腦呢?

今天整堂課只在回答四個問題:關係怎麼變成資料?(圖)機率怎麼算出來?(模型)算得好不好?(評估)最後再加一個:10 億人,怎麼算得完?(系統)

原書Introduction · Figure 11.1

原書的開場:一份「你可能想連結的人」清單

📖 原書 Figure 11.1The PYMK feature(原圖是介面示意圖;依原書內容重繪)

📖 原書 PYMK 是一份清單,根據你們的共同點(例如共同朋友、學校、工作地點),推薦你可能想連結的使用者。Facebook、LinkedIn、Twitter 等社群網路都用 ML 驅動這個功能。本章要設計一個類似 LinkedIn 的 PYMK:輸入一個使用者,輸出一份潛在連結的清單。

原書這一章的路線

  1. Clarifying requirements(第 5 頁)
  2. Frame the problem as an ML task(第 8–14 頁)
  3. Data preparation(第 16–21 頁)
  4. Model development(第 24–29 頁)
  5. Evaluation(第 34、37 頁)
  6. Serving(第 38–42 頁)
  7. Other talking points(第 44 頁)

英文縮寫先記一個:PYMK = People You May Know,你可能認識的人。後面的英文名詞,等爬到那一階才給。

學習地圖今天要爬的 14 階 · 每一階只用前面學過的東西

一階一階往上爬,不跳階

  1. 1點和線關係怎麼畫下來?
  2. 2朋友的朋友走兩步會到誰?
  3. 3二選一答案只有會、不會
  4. 4猜一條線猜點、猜線、猜整張
  5. 5數字履歷人和關係變數字
  6. 6傳話遊戲聽聽鄰居怎麼說
  7. 7座標每個人一個位置
  8. 8同向打分分數變機率
  9. 9驚訝分數猜錯扣幾分?
  10. 10超多沒加九成九都是「不」
  11. 11兩兩比賽排得對不對?
  12. 12排名分數好的有沒有排前面
  13. 13送出·接受上線後看什麼?
  14. 14先算好10 億人怎麼算完

題目怎麼出 模型怎麼算 怎麼教、怎麼考 怎麼上線 英文名字等爬到那一階才給。

整堂課只用一個朋友圈

小安的朋友:阿哲、小美、大雄。朋友的朋友:小玉(3 個共同朋友)、阿凱、老王(各 1 個)。總共 7 個人、10 條線,可以心算。

每一階都走四步

① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。

每爬幾階就停一下

「到這裡你已經會了」:第 15、27、35、43 頁。最後還有名詞小卡(第 48 頁)。

原書Clarifying Requirements

原書的題目:做一個像 LinkedIn 的 PYMK

這一步要解決先問清楚要做什麼、做到多大,免得答錯題目。

📖 原書 應徵者 × 面試官

應徵者問面試官答
做 PYMK 的動機,是幫使用者發現潛在的連結、擴展人脈,對嗎?對,這是很好的假設
要考慮的因素很多:地點、學歷、工作經歷、既有的連結、過去的活動……可以先專注在最重要的:學歷、工作經歷、社交環境嗎?聽起來不錯
在 LinkedIn 上,兩個人「互為朋友」才算朋友,對嗎?對,友誼是對稱的。發出連結請求後,對方要接受才會連上
平台總共多少使用者?每日活躍有多少?將近 10 億使用者,每日活躍 3 億
平均每人有幾個連結?1,000 個
大多數人的社交圖不太會變,短時間內連結不會大幅改變。可以這樣假設嗎?很好的觀點。是,這是合理的假設

📖 原書 整理成一句話

  • 做什麼:類似 LinkedIn 的 PYMK。輸入一個使用者,輸出排好名次的潛在連結清單
  • 為什麼:讓使用者更容易發現新連結、擴展人脈
  • 多大:總共 10 億使用者,平均每人 1,000 個連結

你想想看:「每人 1,000 個朋友」這一句,會讓候選人從 10 億變成 100 萬(第 38 頁)。「關係不太會變」這一句,會決定系統可以先算好(第 40 頁)。

延伸基礎第 1 階 · 點和線 · 懂的人可以跳到第 8 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

「誰認識誰」不是一張表,是一張畫滿線的圖

① 生活情境

班上同學在白板上畫「誰跟誰是好朋友」:每人寫成一個圈,好朋友之間連一條線。畫完一看,誰人緣好、誰跟誰同一掛,一目瞭然。

你猜猜看:4 個人兩兩都是好朋友,白板上要畫幾條線?

③ 這時才給名字

這張圖叫 graph(圖),每條線叫 edge(邊)。LinkedIn 的友誼是雙向的,所以線沒有箭頭。

課堂上講用資料建圖:

「先把這一些訓練資料……統統建立成 Graph 在這個 Graph 上面 夠相近的點就把它連在一起」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

② 動手玩:先點一個人、再點另一個人,連一條線
4幾個點0幾條線—每人幾條線

④ 跟這章的關係原書把整個社交環境畫成一張 graph:一個人是一個點,已經連上的兩個人之間有一條線。PYMK 就是在這張圖上猜「下一條線會長在哪」。

延伸基礎第 2 階 · 朋友的朋友 · 懂的人可以跳到第 8 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

新朋友從哪裡來?多半是「朋友的朋友」

① 生活情境

你去參加朋友的生日派對,認識了一個新朋友。你們之所以會在同一個房間,是因為你們都認識壽星。

你猜猜看:小安有 3 個朋友,每個朋友都各自另外有 3 個朋友(彼此不重複)。小安的「朋友的朋友」最多幾人?

③ 這時才給名字

沿著線走一步會到的人叫 1-hop(一跳鄰居)。走兩步會到、但還不是朋友的人,叫朋友的朋友(FoF,friends of friends,也叫 2-hop)。中間經過的那幾個人,就是「共同朋友」。

② 動手玩:點任何一個人,看他走一步、走兩步會到誰
—朋友—朋友的朋友(共同朋友數)

④ 跟這章的關係原書說「共同朋友數」是最重要的特徵之一(第 20 頁),而且 92% 的新友誼來自 FoF,所以上線時只在 FoF 裡找(第 38 頁)。

原書Frame the Problem as an ML Task · Figure 11.2

把「擴展人脈」翻譯成 ML 題目

這一步要解決「幫使用者擴展人脈」不是模型能直接學的目標,要換成模型做得到的事。

📖 原書 Defining the ML objective

PYMK 常見的 ML 目標:最大化使用者之間形成的連結數。連結多了,使用者的人脈就長得快。

📖 原書 Input 與 Output

Input:一個使用者。Output:一份連結清單,依「跟這個使用者有多相關」排好名次。

📖 原書 Choosing the right ML category

原書比較兩種常見做法:

  1. Pointwise Learning to Rank:一次只看兩個人,猜他們會不會連上(第 10 頁)
  2. Edge prediction:把整張社交圖也給模型看(第 14 頁)
📖 原書 Figure 11.2PYMK system's input-output(依原書內容重繪;方塊名稱依圖說寫 PYMK,見備註)

換成小安:輸入小安,輸出「小玉、阿凱、老王」這份排好的清單。誰排第一,就是模型要回答的問題。

延伸基礎第 3 階 · 二選一 · 懂的人可以跳到第 10 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

答案只有「會」和「不會」,模型卻回答「七成會」

① 生活情境

明天會不會下雨?最後只有「下」和「不下」兩種結果。可是氣象預報不說「會下」,它說「降雨機率 70%」。

你猜猜看:模型說「小安和小玉會成為朋友的機率是 0.71」。如果有 100 對一樣是 0.71 的人,大約幾對會真的連上?

③ 這時才給名字

答案只有兩種的題目叫 binary classification(二元分類)。模型輸出 0 到 1 之間的數字,叫機率(probability):越接近 1,越有把握會發生。

「如果是分類的問題 假設你有兩個類別 那你就希望類神經網路給你兩個數字 那每一個數字就代表 那個類別的信心分數」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

② 動手玩:拉機率,看 100 對人裡有幾對會連上
—大約會連上—大約不會

④ 跟這章的關係PYMK 每一對人都問一次「會不會連上」。把小安和每個候選人的機率算出來,由高排到低,清單就排好了。

原書Pointwise LTR · Figure 11.3、11.4

做法一:一次只看兩個人,猜他們會不會連上

這一步要解決要排名次,最直覺的做法是什麼?它少看了什麼?

📖 原書 Figure 11.3Binary classification with two input users(依原書內容重繪)

📖 原書 Pointwise LTR

把 PYMK 當成排名問題,用 pointwise LTR 排使用者。做法是一個二元分類模型:輸入兩個使用者,輸出這一對形成連結的機率(圖上是 0.71)。

📖 原書 主要缺點

模型的輸入只有兩個獨立的使用者,沒有考慮社交環境(social context)。這樣比較簡單,但少了「他們各自的朋友是誰」,預測可能比較不準。

你猜猜看:只給模型看「小安」和「小玉」兩個人的資料,它看不到哪一個線索?

原書Social context · Figure 11.5

同樣是 A 和 B,周圍的線不一樣,答案就不一樣

這一步要解決「社交環境」到底提供了什麼線索?

📖 原書 Figure 11.5Two different scenarios of one-hop neighborhoods(依原書內容重繪)
—A 和 B 的共同朋友

你猜猜看:哪個情境裡,A 和 B 比較可能成為朋友?

📖 原書 看一跳鄰居(one-hop neighborhood)

  • 情境 1:A 和 B 各有 4 個共同連結(C、D、E、F),C、D、E、F 之間也有連結
  • 情境 2:A 和 B 各只有 2 個朋友,而且 A 的朋友和 B 的朋友之間沒有任何連結

看一跳鄰居,你會預期情境 1 比較可能連上。實務上甚至可以看二跳、三跳鄰居,從社交環境擷取更多資訊。

延伸基礎第 4 階 · 猜一條線 · 懂的人可以跳到第 13 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

同一張圖,可以問三種不同大小的問題

① 生活情境

班導看著那張好朋友白板,可以問:「這班感情好不好?」(問整張)、「阿凱是不是被排擠?」(問一個人)、「小安和小玉會不會變好朋友?」(問一對)。

你猜猜看:「這個帳號是不是垃圾帳號?」是在問哪一種?

③ 這時才給名字

問「一對點之間會不會有線」,叫 edge-level prediction,也叫 link prediction(連結預測)。問整張、問一個點的英文名字,下一頁原書會給。

② 動手玩:切換問題,看模型要盯著圖的哪一塊

④ 跟這章的關係PYMK 是 edge-level:猜小安和小玉之間,會不會長出一條線。原書的第二種做法就叫 edge prediction(第 14 頁)。

原書Graphs · Figure 11.6

原書:graph 怎麼存關係,可以在上面做哪些預測

這一步要解決講第二種做法之前,先搞懂 graph 這種資料。

📖 原書 Graph

一般來說,graph 表示一群實體(nodes)之間的關係(edges)。整個社交環境都可以畫成一張 graph:每個 node 是一個使用者,兩個 node 之間的 edge 代表兩人已經連上。右邊是一張 4 個 node、3 條 edge 的簡單 graph。

📖 原書 在 graph 上的三種預測

  • Graph-level:例如給一個化合物的 graph,預測它是不是酵素
  • Node-level:例如給一張社群網路 graph,預測某個使用者(node)是不是垃圾帳號
  • Edge-level:預測兩個 node 之間有沒有 edge。例如給社群網路 graph,預測兩個使用者會不會連上
📖 原書 Figure 11.6A simple graph(依原書內容重繪)

線沒有箭頭:1 連到 4,4 也連到 1。這跟需求裡的「友誼是對稱的」一致。

你猜猜看:這張圖裡,node 2 和 node 4 之間有 edge 嗎?

原書Edge prediction · Figure 11.7

做法二:把整張社交圖也交給模型

這一步要解決pointwise 少看了社交環境。那就把圖也當成輸入。

📖 原書 Figure 11.7Binary classification with graph input(依原書內容重繪;A–F 之間的實線位置是示意)

📖 原書 Edge prediction

這個做法替模型補上 graph 的資訊,讓模型可以依靠從社交圖擷取的額外知識,預測兩個 node 之間有沒有 edge。

更正式地說:模型以整張社交圖為輸入,預測兩個特定 node 之間存在 edge 的機率。要替使用者 A 排潛在連結,就計算 A 和其他使用者之間的 edge 機率,用機率當排名的依據。

除了模型平常用的特徵,它還依靠從社交圖擷取的額外知識。

兩種做法,差在哪裡

Pointwise LTREdge prediction
輸入兩個使用者整張社交圖 + 指定的兩個 node
輸出兩人連上的機率(都是二元分類)
社交環境沒看到看得到

原書接下來用 edge prediction。

小結第 1–4 階:題目怎麼出

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

到這裡你已經會了

  • 關係可以畫成 graph人是 node,已經連上的兩人之間有 edge;友誼是雙向的(第 6 頁)
  • 新朋友多半是朋友的朋友走兩步會到的人叫 FoF,中間經過幾個人,就是幾個共同朋友(第 7 頁)
  • PYMK = 在圖上猜一條線每一對人回答「會不會連上」的機率(二元分類),看整張圖的做法叫 edge prediction(第 9、14 頁)

小安的朋友圈,現在走到哪裡

  1. 圖7 個 node、10 條 edge
  2. 候選小安的 FoF:小玉、阿凱、老王
  3. 題目小安–小玉、小安–阿凱、小安–老王,各會不會長出 edge?
  4. 輸出三個機率,由高排到低

下一階要解決:模型只吃數字。「小安」「小玉」「他們的關係」,要怎麼變成數字?

原書Data Preparation · Data engineering · Table 11.1、11.2

手上有三種原始資料:使用者、連結、互動

這一步要解決模型要吃數字之前,先看看倉庫裡有什麼。同一件事寫法不同,要先統一。

📖 原書 Users:教育背景(Table 11.1)

除了人口統計資料,還有學歷、工作經歷、技能等。工作經歷、技能可能也有類似的表。

User IDSchoolDegreeMajorStart dateEnd date
11WaterlooM.ScComputer ScienceAugust 2015May 2017
11HarvardM.ScPhysicsMay 2004August 2006
11UCLABachelorsElectrical EngineeringSep 2022-

📖 原書 Connections:連結(Table 11.2)

每一列是兩個使用者之間的一條連結,以及連上的時間(簡化版)。

User ID 1User ID 2Timestamp when the connection was formed
2831658451341
7391659281720
11251659312942

📖 原書 同一個屬性,很多種寫法

「computer science」和「CS」意思一樣,文字卻不同。要在 data engineering 階段標準化,才不會把同一件事當成兩件事。原書列三種方法:

  1. 強迫使用者從預先定好的清單裡選
  2. 用 heuristics(經驗規則)把不同寫法歸成一組
  3. 用 ML 方法,例如 clustering(分群)或語言模型,把相似的屬性歸成一組

動手玩:五個人填的主修,其實是幾種?

5電腦以為有幾種

原書Interactions · Table 11.3

第三種資料:大家在平台上做了什麼

這一步要解決除了「誰是誰」和「誰連了誰」,行為也是線索:誰看了誰的頁面、誰發了請求。

📖 原書 Interactions(Table 11.3)

User IDInteraction typeInteraction valueTimestamp
11Connection requestuser_id_81658450539
8Accepted connectionuser_id_111658451341
11Comment[user_id_4, Very insightful]1658451365
4Search"Scott Belsky"1658435948
11Profile viewuser_id_211658451849

互動有很多種:發連結請求、接受請求、追蹤別人、搜尋、瀏覽個人頁面、對貼文按讚或回應等。實務上可能存在不同的資料庫;原書為了簡單,放在同一張表。

你猜猜看:使用者 11 在 1658450539 發請求給 8,8 在 1658451341 接受。中間隔了多久?

從表格到線索

  • Connection request / Accepted:之後會變成標籤和線上指標(第 29、37 頁)
  • Profile view:誰常去看誰的頁面,會變成一個特徵(第 20 頁)
  • Comment、Search:誰對誰有興趣的間接線索

延伸基礎第 5 階 · 數字履歷 · 懂的人可以跳到第 19 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

模型只吃數字:每個人一列數字,每一對人也一列數字

① 生活情境

媒人介紹對象,會先看兩種資料:「這個人」的條件(幾歲、做什麼),和「你們兩個」的交集(同校?共同朋友?見過幾次面?)。

你猜猜看:哪一個是「兩個人之間」才有的數字,一個人自己算不出來?

③ 這時才給名字

描述一個東西的數字叫 feature(特徵)。描述一個人的叫 node feature,描述一對人的叫 edge feature。

「那把一個東西表示成一些數值 這些數值要當作函式的輸入 這些數值就叫做 Feature」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講

② 動手玩:選一個候選人,看兩種數字履歷

一個人:[年齡, 帳號幾年, 朋友數]

小安和他:[共同朋友, 同校, 同屆重疊年, 同公司, 看過頁面]

④ 跟這章的關係原書的特徵就分這兩類:user features(一個人,第 19 頁)和 user-user affinities(一對人,第 20 頁)。

原書Feature engineering · User features

一個人的數字履歷:四種 user features

這一步要解決要猜小安會跟誰連上,先描述小安這個人,和每個候選人這個人。

📖 原書 Demographics

年齡、性別、城市、國家等。使用者傾向跟人口統計相似的人連結。這類資料常有缺失值,處理方法見原書「Introduction and Overview」一章。

📖 原書 連結數、追蹤者數、追蹤中數、待處理請求數

使用者比較可能跟追蹤者或連結很多的人連結,而不是連結很少的人。

📖 原書 Account's age(帳號年齡)

剛建立的帳號比較不可靠。例如昨天才建立的帳號,比較可能是垃圾帳號,推薦給使用者不是好主意。

📖 原書 收到的反應數

一段時間內(例如一週)收到的讚、分享、留言總數。使用者傾向跟平台上比較活躍、收到比較多互動的人連結。

課堂上講用 graph 做分類時的假設:

「這是一個物以類聚的世界 也就是說 如果兩筆資料 他們長得很像 他們非常的接近 他們就應該屬於同樣的類別」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

對到小安的朋友圈:阿凱的帳號是昨天建的,原書的建議就是先別推他。第 18 頁左表的「帳號幾年 = 0」,就是在抓這件事。

原書Feature engineering · User-user affinities

一對人的數字履歷:教育與工作、社交

這一步要解決兩個人「有多親近」,是預測會不會連上最好的訊號。怎麼量?

📖 原書 Education and work affinity

  • Schools in common:使用者傾向跟讀過同一所學校的人連結
  • Contemporaries at school:在學校的重疊年份越多,越可能連結。例如想跟同時期讀 X 校的人連結
  • Same major:是否同主修,是一個二元(0 或 1)特徵
  • Number of companies in common:可能跟在同一家公司工作過的人連結
  • Same industry:是否在同一個產業,二元特徵

📖 原書 Social affinity

  • Profile visits:一個人看另一個人個人頁面的次數
  • Number of connections in common(也就是 mutual connections,共同連結):共同連結越多,越可能連結。這是最重要的預測特徵之一(原書引 Facebook 的 PYMK 演講)
  • Time discounted mutual connections:依共同連結存在多久來加權(下一頁)

你猜猜看:小安 2016–2020 讀山海大學,小玉 2018–2022 讀同一所。「同屆重疊年」是幾年?

原書Time discounted mutual connections · Figure 11.8

都是 3 個共同朋友,最近才認識的那 3 個比較算數

這一步要解決共同朋友數一樣,什麼時候比較可能連上?

📖 原書 Figure 11.8Comparing recent connections to old connections(線上的數字是天數;依原書內容重繪)
3 · 3直接數共同朋友(情境 1 · 2)—情境 1 加權後—情境 2 加權後

📖 原書 兩個情境

想判斷 B 是不是 A 的潛在連結。情境 1:A 的連結都是最近才建立的(3、6、18 天前)。情境 2:連結是很久以前建立的(311、256、839 天前)。

你猜猜看:哪個情境的 A,比較可能跟 B 連上?

做法:每個共同朋友不再一律算 1,而是越久以前認識的,算得越少。左邊拉拉看「打對折」的速度。

延伸基礎第 6 階 · 傳話遊戲 · 懂的人可以跳到第 24 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

每個人只跟朋友講話,傳兩輪,就聽得到朋友的朋友

① 生活情境

傳話遊戲:每一輪,每個人把自己知道的名字寫成紙條,傳給所有朋友。你只跟朋友講話,傳了兩輪,手上卻出現陌生人的名字。

你猜猜看:傳兩輪之後,小安手上「小玉」的紙條會有幾張?

③ 這時才給名字

跟鄰居交換訊息、再跟自己的合起來,叫 message passing。一層層這樣做的模型叫 GNN(graph neural network)。傳幾輪,就看得到幾步遠。

② 動手玩:按「傳一輪」,看紙條怎麼流
0傳了幾輪

④ 跟這章的關係

原書選 GNN,因為它能直接吃 graph:每個人的數字會混進朋友的數字,社交環境就進了模型(第 24 頁)。

講 attention 時,課堂上說:

「所以 attention 第一件做的事情 是找出輸入的 token 裡面 哪些 token 會影響……『果』這個 token 的意思 然後接下來把這些 token 的資訊 跟『果』這個 token 的資訊合在一起 你就會得到新的意思」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

延伸基礎第 7 階 · 座標 · 懂的人可以跳到第 24 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

傳完話之後,每個人變成地圖上的一個位置

① 生活情境

畢業旅行分房間:老師把每個人放在一張地圖上,越常混在一起的人,放得越近。分房時,看地圖上誰靠誰就好。

你猜猜看:小安在 [1, 1]、小玉在 [1.5, 0.5]、阿凱在 [1, −1]。誰離小安比較近?

③ 這時才給名字

代表一個人的那一組數字,叫 embedding。一組數字可以想成地圖上的座標,也可以畫成一支箭頭。

「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講(講文字,人也同理)

② 動手玩:點一個人,看他的座標和離小安多遠
點地圖上的人

④ 跟這章的關係原書的 GNN 輸出的就是每個人的 embedding(第 24 頁)。真正的 embedding 有幾十、幾百個數字,這裡只畫 2 個。

原書Model Development · GNNs · Figure 11.9

原書選 GNN:吃進一張圖,替每個人吐出一組數字

這一步要解決題目是 edge prediction,模型要能直接處理 graph。

📖 原書 Figure 11.9GNN model produces node embeddings for each graph node(依原書內容重繪)

用前兩階的話講:node 和 edge 上的屬性是「數字履歷」(第 18 頁),GNN 一層一層玩傳話遊戲(第 22 頁),最後每個人得到一個座標(第 23 頁)。

📖 原書 Model selection

前面把 PYMK 定成 edge prediction:模型吃社交圖,預測兩人之間存在 edge 的機率。要處理這個任務,就選一個能吃 graph 的模型。Graph neural networks(GNNs)就是為 graph 資料設計的。

📖 原書 GNNs

GNN 是可以直接用在 graph 上的類神經網路,能方便地做 graph-level、node-level、edge-level 預測。

GNN 的輸入是一張 graph,node 和 edge 都帶著屬性:node 可以存年齡、性別等;edge 可以存共同學校數、共同工作地點數、連上多久等。給定輸入圖和屬性,GNN 替每個 node 產生一個 node embedding。

延伸基礎第 8 階 · 同向打分 · 懂的人可以跳到第 26 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

兩組數字對應相乘再加起來,就是「合不合」的分數

① 生活情境

兩人填興趣問卷:喜歡打 +1、討厭打 −1。同一題都 +1,加分;一個 +1 一個 −1,扣分。每題加總,就是「合不合」。

你猜猜看:小安是 [1, 1]、阿凱是 [1, −1]。對應相乘再加起來是多少?

③ 這時才給名字

對應相乘再加總,叫 dot product(內積):箭頭越同向、越長,分數越大。把任何分數壓進 0 到 1 的那條 S 形曲線,叫 sigmoid。

「那現在剩下主流的方法是最簡單的做法,就是直接算它們的 dot product (點積)。直接算這兩個向量的相似程度。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

② 動手玩:選一個候選人,算分數、再變成機率

④ 跟這章的關係原書拿兩個 node embedding 算 dot product,預測兩人之間有沒有 edge(第 26 頁)。小安的清單就是:小玉 88%、老王 73%、阿凱 50%。

原書Figure 11.10 · GNN 家族

原書的例子:node 2 和 node 4 之間,會長出線嗎?

這一步要解決每個 node 有了 embedding,怎麼變成「兩人會連上」的機率?

📖 原書 Figure 11.10Predict how likely there is an edge between nodes 2 and 4(依原書內文重繪,見備註)
換一對算算看:

📖 原書 用相似度預測

產生 node embedding 之後,用相似度量(例如 dot product)預測兩個 node 形成連結的可能性。例如計算 node 2 和 node 4 的 embedding 的 dot product,預測它們之間有沒有 edge。

📖 原書 GNN 家族

近年發展出很多以 GNN 為基礎的架構,例如 GCN、GraphSAGE、GAT、GIT。它們架構不同、複雜度也不同。哪一種最好,要做大量實驗才知道。想深入了解,原書推薦 Distill 的 GNN 介紹。

算出來 node 2 · node 4 = −0.81,經過 sigmoid 大約 31%:中間雖然隔著 node 3,但兩支箭頭方向差很多。換成 node 3 · node 4,分數就是正的。

小結第 5–8 階:模型怎麼算

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

到這裡你已經會了

  • 人和關係都變成一列數字一個人的叫 node feature,一對人的叫 edge feature;共同朋友數是最重要的那一格(第 18、20 頁)
  • GNN 就是傳話遊戲每一層跟鄰居交換數字;傳兩層,就看得到朋友的朋友,最後每人一組 embedding(第 22、23 頁)
  • 兩組數字 → 一個機率dot product 打「合不合」的分數,sigmoid 壓成 0 到 1(第 25、26 頁)

小安的朋友圈,現在走到哪裡

  1. 履歷每個人、每一對人都有一列數字
  2. 傳話GNN 傳兩層,小安的數字混進了小玉的消息
  3. 座標小安 [1, 1]、小玉 [1.5, 0.5]、老王 [0.5, 0.5]、阿凱 [1, −1]
  4. 清單小玉 88% · 老王 73% · 阿凱 50%

下一階要解決:這些座標是怎麼學出來的?要先有「標準答案」,還要知道「猜錯扣幾分」。

原書Model training · Constructing the dataset · Figure 11.11–11.13

訓練資料:拿「上個月的圖」去猜「這個月長出的線」

這一步要解決GNN 要學,得先有題目和標準答案。題目和答案從哪裡來?

📖 原書 Figure 11.11A snapshot of the social graph at time t(依原書內容重繪)

📖 原書 Model training

給模型時間 t 的社交圖快照,模型預測在 t+1 會形成的連結。建資料集分三步:

  1. 建立時間 t 的圖快照:GNN 的輸入是社交圖,就用手上的原始資料,拼出 t 那一刻的圖(Figure 11.11)
  2. 計算 node 和 edge 的初始特徵:擷取年齡、性別、帳號年齡、連結數等,當作 node 的初始特徵向量(Figure 11.12);擷取使用者之間的親和力,當作 edge 的初始特徵向量。例如 user 2 和 user 4 之間的 E2,4,記著共同連結數、個人頁瀏覽次數、共同學校的重疊時間等(Figure 11.13)
  3. 建立標籤:用 t+1 的圖快照決定正、負標籤(下一頁)

換成小安:t 是「上個月」的 7 人圖,t+1 是「這個月」。小安和小玉這個月連上了,那就是一題答案是「會」的考題。

原書Create labels · Choosing the loss · Figure 11.14、11.15

比對兩張快照:新長出來的線是「正」,沒長出來的是「負」

這一步要解決每一對還沒連上的人,標準答案是什麼?

📖 原書 Figure 11.14Newly formed edges from time t to t+1(依原書內容重繪;新邊依 Figure 11.15 畫在 3–4,見備註)

📖 原書 Create labels

用 t+1 的圖快照決定標籤:一對 node 在 t+1 連上了,標成正標籤(positive);否則標成負標籤(negative)。

你猜猜看:小安的 7 人圖,上個月有 11 對人還沒連上,這個月長出 2 條新線。有幾個負標籤?

📖 原書 Choosing the loss function

輸入圖和標籤都建好,就可以訓練 GNN。原書說:GNN 訓練怎麼運作、該用哪種 loss,超出本書範圍,請看參考資料 [7]。

本簡報補一個最常見的選擇:每一對都是二選一,用下一頁的 binary cross-entropy。

延伸基礎第 9 階 · 驚訝分數 · 懂的人可以跳到第 31 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

猜錯不只要扣分,越有把握地猜錯,扣得越重

① 生活情境

朋友說「明天 99% 不會下雨」,結果下大雨,你很驚訝。他說「50% 會下」,下雨了你一點都不意外。說得越肯定、錯得越離譜,越該被罵。

你猜猜看:小安和小玉後來連上了。模型事前說的哪一個機率,最該被重罰?

③ 這時才給名字

看「正確答案拿到多少機率」來扣分的 loss,叫 cross-entropy;答案只有二選一時叫 binary cross-entropy(BCE)。

「這兩個機率分布越接近 那這個 Loss 算出來呢就會越小」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

② 動手玩:拉模型的機率,看驚訝分數(數機率後面有幾個零)

④ 跟這章的關係第 29 頁的每一對都是一題二選一:正的要猜高、負的要猜低。訓練就是轉動 GNN 的旋鈕,讓所有題目的驚訝分數平均起來越小越好。

延伸基礎第 10 階 · 超多沒加 · 懂的人可以跳到第 32 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

10 億人裡,你下個月會加的人只有幾個。「全部猜不會」就 99 分?

① 生活情境

一個偷懶的氣象主播,在沙漠城市每天都說「明天不會下雨」。一年只下 3 天雨,他的「準確率」超過 99%。可是他從來沒預報對過任何一場雨。

你猜猜看:100 對人裡只有 1 對會連上。一個永遠說「不會」的模型,準確率是多少?

③ 這時才給名字

正例少、負例超多,叫 class imbalance(類別不平衡)。常見對策:只抽一部分負例來訓練,叫 negative sampling;或讓正例答錯時扣更多分。

② 動手玩:拉「每 1 對會連上,配幾對不會」
—「全部猜不會」的準確率0 個它推薦出的朋友

④ 跟這章的關係第 29 頁的 7 人圖就有 9 個負、2 個正。所以不能用準確率打分;原書用的是 ROC-AUC 和 mAP(下兩頁)。

延伸基礎第 11 階 · 兩兩比賽 · 懂的人可以跳到第 34 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

不看「猜對幾題」,看「真的連上的,分數有沒有比較高」

① 生活情境

選秀評審要證明眼光好:從「後來紅了」和「沒紅」的歌手裡各抽一位,看當初是不是給紅的那位比較高分。抽很多次,算贏的比例。

你猜猜看:一個完全亂給分的評審,這樣比下去,贏的比例大約是多少?

③ 這時才給名字

每個「正」跟每個「負」比一次,正的分數比較高的比例,就是 ROC-AUC。它只看排得對不對,不管門檻,也不怕負例超多。

「但是雖然我們在訓練的時候 用 Cross-Entropy 但是你最後在做驗證跟測試的時候 你仍然會用 Accuracy 因為 Accuracy 才是你真正關心的東西」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

② 動手玩:拉模型給的分數,看 2 × 3 = 6 場比賽誰贏
—ROC-AUC(贏的場數 ÷ 6)

④ 跟這章的關係原書說 GNN 預測的是「有沒有 edge」,就當成二元分類模型,用 ROC-AUC 打分數(第 34 頁)。

延伸基礎第 12 階 · 排名分數 · 懂的人可以跳到第 34 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

推薦清單好不好:真的會加的人,有沒有排在前面?

① 生活情境

同一份清單,好朋友排第 1 名,你一打開就看到;排第 3 名,你要滑一下;排第 50 名,你根本不會看到。同樣「有推到」,價值不一樣。

你猜猜看:清單只有一個人是對的,排在第 2 名。「看到他時,前面有幾成是對的」?

③ 這時才給名字

每遇到一個對的人,就記下「到這裡為止對幾成」,再平均,叫 AP。很多使用者的 AP 再平均,叫 mAP(mean average precision)。

② 動手玩:按 ▲▼ 改順序,看每人的 AP 和全體的 mAP
—mAP(兩人的 AP 平均)

④ 跟這章的關係原書說:使用者對推薦的人只有「連」或「不連」兩種反應,因為這種二元性,整個 PYMK 系統用 mAP 打分數(第 34 頁)。

原書Evaluation · Offline metrics

離線考兩科:模型考 ROC-AUC,整個系統考 mAP

這一步要解決上線之前,拿歷史資料先考一次。要考什麼?

📖 原書 Offline metrics

離線評估時,要評估 GNN 模型和整個 PYMK 系統兩者的表現。

📖 原書 GNN model → ROC-AUC

GNN 預測 edge 存不存在,可以把它當成一個二元分類模型,用 ROC-AUC 衡量表現(第 32 頁)。

📖 原書 PYMK system → mAP

前幾章已經詳細討論過排名與推薦系統的離線指標,這裡不再細講。在這個系統裡,使用者對推薦的連結不是連就是捨棄。因為這個二元性(連或不連),mAP 是好的選擇(第 33 頁)。

你猜猜看:GNN 的 ROC-AUC 很高,PYMK 系統的 mAP 卻很低。最可能是哪裡出問題?

「我們不要過度相信 Evaluation 的分數」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講

離線分數考的是「歷史資料裡猜得準不準」。使用者真的會不會按下連結,要上線才知道(第 37 頁)。

小結第 9–12 階:怎麼教、怎麼考

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

到這裡你已經會了

  • 考題來自兩張快照t 的圖當題目,t+1 新長出的線是正、沒長出的是負;猜錯時用 BCE 扣分(第 29、30 頁)
  • 負例多到誇張「全部猜不會」準確率也有 99%,所以要負例抽樣,也不能用準確率打分(第 31 頁)
  • 離線考兩科模型看 ROC-AUC(兩兩比賽),系統看 mAP(對的人有沒有排前面)(第 32、33、34 頁)

小安的朋友圈,現在走到哪裡

  1. 考題11 對沒連上的人:2 正、9 負
  2. 扣分小安–小玉猜 88%,驚訝分數很小
  3. AUC6 場比賽贏 5 場 ≈ 0.83
  4. mAP小安 1、阿哲 0.5,平均 0.75

下一階要解決:離線分數好看,上線之後要看什麼?而且 10 億人,每個人都要算一次,怎麼算得完?

延伸基礎第 13 階 · 送出·接受 · 懂的人可以跳到第 37 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

發出去的邀請很多,不代表交到的朋友很多

① 生活情境

辦生日派對,你在群組裡發了 200 張邀請,只來了 6 個人。另一位朋友只私訊邀了 20 個人,來了 15 個。誰的派對比較熱鬧?

你猜猜看:版本 A 讓大家送出 1,000 個請求、5% 被接受;版本 B 送出 600 個、15% 被接受。哪個版本讓大家多交到朋友?

③ 這時才給名字

上線之後,在真實使用者身上量的數字,叫 online metrics(線上指標)。「被接受幾成」叫 acceptance rate(接受率)。

② 動手玩:調兩個版本,看「送出」和「接受」誰贏

④ 跟這章的關係需求說連結要對方接受才成立(第 5 頁)。所以原書的兩個線上指標:送出的請求數,和被接受的請求數(下一頁)。

原書Evaluation · Online metrics

原書的兩個線上指標:送出的請求數 → 被接受的請求數

這一步要解決實務上要追蹤很多線上指標。哪兩個最重要?各有什麼缺點?

📖 原書 ① 過去 X 天送出的連結請求總數

幫助我們了解模型讓連結請求變多還是變少。例如新模型讓送出的請求總數增加 5%,可以推斷模型對商業目標有正面影響。

重大缺點:新連結要等對方接受才成立。一個人可能送出 1,000 個請求,對方只接受一小部分。這個指標可能沒辦法正確反映人脈真正的成長。

📖 原書 ② 過去 X 天被接受的連結請求總數

新連結只有在對方接受時才成立,所以這個指標準確反映使用者人脈真正的成長。用它來補第一個指標的缺點。

你猜猜看:如果團隊只拿「送出的請求數」當 KPI 拚命衝,系統最可能變成什麼樣?

「Goodhart's Law 講的就是 如果一個評量的指標 它被當作我們要努力的 optimize 的目標的話 它就不再是一個好的指標」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講

原書Serving · Efficiency · Utilizing FoF · Figure 11.16

10 億人逐一比對太慢了:先只看朋友的朋友

這一步要解決每個人都要跟 10 億個 embedding 比一次,而且每個人都要做。怎麼辦呢?

📖 原書 Figure 11.16FoF of a user(依原書內容重繪)
10 億全平台(不縮小)—朋友的朋友(最多)—要比的人少了幾倍

你猜猜看:只看 FoF,會漏掉哪一種人?

📖 原書 Efficiency

平台有 10 億使用者,表示替一個人找潛在連結,就要排過 10 億個 embedding。更麻煩的是,每個人都要跑一次。在這個規模下不切實際。常見兩招:① 利用 FoF ② 預先計算 PYMK(第 39 頁)。

📖 原書 Utilizing FoF

根據 Meta 的研究,92% 的新友誼是透過 FoF 形成的。這招用使用者的 FoF 縮小搜尋範圍。平均每人 1,000 個朋友,所以平均有 100 萬(1000 × 1000)個 FoF,搜尋範圍從 10 億縮到 100 萬。

延伸基礎第 14 階 · 先算好 · 懂的人可以跳到第 40 頁

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

現點現做,還是先做好放著?

① 生活情境

早餐店有兩種做法:客人點了才做,要等 10 分鐘;或是一早先做好 100 份放保溫箱,客人一到就拿。可是今天只來了 20 個客人。

你猜猜看:先做好 100 份,只來了 20 個客人。白做了幾成?

③ 這時才給名字

使用者來了才當場算,叫 online prediction(線上預測);事先替大家算好存起來,叫 batch prediction(批次預測)。

② 動手玩:調每天登入的比例,看兩種做法的代價
—先算好、但沒人看的—使用者等多久

④ 跟這章的關係原書選批次預測(第 40 頁),並建議只替活躍使用者先算,省掉白算的那一大塊(第 42 頁)。

原書Pre-compute PYMK · Online vs. batch · Figure 11.17、11.18

原書選批次預測:3 億人當場算太慢,而且朋友圈不太會變

這一步要解決線上預測和批次預測,PYMK 該選哪一個?

📖 原書 Figure 11.17Online prediction in PYMK(依原書內容重繪)
Online predictionBatch prediction
什麼時候算使用者載入首頁時,即時產生事先替所有使用者算好,存進資料庫
好處不替不活躍的人算使用者看來是瞬間出現
壞處算太久,使用者體驗差可能白算:每天只有 20% 登入,就有 80% 白算

📖 原書 選哪一個?批次,兩個理由

  1. 需求說每日活躍有 3 億人。3 億人都當場算,可能太慢,影響使用者體驗
  2. PYMK 的社交圖變化不快,算好的推薦可以用很久。例如保存 7 天再重算;新使用者人脈長得快,可以縮短成例如 1 天

📖 原書 不要一直推同一批人

使用者可能不想反覆看到同樣的推薦。做法:預先算比需要更多的連結,只顯示使用者還沒看過的。

原書ML system design · Figure 11.19

整個系統:一條管線半夜算好,一條管線白天取貨

📖 原書 Figure 11.19PYMK ML system design(依原書內容重繪;箭頭方向依內文整理,見備註)

📖 原書 PYMK generation pipeline:替所有使用者產生 PYMK,結果存進資料庫。

📖 原書 Prediction pipeline:請求進來時,從資料庫取出這個人的 PYMK。

原書PYMK generation pipeline · Prediction pipeline · Figure 11.20、11.21

拆開來看:FoF 圈候選 → GNN 打分排名 → 存起來等人來拿

這一步要解決兩條管線裡,每個元件各做什麼?面試官要你優化,還能改哪裡?

📖 原書 Figure 11.20FoF service input-output(依原書內容重繪)

換成小安:FoF service 吐出小玉、阿凱、老王;scoring service 打分後排成「小玉 0.88、老王 0.73、阿凱 0.50」,存進資料庫。

📖 原書 兩條管線

  • FoF service:針對一個使用者,把範圍縮小成候選連結(2-hop 鄰居)
  • Scoring service:拿 FoF 的候選,用 GNN 替每一個打分,產生排好名次的 PYMK,存進資料庫。使用者發出請求時,直接從資料庫拉出他的清單
  • Prediction pipeline:請求進來,PYMK service 先查預先算好的 PYMK。有就直接取;沒有就向 generation pipeline 發一次性的請求

📖 原書 這是簡化版。被要求優化時可以談:

  • 只替活躍使用者預先算 PYMK
  • 先用輕量的 ranker 把候選縮小,再交給 scoring service 打分
  • 用 re-ranking service 替最後的清單增加多樣性

小結第 13–14 階:怎麼上線

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

到這裡你已經會了

  • 上線看「被接受」送出數會被灌水,被接受數才代表人脈真的長了(第 36、37 頁)
  • 先縮小、再先算好只看 FoF,10 億變 100 萬;朋友圈不太變,所以批次算好存 7 天(第 38、40 頁)
  • 兩條管線generation:FoF → GNN 打分 → 存資料庫;prediction:有就取、沒有就臨時算一次(第 41、42 頁)

小安打開 App 的那一刻

  1. 昨晚FoF service 圈出小玉、阿凱、老王
  2. 打分GNN:小玉 0.88、老王 0.73、阿凱 0.50
  3. 存好Pre-computed PYMK,保存 7 天
  4. 今天PYMK service 直接取出,小安看到小玉排第一

接下來:原書的其他討論點,以及這個方法的限制、2026 年的演進。

原書Other Talking Points

面試還有時間,可能會被問到這些

📖 原書 如果時間允許

  • Personalized random walk:另一種常用的推薦方法。因為很有效率,適合拿來當 baseline(比較基準)
  • Bias issue:常用的人在訓練資料裡的比例比偶爾用的人高,模型可能偏向某些族群。例如常用的人被推薦給別人的比例比較高,於是連結更多,在訓練資料裡的比例又更高
  • 使用者一再忽略某些推薦,未來重新排序時要怎麼考慮?理想上,被忽略的推薦應該排得比較低
  • 推薦之後,使用者可能過幾天、幾週才送出請求。那什麼時候該把一個推薦標成負的?推薦系統怎麼處理 delayed feedback(延遲回饋)?

每一題回到今天的哪一頁

  • Random walk → 第 22 頁的傳話遊戲是「每輪傳給所有朋友」;random walk 是「每一步隨機挑一個朋友走」,走很多次,常被走到的人就推薦
  • Bias → 第 19 頁「連結多的人比較容易被連」,第 45 頁動手看富者越富
  • 被忽略的推薦 → 第 40 頁「只顯示沒看過的」再往前一步:看過但沒按的,降分
  • Delayed feedback → 第 29 頁的 t+1 要選多久:選太短,晚一點才加的會被誤標成負

📅 2026 補充方法的限制 · 動手看富者越富

推薦會改變那張圖:今天推誰,明天誰的線就多

這一步要解決PYMK 不只是預測圖,它也在改變圖。這會帶來什麼問題?

動手玩:每一輪只推「目前朋友最多的前 3 名」

限制一:富者越富

原書的 bias issue。推薦會回頭改變訓練資料:被推得多的人線越多,下一輪又被推得更多。原書參考資料 [9] 是 LinkedIn 談 PYMK 公平性的文章;re-ranking 加多樣性是常見解法。

你猜猜看:剛註冊、一個朋友都沒有的新人,FoF service 會給他幾個候選?

限制二:新人沒有朋友的朋友

FoF 和 GNN 都靠「已經有的線」。新使用者是最需要推薦、卻最難推薦的人(cold start)。

限制三:推薦本身會洩漏關係

「你可能認識」等於在說「你們圈子有交集」。不想公開的關係,可能被一張推薦卡透露出來。哪些訊號能拿來推薦,要先想清楚。

📅 2026 補充方法怎麼演進

原書之後,這幾個零件換了做法

這一步要解決10 億個 node 的圖,GNN 真的跑得動嗎?候選只看 FoF 夠嗎?

大圖上的 GNN:只抽一部分鄰居

一個人有 1,000 個朋友,傳兩層就是 100 萬人。原書提到的 GraphSAGE(2017)每層只抽樣固定幾個鄰居;Pinterest 的 PinSage(2018)用隨機漫步挑「最重要的鄰居」,把 GNN 用在數十億個 node 的圖上。

候選不只 FoF:用 embedding 找最近的人

每個人都有 embedding,就可以直接找「座標最近的人」,把同校、同公司但沒有共同朋友的人也找回來。10 億個座標裡找最近的,要用近似最近鄰搜尋(ANN),例如 FAISS(2017)。

新人不再完全沒輒

GraphSAGE 這類方法是學「怎麼從鄰居和自己的 feature 算出 embedding」,不是背每個人的座標。所以新加入、朋友還很少的人,只要有學校、公司這些 feature,也算得出 embedding。

從「猜得準」到「對大家公平」

原書參考資料 [9](LinkedIn,2021)談的就是讓人脈的機會分配得更公平,而不只追求被接受數最大。上一頁的富者越富,是這類工作要處理的問題。

回顧14 階全部爬完

  1. 點和線
  2. 朋友的朋友
  3. 二選一
  4. 猜一條線
  5. 數字履歷
  6. 傳話遊戲
  7. 座標
  8. 同向打分
  9. 驚訝分數
  10. 超多沒加
  11. 兩兩比賽
  12. 排名分數
  13. 送出·接受
  14. 先算好

PYMK 其實就是:把關係畫成圖,跟鄰居傳話傳兩輪,替朋友的朋友打分,先算好放著而已。

題目怎麼出

社交環境是一張 graph。PYMK 是 edge prediction:每一對人二選一,輸出會連上的機率,再排名次。

模型怎麼算

node feature 和 edge feature(共同朋友最重要,最近認識的更算數)→ GNN 跟鄰居傳話 → 每人一組 embedding → dot product + sigmoid。

怎麼教、怎麼考

t 的圖當題目、t+1 新長的線當正例;負例超多要抽樣;模型考 ROC-AUC,系統考 mAP,上線看被接受的請求數。

怎麼天天跑

只看 FoF,10 億變 100 萬;朋友圈不太變,所以批次算好存 7 天;有就取、沒有就臨時算。

你朋友的朋友,就是你下一個朋友。然後呢?然後就結束了。

名詞小卡課後複習用 · 每個詞一行白話

本章名詞小卡

名詞一行白話在哪一頁
PYMKPeople You May Know,你可能認識的人第 3 頁
graph用點和線畫出「誰跟誰有關係」的圖第 6 頁
node / edge圖上的點(一個人)/線(一段關係)第 6、13 頁
1-hop / 2-hop走一步會到的人/走兩步會到的人第 7 頁
FoFfriends of friends,朋友的朋友第 7 頁
mutual connections共同朋友;最重要的特徵之一第 20 頁
binary classification答案只有兩種的題目,輸出一個機率第 9 頁
pointwise LTR一次只看兩個人打分,再拿分數排名第 10 頁
graph / node / edge-level問整張圖/問一個點/問一對點之間有沒有線第 13 頁
edge (link) prediction猜兩個點之間會不會長出線;PYMK 用這個第 12、14 頁

忘了哪個詞,就回到右邊那一頁,四步再走一次。

給工程師的重點出處、公式與頁碼對照

本章引用的來源

原書

Machine Learning System Design Interview · People You May Know 章。Introduction 與 Figure 11.1(第 3 頁)、Clarifying Requirements(5)、ML objective、input/output 與 Figure 11.2(8)、Pointwise LTR 與 Figure 11.3–11.4(10)、one-hop 情境與 Figure 11.5(11)、graph 與三種預測、Figure 11.6(13)、Edge prediction 與 Figure 11.7(14)、Data engineering 與 Table 11.1–11.2(16)、Interactions 與 Table 11.3(17)、User features(19)、User-user affinities(20)、Time discounted mutual connections 與 Figure 11.8(21)、Model selection、GNNs 與 Figure 11.9(24)、Figure 11.10 與 GNN 架構(26)、Model training 與 Figure 11.11–11.13(28)、Create labels、loss 與 Figure 11.14–11.15(29)、Offline metrics(34)、Online metrics(37)、Efficiency、FoF 與 Figure 11.16(38)、Online vs. batch 與 Figure 11.17–11.18(40)、ML system design 與 Figure 11.19(41)、兩條 pipeline、優化點與 Figure 11.20–11.21(42)、Other Talking Points(44)。21 張圖全部依圖說與描述重繪,不是原圖;Figure 11.2 方塊名依圖說寫 PYMK;11.10、11.14、11.18、11.19、11.21 的箭頭或新邊依內文整理

本簡報加的頁面:開場互動(2)、概念階梯(4)、14 個延伸基礎(6、7、9、12、18、22、23、25、30、31、32、33、36、39)、小結(15、27、35、43)、方法限制(45)、2026 補充(46)、名詞小卡(48)。小安的朋友圈、所有特徵值、座標、分數、比例都是示意

🎓 李宏毅課堂(逐字稿)

  • 生成式人工智慧與機器學習導論 2025 · 第 3 講(解剖大型語言模型)— 意思相近的 Token 有相近的 Embedding、attention 把相關 token 的資訊合在一起、直接算 dot product
  • 同 · 第 4 講(評估的各種坑)— 不要過度相信 Evaluation 的分數、Goodhart's Law
  • 同 · 第 5 講(機器學習基本原理)— Feature 的定義
  • 同 · 第 6 講(訓練類神經網路的訣竅)— 建立成 Graph、物以類聚、兩個類別的信心分數、Cross-Entropy、訓練用 Cross-Entropy 測試用 Accuracy
  • 生成式AI時代下的機器學習 2025 · 第九講 — sigmoid(備註)

來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。逐字稿:raw/youtube/transcripts/8iFvM7WUUs8.md、dWQVY_h0YXU.md、Taj1eHmZyWw.md、mPWvAN4hzzY.md、s266BzGNKKc.md

📅 依據

  • GraphSAGE(NeurIPS 2017)、PinSage(KDD 2018)、FAISS(2017)、LinkedIn PYMK equity(2021,原書 [9])
  • Triton:本章無出處,不放客座卡

公式(主文用文字講過)

  • mutual(u, v) = |N(u) ∩ N(v)| = (A²)uv(A 為鄰接矩陣)
  • FoF(u) = N(N(u)) \ (N(u) ∪ {u});|FoF| ≤ d²
  • 時間折扣(示意):Σw∈N(u)∩N(v) 0.5Δtw/H
  • message passing:hv(k) = σ(W · [hv(k−1) ‖ AGGu∈N(v) hu(k−1)]);k 層 ⇒ k-hop
  • p(u, v) = σ(zu · zv),σ(s) = 1 / (1 + e−s)
  • BCE = −(1/N) Σ [y log p + (1−y) log(1−p)](主文以 log₁₀ 示意)
  • ROC-AUC = P(score+ > score−) = 勝場 / (n+ · n−)
  • AP = (1/|R|) Σk: rel(k)=1 precision@k;mAP = 對使用者平均
  • batch 浪費 = 1 − (DAU ÷ 預算人數)
← → 翻頁 · S 講者備註 · D 深/淺色
1 / 1目錄