ML System Design · 第 9 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(兩張客座卡:先算 N、geohash)
相似房源推薦
其實就是:常常一起被看的房子,就把它們放在一起而已
你在訂房網站點開一間台南老屋,頁面最下面冒出一排「相似房源」。它不是看房子的價格、地點去比的。它是看幾百萬個旅客瀏覽的順序,學會「誰常跟誰一起出現」。原書用類似 Airbnb 的平台,把這招從頭講到尾。
今天的路線
需求 → 一邊爬 14 階基礎、一邊對照原書(第 4 頁的階梯):房源怎麼變成數字 → 題目從哪裡來 → 怎麼教、怎麼打分數 → 怎麼上線 → 方法的限制與 2026 年的變化。全程只用同一位旅客、同一趟找房。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論 延伸基礎
標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。
先講跟你有關的動手玩 · 你來當推薦員
小雨剛看完神農街老屋,她下一間會點哪一間?
小雨這一趟已經點了:A 古厝雙人房 → B 海安路閣樓 → C 神農街老屋 → ?
點一張你覺得她下一間最可能點開的房源。
小雨是誰(虛構人物)
跟朋友兩個人,下個月去台南玩兩晚。預算一晚 2,000 到 3,000 元。她沒有登入,網站不知道她是誰。
你可能會想說,這很簡單啊,同一區、差不多價錢就好了嘛。對,你看得懂房源的介紹。可是原書規定:模型不准看價錢、地點、床數,只准看大家點了什麼、按什麼順序點。
今天整堂課只在回答四個問題:房源怎麼變成數字?題目從哪裡來?(沒有人幫你標答案)怎麼教、怎麼打分數?500 萬間,怎麼一眨眼找完?
原書Introduction · Figure 9.1
原書的開場:使用者正在看的房源,底下推一排相似的
📖 原書 題目從哪裡來
推薦「跟使用者正在看的東西相似」的項目,是大型平台幫人發現內容的關鍵技術:Airbnb 推相似的住宿、Amazon 推相似的商品、Expedia 推相似的體驗。這一章設計一個類似 Airbnb、Vrbo 這類度假租賃網站的「similar listings」功能:使用者點開一間房源,就推一串相似的房源給他。
原書這一章的路線
- Clarifying requirements(第 5 頁)
- Frame the problem as an ML task(第 7–10 頁)
- Data preparation(第 13–14 頁)
- Model development(第 16–26 頁)
- Evaluation(第 28、30 頁)
- Serving(第 32–37 頁)
- Other talking points(第 40 頁)
學習地圖今天要爬的 14 階 · 每一階只用前面學過的東西
一階一階往上爬,不跳階
- 1這一趟看這次,還是看一輩子?
- 2一組數字房源怎麼變成地圖上一點?
- 3乘一乘加起來兩點多像?
- 4變百分比分數怎麼變機率?
- 5看鄰居從旁邊的人認識你
- 6滑動窗誰算鄰居?
- 7配對題1 和 0 怎麼標?
- 8抽籤當反例500 萬個要全比嗎?
- 9驚訝分數猜錯罰多重?
- 10終點站最後訂的那間
- 11平均名次離線怎麼打分?
- 12看行為上線後看什麼?
- 13新來的剛上架沒人點過
- 14找最近500 萬間怎麼找得快?
房源怎麼變成數字 題目從哪裡來 怎麼教、怎麼打分數 怎麼上線 英文名字等爬到那一階才給。
整堂課只用一位旅客、一趟找房
小雨在台南依序點了 A B C D E 五間,最後訂了 F。另外還有同在台南的 G、H,和台北的 I、花蓮的 J。數字小到可以心算。
每一階都走四步
① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。
每爬幾階就停一下
「到這裡你已經會了」:第 12、21、31、39 頁。最後還有名詞小卡(第 44 頁)。
原書Clarifying Requirements
原書的題目:點一間,推一串「接下來可能會點的」
這一步要解決先問清楚「相似」是什麼意思、手上有什麼資料,免得答錯題目。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 商業目標可以假設是增加訂房數嗎? | 是的 |
| 「相似」怎麼定義?是跟使用者正在看的房源相似嗎? | 對。兩間房源在同一個社區、同城市、同價格範圍等等,就算相似 |
| 推薦要個人化嗎? | 要同時支援登入和匿名使用者。實務上會分開處理、對登入者做個人化;為了簡單,假設兩者一視同仁 |
| 平台上有多少房源? | 500 萬間 |
| 訓練資料怎麼建? | 好問題。假設只用使用者和房源的互動;模型完全不用使用者屬性(年齡、所在地)或房源屬性(價格、地點) |
| 新房源多久要出現在結果裡? | 假設上架一天後再出現就可以;這段時間系統會收集它的互動資料 |
📖 原書 問題陳述
- Input:使用者正在看的一間房源
- Output:一串依名次排好的相似房源,是使用者接下來可能會點的
- 匿名、登入使用者看到的推薦一樣
- 約 500 萬間房源;新房源一天後可出現在推薦
- 商業目標:增加訂房數
你有沒有發現一件很怪的事?面試官說「相似」是同社區、同價格,可是又不准模型看價格和地點。那它要怎麼知道兩間房同一區?答案藏在「大家怎麼點」裡面。這件事第 10 頁會揭曉。
延伸基礎第 1 階 · 這一趟 · 懂的人可以跳到第 7 頁
推薦要看她「這一輩子」,還是看她「這一趟」?
常客走進書店,店員記得她平常買推理小說。可是她今天一進門就連翻了三本台南旅遊書。這時候該推什麼?
你猜猜看:小雨去年出差住了 5 次台北商旅。今天她連點 3 間台南老屋,下一間最可能點?
她這次是要去台南玩,不是出差。剛剛那幾下點擊,比去年的紀錄更能說明她現在要什麼。
只看「這一次連續瀏覽」來推薦,叫 session-based recommendation。一次連續的瀏覽就叫一個 session。
④ 跟這章的關係找房子的興趣變得很快、跟這一趟的目的地有關。原書就把相似房源當成 session-based 的題目(第 7 頁)。
原書Frame the Problem as an ML Task · Figure 9.2–9.3
把「訂房變多」翻成 ML 題目:猜她下一間會點什麼
這一步要解決「增加訂房」不是模型能直接學的東西。要換成模型能算的目標、輸入和輸出,再挑一類方法。
📖 原書 ML objective 與 input/output
觀察:使用者連續點的房源,通常特徵相似,例如同城市、價格相近。所以把 ML 目標定成:給定使用者正在看的房源,準確預測她下一個會點哪一間。系統的 input 是正在看的房源,output 是依「這個使用者會點的機率」排好的一串房源。
📖 原書 選對 ML 類別:session-based
多數推薦系統靠使用者的歷史互動了解長期興趣,但這不太適合相似房源:最近看的比很久以前看的更有資訊。Airbnb 和許多電商、訂旅遊的平台更依賴短期興趣,這時常用 session-based recommendation 取代傳統推薦:根據使用者這一次的瀏覽推薦,預測一串最近瀏覽之後的下一個 item。
| 傳統推薦 | Session-based | |
|---|---|---|
| 興趣 | 跟情境無關、不常變 | 動態、變得快 |
| 目標 | 學一般興趣 | 從最近瀏覽學短期興趣 |
延伸基礎第 2 階 · 一組數字 · 懂的人可以跳到第 10 頁
每間房源,都變成地圖上的一個點
美食部落客畫了一張圖:左右是「便宜 ↔ 貴」,上下是「老味道 ↔ 新潮」。每家店是一個點。兩家店靠得近,就是同一型的店。
你猜猜看:A 的位置是 (2, 1)。下面哪一間在圖上離 A 最近?
C 只往上差 1 格。G 往左差 3 格,I 左邊、下面都差很多。兩個數字一比就知道。
用一組數字代表一個東西,叫 embedding。這些點所在的那張圖,叫 embedding space。
講 token embedding 時,課堂上說:
「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講
點圖上任何一間。
④ 跟這章的關係原書要學的,就是每間房源的 embedding:常常一起被點的,點就要靠得近(第 10 頁)。
延伸基礎第 3 階 · 乘一乘加起來 · 懂的人可以跳到第 10 頁
兩組數字有多像?對應的乘起來,再加起來
交友 App 問兩題:愛吃辣嗎?愛爬山嗎?兩個人都愛,加很多分;一個愛一個討厭,扣分。每題的分數乘起來,再全部加總。
你猜猜看:A = (2, 1),C = (2, 2)。對應的乘起來再加起來,是多少?
2 × 2 = 4,1 × 2 = 2,加起來 4 + 2 = 6。就這樣,沒有別的了。
這個「乘一乘加起來」叫 dot product(內積)。方向越一致、箭頭越長,分數越高;方向相反就變負的。
講語言模型最後一層時,課堂上說:
「每一個 token embedding 都去計算 dot product,也就是計算某種相似度。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講
④ 跟這章的關係原書算 loss 的第一步,就是把兩間房源的 embedding 做 dot product(第 23 頁)。
原書Session-based recommendation · Figure 9.4
常常一起被點的房源,在地圖上就放近一點
這一步要解決session-based 推薦要怎麼做?模型不准看價格、地點,那「相似」要從哪裡來?
📖 原書 常用技巧:從共現學 embedding
建 session-based 推薦系統的常用技巧:用 item 在使用者瀏覽紀錄裡的 co-occurrence(一起出現)來學 item 的 embedding。例如 Instagram 學帳號的 embedding 來做「Explore」、Airbnb 學房源的 embedding 來做相似房源、word2vec 用類似的方法學字的 embedding(第 15 頁)。
📖 原書 這一章的做法
把相似房源當成 session-based 推薦任務。訓練一個模型,把每間房源對應到一個 embedding:兩間房源如果常一起出現在瀏覽紀錄裡,它們的 embedding 就要靠得近。推薦時,在 embedding space 裡找離正在看的房源最近的幾間。Figure 9.4 把每間房源畫在 2D 上,替 Lt 挑最近的 3 間。
揭曉第 5 頁的怪事:大家找房時本來就只在同一個城市、差不多的預算裡點來點去。所以「常一起被點」自然就帶著「同一區、差不多價錢」。模型沒看過價格,卻學到了價格。
延伸基礎第 4 階 · 變百分比 · 懂的人可以跳到第 12 頁
分數可以是 −6 也可以是 8,怎麼變成「幾成把握」?
氣象局不會說「明天下雨分數 8 分」,它說「降雨機率 99%」。不管分數多大多小,都要壓到 0% 到 100% 之間。
你猜猜看:A 和 G 乘一乘加起來剛好是 0。變成機率大概是多少?
0 分代表「不像也不不像」,就是一半一半。分數越大越靠近 100%,越負越靠近 0%。
這條把任何分數壓成 0 到 1 的 S 形曲線,叫 sigmoid。
講 Chatbot Arena 怎麼從戰力算勝率時,課堂上說:
「這其實就是sigmoid function 如果 I的戰力比J的戰力 大很多的話 算出來的數值就會趨近於1」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講
④ 跟這章的關係原書第二步:dot product 過 sigmoid,變成「這兩間會一起出現」的機率(第 23 頁)。
小結第 1–4 階:房源怎麼變成數字
到這裡你已經會了
- 看這一趟,不看一輩子session-based:找房的興趣變得快,最近點的最有用(第 6 頁)
- 每間房源是地圖上一點embedding:一組數字;常一起被點的,就要靠近(第 8、10 頁)
- 像不像,乘一乘加起來,再變百分比dot product → sigmoid → 會一起出現的機率(第 9、11 頁)
小雨正在看 A,現在走到哪裡
- 一組數字A = (2, 1),C = (2, 2),I = (−2, −2)
- 乘一乘A·C = 6 A·I = −6
- 變機率σ(6) ≈ 99.8% σ(−6) ≈ 0.25%
- 推薦機率高的排前面:C 在前,I 根本不會出現
座標全部是示意值。
下一階要解決:這些座標是誰給的?沒有人幫 500 萬間房源打分數。模型要從哪裡出題給自己練習?
原書Data Preparation · Data engineering · Table 9.1–9.3
手上有三種原始資料:人、房源、互動
這一步要解決要自己出題,得先知道系統裡有哪些原始資料。
| ID | Username | Age | Gender | City | Country | Language | Time zone |
|---|---|---|---|---|---|---|---|
| 原書這張表只有欄位,沒有範例資料 | |||||||
📖 原書 Table 9.1使用者資料結構(簡化版)
| ID | Host ID | Price | Sq ft | Rate | Type | City | Beds | Max guests |
|---|---|---|---|---|---|---|---|---|
| 1 | 135 | 135 | 1060 | 4.97 | Entire place 整套房源 | NYC | 3 | 4 |
| 2 | 81 | 80 | 830 | 4.6 | Private room 私人房間 | SF | 1 | 2 |
| 3 | 64 | 65 | 2540 | 5.0 | Shared room 共用房間 | Boston | 4 | 6 |
📖 原書 Table 9.2房源資料:價格、坪數、評分、類型、城市、床數、最多入住人數
| ID | User ID | Listing ID | Position of the listing in the displayed list | Interaction type | Source | Timestamp |
|---|---|---|---|---|---|---|
| 2 | 18 | 26 | 2 | Click 點擊 | Search feature 搜尋功能 | 1655121925 |
| 3 | 5 | 18 | 5 | Book 預訂 | Similar listing feature 相似房源功能 | 1655135257 |
📖 原書 Table 9.3使用者和房源的互動:曝光、點擊、預訂
📖 原書 三種資料
- Users:年齡、性別、城市、國家、語言、時區
- Listings:價格、床數、房東 ID 等屬性
- User-listing interactions:impression(曝光:房源被顯示在使用者面前一次)、點擊、預訂;還記下房源在清單裡的位置、從哪個功能來的、時間
你想想看:前兩張表等一下一欄都不會用到。原書規定模型只看第三張表裡「誰、什麼時候、點了哪一間」。那一欄「在清單裡排第幾」也先記著,第 40 頁的 positional bias 會用到它。
原書Feature engineering · Figure 9.5 · Table 9.4
從互動紀錄切出一段一段的「search session」
這一步要解決模型只吃瀏覽紀錄。一大堆點擊,要怎麼整理成練習題的材料?
📖 原書 只用瀏覽紀錄
照前面的設定,模型訓練時只用使用者的瀏覽紀錄,房源價格、使用者年齡等都不用。這一章把瀏覽紀錄叫 search session:一串點擊過的房源 ID,最後接著一間最終預訂的房源,中間沒有中斷。
📖 原書 Table 9.4 Search session 資料
| Session ID | Clicked listing IDs | Eventually booked listing ID |
|---|---|---|
| 1 | 1,5,4,9 | 26 |
| 2 | 6,8,9,21,6,13,6 | 5 |
| 3 | 5,9 | 11 |
動手玩:把小雨的點擊切成一段 session
左邊是互動表裡跟小雨有關的幾列(虛構)。按「切成 session」。
延伸基礎第 5 階 · 看鄰居 · 懂的人可以跳到第 16 頁
物以類聚:看你旁邊是誰,就知道你是誰
轉學生你還不認識他。可是每次下課,他都跟籃球隊的人混在一起。你大概猜得到他喜歡什麼。
你猜猜看:X 你沒看過。可是它每次被點,前後都是 B 海安路閣樓、D 安平老街小套房。X 大概是?
常跟台南老屋一起被點的,八成也是台南老屋。不用看介紹,看鄰居就猜得到。
從「一句話裡誰跟誰當鄰居」學出每個字的 embedding,最有名的是 word2vec。它的一種練法:給中間那個字,猜旁邊會出現哪些字,叫 skip-gram。
講語言模型的教材從哪裡來時,課堂上說:
「爬下來的每一個句子通通都是學習文字接龍的教材」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講
下面哪些會出現在中間那格的左右隔壁?點選,再按揭曉。
④ 跟這章的關係把房源 ID 當成字、一段 session 當成一句話,就能照搬 word2vec 的練法。教材是大家自己點出來的,不用人工標答案。
原書Model Development · Model selection · Model training · Figure 9.6
一個很淺的神經網路:給中間那間,猜它周圍的房源
這一步要解決要學 500 萬個 embedding,用什麼模型?它練的題目是什麼?
📖 原書 Model selection
Neural network(神經網路)是學 embedding 的標準方法。架構怎麼選,看任務多複雜、訓練資料多少等等。神經元數、層數、activation function 這類 hyperparameter(訓練前要先決定的設定)常用的選法是做實驗,挑表現最好的。這一章選 shallow neural network(只有很少層的淺層網路)。
📖 原書 Model training
- 每間房源的 embedding 先設成隨機的數字
- 用 sliding window 一段一段讀 search session(第 17 頁)
- 視窗滑過去時,中間那間的 embedding 被調得像視窗裡其他房源、不像視窗外的房源
- 模型用這些 embedding 來預測一間房源的 context(周圍會出現誰)
- 為了跟上新房源,每天用新建好的訓練資料重新訓練
講訓練怎麼開始時,課堂上說:
「隨便 call 一個 random 的 function 產生一些 random 的數值 當作初始化的參數」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
對照第 15 頁:Lc 就是「中間那個字」,context 就是它的左右鄰居。模型的工作是:看到 Lc,猜出 context 裡有誰。
延伸基礎第 6 階 · 滑動窗 · 懂的人可以跳到第 20 頁
誰算鄰居?框一個小窗,一格一格往右滑
拿一張挖了洞的卡片蓋在一排字上,一次只看得到三個字。看完往右移一格,再看下一組。中間那個字的「鄰居」,就是洞裡另外兩個。
你猜猜看:小雨點了 A B C D E 五間。左右各看 1 格,從頭滑到尾,總共會湊出幾對(中間, 鄰居)?
頭尾的 A、E 各只有 1 個鄰居,B、C、D 各有 2 個:1 + 2 + 2 + 2 + 1 = 8。
這張一格一格移動的卡片叫 sliding window(滑動視窗)。洞裡中間以外的房源,叫中間那間的 context。
④ 跟這章的關係原書就是用 sliding window 讀每一段 session:窗裡的鄰居拿來當「應該要像」的對象(第 20 頁)。
延伸基礎第 7 階 · 配對題 · 懂的人可以跳到第 20 頁
把題目改成是非題:這兩間是不是一組?
國文考配對題:「李白」配「詩仙」對嗎?對就打 1,不對就打 0。題目只有兩種答案,改起來最簡單。
你猜猜看:C 神農街老屋和 I 台北信義商旅,從來沒有在同一個窗裡出現過。這一對要標幾?
窗裡一起出現的標 1,要拉近;硬湊、沒一起出現過的標 0,要推遠。
標 1 的叫 positive pair(正例:要靠近)。標 0 的叫 negative pair(反例:要推遠)。
④ 跟這章的關係原書的訓練資料就是一大堆這樣的配對,正例 label 1、反例 label 0(第 20 頁)。
延伸基礎第 8 階 · 抽籤當反例 · 懂的人可以跳到第 20 頁
「不是鄰居」的有 500 萬間,每一間都要比嗎?
要教小孩「哪些不是水果」,你不會把全世界的東西都拿來問一遍。隨手抽幾樣:鉛筆、拖鞋、雨傘,就夠了。
你猜猜看:視窗每滑一格,如果把「不在窗裡的所有房源」都當反例,要算大約幾對?
平台有 500 萬間,窗裡只有 3 間,其他全部都是反例。每一步都比 500 萬次,練到天荒地老也練不完。
每一步只隨機抽幾間當反例,叫 negative sampling。
④ 跟這章的關係原書建資料集就選 negative sampling。注意抽出來的是誰:大多不在台南。這會變成一個坑(第 25 頁)。
原書Constructing the dataset · Figure 9.7
建資料集:窗裡的配成正例,隨機抽的配成反例
這一步要解決模型要練習,就要一大疊有答案的考題。從 search session 怎麼變出來?
📖 原書 Constructing the dataset
建資料集有很多方法,這一章選常用來學 embedding 的 negative sampling。從 search session 建出 positive pairs(預期 embedding 要相似的房源)和 negative pairs(預期要不相似的)。
📖 原書 更精確地說
- 每一段 session 都用 sliding window 讀過去
- 視窗滑動時,用中間的房源和它的 context 房源建 positive pairs,ground truth label 是 1
- 用中間的房源和隨機抽樣的房源建 negative pairs,label 是 0
一句話:每一對房源都變成一題是非題,答案 1 或 0。接下來的問題是:模型答「80% 是一組」,答案是 1,要扣幾分?
小結第 5–8 階:題目從哪裡來
到這裡你已經會了
- 把房源當字、session 當句子word2vec/skip-gram:給中間那間,猜它的鄰居;教材是大家自己點出來的(第 15 頁)
- 鄰居就是滑動窗裡的那幾間sliding window:一格一格滑,湊出(中間, 鄰居)(第 17 頁)
- 變成是非題,反例用抽的positive pair 標 1、negative pair 標 0;negative sampling 每步只抽幾間(第 18、19 頁)
小雨這一趟,變成了哪些考題
- sessionABCDE→ 訂 F
- 窗在 C左右各 1 格:鄰居是 B、D
- 正例 1(C, B) (C, D)
- 反例 0(C, I 台北) (C, J 花蓮)……隨機抽
下一階要解決:考題有了,模型也會吐出「幾成是一組」。可是答錯了要罰多重?罰完往哪邊改?
延伸基礎第 9 階 · 驚訝分數 · 懂的人可以跳到第 23 頁
答錯要罰多重?看你有多篤定地答錯
氣象預報說「降雨機率 1%」,結果下大雨,你超驚訝。它如果說「50%」,下雨了你也不怎麼意外。越篤定地猜錯,越該被罰。
你猜猜看:(A, C) 的答案是 1。模型甲說「90% 是一組」,模型乙說「10%」。誰該被罰比較重?
答案是 1,乙只給 10%,等於很篤定地說「不是」。甲的驚訝分數約 0.1,乙約 2.3,差了 20 倍以上。
罰分叫 loss:離正確答案多遠。是非題常用的算法叫 binary cross-entropy:只看「正確答案拿到幾成」,越少罰越重。
「反正你就知道說 這兩個機率分布越接近 那這個 Loss 算出來呢就會越小」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係原書算 loss 的第三步:拿 sigmoid 吐出的機率跟 label(1 或 0)算 cross-entropy(第 23 頁)。
原書Choosing the loss function · Figure 9.8
loss 三步驟:乘一乘、變機率、算驚訝
這一步要解決正例要靠近、反例要推遠。怎麼把這句話變成一個可以算的數字?
📖 原書 三個步驟
- 算兩個 embedding 之間的距離,例如 dot product(第 9 頁)
- 用 sigmoid 把它變成 0 到 1 之間的機率(第 11 頁)
- 用 cross-entropy 這個標準的分類 loss,量預測機率和 ground truth label 差多少(第 22 頁)
📖 原書 寫成式子
loss = Σ(c,p)∈Dp log 1/(1+e−Ep·Ec) + Σ(c,n)∈Dn log 1/(1+eEn·Ec)
- c:中間的房源;p:正例房源(在 context 裡跟 c 一起出現);n:反例房源(沒跟 c 一起出現)
- Ec、Ep、En:各自的 embedding
- Dp:所有正例對(中間, context),向量要被推近;Dn:所有反例對(中間, 隨機),向量要被推遠
- 第一個加總算正例的 loss,第二個加總算反例的 loss
看不懂式子沒關係。白話就是:每一對正例,算「它們是一組」的驚訝分數;每一對反例,算「它們不是一組」的驚訝分數;全部加起來。1/(1+e…) 就是 sigmoid 而已。
延伸基礎第 10 階 · 終點站 · 懂的人可以跳到第 25 頁
最後真的訂下的那間,要跟這一趟每一間都扯上關係
逛了五家店,最後在第六家買了外套。前面五家都是「通往這件外套的路」。只記「第三家旁邊是第四家」,就漏掉了最重要的那件事。
你猜猜看:小雨點了 A B C D E,最後訂 F。讓 F 跟著每一個窗,會多出幾對正例?
視窗中心走過 A、B、C、D、E 五次,每次都多一對(中心, F):(A, F)、(B, F)……(E, F)。
不管視窗滑到哪裡都一直在的那個 context,叫 global context(全域情境)。原書拿最終預訂的房源來當它。
④ 跟這章的關係原書的第一個改進:把(中間, 最後訂的房源)加進正例,讓 embedding 學會猜「最後會訂哪間」(第 25 頁)。
原書Can we improve the loss function? · Figure 9.9
原本的 loss 有兩個缺點,先修第一個:讓 embedding 會猜「最後訂哪間」
先猜:原本的 loss 只把中間的房源拉向窗裡的鄰居。這樣學出來的 embedding,會出什麼問題?
商業目標是訂房,不是點擊。可是訂下的那間,從來不會被當成誰的鄰居。
📖 原書 缺點一:沒有往「最後訂的」推
訓練時,中間房源的 embedding 被推向 context,卻沒有推向最終預訂房源的 embedding。學出來的 embedding 擅長預測鄰近的點擊,不擅長預測最後訂哪間。這對「幫使用者找到會下訂的房源」不理想。
📖 原書 缺點二:反例幾乎都在別的地區
反例是隨機抽的,所以大多來自不同地區。但使用者通常只在某個地區裡找,例如舊金山。這會讓 embedding 對同地區的房源分不好:那些沒在 context 一起出現、但在同一區的房源(第 26 頁)。
📖 原書 修法:把最後訂的房源當 global context
視窗滑動時,有些房源進出 context,但最終預訂的房源一直留在 global context 裡,用來更新中間房源的向量。做法:把〈中間房源, 最終預訂房源〉加進訓練資料、標成正例。這會讓模型在訓練時,把最終預訂房源的 embedding 拉近 session 裡每一間點過的房源。
原書Add negative pairs from the same region · 更新後的 loss · 動手練一次
再修第二個:從同一區挑反例,再把兩招一起練練看
📖 原書 同區的反例
視窗滑動時,從跟中間房源同一個社區、但不在它 context 裡的房源挑一間,跟中間房源配成反例,加進訓練資料。這種反例叫 hard negative(難的反例:同區、看起來很像,但其實不是一組)。
📖 原書 更新後的 loss:四個加總
loss = ΣDp log σ(Ec·Ep) + ΣDn log σ(−Ec·En) + ΣDbooked log σ(Ec·Eb) + ΣDhard log σ(−Ec·En)
- 前兩項同第 23 頁
- 第三項:Dbooked 是〈中間, 最終預訂〉,Eb 是預訂房源的 embedding,要推近
- 第四項:Dhard 是〈中間, 同區反例〉,要推遠
σ(z) 就是原書寫的 1/(1+e−z),這裡縮寫,內容不變。
動手練:8 段 session、12 間房源、2 個數字的 embedding
延伸基礎第 11 階 · 平均名次 · 懂的人可以跳到第 28 頁
考 embedding:真正訂下的那間,它排第幾名?
歌唱比賽結束後揭曉:觀眾最後真的買了誰的專輯。評審如果把那個人排第 2,算有眼光;排第 40,就該換人了。
你猜猜看:三段 session,最後訂的房源分別被排在第 2、5、2 名。平均名次是多少?
(2 + 5 + 2) ÷ 3 = 3。這個數字越小越好,代表訂下的那間越早被推到使用者面前。
原書叫它 average rank of the eventually-booked listing:最終預訂房源的平均名次。上線前用舊資料考的分數,叫 offline metric。
④ 跟這章的關係原書的 offline metric 就是這個:拿第一個點的房源去排,看最後訂的那間排第幾,再對所有 session 平均(第 28 頁)。
原書Evaluation · Offline metrics · Figure 9.10
離線評估:用第一次點的房源,重排一次這段 session
這一步要解決開發階段要比較新舊模型。embedding 好不好,要用什麼分數量?
📖 原書 為什麼要 offline metric
模型開發階段,用 offline metric 量模型的輸出品質,並比較新模型和舊模型。評估 embedding 的一種方法:看它根據最新的一次點擊,能多準地預測最終預訂的房源。原書為此定了一個指標:average rank of eventually-booked listing。
📖 原書 例子怎麼算
- 一段 session 共 7 間:L0 是使用者最先看的;接下來 5 間是依序點的;最後 L6 是最終預訂的
- 用模型算 L0 跟其他房源在 embedding space 裡的相似度,照相似度排序
- 看最終預訂的 L6 排在哪裡:新模型把它排到第 2 名
- 排得越前面,代表 embedding 越能把會被訂的房源提早推出來。對 validation dataset 裡所有 session 的名次取平均,就是這個指標
延伸基礎第 12 階 · 看行為 · 懂的人可以跳到第 30 頁
上線之後:被點很多次,等於訂房變多嗎?
夜市攤販掛了超大的招牌,路過停下來看的人變多了。可是收攤一算,賣出去的雞排沒有比較多。
你猜猜看:「相似房源」那一排被看到 1,000 次,被點了 50 次。點擊率是多少?
50 ÷ 1,000 = 5%。被看到的次數放下面,被點的次數放上面。
點擊 ÷ 被推薦的次數,叫 CTR(click-through rate,點擊率)。最後有下訂的 session ÷ 全部 session,原書叫 session book rate。
「Goodhart's Law 講的就是 如果一個評量的指標 它被當作我們要努力的 optimize 的目標的話 它就不再是一個好的指標」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講
④ 跟這章的關係原書上線後看兩個:CTR 量參與度,session book rate 直接對應「增加訂房」(第 30 頁)。
原書Online metrics
線上評估:CTR 看參與度,session book rate 看訂房
這一步要解決需求說商業目標是增加訂房。上線後要看哪些數字,才知道真的有幫到?
📖 原書 Click-through rate(CTR)
看到推薦房源的人,最後有多常點進去。
CTR = 被點擊的房源數 ÷ 被推薦的房源數
用來量使用者參與度:點得越頻繁,點過的房源裡就越有機會有一間變成訂單。但 CTR 不量平台上實際的訂房數,所以要用 session book rate 補。
📖 原書 Session book rate
有多少 search session 最後變成一筆訂房。
Session book rate = 變成訂房的 session 數 ÷ 全部 session 數
這個指標直接對應商業目標:增加訂房。session book rate 越高,平台的營收越多。
把三個分數排在一起看:上線前看最終預訂房源的平均名次(越小越好),上線後看 CTR 和 session book rate(越大越好)。三個都在問同一件事:會被訂的那間,有沒有早一點被推出來?
小結第 9–12 階:怎麼教、怎麼打分數
到這裡你已經會了
- loss:乘一乘、變機率、算驚訝dot product → sigmoid → binary cross-entropy,正例、反例全部加總(第 22、23 頁)
- 兩個改進最後訂的房源當 global context;同區的房源當 hard negative(第 24、25、26 頁)
- 離線看名次,線上看行為最終預訂房源的平均名次;CTR 和 session book rate,點擊不等於訂房(第 27、29 頁)
小雨這一趟,現在變成了
- 窗裡正例(C, B) (C, D) …共 8 對
- 終點正例(A, F) (B, F) … (E, F) 共 5 對
- 反例隨機 (C, I 台北)…;同區 (C, G 安平大別墅)…
- 考試從 A 出發,F 排第幾?上線後,她有沒有訂?
最後兩個問題:昨天才上架的房源,模型沒見過,要給它什麼數字?500 萬間,又要怎麼在一眨眼之內找出最近的幾間?
原書Serving · Figure 9.11 · Training pipeline · Indexing pipeline
整個系統:一條練、一條建索引、一條即時推薦
這一步要解決模型每天要跟上新房源,使用者一點開頁面又要馬上看到推薦。原書怎麼拆?
📖 原書 Training pipeline
用新房源和新的使用者互動 fine-tune(接著前面的結果再練)模型,確保模型一直跟得上新的互動和房源。
📖 原書 Indexing pipeline
有了訓練好的模型,平台上所有房源的 embedding 都可以先算好存進 index table,大幅加快預測。新的房源 embedding 出來,就加進表;有新訓練好的模型,就用新模型重算全部 embedding、更新 index table。
延伸基礎第 13 階 · 新來的 · 懂的人可以跳到第 34 頁
昨天才上架的房源,沒有人點過,它的數字從哪裡來?
巷口新開一家小吃店,地圖上 0 則評論。好不好吃,沒人說得準。只能先猜:「隔壁那家很有名,這家大概也差不多吧。」
你猜猜看:新房源 N 昨天剛上架,還沒出現在任何 session 裡。照前面的練法,它的 embedding 是什麼?
embedding 是從「跟誰一起被點」學出來的。沒人點過,就沒有任何一題跟它有關,它的數字沒被調過。
新東西沒有互動紀錄、模型不認得,叫 cold start(冷啟動)。
④ 跟這章的關係需求說新房源一天後再出現在推薦就好。這一天裡要先借一個數字給它用(第 34 頁)。
原書Prediction pipeline · Embedding fetcher service
Embedding fetcher:見過的直接查表,沒見過的借附近的
這一步要解決要找相似房源,先要拿到「正在看的那一間」的 embedding。新房源沒有怎麼辦?
📖 原書 輸入的房源訓練時見過
它的 embedding 已經學好、存在 index table 裡。embedding fetcher 就直接從 index table 拿。
📖 原書 輸入的房源訓練時沒見過
新房源模型沒見過,沒有 embedding 就找不到相似房源。解法:embedding fetcher 用 heuristics(經驗法則)處理新房源,例如借一間地理位置相近的房源的 embedding 來用。等新房源累積夠多互動資料,training pipeline 再用 fine-tune 學出它自己的 embedding。
「地理位置相近」這四個字,原書沒說要怎麼找得快。這正好是 Triton 一份講義在講的事(第 35 頁)。
動手玩:小雨點開的是哪一間?
客座講評Triton 怎麼找「附近的點」
借附近房源的 embedding:附近的點,用 geohash 一格一格找
這一步要解決新房源要借「地理位置最近」那間的數字。500 萬間裡找最近的,要自己寫一棵高深的樹嗎?
「4byte geohash 誤差是 20km 5byte geohash 誤差是 2.4km 6byte geohash 誤差是 610m ……(請自己看 wiki 詳情)」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
「對於一個 geohash ,要找出鄰近8個長方形的所需時間是: – O(1) ,真的是 O(1)」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
「先建立 i byte 的 geohash (還有其相鄰8格的 geohash ) – 把這 9 個 geohash 丟到 ES 搜尋 – 如果有結果返回,則一個一個對比 最近的點就是答案 – 否則用 i-1 byte 的 geohash 從來~」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
白話:geohash 把經緯度變成一串字,每一串代表地圖上一個長方形格子;字越長,格子越小。ES 是 Elasticsearch,一種搜尋資料庫。
🔭 依 Triton 原則推論 Triton 沒有談過相似房源;064 原本是回答論壇上「1 萬個點找最近鄰居」的問題。套進這章:① 原書的「借附近房源的 embedding」就是一個找最近點的題目,可以照 064 的簡化解法:每間房源存各種長度的 geohash 欄位,放進 ES 或一般 RDBMS 的 index,查 9 格、找不到就換粗一級的格子(或直接用 PostGIS);② 新房源一天才幾千間,而且只要在上架時找一次、存起來,不必每次有人點開都重找。
延伸基礎第 14 階 · 找最近 · 懂的人可以跳到第 37 頁
500 萬個點,要一個一個量距離嗎?
圖書館找一本旅遊書。你不會從第一個書架翻到最後一個。先看分類,走到「地理、旅遊」那一區,只在那幾排找。偶爾漏掉放錯區的書,但快很多。
你猜猜看:500 萬間分成 1,000 群、一群 5,000 間。先跟 1,000 個群中心比,再只在最近那一群裡比。一共要比幾次?
1,000(群中心)+ 5,000(那一群)= 6,000。比全部比少了 800 多倍。
找離某一點最近的幾個點,叫 nearest neighbor search。像分區找這樣「快很多、但偶爾不是最準」的找法,叫 approximate nearest neighbor(ANN)。
④ 跟這章的關係原書說 500 萬間全部算相似度太慢,所以 nearest neighbor service 用 ANN(第 37 頁)。
原書Nearest neighbor service · Re-ranking service
先用 ANN 撈出最近的,再用使用者的條件篩一遍
這一步要解決拿到 embedding 之後,怎麼在 500 萬間裡快快找出相似的?找出來的,又一定都適合給她看嗎?
📖 原書 Nearest neighbor service
要推相似房源,就要算「正在看的房源」和平台上其他房源的 embedding 相似度,輸出 embedding space 裡最近的鄰居。需求說平台有 500 萬間,全部算一遍要花時間、會拖慢服務,所以用 approximate nearest neighbor 加速搜尋(第 36 頁)。
📖 原書 Re-ranking service
套用使用者的篩選條件和某些限制來修改清單。例如房源價格高於使用者設的價格篩選,就移除;和正在看的房源不同城市的房源,也可以在顯示前移除。
動手玩:小雨正在看 C,ANN 撈出 8 間
客座講評Triton 怎麼看「500 萬間要用 ANN」
先算 N:題目是「每一點的鄰居」,算一次存起來就好?
這一步要解決原書說 500 萬間太多,所以上 ANN。可是推薦對每個人都一樣、又只留同城市。真的每次都要在 500 萬間裡找嗎?
「了解 N (像是 QPS / user count / data size )」「如果 n > 1M 則肯定不能暴力解」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
「原問題: – 我有 10000 個點,我想找出每一個點的最近鄰居 暴力解法: O(n^2) Quadtree 解法:O (n log n) – 反正你只用解一次,暴力解法跑完後把結果存起來就好」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
「越深的 algorithm ,很多時其 implementation 就越複雜,這代表: – 更高的開發時間 – 更多可以犯錯的細節 – 更多的 source code ,增加維護困難度」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
🔭 依 Triton 原則推論 Triton 沒有談過相似房源。套進這章:① 需求說推薦對匿名、登入使用者一樣,所以輸出只看「正在看哪一間」,正是 064 的「原問題」:每一間的鄰居算一次、存起來,服務時查表就結束了;② re-ranking 本來就會拿掉別的城市,那就只在同城市裡比,n 從 500 萬變成幾萬,每天練完模型後同城暴力算一遍即可;③ 存前 200 名之類的名單,價格篩選等條件在查表後再套。ANN 留到 N 真的變大,或要做個人化時再上。
小結第 13–14 階:怎麼上線
到這裡你已經會了
- 新來的先借附近的cold start:沒人點過就沒有 embedding;先借地理上最近的,一天後自己練(第 33、34 頁)
- 找最近,可以「大概」ANN:先分區再找,快很多,偶爾漏掉(第 36、37 頁)
- 三條 pipeline每天練、全部重建索引;即時:fetcher → nearest neighbor → re-ranking(第 32 頁)
14 階全部爬完,小雨點開 C 的那一瞬間
- fetcherC 見過,從 index table 拿出它的 embedding
- 最近鄰撈出最像的 8 間:F、E、B、A……
- re-rank太貴的 G、不在台南的 J 拿掉
- 畫面「相似房源」那一排出現 F。她點了,也訂了
接下來:原書的 other talking points,和這套方法的限制與後來的演進。
原書Other Talking Points
面試還有時間,可能會被問到這些
📖 原書 如果時間允許
- 什麼是 positional bias(位置偏差),怎麼處理?
- session-based 的做法跟 random walk(隨機漫步)比起來如何?怎麼用 random walk with restart(RWR,帶重啟的隨機漫步)推相似房源?
- 怎麼把使用者的長期興趣加進 session-based 推薦,做個人化(in-session personalization)?
- 季節對度假租屋影響很大,怎麼把 seasonality(季節性)放進相似房源系統?
每一題回到今天的哪一頁
- Positional bias → 第 13 頁 Table 9.3 記下的「在清單裡排第幾」:排第 1 本來就比較容易被點,session 裡的順序有一部分是搜尋排序造成的(第 41 頁)
- Random walk → 第 17 頁的視窗只看前後幾格;random walk 則是在「誰點了誰」的關係圖上一路走,RWR 每一步有機會跳回起點,所以走出來的都是起點附近的房源
- 長期興趣 → 第 6 頁「看一輩子 vs 看這一趟」,兩邊可以合起來
- 季節 → 第 32 頁每天重練;也可以只用同季節的 session 練,或把季節當成條件
📅 2026 補充方法的限制
四個容易踩到的坑:座標會轉、點擊有偏、平均會被拉、熱門太黏
這一步要解決原書的流程每一步都合理。接在一起、天天跑之後,會漏掉什麼?
你猜猜看:如果每天都從隨機數字重新練一次,昨天存的 C 和今天練的 F,可以直接拿來乘一乘比嗎?
embedding 只保證「誰跟誰近」,不保證「每個點在哪」。換一組亂數重練,整張圖可能旋轉、翻面。
一、新舊 embedding 不能混用
所以原書的 indexing pipeline 有新模型就全部重算,這一步很重要:要整批換掉,不能一半新一半舊。就算是接著練(fine-tune),座標也會慢慢漂移。
二、點擊是被「排出來」的
session 裡的順序,有一部分是搜尋結果排序造成的:排第 1 的比較容易被點。模型會學到「搜尋常把誰排在一起」,再推回去,形成 feedback loop。這就是原書提的 positional bias。
三、平均名次會被極端值拉走
99 段 session 都排第 2,1 段排第 3,000,平均就變成約 32。常見做法是一起看中位數,或「有沒有進前 k 名」(hit rate@k)、名次倒數的平均(MRR)。
四、熱門房源容易黏到每個人身上
熱門房源出現在很多 session,跟很多房源都配過正例,dot product 又會受箭頭長度影響,容易到處排前面。常見對策是先把每組數字的長度調成一樣再比(cosine),或讓熱門房源也比較常被抽成反例。
📅 2026 補充原論文的細節,與方法怎麼演進
原書之後,這幾個零件換了做法
這一步要解決原書引用的 Airbnb 做法本身還有哪些細節?word2vec 式的 embedding、ANN、冷啟動,後來往哪裡走?
原書參考資料背後的論文
Airbnb 在 KDD 2018 發表的 listing embedding 論文,多寫了幾個實務細節:embedding 是 32 個數字;使用者超過 30 分鐘沒動作就切成新的 session;同區反例是從同一個市場抽;新房源取 10 英里內、同類型同價位、最近的 3 間房源的 embedding 平均。
從「看鄰居」到「看整串順序」
word2vec 式的做法只看視窗裡誰跟誰一起出現,不管先後。之後的 session-based 推薦改用序列模型:GRU4Rec(2016,RNN)、SASRec(2018)與 BERT4Rec(2019,Transformer),直接讀整段 session 預測下一個。生成式推薦(TIGER 2023、HSTU 2024)再把它變成「推薦版的文字接龍」。
ANN 變成標準零件
原書只說「用 ANN」。現在常用的是 HNSW(把點連成多層的鄰居圖,一路往近的走)和 IVF 分群索引,Faiss 這類函式庫、各家 vector database,連 PostgreSQL 的 pgvector 從 0.5.0 起都內建 HNSW。不用自己寫。
冷啟動:不只看互動,也看內容
原書規定只用互動資料,所以新房源只能借鄰居的。常見的延伸是讓 embedding 也從房源本身算:照片、文字描述、價格、地點,經過另一個模型變成同一張地圖上的點。上架第一天就有自己的位置,互動累積後再慢慢修正。
回顧14 階全部爬完
相似房源,其實就是:把房源當字、session 當句子,練出每間房源的一組數字;常一起被點的放近一點,再找最近的幾間而已。
房源怎麼變成數字
session-based:看這一趟。每間房源一個 embedding;像不像用 dot product,再用 sigmoid 變成機率。
題目從哪裡來
照搬 word2vec 的 skip-gram:sliding window 讀 session,窗裡的配成正例 1,negative sampling 抽來的配成反例 0。
怎麼教、怎麼打分數
loss 是 binary cross-entropy;加上最終預訂房源當 global context、同區 hard negative。離線看最終預訂房源的平均名次,線上看 CTR 和 session book rate。
怎麼上線
每天 fine-tune、重建 index table。即時:embedding fetcher(新房源借附近的)→ ANN 找最近 → re-ranking 套篩選。
看鄰居,拉近,推遠,找最近。然後呢?然後就結束了。
名詞小卡課後複習用 · 每個詞一行白話
本章名詞小卡
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| listing | 一間刊登出來的房源 | 第 3 頁 |
| session · session-based recommendation | 一次連續的瀏覽 · 只看這一趟來推薦 | 第 6 頁 |
| search session | 一串點過的房源,最後接著訂下的那間 | 第 14 頁 |
| embedding · embedding space | 代表一間房源的一組數字 · 這些點所在的地圖 | 第 8 頁 |
| co-occurrence | 常常一起出現在同一段瀏覽裡 | 第 10 頁 |
| dot product | 對應的乘起來再加起來;越像越大 | 第 9 頁 |
| sigmoid | 把任何分數壓成 0–100% 的 S 形曲線 | 第 11 頁 |
| impression | 房源被顯示在使用者面前一次 | 第 13 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| word2vec · skip-gram | 從「誰跟誰當鄰居」學 embedding · 給中間的猜旁邊的 | 第 15 頁 |
| shallow neural network | 只有很少層的淺層神經網路 | 第 16 頁 |
| hyperparameter | 訓練前要先決定的設定,例如層數、視窗大小 | 第 16 頁 |
| sliding window · context | 一格一格往右滑的小窗 · 窗裡中間以外的房源 | 第 17 頁 |
| positive pair · negative pair | 標 1、要拉近的一對 · 標 0、要推遠的一對 | 第 18 頁 |
| negative sampling | 每一步只隨機抽幾間當反例 | 第 19 頁 |
| ground truth label | 標準答案:1 或 0 | 第 20 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| loss · binary cross-entropy | 離答案多遠 · 越篤定地答錯罰越重 | 第 22 頁 |
| global context | 不管窗滑到哪都在的 context:最後訂下的那間 | 第 24 頁 |
| hard negative | 同一區、看起來像、其實不是一組的反例 | 第 26 頁 |
| offline metric · validation dataset | 上線前用舊資料考的分數 · 專門拿來考試的資料 | 第 27 頁 |
| average rank of eventually-booked listing | 最後訂的那間平均排第幾;越小越好 | 第 28 頁 |
| CTR | 被點擊的房源 ÷ 被推薦的房源 | 第 29 頁 |
| session book rate | 有下訂的 session ÷ 全部 session | 第 30 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| fine-tune | 接著前面的結果,用新資料再練 | 第 32 頁 |
| index table · indexing pipeline | 先算好的所有 embedding · 負責建和更新它的那條線 | 第 32 頁 |
| cold start | 新東西沒有互動紀錄,模型不認得 | 第 33 頁 |
| embedding fetcher · heuristic | 拿正在看的房源的 embedding · 新房源先借附近的經驗法則 | 第 34 頁 |
| geohash | 經緯度變成一串字,每串是一個格子 | 第 35 頁 |
| nearest neighbor · ANN | 找最近的幾個點 · 先分區再找,快但偶爾漏 | 第 36 頁 |
| re-ranking | 套使用者的篩選和限制,劃掉不適合的 | 第 37 頁 |
| positional bias | 排越前面本來就越容易被點 | 第 41 頁 |
忘了哪個詞,就回到右邊那一頁,四步再走一次。
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Machine Learning System Design Interview · Similar Listings on Vacation Rental Platforms 章。開場與 Figure 9.1(第 3 頁)、Clarifying Requirements 與問題陳述(5)、ML objective、input/output、ML category、session-based 與 Figure 9.2–9.3(7)、co-occurrence embedding 與 Figure 9.4(10)、Data engineering 與 Table 9.1–9.3(13)、Feature engineering、Figure 9.5 與 Table 9.4(14)、Model selection、Model training 與 Figure 9.6(16)、Constructing the dataset 與 Figure 9.7(20)、Choosing the loss function、Figure 9.8 與公式(23)、兩個缺點、global context 與 Figure 9.9(25)、同區反例與更新後的 loss(26)、Offline metrics 與 Figure 9.10(28)、Online metrics(30)、Serving、Figure 9.11、Training/Indexing pipeline(32)、Embedding fetcher(34)、Nearest neighbor 與 Re-ranking service(37)、Other Talking Points(40)。11 張圖全部依圖說與描述重繪,不是原圖;Figure 9.1 網頁截圖改線框圖;Figure 9.7 的窗大小與反例編號依內文補;Figure 9.10 重排後其餘順序是示意
本簡報加的頁面:開場互動(2)、概念階梯(4)、14 個延伸基礎(6、8、9、11、15、17、18、19、22、24、27、29、33、36)、小結(12、21、31、39)、客座卡(35、38)、方法限制(41)、2026 補充(42)、名詞小卡(44)。小雨與 A–J、N 房源、座標、session、名次、漏斗數字、訓練示範都是示意
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 3 講 — 意思相近的 Token 有相近的 Embedding(8)、dot product 計算某種相似度(9)
- 同 · 第 1 講 — 每一個句子都是文字接龍的教材(15)
- 同 · 第 6 講 — random 初始化參數(16)、兩個機率分布越接近 Loss 越小(22)
- 同 · 第 4 講 — Goodhart's Law(29)
- 生成式AI時代下的機器學習(2025) · 第九講 — Elo 勝率就是 sigmoid(11)
來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。逐字稿:raw/youtube/transcripts/8iFvM7WUUs8.md、TigfpYPJk1s.md、mPWvAN4hzzY.md、dWQVY_h0YXU.md、s266BzGNKKc.md
🗣️ Triton 與 📅 依據
- 🗣️
materials/core/064-introToAlgorithm.pdf.md(geohash 誤差、鄰近 8 格 O(1)、9 格查不到就退一級;了解 N、n > 1M 不能暴力、原問題只解一次存起來、越深的演算法越難維護);套用到本章的部分都標 🔭 - 📅 Grbovic & Cheng(KDD 2018);GRU4Rec(2016)、SASRec(2018)、BERT4Rec(2019)、TIGER(2023)、HSTU(2024);HNSW、Faiss、pgvector 0.5.0;Joachims 等(2017);Pixie(2018)
公式(主文用文字講過)
- dot product:Ec·Eo = Σi Ec,iEo,i
- σ(z) = 1 / (1 + e−z);σ(−z) = 1 − σ(z)
- BCE = −[y log p + (1 − y) log(1 − p)],p = σ(Ec·Eo)
- 原書:loss = ΣDp log σ(Ec·Ep) + ΣDn log σ(−Ec·En) + ΣDbooked log σ(Ec·Eb) + ΣDhard log σ(−Ec·En);最小化時取負號
- SGD 一步(示範用):g = σ(Ec·Eo) − y;Ec ← Ec − η g Eo;Eo ← Eo − η g Ec
- 視窗 m 的正例對數(長度 L):Σi |context(i)|;L = 5、m = 1 時 = 8
- Average rank = (1/|V|) Σs∈V ranks(booked | first click)
- CTR = clicked / recommended;Session book rate = booked sessions / sessions
- IVF 式 ANN 的比較次數 ≈ 群數 + 探查群數 × 每群大小