ML System Design · 第 9 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(兩張客座卡:先算 N、geohash)

相似房源推薦
其實就是:常常一起被看的房子,就把它們放在一起而已

你在訂房網站點開一間台南老屋,頁面最下面冒出一排「相似房源」。它不是看房子的價格、地點去比的。它是看幾百萬個旅客瀏覽的順序,學會「誰常跟誰一起出現」。原書用類似 Airbnb 的平台,把這招從頭講到尾。

今天的路線

需求 → 一邊爬 14 階基礎、一邊對照原書(第 4 頁的階梯):房源怎麼變成數字 → 題目從哪裡來 → 怎麼教、怎麼打分數 → 怎麼上線 → 方法的限制與 2026 年的變化。全程只用同一位旅客、同一趟找房。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論 延伸基礎

標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。

先講跟你有關的動手玩 · 你來當推薦員

小雨剛看完神農街老屋,她下一間會點哪一間?

小雨這一趟已經點了:A 古厝雙人房 → B 海安路閣樓 → C 神農街老屋 → ?

點一張你覺得她下一間最可能點開的房源。

小雨是誰(虛構人物)

跟朋友兩個人,下個月去台南玩兩晚。預算一晚 2,000 到 3,000 元。她沒有登入,網站不知道她是誰。

你可能會想說,這很簡單啊,同一區、差不多價錢就好了嘛。對,你看得懂房源的介紹。可是原書規定:模型不准看價錢、地點、床數,只准看大家點了什麼、按什麼順序點。

今天整堂課只在回答四個問題:房源怎麼變成數字?題目從哪裡來?(沒有人幫你標答案)怎麼教、怎麼打分數?500 萬間,怎麼一眨眼找完?

原書Introduction · Figure 9.1

原書的開場:使用者正在看的房源,底下推一排相似的

📖 原書 Figure 9.1推薦的相似房源(原圖是網頁截圖,這裡改畫成線框圖,不畫 logo;依原書內容重繪)

📖 原書 題目從哪裡來

推薦「跟使用者正在看的東西相似」的項目,是大型平台幫人發現內容的關鍵技術:Airbnb 推相似的住宿、Amazon 推相似的商品、Expedia 推相似的體驗。這一章設計一個類似 Airbnb、Vrbo 這類度假租賃網站的「similar listings」功能:使用者點開一間房源,就推一串相似的房源給他。

原書這一章的路線

  1. Clarifying requirements(第 5 頁)
  2. Frame the problem as an ML task(第 7–10 頁)
  3. Data preparation(第 13–14 頁)
  4. Model development(第 16–26 頁)
  5. Evaluation(第 28、30 頁)
  6. Serving(第 32–37 頁)
  7. Other talking points(第 40 頁)

學習地圖今天要爬的 14 階 · 每一階只用前面學過的東西

一階一階往上爬,不跳階

  1. 1這一趟看這次,還是看一輩子?
  2. 2一組數字房源怎麼變成地圖上一點?
  3. 3乘一乘加起來兩點多像?
  4. 4變百分比分數怎麼變機率?
  5. 5看鄰居從旁邊的人認識你
  6. 6滑動窗誰算鄰居?
  7. 7配對題1 和 0 怎麼標?
  8. 8抽籤當反例500 萬個要全比嗎?
  9. 9驚訝分數猜錯罰多重?
  10. 10終點站最後訂的那間
  11. 11平均名次離線怎麼打分?
  12. 12看行為上線後看什麼?
  13. 13新來的剛上架沒人點過
  14. 14找最近500 萬間怎麼找得快?

房源怎麼變成數字 題目從哪裡來 怎麼教、怎麼打分數 怎麼上線 英文名字等爬到那一階才給。

整堂課只用一位旅客、一趟找房

小雨在台南依序點了 A B C D E 五間,最後訂了 F。另外還有同在台南的 G、H,和台北的 I、花蓮的 J。數字小到可以心算。

每一階都走四步

① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。

每爬幾階就停一下

「到這裡你已經會了」:第 12、21、31、39 頁。最後還有名詞小卡(第 44 頁)。

原書Clarifying Requirements

原書的題目:點一間,推一串「接下來可能會點的」

這一步要解決先問清楚「相似」是什麼意思、手上有什麼資料,免得答錯題目。

📖 原書 應徵者 × 面試官

應徵者問面試官答
商業目標可以假設是增加訂房數嗎?是的
「相似」怎麼定義?是跟使用者正在看的房源相似嗎?對。兩間房源在同一個社區、同城市、同價格範圍等等,就算相似
推薦要個人化嗎?要同時支援登入和匿名使用者。實務上會分開處理、對登入者做個人化;為了簡單,假設兩者一視同仁
平台上有多少房源?500 萬間
訓練資料怎麼建?好問題。假設只用使用者和房源的互動;模型完全不用使用者屬性(年齡、所在地)或房源屬性(價格、地點)
新房源多久要出現在結果裡?假設上架一天後再出現就可以;這段時間系統會收集它的互動資料

📖 原書 問題陳述

  • Input:使用者正在看的一間房源
  • Output:一串依名次排好的相似房源,是使用者接下來可能會點的
  • 匿名、登入使用者看到的推薦一樣
  • 約 500 萬間房源;新房源一天後可出現在推薦
  • 商業目標:增加訂房數

你有沒有發現一件很怪的事?面試官說「相似」是同社區、同價格,可是又不准模型看價格和地點。那它要怎麼知道兩間房同一區?答案藏在「大家怎麼點」裡面。這件事第 10 頁會揭曉。

延伸基礎第 1 階 · 這一趟 · 懂的人可以跳到第 7 頁

    推薦要看她「這一輩子」,還是看她「這一趟」?

    ① 生活情境

    常客走進書店,店員記得她平常買推理小說。可是她今天一進門就連翻了三本台南旅遊書。這時候該推什麼?

    你猜猜看:小雨去年出差住了 5 次台北商旅。今天她連點 3 間台南老屋,下一間最可能點?

    ③ 這時才給名字

    只看「這一次連續瀏覽」來推薦,叫 session-based recommendation。一次連續的瀏覽就叫一個 session。

    ② 動手玩:同一個人,兩種推法

    ④ 跟這章的關係找房子的興趣變得很快、跟這一趟的目的地有關。原書就把相似房源當成 session-based 的題目(第 7 頁)。

    原書Frame the Problem as an ML Task · Figure 9.2–9.3

    把「訂房變多」翻成 ML 題目:猜她下一間會點什麼

    這一步要解決「增加訂房」不是模型能直接學的東西。要換成模型能算的目標、輸入和輸出,再挑一類方法。

    📖 原書 ML objective 與 input/output

    觀察:使用者連續點的房源,通常特徵相似,例如同城市、價格相近。所以把 ML 目標定成:給定使用者正在看的房源,準確預測她下一個會點哪一間。系統的 input 是正在看的房源,output 是依「這個使用者會點的機率」排好的一串房源。

    📖 原書 Figure 9.2相似房源系統的 input 和 output(依原書內容重繪)

    📖 原書 選對 ML 類別:session-based

    多數推薦系統靠使用者的歷史互動了解長期興趣,但這不太適合相似房源:最近看的比很久以前看的更有資訊。Airbnb 和許多電商、訂旅遊的平台更依賴短期興趣,這時常用 session-based recommendation 取代傳統推薦:根據使用者這一次的瀏覽推薦,預測一串最近瀏覽之後的下一個 item。

    📖 原書 Figure 9.3一段商品的瀏覽 session(依原書描述重繪)
    傳統推薦Session-based
    興趣跟情境無關、不常變動態、變得快
    目標學一般興趣從最近瀏覽學短期興趣

    延伸基礎第 2 階 · 一組數字 · 懂的人可以跳到第 10 頁

      每間房源,都變成地圖上的一個點

      ① 生活情境

      美食部落客畫了一張圖:左右是「便宜 ↔ 貴」,上下是「老味道 ↔ 新潮」。每家店是一個點。兩家店靠得近,就是同一型的店。

      你猜猜看:A 的位置是 (2, 1)。下面哪一間在圖上離 A 最近?

      ③ 這時才給名字

      用一組數字代表一個東西,叫 embedding。這些點所在的那張圖,叫 embedding space。

      講 token embedding 時,課堂上說:

      「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

      ② 動手玩:點一間房源,看它的兩個數字

      點圖上任何一間。

      ④ 跟這章的關係原書要學的,就是每間房源的 embedding:常常一起被點的,點就要靠得近(第 10 頁)。

      延伸基礎第 3 階 · 乘一乘加起來 · 懂的人可以跳到第 10 頁

        兩組數字有多像?對應的乘起來,再加起來

        ① 生活情境

        交友 App 問兩題:愛吃辣嗎?愛爬山嗎?兩個人都愛,加很多分;一個愛一個討厭,扣分。每題的分數乘起來,再全部加總。

        你猜猜看:A = (2, 1),C = (2, 2)。對應的乘起來再加起來,是多少?

        ③ 這時才給名字

        這個「乘一乘加起來」叫 dot product(內積)。方向越一致、箭頭越長,分數越高;方向相反就變負的。

        講語言模型最後一層時,課堂上說:

        「每一個 token embedding 都去計算 dot product,也就是計算某種相似度。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

        ② 動手玩:A 不動,拉另一間的兩個數字

        ④ 跟這章的關係原書算 loss 的第一步,就是把兩間房源的 embedding 做 dot product(第 23 頁)。

        原書Session-based recommendation · Figure 9.4

        常常一起被點的房源,在地圖上就放近一點

        這一步要解決session-based 推薦要怎麼做?模型不准看價格、地點,那「相似」要從哪裡來?

        📖 原書 常用技巧:從共現學 embedding

        建 session-based 推薦系統的常用技巧:用 item 在使用者瀏覽紀錄裡的 co-occurrence(一起出現)來學 item 的 embedding。例如 Instagram 學帳號的 embedding 來做「Explore」、Airbnb 學房源的 embedding 來做相似房源、word2vec 用類似的方法學字的 embedding(第 15 頁)。

        📖 原書 這一章的做法

        把相似房源當成 session-based 推薦任務。訓練一個模型,把每間房源對應到一個 embedding:兩間房源如果常一起出現在瀏覽紀錄裡,它們的 embedding 就要靠得近。推薦時,在 embedding space 裡找離正在看的房源最近的幾間。Figure 9.4 把每間房源畫在 2D 上,替 Lt 挑最近的 3 間。

        揭曉第 5 頁的怪事:大家找房時本來就只在同一個城市、差不多的預算裡點來點去。所以「常一起被點」自然就帶著「同一區、差不多價錢」。模型沒看過價格,卻學到了價格。

        📖 原書 Figure 9.4embedding space 裡的相似房源(依原書內容重繪)

        延伸基礎第 4 階 · 變百分比 · 懂的人可以跳到第 12 頁

          分數可以是 −6 也可以是 8,怎麼變成「幾成把握」?

          ① 生活情境

          氣象局不會說「明天下雨分數 8 分」,它說「降雨機率 99%」。不管分數多大多小,都要壓到 0% 到 100% 之間。

          你猜猜看:A 和 G 乘一乘加起來剛好是 0。變成機率大概是多少?

          ③ 這時才給名字

          這條把任何分數壓成 0 到 1 的 S 形曲線,叫 sigmoid。

          講 Chatbot Arena 怎麼從戰力算勝率時,課堂上說:

          「這其實就是sigmoid function 如果 I的戰力比J的戰力 大很多的話 算出來的數值就會趨近於1」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講

          ② 動手玩:拉分數,看機率

          ④ 跟這章的關係原書第二步:dot product 過 sigmoid,變成「這兩間會一起出現」的機率(第 23 頁)。

          小結第 1–4 階:房源怎麼變成數字

            到這裡你已經會了

            • 看這一趟,不看一輩子session-based:找房的興趣變得快,最近點的最有用(第 6 頁)
            • 每間房源是地圖上一點embedding:一組數字;常一起被點的,就要靠近(第 8、10 頁)
            • 像不像,乘一乘加起來,再變百分比dot product → sigmoid → 會一起出現的機率(第 9、11 頁)

            小雨正在看 A,現在走到哪裡

            1. 一組數字A = (2, 1),C = (2, 2),I = (−2, −2)
            2. 乘一乘A·C = 6  A·I = −6
            3. 變機率σ(6) ≈ 99.8% σ(−6) ≈ 0.25%
            4. 推薦機率高的排前面:C 在前,I 根本不會出現

            座標全部是示意值。

            下一階要解決:這些座標是誰給的?沒有人幫 500 萬間房源打分數。模型要從哪裡出題給自己練習?

            原書Data Preparation · Data engineering · Table 9.1–9.3

            手上有三種原始資料:人、房源、互動

            這一步要解決要自己出題,得先知道系統裡有哪些原始資料。

            IDUsernameAgeGenderCityCountryLanguageTime zone
            原書這張表只有欄位,沒有範例資料

            📖 原書 Table 9.1使用者資料結構(簡化版)

            📖 原書 三種資料

            • Users:年齡、性別、城市、國家、語言、時區
            • Listings:價格、床數、房東 ID 等屬性
            • User-listing interactions:impression(曝光:房源被顯示在使用者面前一次)、點擊、預訂;還記下房源在清單裡的位置、從哪個功能來的、時間

            你想想看:前兩張表等一下一欄都不會用到。原書規定模型只看第三張表裡「誰、什麼時候、點了哪一間」。那一欄「在清單裡排第幾」也先記著,第 40 頁的 positional bias 會用到它。

            原書Feature engineering · Figure 9.5 · Table 9.4

            從互動紀錄切出一段一段的「search session」

            這一步要解決模型只吃瀏覽紀錄。一大堆點擊,要怎麼整理成練習題的材料?

            📖 原書 只用瀏覽紀錄

            照前面的設定,模型訓練時只用使用者的瀏覽紀錄,房源價格、使用者年齡等都不用。這一章把瀏覽紀錄叫 search session:一串點擊過的房源 ID,最後接著一間最終預訂的房源,中間沒有中斷。

            📖 原書 Figure 9.5一個 search session:從點 L1 開始,到訂 L20 結束(依原書內容重繪)

            📖 原書 Table 9.4 Search session 資料

            Session IDClicked listing IDsEventually booked listing ID
            11,5,4,926
            26,8,9,21,6,13,65
            35,911

            動手玩:把小雨的點擊切成一段 session

            左邊是互動表裡跟小雨有關的幾列(虛構)。按「切成 session」。

            延伸基礎第 5 階 · 看鄰居 · 懂的人可以跳到第 16 頁

              物以類聚:看你旁邊是誰,就知道你是誰

              ① 生活情境

              轉學生你還不認識他。可是每次下課,他都跟籃球隊的人混在一起。你大概猜得到他喜歡什麼。

              你猜猜看:X 你沒看過。可是它每次被點,前後都是 B 海安路閣樓、D 安平老街小套房。X 大概是?

              ③ 這時才給名字

              從「一句話裡誰跟誰當鄰居」學出每個字的 embedding,最有名的是 word2vec。它的一種練法:給中間那個字,猜旁邊會出現哪些字,叫 skip-gram。

              講語言模型的教材從哪裡來時,課堂上說:

              「爬下來的每一個句子通通都是學習文字接龍的教材」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講

              ② 動手玩:給你中間那一個,點出它的鄰居

              下面哪些會出現在中間那格的左右隔壁?點選,再按揭曉。

              ④ 跟這章的關係把房源 ID 當成字、一段 session 當成一句話,就能照搬 word2vec 的練法。教材是大家自己點出來的,不用人工標答案。

              原書Model Development · Model selection · Model training · Figure 9.6

              一個很淺的神經網路:給中間那間,猜它周圍的房源

              這一步要解決要學 500 萬個 embedding,用什麼模型?它練的題目是什麼?

              📖 原書 Model selection

              Neural network(神經網路)是學 embedding 的標準方法。架構怎麼選,看任務多複雜、訓練資料多少等等。神經元數、層數、activation function 這類 hyperparameter(訓練前要先決定的設定)常用的選法是做實驗,挑表現最好的。這一章選 shallow neural network(只有很少層的淺層網路)。

              📖 原書 Model training

              1. 每間房源的 embedding 先設成隨機的數字
              2. 用 sliding window 一段一段讀 search session(第 17 頁)
              3. 視窗滑過去時,中間那間的 embedding 被調得像視窗裡其他房源、不像視窗外的房源
              4. 模型用這些 embedding 來預測一間房源的 context(周圍會出現誰)
              5. 為了跟上新房源,每天用新建好的訓練資料重新訓練

              講訓練怎麼開始時,課堂上說:

              「隨便 call 一個 random 的 function 產生一些 random 的數值 當作初始化的參數」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

              📖 原書 Figure 9.6預測鄰近的房源(依原書內容重繪)

              對照第 15 頁:Lc 就是「中間那個字」,context 就是它的左右鄰居。模型的工作是:看到 Lc,猜出 context 裡有誰。

              延伸基礎第 6 階 · 滑動窗 · 懂的人可以跳到第 20 頁

                誰算鄰居?框一個小窗,一格一格往右滑

                ① 生活情境

                拿一張挖了洞的卡片蓋在一排字上,一次只看得到三個字。看完往右移一格,再看下一組。中間那個字的「鄰居」,就是洞裡另外兩個。

                你猜猜看:小雨點了 A B C D E 五間。左右各看 1 格,從頭滑到尾,總共會湊出幾對(中間, 鄰居)?

                ③ 這時才給名字

                這張一格一格移動的卡片叫 sliding window(滑動視窗)。洞裡中間以外的房源,叫中間那間的 context。

                ② 動手玩:一格一格往右滑
                0目前湊出的(中間, 鄰居)對數

                ④ 跟這章的關係原書就是用 sliding window 讀每一段 session:窗裡的鄰居拿來當「應該要像」的對象(第 20 頁)。

                延伸基礎第 7 階 · 配對題 · 懂的人可以跳到第 20 頁

                  把題目改成是非題:這兩間是不是一組?

                  ① 生活情境

                  國文考配對題:「李白」配「詩仙」對嗎?對就打 1,不對就打 0。題目只有兩種答案,改起來最簡單。

                  你猜猜看:C 神農街老屋和 I 台北信義商旅,從來沒有在同一個窗裡出現過。這一對要標幾?

                  ③ 這時才給名字

                  標 1 的叫 positive pair(正例:要靠近)。標 0 的叫 negative pair(反例:要推遠)。

                  ② 動手玩:你來當老師,幫每一對打 1 或 0
                  —答對幾題

                  ④ 跟這章的關係原書的訓練資料就是一大堆這樣的配對,正例 label 1、反例 label 0(第 20 頁)。

                  延伸基礎第 8 階 · 抽籤當反例 · 懂的人可以跳到第 20 頁

                    「不是鄰居」的有 500 萬間,每一間都要比嗎?

                    ① 生活情境

                    要教小孩「哪些不是水果」,你不會把全世界的東西都拿來問一遍。隨手抽幾樣:鉛筆、拖鞋、雨傘,就夠了。

                    你猜猜看:視窗每滑一格,如果把「不在窗裡的所有房源」都當反例,要算大約幾對?

                    ③ 這時才給名字

                    每一步只隨機抽幾間當反例,叫 negative sampling。

                    ② 動手玩:每一步抽幾間當反例?

                    ④ 跟這章的關係原書建資料集就選 negative sampling。注意抽出來的是誰:大多不在台南。這會變成一個坑(第 25 頁)。

                    原書Constructing the dataset · Figure 9.7

                    建資料集:窗裡的配成正例,隨機抽的配成反例

                    這一步要解決模型要練習,就要一大疊有答案的考題。從 search session 怎麼變出來?

                    📖 原書 Figure 9.7建出來的正例與反例配對;窗的大小與反例的編號依內文補(依原書內容重繪)

                    📖 原書 Constructing the dataset

                    建資料集有很多方法,這一章選常用來學 embedding 的 negative sampling。從 search session 建出 positive pairs(預期 embedding 要相似的房源)和 negative pairs(預期要不相似的)。

                    📖 原書 更精確地說

                    1. 每一段 session 都用 sliding window 讀過去
                    2. 視窗滑動時,用中間的房源和它的 context 房源建 positive pairs,ground truth label 是 1
                    3. 用中間的房源和隨機抽樣的房源建 negative pairs,label 是 0

                    一句話:每一對房源都變成一題是非題,答案 1 或 0。接下來的問題是:模型答「80% 是一組」,答案是 1,要扣幾分?

                    小結第 5–8 階:題目從哪裡來

                      到這裡你已經會了

                      • 把房源當字、session 當句子word2vec/skip-gram:給中間那間,猜它的鄰居;教材是大家自己點出來的(第 15 頁)
                      • 鄰居就是滑動窗裡的那幾間sliding window:一格一格滑,湊出(中間, 鄰居)(第 17 頁)
                      • 變成是非題,反例用抽的positive pair 標 1、negative pair 標 0;negative sampling 每步只抽幾間(第 18、19 頁)

                      小雨這一趟,變成了哪些考題

                      1. sessionABCDE→ 訂 F
                      2. 窗在 C左右各 1 格:鄰居是 B、D
                      3. 正例 1(C, B) (C, D)
                      4. 反例 0(C, I 台北) (C, J 花蓮)……隨機抽

                      下一階要解決:考題有了,模型也會吐出「幾成是一組」。可是答錯了要罰多重?罰完往哪邊改?

                      延伸基礎第 9 階 · 驚訝分數 · 懂的人可以跳到第 23 頁

                        答錯要罰多重?看你有多篤定地答錯

                        ① 生活情境

                        氣象預報說「降雨機率 1%」,結果下大雨,你超驚訝。它如果說「50%」,下雨了你也不怎麼意外。越篤定地猜錯,越該被罰。

                        你猜猜看:(A, C) 的答案是 1。模型甲說「90% 是一組」,模型乙說「10%」。誰該被罰比較重?

                        ③ 這時才給名字

                        罰分叫 loss:離正確答案多遠。是非題常用的算法叫 binary cross-entropy:只看「正確答案拿到幾成」,越少罰越重。

                        「反正你就知道說 這兩個機率分布越接近 那這個 Loss 算出來呢就會越小」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

                        ② 動手玩:答案和模型的機率,拉拉看

                        ④ 跟這章的關係原書算 loss 的第三步:拿 sigmoid 吐出的機率跟 label(1 或 0)算 cross-entropy(第 23 頁)。

                        原書Choosing the loss function · Figure 9.8

                        loss 三步驟:乘一乘、變機率、算驚訝

                        這一步要解決正例要靠近、反例要推遠。怎麼把這句話變成一個可以算的數字?

                        📖 原書 Figure 9.8loss 的計算步驟(依原書內容重繪)

                        📖 原書 三個步驟

                        1. 算兩個 embedding 之間的距離,例如 dot product(第 9 頁)
                        2. 用 sigmoid 把它變成 0 到 1 之間的機率(第 11 頁)
                        3. 用 cross-entropy 這個標準的分類 loss,量預測機率和 ground truth label 差多少(第 22 頁)

                        📖 原書 寫成式子

                        loss = Σ(c,p)∈Dp log 1/(1+e−Ep·Ec) + Σ(c,n)∈Dn log 1/(1+eEn·Ec)

                        • c:中間的房源;p:正例房源(在 context 裡跟 c 一起出現);n:反例房源(沒跟 c 一起出現)
                        • Ec、Ep、En:各自的 embedding
                        • Dp:所有正例對(中間, context),向量要被推近;Dn:所有反例對(中間, 隨機),向量要被推遠
                        • 第一個加總算正例的 loss,第二個加總算反例的 loss

                        看不懂式子沒關係。白話就是:每一對正例,算「它們是一組」的驚訝分數;每一對反例,算「它們不是一組」的驚訝分數;全部加起來。1/(1+e…) 就是 sigmoid 而已。

                        延伸基礎第 10 階 · 終點站 · 懂的人可以跳到第 25 頁

                          最後真的訂下的那間,要跟這一趟每一間都扯上關係

                          ① 生活情境

                          逛了五家店,最後在第六家買了外套。前面五家都是「通往這件外套的路」。只記「第三家旁邊是第四家」,就漏掉了最重要的那件事。

                          你猜猜看:小雨點了 A B C D E,最後訂 F。讓 F 跟著每一個窗,會多出幾對正例?

                          ③ 這時才給名字

                          不管視窗滑到哪裡都一直在的那個 context,叫 global context(全域情境)。原書拿最終預訂的房源來當它。

                          ② 動手玩:F 要不要跟著每一個窗?
                          0正例對數0其中跟 F 有關的

                          ④ 跟這章的關係原書的第一個改進:把(中間, 最後訂的房源)加進正例,讓 embedding 學會猜「最後會訂哪間」(第 25 頁)。

                          原書Can we improve the loss function? · Figure 9.9

                          原本的 loss 有兩個缺點,先修第一個:讓 embedding 會猜「最後訂哪間」

                          先猜:原本的 loss 只把中間的房源拉向窗裡的鄰居。這樣學出來的 embedding,會出什麼問題?

                          📖 原書 缺點一:沒有往「最後訂的」推

                          訓練時,中間房源的 embedding 被推向 context,卻沒有推向最終預訂房源的 embedding。學出來的 embedding 擅長預測鄰近的點擊,不擅長預測最後訂哪間。這對「幫使用者找到會下訂的房源」不理想。

                          📖 原書 缺點二:反例幾乎都在別的地區

                          反例是隨機抽的,所以大多來自不同地區。但使用者通常只在某個地區裡找,例如舊金山。這會讓 embedding 對同地區的房源分不好:那些沒在 context 一起出現、但在同一區的房源(第 26 頁)。

                          📖 原書 修法:把最後訂的房源當 global context

                          視窗滑動時,有些房源進出 context,但最終預訂的房源一直留在 global context 裡,用來更新中間房源的向量。做法:把〈中間房源, 最終預訂房源〉加進訓練資料、標成正例。這會讓模型在訓練時,把最終預訂房源的 embedding 拉近 session 裡每一間點過的房源。

                          📖 原書 Figure 9.9把最終預訂的房源加進正例(依原書內容重繪)

                          原書Add negative pairs from the same region · 更新後的 loss · 動手練一次

                          再修第二個:從同一區挑反例,再把兩招一起練練看

                          📖 原書 同區的反例

                          視窗滑動時,從跟中間房源同一個社區、但不在它 context 裡的房源挑一間,跟中間房源配成反例,加進訓練資料。這種反例叫 hard negative(難的反例:同區、看起來很像,但其實不是一組)。

                          📖 原書 更新後的 loss:四個加總

                          loss = ΣDp log σ(Ec·Ep) + ΣDn log σ(−Ec·En) + ΣDbooked log σ(Ec·Eb) + ΣDhard log σ(−Ec·En)

                          • 前兩項同第 23 頁
                          • 第三項:Dbooked 是〈中間, 最終預訂〉,Eb 是預訂房源的 embedding,要推近
                          • 第四項:Dhard 是〈中間, 同區反例〉,要推遠

                          σ(z) 就是原書寫的 1/(1+e−z),這裡縮寫,內容不變。

                          動手練:8 段 session、12 間房源、2 個數字的 embedding

                          —從 A、B、C 出發,F 平均排第幾(越小越好)—A、B、C 的前 3 名裡混進 G/H 幾次

                          延伸基礎第 11 階 · 平均名次 · 懂的人可以跳到第 28 頁

                            考 embedding:真正訂下的那間,它排第幾名?

                            ① 生活情境

                            歌唱比賽結束後揭曉:觀眾最後真的買了誰的專輯。評審如果把那個人排第 2,算有眼光;排第 40,就該換人了。

                            你猜猜看:三段 session,最後訂的房源分別被排在第 2、5、2 名。平均名次是多少?

                            ③ 這時才給名字

                            原書叫它 average rank of the eventually-booked listing:最終預訂房源的平均名次。上線前用舊資料考的分數,叫 offline metric。

                            ② 動手玩:兩個模型,各排一次
                            —最終預訂房源的平均名次

                            ④ 跟這章的關係原書的 offline metric 就是這個:拿第一個點的房源去排,看最後訂的那間排第幾,再對所有 session 平均(第 28 頁)。

                            原書Evaluation · Offline metrics · Figure 9.10

                            離線評估:用第一次點的房源,重排一次這段 session

                            這一步要解決開發階段要比較新舊模型。embedding 好不好,要用什麼分數量?

                            📖 原書 Figure 9.10用模型重新排序一段 session(依原書內容重繪)

                            📖 原書 為什麼要 offline metric

                            模型開發階段,用 offline metric 量模型的輸出品質,並比較新模型和舊模型。評估 embedding 的一種方法:看它根據最新的一次點擊,能多準地預測最終預訂的房源。原書為此定了一個指標:average rank of eventually-booked listing。

                            📖 原書 例子怎麼算

                            1. 一段 session 共 7 間:L0 是使用者最先看的;接下來 5 間是依序點的;最後 L6 是最終預訂的
                            2. 用模型算 L0 跟其他房源在 embedding space 裡的相似度,照相似度排序
                            3. 看最終預訂的 L6 排在哪裡:新模型把它排到第 2 名
                            4. 排得越前面,代表 embedding 越能把會被訂的房源提早推出來。對 validation dataset 裡所有 session 的名次取平均,就是這個指標

                            延伸基礎第 12 階 · 看行為 · 懂的人可以跳到第 30 頁

                              上線之後:被點很多次,等於訂房變多嗎?

                              ① 生活情境

                              夜市攤販掛了超大的招牌,路過停下來看的人變多了。可是收攤一算,賣出去的雞排沒有比較多。

                              你猜猜看:「相似房源」那一排被看到 1,000 次,被點了 50 次。點擊率是多少?

                              ③ 這時才給名字

                              點擊 ÷ 被推薦的次數,叫 CTR(click-through rate,點擊率)。最後有下訂的 session ÷ 全部 session,原書叫 session book rate。

                              「Goodhart's Law 講的就是 如果一個評量的指標 它被當作我們要努力的 optimize 的目標的話 它就不再是一個好的指標」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講

                              ② 動手玩:兩種推法,看兩個數字

                              ④ 跟這章的關係原書上線後看兩個:CTR 量參與度,session book rate 直接對應「增加訂房」(第 30 頁)。

                              原書Online metrics

                              線上評估:CTR 看參與度,session book rate 看訂房

                              這一步要解決需求說商業目標是增加訂房。上線後要看哪些數字,才知道真的有幫到?

                              📖 原書 Click-through rate(CTR)

                              看到推薦房源的人,最後有多常點進去。

                              CTR = 被點擊的房源數 ÷ 被推薦的房源數

                              用來量使用者參與度:點得越頻繁,點過的房源裡就越有機會有一間變成訂單。但 CTR 不量平台上實際的訂房數,所以要用 session book rate 補。

                              📖 原書 Session book rate

                              有多少 search session 最後變成一筆訂房。

                              Session book rate = 變成訂房的 session 數 ÷ 全部 session 數

                              這個指標直接對應商業目標:增加訂房。session book rate 越高,平台的營收越多。

                              把三個分數排在一起看:上線前看最終預訂房源的平均名次(越小越好),上線後看 CTR 和 session book rate(越大越好)。三個都在問同一件事:會被訂的那間,有沒有早一點被推出來?

                              小結第 9–12 階:怎麼教、怎麼打分數

                                到這裡你已經會了

                                • loss:乘一乘、變機率、算驚訝dot product → sigmoid → binary cross-entropy,正例、反例全部加總(第 22、23 頁)
                                • 兩個改進最後訂的房源當 global context;同區的房源當 hard negative(第 24、25、26 頁)
                                • 離線看名次,線上看行為最終預訂房源的平均名次;CTR 和 session book rate,點擊不等於訂房(第 27、29 頁)

                                小雨這一趟,現在變成了

                                1. 窗裡正例(C, B) (C, D) …共 8 對
                                2. 終點正例(A, F) (B, F) … (E, F) 共 5 對
                                3. 反例隨機 (C, I 台北)…;同區 (C, G 安平大別墅)…
                                4. 考試從 A 出發,F 排第幾?上線後,她有沒有訂?

                                最後兩個問題:昨天才上架的房源,模型沒見過,要給它什麼數字?500 萬間,又要怎麼在一眨眼之內找出最近的幾間?

                                原書Serving · Figure 9.11 · Training pipeline · Indexing pipeline

                                整個系統:一條練、一條建索引、一條即時推薦

                                這一步要解決模型每天要跟上新房源,使用者一點開頁面又要馬上看到推薦。原書怎麼拆?

                                📖 原書 Figure 9.11ML system design(依原書內容重繪)

                                📖 原書 Training pipeline

                                用新房源和新的使用者互動 fine-tune(接著前面的結果再練)模型,確保模型一直跟得上新的互動和房源。

                                📖 原書 Indexing pipeline

                                有了訓練好的模型,平台上所有房源的 embedding 都可以先算好存進 index table,大幅加快預測。新的房源 embedding 出來,就加進表;有新訓練好的模型,就用新模型重算全部 embedding、更新 index table。

                                延伸基礎第 13 階 · 新來的 · 懂的人可以跳到第 34 頁

                                  昨天才上架的房源,沒有人點過,它的數字從哪裡來?

                                  ① 生活情境

                                  巷口新開一家小吃店,地圖上 0 則評論。好不好吃,沒人說得準。只能先猜:「隔壁那家很有名,這家大概也差不多吧。」

                                  你猜猜看:新房源 N 昨天剛上架,還沒出現在任何 session 裡。照前面的練法,它的 embedding 是什麼?

                                  ③ 這時才給名字

                                  新東西沒有互動紀錄、模型不認得,叫 cold start(冷啟動)。

                                  ② 動手玩:拉時間,看 N 怎麼找到自己的位置

                                  ④ 跟這章的關係需求說新房源一天後再出現在推薦就好。這一天裡要先借一個數字給它用(第 34 頁)。

                                  原書Prediction pipeline · Embedding fetcher service

                                  Embedding fetcher:見過的直接查表,沒見過的借附近的

                                  這一步要解決要找相似房源,先要拿到「正在看的那一間」的 embedding。新房源沒有怎麼辦?

                                  📖 原書 輸入的房源訓練時見過

                                  它的 embedding 已經學好、存在 index table 裡。embedding fetcher 就直接從 index table 拿。

                                  📖 原書 輸入的房源訓練時沒見過

                                  新房源模型沒見過,沒有 embedding 就找不到相似房源。解法:embedding fetcher 用 heuristics(經驗法則)處理新房源,例如借一間地理位置相近的房源的 embedding 來用。等新房源累積夠多互動資料,training pipeline 再用 fine-tune 學出它自己的 embedding。

                                  「地理位置相近」這四個字,原書沒說要怎麼找得快。這正好是 Triton 一份講義在講的事(第 35 頁)。

                                  動手玩:小雨點開的是哪一間?

                                  客座講評Triton 怎麼找「附近的點」

                                  借附近房源的 embedding:附近的點,用 geohash 一格一格找

                                  這一步要解決新房源要借「地理位置最近」那間的數字。500 萬間裡找最近的,要自己寫一棵高深的樹嗎?

                                  「4byte geohash 誤差是 20km 5byte geohash 誤差是 2.4km 6byte geohash 誤差是 610m ……(請自己看 wiki 詳情)」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

                                  「對於一個 geohash ,要找出鄰近8個長方形的所需時間是: – O(1) ,真的是 O(1)」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

                                  「先建立 i byte 的 geohash (還有其相鄰8格的 geohash ) – 把這 9 個 geohash 丟到 ES 搜尋 – 如果有結果返回,則一個一個對比 最近的點就是答案 – 否則用 i-1 byte 的 geohash 從來~」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

                                  白話:geohash 把經緯度變成一串字,每一串代表地圖上一個長方形格子;字越長,格子越小。ES 是 Elasticsearch,一種搜尋資料庫。

                                  🔭 依 Triton 原則推論 Triton 沒有談過相似房源;064 原本是回答論壇上「1 萬個點找最近鄰居」的問題。套進這章:① 原書的「借附近房源的 embedding」就是一個找最近點的題目,可以照 064 的簡化解法:每間房源存各種長度的 geohash 欄位,放進 ES 或一般 RDBMS 的 index,查 9 格、找不到就換粗一級的格子(或直接用 PostGIS);② 新房源一天才幾千間,而且只要在上架時找一次、存起來,不必每次有人點開都重找。

                                  延伸基礎第 14 階 · 找最近 · 懂的人可以跳到第 37 頁

                                    500 萬個點,要一個一個量距離嗎?

                                    ① 生活情境

                                    圖書館找一本旅遊書。你不會從第一個書架翻到最後一個。先看分類,走到「地理、旅遊」那一區,只在那幾排找。偶爾漏掉放錯區的書,但快很多。

                                    你猜猜看:500 萬間分成 1,000 群、一群 5,000 間。先跟 1,000 個群中心比,再只在最近那一群裡比。一共要比幾次?

                                    ③ 這時才給名字

                                    找離某一點最近的幾個點,叫 nearest neighbor search。像分區找這樣「快很多、但偶爾不是最準」的找法,叫 approximate nearest neighbor(ANN)。

                                    ② 動手玩:全部比,還是先分群?
                                    —比了幾次—有沒有找到真正最近的

                                    ④ 跟這章的關係原書說 500 萬間全部算相似度太慢,所以 nearest neighbor service 用 ANN(第 37 頁)。

                                    原書Nearest neighbor service · Re-ranking service

                                    先用 ANN 撈出最近的,再用使用者的條件篩一遍

                                    這一步要解決拿到 embedding 之後,怎麼在 500 萬間裡快快找出相似的?找出來的,又一定都適合給她看嗎?

                                    📖 原書 Nearest neighbor service

                                    要推相似房源,就要算「正在看的房源」和平台上其他房源的 embedding 相似度,輸出 embedding space 裡最近的鄰居。需求說平台有 500 萬間,全部算一遍要花時間、會拖慢服務,所以用 approximate nearest neighbor 加速搜尋(第 36 頁)。

                                    📖 原書 Re-ranking service

                                    套用使用者的篩選條件和某些限制來修改清單。例如房源價格高於使用者設的價格篩選,就移除;和正在看的房源不同城市的房源,也可以在顯示前移除。

                                    動手玩:小雨正在看 C,ANN 撈出 8 間

                                    客座講評Triton 怎麼看「500 萬間要用 ANN」

                                    先算 N:題目是「每一點的鄰居」,算一次存起來就好?

                                    這一步要解決原書說 500 萬間太多,所以上 ANN。可是推薦對每個人都一樣、又只留同城市。真的每次都要在 500 萬間裡找嗎?

                                    「了解 N (像是 QPS / user count / data size )」「如果 n > 1M 則肯定不能暴力解」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

                                    「原問題: – 我有 10000 個點,我想找出每一個點的最近鄰居 暴力解法: O(n^2) Quadtree 解法:O (n log n) – 反正你只用解一次,暴力解法跑完後把結果存起來就好」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

                                    「越深的 algorithm ,很多時其 implementation 就越複雜,這代表: – 更高的開發時間 – 更多可以犯錯的細節 – 更多的 source code ,增加維護困難度」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

                                    🔭 依 Triton 原則推論 Triton 沒有談過相似房源。套進這章:① 需求說推薦對匿名、登入使用者一樣,所以輸出只看「正在看哪一間」,正是 064 的「原問題」:每一間的鄰居算一次、存起來,服務時查表就結束了;② re-ranking 本來就會拿掉別的城市,那就只在同城市裡比,n 從 500 萬變成幾萬,每天練完模型後同城暴力算一遍即可;③ 存前 200 名之類的名單,價格篩選等條件在查表後再套。ANN 留到 N 真的變大,或要做個人化時再上。

                                    小結第 13–14 階:怎麼上線

                                      到這裡你已經會了

                                      • 新來的先借附近的cold start:沒人點過就沒有 embedding;先借地理上最近的,一天後自己練(第 33、34 頁)
                                      • 找最近,可以「大概」ANN:先分區再找,快很多,偶爾漏掉(第 36、37 頁)
                                      • 三條 pipeline每天練、全部重建索引;即時:fetcher → nearest neighbor → re-ranking(第 32 頁)

                                      14 階全部爬完,小雨點開 C 的那一瞬間

                                      1. fetcherC 見過,從 index table 拿出它的 embedding
                                      2. 最近鄰撈出最像的 8 間:F、E、B、A……
                                      3. re-rank太貴的 G、不在台南的 J 拿掉
                                      4. 畫面「相似房源」那一排出現 F。她點了,也訂了

                                      接下來:原書的 other talking points,和這套方法的限制與後來的演進。

                                      原書Other Talking Points

                                      面試還有時間,可能會被問到這些

                                      📖 原書 如果時間允許

                                      • 什麼是 positional bias(位置偏差),怎麼處理?
                                      • session-based 的做法跟 random walk(隨機漫步)比起來如何?怎麼用 random walk with restart(RWR,帶重啟的隨機漫步)推相似房源?
                                      • 怎麼把使用者的長期興趣加進 session-based 推薦,做個人化(in-session personalization)?
                                      • 季節對度假租屋影響很大,怎麼把 seasonality(季節性)放進相似房源系統?

                                      每一題回到今天的哪一頁

                                      • Positional bias → 第 13 頁 Table 9.3 記下的「在清單裡排第幾」:排第 1 本來就比較容易被點,session 裡的順序有一部分是搜尋排序造成的(第 41 頁)
                                      • Random walk → 第 17 頁的視窗只看前後幾格;random walk 則是在「誰點了誰」的關係圖上一路走,RWR 每一步有機會跳回起點,所以走出來的都是起點附近的房源
                                      • 長期興趣 → 第 6 頁「看一輩子 vs 看這一趟」,兩邊可以合起來
                                      • 季節 → 第 32 頁每天重練;也可以只用同季節的 session 練,或把季節當成條件

                                      📅 2026 補充方法的限制

                                      四個容易踩到的坑:座標會轉、點擊有偏、平均會被拉、熱門太黏

                                      這一步要解決原書的流程每一步都合理。接在一起、天天跑之後,會漏掉什麼?

                                      你猜猜看:如果每天都從隨機數字重新練一次,昨天存的 C 和今天練的 F,可以直接拿來乘一乘比嗎?

                                      一、新舊 embedding 不能混用

                                      所以原書的 indexing pipeline 有新模型就全部重算,這一步很重要:要整批換掉,不能一半新一半舊。就算是接著練(fine-tune),座標也會慢慢漂移。

                                      二、點擊是被「排出來」的

                                      session 裡的順序,有一部分是搜尋結果排序造成的:排第 1 的比較容易被點。模型會學到「搜尋常把誰排在一起」,再推回去,形成 feedback loop。這就是原書提的 positional bias。

                                      三、平均名次會被極端值拉走

                                      99 段 session 都排第 2,1 段排第 3,000,平均就變成約 32。常見做法是一起看中位數,或「有沒有進前 k 名」(hit rate@k)、名次倒數的平均(MRR)。

                                      四、熱門房源容易黏到每個人身上

                                      熱門房源出現在很多 session,跟很多房源都配過正例,dot product 又會受箭頭長度影響,容易到處排前面。常見對策是先把每組數字的長度調成一樣再比(cosine),或讓熱門房源也比較常被抽成反例。

                                      📅 2026 補充原論文的細節,與方法怎麼演進

                                      原書之後,這幾個零件換了做法

                                      這一步要解決原書引用的 Airbnb 做法本身還有哪些細節?word2vec 式的 embedding、ANN、冷啟動,後來往哪裡走?

                                      原書參考資料背後的論文

                                      Airbnb 在 KDD 2018 發表的 listing embedding 論文,多寫了幾個實務細節:embedding 是 32 個數字;使用者超過 30 分鐘沒動作就切成新的 session;同區反例是從同一個市場抽;新房源取 10 英里內、同類型同價位、最近的 3 間房源的 embedding 平均。

                                      從「看鄰居」到「看整串順序」

                                      word2vec 式的做法只看視窗裡誰跟誰一起出現,不管先後。之後的 session-based 推薦改用序列模型:GRU4Rec(2016,RNN)、SASRec(2018)與 BERT4Rec(2019,Transformer),直接讀整段 session 預測下一個。生成式推薦(TIGER 2023、HSTU 2024)再把它變成「推薦版的文字接龍」。

                                      ANN 變成標準零件

                                      原書只說「用 ANN」。現在常用的是 HNSW(把點連成多層的鄰居圖,一路往近的走)和 IVF 分群索引,Faiss 這類函式庫、各家 vector database,連 PostgreSQL 的 pgvector 從 0.5.0 起都內建 HNSW。不用自己寫。

                                      冷啟動:不只看互動,也看內容

                                      原書規定只用互動資料,所以新房源只能借鄰居的。常見的延伸是讓 embedding 也從房源本身算:照片、文字描述、價格、地點,經過另一個模型變成同一張地圖上的點。上架第一天就有自己的位置,互動累積後再慢慢修正。

                                      回顧14 階全部爬完

                                        相似房源,其實就是:把房源當字、session 當句子,練出每間房源的一組數字;常一起被點的放近一點,再找最近的幾間而已。

                                        房源怎麼變成數字

                                        session-based:看這一趟。每間房源一個 embedding;像不像用 dot product,再用 sigmoid 變成機率。

                                        題目從哪裡來

                                        照搬 word2vec 的 skip-gram:sliding window 讀 session,窗裡的配成正例 1,negative sampling 抽來的配成反例 0。

                                        怎麼教、怎麼打分數

                                        loss 是 binary cross-entropy;加上最終預訂房源當 global context、同區 hard negative。離線看最終預訂房源的平均名次,線上看 CTR 和 session book rate。

                                        怎麼上線

                                        每天 fine-tune、重建 index table。即時:embedding fetcher(新房源借附近的)→ ANN 找最近 → re-ranking 套篩選。

                                        看鄰居,拉近,推遠,找最近。然後呢?然後就結束了。

                                        名詞小卡課後複習用 · 每個詞一行白話

                                        本章名詞小卡

                                        名詞一行白話在哪一頁
                                        listing一間刊登出來的房源第 3 頁
                                        session · session-based recommendation一次連續的瀏覽 · 只看這一趟來推薦第 6 頁
                                        search session一串點過的房源,最後接著訂下的那間第 14 頁
                                        embedding · embedding space代表一間房源的一組數字 · 這些點所在的地圖第 8 頁
                                        co-occurrence常常一起出現在同一段瀏覽裡第 10 頁
                                        dot product對應的乘起來再加起來;越像越大第 9 頁
                                        sigmoid把任何分數壓成 0–100% 的 S 形曲線第 11 頁
                                        impression房源被顯示在使用者面前一次第 13 頁

                                        忘了哪個詞,就回到右邊那一頁,四步再走一次。

                                        給工程師的重點出處、公式與頁碼對照

                                        本章引用的來源

                                        原書

                                        Machine Learning System Design Interview · Similar Listings on Vacation Rental Platforms 章。開場與 Figure 9.1(第 3 頁)、Clarifying Requirements 與問題陳述(5)、ML objective、input/output、ML category、session-based 與 Figure 9.2–9.3(7)、co-occurrence embedding 與 Figure 9.4(10)、Data engineering 與 Table 9.1–9.3(13)、Feature engineering、Figure 9.5 與 Table 9.4(14)、Model selection、Model training 與 Figure 9.6(16)、Constructing the dataset 與 Figure 9.7(20)、Choosing the loss function、Figure 9.8 與公式(23)、兩個缺點、global context 與 Figure 9.9(25)、同區反例與更新後的 loss(26)、Offline metrics 與 Figure 9.10(28)、Online metrics(30)、Serving、Figure 9.11、Training/Indexing pipeline(32)、Embedding fetcher(34)、Nearest neighbor 與 Re-ranking service(37)、Other Talking Points(40)。11 張圖全部依圖說與描述重繪,不是原圖;Figure 9.1 網頁截圖改線框圖;Figure 9.7 的窗大小與反例編號依內文補;Figure 9.10 重排後其餘順序是示意

                                        本簡報加的頁面:開場互動(2)、概念階梯(4)、14 個延伸基礎(6、8、9、11、15、17、18、19、22、24、27、29、33、36)、小結(12、21、31、39)、客座卡(35、38)、方法限制(41)、2026 補充(42)、名詞小卡(44)。小雨與 A–J、N 房源、座標、session、名次、漏斗數字、訓練示範都是示意

                                        🎓 李宏毅課堂(逐字稿)

                                        • 生成式人工智慧與機器學習導論 2025 · 第 3 講 — 意思相近的 Token 有相近的 Embedding(8)、dot product 計算某種相似度(9)
                                        • 同 · 第 1 講 — 每一個句子都是文字接龍的教材(15)
                                        • 同 · 第 6 講 — random 初始化參數(16)、兩個機率分布越接近 Loss 越小(22)
                                        • 同 · 第 4 講 — Goodhart's Law(29)
                                        • 生成式AI時代下的機器學習(2025) · 第九講 — Elo 勝率就是 sigmoid(11)

                                        來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。逐字稿:raw/youtube/transcripts/8iFvM7WUUs8.md、TigfpYPJk1s.md、mPWvAN4hzzY.md、dWQVY_h0YXU.md、s266BzGNKKc.md

                                        🗣️ Triton 與 📅 依據

                                        • 🗣️ materials/core/064-introToAlgorithm.pdf.md(geohash 誤差、鄰近 8 格 O(1)、9 格查不到就退一級;了解 N、n > 1M 不能暴力、原問題只解一次存起來、越深的演算法越難維護);套用到本章的部分都標 🔭
                                        • 📅 Grbovic & Cheng(KDD 2018);GRU4Rec(2016)、SASRec(2018)、BERT4Rec(2019)、TIGER(2023)、HSTU(2024);HNSW、Faiss、pgvector 0.5.0;Joachims 等(2017);Pixie(2018)

                                        公式(主文用文字講過)

                                        • dot product:Ec·Eo = Σi Ec,iEo,i
                                        • σ(z) = 1 / (1 + e−z);σ(−z) = 1 − σ(z)
                                        • BCE = −[y log p + (1 − y) log(1 − p)],p = σ(Ec·Eo)
                                        • 原書:loss = ΣDp log σ(Ec·Ep) + ΣDn log σ(−Ec·En) + ΣDbooked log σ(Ec·Eb) + ΣDhard log σ(−Ec·En);最小化時取負號
                                        • SGD 一步(示範用):g = σ(Ec·Eo) − y;Ec ← Ec − η g Eo;Eo ← Eo − η g Ec
                                        • 視窗 m 的正例對數(長度 L):Σi |context(i)|;L = 5、m = 1 時 = 8
                                        • Average rank = (1/|V|) Σs∈V ranks(booked | first click)
                                        • CTR = clicked / recommended;Session book rate = booked sessions / sessions
                                        • IVF 式 ANN 的比較次數 ≈ 群數 + 探查群數 × 每群大小
                                        ← → 翻頁 · S 講者備註 · D 深/淺色
                                        1 / 1目錄