GenAI System Design · 第 2 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無(只有一張延遲預算的客座卡)

Gmail Smart Compose
其實就是一個很會看場合的文字接龍而已

你在 Gmail 打「Hi John! I hope」,灰色的「you are doing well!」自己冒出來,按 Tab 就收下。原書用這個小功能,把 Transformer 從頭到尾拆開來講一遍。今天我們也一樣:先遇到問題,再看方法是怎麼被想出來的。

今天的路線

需求 → 一邊爬 10 階基礎、一邊對照原書(第 3 頁的階梯):它怎麼猜 → 怎麼學會猜 → 怎麼開口 → 怎麼打分數 → 整個系統 → 2026 年的變化。全程只用同一封信當例子。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論 延伸基礎

標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。

先講跟你有關的動手玩

你每天都在用的文字接龍

📖 原書 Figure 1Gmail 的 Smart Compose(原圖是產品截圖,這裡改畫成線框圖,不畫 logo;灰字是示意)

你可能會想說,這不就是手機輸入法的選字嗎?差不多,但它一次猜好幾個字,而且只在它有把握的時候才開口。

試試看:先打 Thank you,什麼都沒有;再打 for,灰字冒出來了。為什麼一開始不講話?因為只看到兩個字,它還猜不準。這個「什麼時候該開口」,原書後面叫做 triggering service(第 41 頁)。

今天整堂課只在回答三個問題:它怎麼猜?(模型)它怎麼學會猜?(訓練)它什麼時候該閉嘴?(系統)

學習地圖今天要爬的 10 階 · 每一階只用前面學過的東西

一階一階往上爬,不跳階

  1. 1文字接龍它到底在猜什麼?
  2. 2回頭翻怎麼讀懂前面寫了什麼?
  3. 3切塊編號字怎麼變成數字?
  4. 4座標號碼怎麼帶有意思?
  5. 5位置怎麼分出誰先誰後?
  6. 6背答案為什麼不能只練信件?
  7. 7驚訝分數猜錯要罰多重?
  8. 8蒙眼下山罰完往哪邊改?
  9. 9多留幾條路怎麼說出最好的一整句?
  10. 10猶豫程度怎麼替模型打分數?

它怎麼猜 它怎麼學會猜 它怎麼開口 怎麼替它打分數 英文名字等爬到那一階才給。

整堂課只用一封信

Hi John! I hope you are well.

每一階都拿這一句來玩。數字盡量小到可以心算。

每一階都走四步

① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。

每爬幾階就停一下

「到這裡你已經會了」:第 17、28、39 頁。最後還有名詞小卡(第 49 頁)。

原書Clarifying Requirements

原書的題目:幫使用者把信寫完

這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。

📖 原書 應徵者 × 面試官

應徵者問面試官答
每個人寫法不同,要做個人化嗎?為了簡單,先不做個人化
只在對預測有信心時才建議嗎?是的
訓練資料大概多大?假設大約十億封電子郵件
過去的信、主旨都可以用,先只用內文可以嗎?好。但實務上會用更多資訊;先從內文開始,有時間再擴充
要支援哪些語言?先從英文開始
要確保系統沒有偏見嗎?這是重要需求,建議裡不能有帶偏見的假設
Gmail 有多少使用者?運算成本要顧嗎?約 18 億使用者,一人一天最多寄 500 封。成本重要,但先把系統做出來,之後再優化
要即時建議嗎?要。延遲要讓人感覺不到,大約 100 毫秒

整理成需求清單

  • 功能:根據已經打的字,建議接下來的幾個字;沒把握就不建議
  • 輸入:先只用信件內文(之後可加主旨、收件者、過去的信)
  • 資料:約 10 億封信;先做英文;先不做個人化
  • 品質:不能有偏見
  • 速度:約 100 ms;規模是 18 億使用者

你想想看,100 毫秒是多少?大概是你打一個字母的時間。也就是說,你手指還沒按下一個鍵,建議就要出現。這個數字等一下在第 44 頁會回來找我們。

延伸基礎第 1 階 · 文字接龍 · 懂的人可以跳到第 7 頁

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

打到一半的句子,下一個字會是什麼?

① 生活情境

你傳訊息打「晚安」,手機跳出「好夢」「早點睡」。它心裡其實有一張排行榜。最常接在後面的,排第一。

你猜猜看:John 的信打到「I hope you are ___」,排行榜第一名大概佔多少?

③ 這時才給名字

這台「猜下一塊」的機器叫 language model(語言模型)。它每次猜的那一塊叫 token,先想成一個字或半個字。

「語言模型真正的輸出……其實是一個 Token 的機率分佈。」「它根據這個機率分佈來擲骰子。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講

② 動手玩

每按一次,就接上一塊,再猜下一塊。

④ 跟這章的關係Smart Compose 的心臟就是一台語言模型:猜一塊、接上去、再猜,猜到 <EOS>(寫完了的記號)就停。

延伸基礎第 2 階 · 回頭翻 · 懂的人可以跳到第 7 頁

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

要讀懂前文:一個傳一個,還是直接回頭翻?

① 生活情境

玩過傳話遊戲嗎?第一個人說的話,傳到第十個人常常走樣。開書考試就不一樣:想看哪一頁,直接翻回去。

你猜猜看:傳話時每傳一手,只剩 80% 的意思。傳 3 手之後,第一個人的話還剩多少?

③ 這時才給名字

傳話的做法叫 RNN。回頭翻的做法叫 self-attention:每個字自己決定要看前面哪幾個字、看多重。

「如果只看『果』這個 token,你其實不知道這個『果』指的是蘋果……所以 attention 第一件做的事情,是找出輸入的 token 裡面,哪些 token 會影響『果』的意思。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講(例句:兩顆青蘋果)

② 動手玩
—要依序算幾步—John 的訊號還剩—要比幾對「相關程度」

④ 跟這章的關係原書選 Transformer,就是因為它靠回頭翻、可以同時算(第 7 頁)。代價:長度變 2 倍,要比的對數變約 4 倍。

原書Frame the Problem as an ML Task

把問題變成 ML 任務:text generation,選 Transformer

這一步要解決「幫人把信寫完」要變成 ML(機器學習)題目:輸入什麼、輸出什麼、用哪種模型?

📖 原書 Figure 2Smart Compose 系統的 input 和 output(依原書內容重繪)

📖 原書 Input:使用者打的一串字。Output:這串字的延續,也就是使用者接下來可能打的字。

它在生成文字,所以是 text generation 任務。處理序列資料的兩大架構:RNN(含 GRU、LSTM 這兩種改良版)和 Transformer。原書選 Transformer(用第 6 頁「回頭翻」蓋起來的模型),兩個主要理由:平行處理,以及長序列處理得比較好。

📖 原書 Transformer 的代價:self-attention 的計算量是 O(n²)(長度變 2 倍,計算量變約 4 倍),n 是序列長度,因為每一對 token 都要算 attention 分數。降低這個成本的方法,原書列了 Group Attention 和 Flash Attention。

📖 原書 Table 1 RNN 與 Transformer 比較

特徵RNN(GRU、LSTM)Transformer
Architecture簡單複雜
Training efficiency依序處理,效率低平行處理,效率高
Effectiveness處理長序列吃力,低能處理長序列,高
Scalability有限高度可擴展
Applications簡單任務,如時間序列複雜任務,如語言補全、翻譯

原書的結論:因為這些優勢,現在大多數生成式系統都用 Transformer,Smart Compose 也是。

原書Data Preparation · 兩種資料

教材從哪裡來?一般文字,加上十億封信

這一步要解決模型要從例子裡學。例子從哪裡來?

📖 原書 General data

公開的文字:書、網站、社群貼文。詞彙、句法、語境都很多樣,是訓練語言模型的基礎。

📖 原書 Figure 3莎士比亞的一般資料範例(原圖是掃描頁面,改畫成版面示意)

📖 原書 Email data

需求裡的十億封信。讓模型學會信件的寫法和信裡的常用片語。下表是簡化的例子,實務上每封信會存更多 metadata(寄件時間這類附帶資訊)。

Email IDSenderRecipientSubjectBody
4953john@gmail.commike@yahoo.comCatchup?Hey Mike, let's catch up this Sat. …
9356kkart@gmail.comcs382@stanford.eduProject DeadlineHi TA, I hope you are well. I am writing to you to …

📖 原書 Table 2電子郵件資料範例

📖 原書 兩種資料的原始文字都很髒、格式不一致,會拖累模型;而且模型只吃數字。所以要兩步:① 清理與正規化 ② tokenization 與 token indexing(切塊、換號碼,第 10 頁)。

原書Text cleaning and normalization · 動手玩

先把教材洗乾淨

這一步要解決原始文字很髒:外語、個資、亂碼、重複。不洗乾淨,模型會學壞。


      

內容是示範用的虛構信件。勾越多,越乾淨。

📖 原書 Text cleaning:拿掉不需要的

  • 非英文:用 language identification(自動判斷是哪種語言,例如 fastText 的語言辨識模型)找出來移除
  • 機密資訊:電話、信用卡號等。人名、URL、email、電話換成佔位字元,例如 john@gmail.com → ##@gmail.com,免得模型學起來、日後說出去
  • 無關符號:©、™、emoji,通常不改變意思
  • 重複資料:不同來源的同一段文字,避免模型學偏

📖 原書 Text normalization:統一格式

(123) 456-7890、123.456.7890、123-456-7890 都變成 1234567890。格式一致,資料就沒那麼複雜。

延伸基礎第 3 階 · 切塊編號 · 懂的人可以跳到第 11 頁

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

模型不認識字,只認識號碼

① 生活情境

圖書館不會叫你報書名,而是報索書號。模型也一樣,裡面只有數字在算。所以 John 的信得先切成一塊一塊,每塊換一個號碼。

你猜猜看:把「Hi John! I hope you are well.」一個字母切一塊(空白、標點也算),會切成幾塊?

③ 這時才給名字

把句子切塊、每塊換成字典裡的號碼,叫 tokenization。「常見字整塊、少見字拆零件」的切法叫 subword。

「輸入的句子會先經過 Tokenization,被切成一個一個 Token,那每一個 Token 會對應到一個編號,對應到一個 ID。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

② 動手玩
—切成幾塊—字典大概要多大(原書 Table 3)—查不到的塊

④ 跟這章的關係切太細沒意思,切太粗字典太大、新字查不到。原書選 subword(第 11–13 頁)。

原書Text tokenization · Figure 4–8

三種切法,各有代價

這一步要解決模型只吃數字,句子要先切成塊。切多細?

📖 原書 Figure 4把原始文字轉成一串數字(依原書內容重繪)

📖 原書 同一句「Hello world」可以切成 ["Hello", "world"],也可以切成 11 個字元。原書說:搞懂三種切法的優缺點,在多數 ML 面試都很重要。

Character-level

切成一個個字元。好實作,但模型很難幫每個 token 學到有意義的表示:「go」有意思,「g」沒有。常常效能比較差。

Word-level

切成單字,最簡單的做法是照空白切。每個 token 意思清楚,但字典會非常大:Transformer-XL 用 word-level,字典有 267,735 個 token。要學幾十萬個表示,訓練又久又貴。

Subword-level

常見的字不拆,少見的字拆成有意義的零件,例如 unhappily → unhappy + ly。實作比較複雜,但字典大小可控,而且沒看過的字也能用認識的零件拼出來。

原書Table 3 · 選哪一種

原書選 subword:效能好,又實際

這一步要解決三種切法只能選一種,而且要真的能用。

📖 原書 Table 3 三種切法的比較

特性Character-levelWord-levelSubword-level
Granularity單一字元單一單字Subwords
Vocabulary size小大中等
Algorithm complexity簡單簡單複雜
Handling unseen words拆成字元不容易處理拆成認識的 subword
Vocabulary size~100~300,000+~50,000–150,000
Performance差高但不實用高而且實用

原書的表裡 Vocabulary size 出現兩列,一列定性、一列給數字,這裡照原書保留。

📅 2026 補充 字典越做越大:LLaMA 3 約 12.8 萬、GPT-4o 的 o200k 約 20 萬、Gemma 約 25.6 萬個 token,已超過表中 subword 的上緣(第 46 頁)。

📖 原書 實務上用什麼

  • 多數最先進的語言模型用 subword 演算法:Byte-Pair Encoding(BPE)和 SentencePiece 這兩種 subword 切法,有效率,也能處理多語言
  • OpenAI 的 GPT-4 用 BPE 的變體;Google 的 Gemini 用 SentencePiece
  • Smart Compose 也用 subword,不自己寫:用 OpenAI 的 Tiktoken 或 Google 的 SentencePiece 這類 Python 函式庫,實作可靠、支援多種演算法
  • BPE 的演算法細節在第 3 章;原書註腳建議到 OpenAI 的 tokenizer 頁面看各種 tokenizer 的例子

切法其實就是在「字典多大」和「每塊有沒有意思」之間找平衡而已。你想想看,背英文單字的時候,你是背 unhappily,還是背 un-、happy、-ly?

原書Token indexing · Figure 9、10

切好之後,查字典換成編號

這一步要解決切好的塊,怎麼變成模型能吃的號碼?

📖 原書 Figure 10用 GPT-4 的字典做 token indexing(依原書內容重繪)

📖 原書 Token indexing 就是把 token 換成整數。準備方式:tokenization 演算法先從訓練資料建出 vocabulary(字典),也就是所有不重複 token 的集合,存成一張表。有了這張表,token 可以變數字,數字也可以變回 token。

GPT-4 的字典裡,Let 是 10267、's 是 596、go 是 733、! 是 0。

📖 原書 資料準備總結

  1. 清理、正規化,讓訓練資料品質高又一致
  2. 用 BPE 這類 subword 演算法切成 token
  3. 每個 token 換成數字編號

做完這三步,資料就變成模型能用的數字格式。

注意:編號只是頁碼。頁碼 733 跟 734 不代表意思相近,這件事第 15 頁會變成一個問題。

原書Model Development · Architecture · Figure 11–14

Transformer 有三種變體,Smart Compose 用哪一種?

這一步要解決Transformer 有好幾種,「把信補完」該用哪一種?

📖 原書 Figure 11用 encoder-only Transformer 做情感分析(依原書內容重繪)

📖 原書 看任務是生成還是理解。Smart Compose 要把寫到一半的信補完,是生成,所以選 decoder-only。它有四個元件:text embedding → positional encoding → Transformer → prediction head(白話:查座標 → 加位置 → 回頭翻 → 吐機率表),接下來一個一個看。原書提醒:面試重點是高階概念和元件互動,不是架構細節。

Encoder-only

要理解整段文字的任務:情感分析、句子分類、named entity recognition(找出人名、地名)。例子:Google 的 BERT。通常不拿來生成。

Decoder-only

處理輸入,一次一個 token地生成新序列。多數 LLM(大型語言模型)都是:GPT-4、LLaMA、Gemini。

Encoder-decoder

encoder 讀輸入、decoder 生成輸出,適合「輸出是輸入的轉換」,例如翻譯(第 3 章)。

延伸基礎第 4 階 · 座標 · 懂的人可以跳到第 16 頁

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

號碼 733 和 734,意思接近嗎?

① 生活情境

教室座位如果照學號排,好朋友常常被拆散。改成照興趣排,愛打球的坐一區、愛畫畫的坐一區。誰跟誰像,看位置就知道。

你猜猜看:如果每個字都照「意思」排座位,John 信裡的 well 最可能坐在誰旁邊?

③ 這時才給名字

給每個 token 一組短短的數字當座標,叫 embedding。座標不是人排的,是訓練時模型自己慢慢挪出來的。

「這個 Token Embedding 裡面的這個數字……不是亂給的,意思相近的 Token 就會有相近的 Token Embedding。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

② 動手玩
點一個字,看誰離它最近

④ 跟這章的關係原書模型的第一個元件,就是查這張座標表(第 16 頁)。

原書Text embedding · Figure 15、16

第一個元件:把編號換成向量

這一步要解決號碼本身沒有意思。模型要怎麼知道 happy 和 joyful 很像?

📖 原書 Figure 15用 embedding table 表示 token(依原書內容重繪)

📖 原書 text embedding 把每個 token ID 換成固定長度的向量,叫 embedding。通常存在一張表裡,在訓練時學出來。查表就是:ID 0 對到第一列 [0.25, 0.10, 0.75]。

📖 原書 Figure 16詞向量的相似度,為了簡化畫成 2D(依原書內容重繪)

📖 原書 為什麼需要它?ID 有兩個限制:

  • Sparsity:字典有幾萬個 ID,用 one-hot(五萬格裡只有一格是 1)表示會又稀疏又高維,沒效率
  • Lack of semantic information:ID 是任意的,happy 和 joyful 意思接近,ID 看不出來

Embedding 是低維、密集的向量(短短一組數字,每格都有值),解決 sparsity;又是學出來的,所以 happy 和 joyful 會比 happy 和 sad 更近。

小結第 1–4 階:它怎麼猜(上)

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

到這裡你已經會了

  • 模型其實就是文字接龍每次吐一張機率表,挑一塊接上去,再猜下一塊(第 5 頁)
  • 讀前文不用傳話,直接回頭翻self-attention:每個字自己決定看前面誰(第 6 頁)
  • 字先切塊換號碼,再換成座標tokenization 與 embedding:意思近的,座標就近(第 10、15 頁)

John 的那句話,現在走到哪裡

  1. 切塊HiJohn!Ihopeyouare
  2. 換號碼#17250 #3842 #0 #40 #3987 #499 #527
  3. 換座標每塊變成一組數字;well 和 fine、happy 坐在一起
  4. 回頭翻are 回頭看 hope、John,決定下一塊
  5. 機率表well 86%、able 11%……

號碼和座標都是示意;well 86% 來自原書 Figure 24。

下一階要解決:回頭翻只看內容、不看順序,「你打我」和「我打你」會變成一樣。怎麼辦呢?

延伸基礎第 5 階 · 位置 · 懂的人可以跳到第 19 頁

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

「你打我」跟「我打你」,回頭翻分得出來嗎?

① 生活情境

把「你打我」丟進袋子再倒出來:你、打、我。「我打你」倒出來也一樣。不管順序,意思就丟了。

你猜猜看:回頭翻只看字的內容。「I hope you」和「you hope I」,它看到的一樣嗎?

③ 這時才給名字

不管順序的看法叫 bag of words(一袋字)。替每格加上「第幾格」,叫 positional encoding。

「假設現在本來 A、B、C 三個 Token 代表你打我,那改成 CBA 就變成我打你,那意思完全不一樣,但是最後一個位置算出來的 Embedding 卻是一樣的。」🎓 李宏毅課堂 如何讓 Transformer 知道輸入 Token 的順序?

② 動手玩

④ 跟這章的關係這是原書模型的第二個元件;原書的例子換成程式碼,道理一樣(第 19 頁)。

原書Positional encoding · Figure 17

第二個元件:幫每個 token 加上位置

這一步要解決回頭翻分不出順序,要怎麼把「第幾格」告訴模型?

📖 原書 Transformer 本身不考慮 token 的順序。看 attention 的公式會發現它是 permutation-invariant(換順序結果不變),所以分不出「initialize the variable, then use it」和「use the variable, then initialize it」。沒有位置資訊,模型就把句子當成一袋字(bag of words)。

📖 原書 解法:用一個 positional encoding 函數,把位置 i 變成一個向量 pi = f(i),加到 token embedding 上。

兩種做法

  • Fixed positional encoding:用固定的函數算
  • Learned positional encoding:訓練時學出來

下一頁比較兩者。

📖 原書 Figure 17把位置資訊加進 Transformer 的輸入序列(依原書內容重繪)

原書Fixed vs learned · Figure 18–20 · 動手玩

位置要用公式算,還是讓模型自己學?

這一步要解決位置資訊要用公式算好,還是讓模型自己學?

📖 原書 Figure 19四維的 sine-cosine positional encoding;上方表格照原書的 pos 0–3(依原書內容重繪,下方兩個指針是本簡報加的互動)

文組版:sine-cosine 就像好幾根轉速不同的指針。快的那根每格轉很多,分得出相鄰位置;慢的那根轉很少,分得出很遠的位置。合起來,每個位置都有一個獨一無二的指針組合。

Fixed(如 sine-cosine)

優點:不增加可訓練參數(模型裡要學的數字),有效率;任何位置都算得出來,能處理比訓練資料更長的序列。缺點:有些方法要預先定最大位置;某些任務上不如學出來的好。

Learned

開一個 N×d 的矩陣 P(N 是最長序列長度,d 是 embedding 維度)跟著一起訓練。優點:能學到最適合該任務的表示。缺點:多了參數,訓練更久更貴;可能 overfit 到訓練時常見的長度(像背答案,第 22 頁),對其他位置泛化不好。

📖 原書 選哪個看任務限制,包括序列長度變化多大。原始 Transformer 論文因為效率和泛化而用 fixed;Smart Compose 也用 sine-cosine。

📅 2026 補充 現在主流 LLM 多半改用相對位置的 RoPE,見第 46 頁。

原書Transformer · Prediction head · Figure 21、22

第三、四個元件:反覆「回頭翻 + 自己想」,最後吐出機率表

這一步要解決有了座標和位置,模型怎麼讀懂前文,再吐出下一個字的機率?

📖 原書 Figure 21簡化的 Transformer 結構(依原書內容重繪)

📖 原書 輸入一串 embedding,輸出一串更新過的 embedding。由好幾個 block 疊成,每個 block 有:

  • Multi-head attention(同時從好幾個角度回頭翻):用 attention 更新每個 embedding,讓每個 embedding 去看它前面的 embedding;本書之後都叫它 self-attention
  • Feed forward:對每個 embedding 各自做兩次線性轉換,中間夾一個 ReLU(把負數變成 0 的小開關)

還有 residual connection、layer normalization、dropout 等細節,原書請讀者看原論文。

📖 原書 Figure 22Prediction head 輸出的機率(依原書內容重繪)

📖 原書 Prediction head 是最後一個元件:把 Transformer 的輸出變成字典裡每一個 token 的機率,再用來選最可能的下一個 token。「How are」後面,you 有 94%。

延伸基礎第 6 階 · 背答案 · 懂的人可以跳到第 23 頁

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

考古題背到滿分,新題目卻不會?

① 生活情境

你只有一小本考古題,一直練,練到每題答案都背起來。考古題 100 分。正式考試換了數字,你就不會了。

你猜猜看:同一小本考古題一直練下去,「新題目」的分數會怎樣?

③ 這時才給名字

把練習用的資料背起來、而不是學會,叫 overfitting。原書的定義:「模型記住訓練資料到無法泛化到沒看過的資料。」泛化,就是學到的本事能用在新題目上。

② 動手玩
—考古題分數—新題目分數

換成信:只讀過幾封寫給 John 的信,模型可能背下「Hi John!」,寫給 Amy 時還硬要接 John。

④ 跟這章的關係解法之一:先讀一整座圖書館,再練考古題,就是原書的兩階段訓練(第 23 頁)。

原書Training · Two-stage training · Figure 23

直接拿信件訓練?原書說:不是好策略

這一步要解決模型有了,怎麼教它?直接拿信件練行不行?

📖 原書 直接用任務資料訓練的三個問題

  • 資料不夠大:任務專用的資料通常有限
  • 容易 overfitting:在任務資料上訓練,很容易背起來
  • 又貴又久:從零訓練大模型,要從頭學語言的各個面向
📖 原書 Figure 23兩階段訓練策略(依原書內容重繪)

Pretraining:大量一般資料,學語言的結構。Finetuning:再用任務資料(email 補全)微調。這是一種 transfer learning(把學過的本事搬過來用):預訓練學到的知識轉移過來,不必從零開始,調整預訓練好的權重就好。

📖 原書 兩階段訓練的好處

  • Adaptability:同一個 base model 可以改去做不同任務
  • Improved generalization:大量多樣資料讓模型廣泛理解語言
  • Fast finetuning:已有一般知識,微調更快
  • Handling data scarcity:任務資料少也能表現好
  • Mitigating overfitting:pretraining 像一種 regularization(防止背答案的手段)
  • Resource optimization:昂貴的 pretraining 只做一次,重複使用

「第一階段的 Pre-training,就是機器像是一個學齡前的兒童,他就是每天玩,看到什麼就學什麼。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講

原書1. Pretraining · Figure 24、25

預訓練:網路上的每一句話,都是一題考題

這一步要解決沒有人幫忙出題,模型要怎麼從網路文字裡學語言?

📖 原書 Figure 25逐步生成文字(依原書內容重繪)

📖 原書 資料:網頁、書、社群媒體等大量一般文字。例如 Common Crawl:爬大量網頁收集的公開資料集,從 2008 年起定期收集,有好幾 PB(1 PB 約一百萬 GB)。目的是讓模型懂語法、常識和語言結構。

📖 原書 ML objective(訓練要達成的正式目標):next-token prediction,根據前面的 token 預測下一個。「I hope you are __」,well 的機率要高。訓練完就能逐步造句:「I ordered food because I」→ was → hungry → … → <EOS>。

「爬下來的每一個句子通通都是學習文字接龍的教材。語言模型在網路上讀到一句話叫人工智慧真神奇,根據這句話他就知道說人後面應該接工。」🎓 李宏毅課堂 第 1 講

你發現了嗎?這種考題不需要人出,答案就藏在句子的下一個字裡。原書導論章說這叫 self-supervised learning,是 GenAI 能用網路資料、不必人工標註的關鍵。

延伸基礎第 7 階 · 驚訝分數 · 懂的人可以跳到第 27 頁

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

模型猜錯的時候,要罰多重?

① 生活情境

氣象預報說明天下雨機率 90%,結果下雨了,你不驚訝。它說 1%,結果下大雨,你嚇一跳。越沒把握的事發生了,越驚訝。

你猜猜看:模型給正確答案的機率,從 1/10 掉到 1/100,「驚訝分數」會怎樣?

③ 這時才給名字

這個驚訝分數叫 loss:模型離正確答案多遠。「只看正確答案拿到多少機率」的這種算法,叫 cross-entropy。

「這兩個機率分布越接近,那這個 Loss 算出來呢就會越小。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

② 動手玩
—這一題的驚訝分數—等於「幾分之一」的機率

John 的信:正確答案是 well。模型給 86%,只扣 0.15 分;把機率拉低看看。

④ 跟這章的關係訓練就是想辦法讓 loss 變小。原書的 next-token prediction,每個位置都算一次(第 27 頁)。

延伸基礎第 8 階 · 蒙眼下山 · 懂的人可以跳到第 27 頁

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

知道罰多重之後,要往哪邊改?

① 生活情境

你蒙著眼睛站在山坡上,想走到谷底。用腳摸一摸,哪邊往下,就往哪邊跨一步。步子要跨多大,是個學問。

你猜猜看:如果每一步都跨得很大很大,會怎樣?

③ 這時才給名字

模型裡可以調的旋鈕叫「參數」。一步步往 loss 低的方向調,叫 gradient descent;步子大小叫 learning rate。

「講到梯度下降法,我們就用餓狼來當作代表一個模型……你就往左右各踏一小步……看往哪一邊可以讓 loss 下降」「當你把 learning rate 設大一點的時候,步伐踏大一點學的就比較快……learning rate 你也是不能夠設太大。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講(餓狼下坡)

② 動手玩
—現在的 loss0走了幾步

④ 跟這章的關係原書說用 loss 去「更新參數」,做的就是下山(第 27 頁)。

原書Loss function · Figure 26、27

每一個位置都在考試,而且可以同時考

這一步要解決怎麼替模型的每一次猜測打分數,而且要快?

📖 原書 Figure 26Loss 的計算(依原書內容重繪)

📖 原書 next-token prediction 常用 cross-entropy loss:量預測機率和正確 token 之間的差距,讓 optimizer(負責下山的那支程式,第 26 頁)更新參數,之後給出更準的機率。正確答案是一欄只有一個 1、其他都是 0 的向量。

📖 原書 Figure 27不同長度的 loss 平行計算(依原書內容重繪)

📖 原書 實務上,模型平行處理一個序列裡所有長度,同時算出每個位置的 loss,比一個一個算快很多。「How are you?」一句話就是五題:看到 <BOS> 要猜 How、看到 How 要猜 are……最後看到 ? 要猜 <EOS>。

你想想看,這就是第 6 頁 Transformer 贏 RNN 的地方:RNN 要一題一題傳下去,Transformer 一次把五題都改完。

小結第 5–8 階:它怎麼學會猜

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

到這裡你已經會了

  • 位置要另外加上去positional encoding:不然 I hope you 和 you hope I 一樣(第 18 頁)
  • 只練一小本會背答案overfitting,所以先讀圖書館、再練寫信(第 22、23 頁)
  • 猜錯有多驚訝就是 loss,蒙眼下山把它變小cross-entropy 與 gradient descent(第 25、26 頁)

John 的那句話,現在走到哪裡

  1. 考題I hope you are ___
  2. 答案藏在句子裡:well,不用人出題
  3. 模型猜well 86%
  4. 驚訝分數loss 0.15(如果只給 1%,就是 4.6)
  5. 下山把參數往 loss 低的方向調一點,下次給 well 更高

下一階要解決:先讓讀過圖書館的模型學會寫信(finetuning),再讓它真的開口,說出一整句。

原書2. Finetuning · Figure 28、29 · 動手玩

微調:讓讀過圖書館的學生,學會寫信

這一步要解決讀過圖書館的模型會講話,但還不會寫信。

📖 原書 把 base model 調整到特定任務(email 補全)。資料是約十億封信,有正式和非正式的語氣、信件特有的詞彙。ML objective 和 loss 都不變:一樣是 next-token prediction 加 cross-entropy,唯一差別是 loss 用信件資料算。

📖 原書 Figure 28Email 補全範例(依原書內容重繪)
📖 原書 Figure 29提供更多上下文當輸入(依原書內容重繪)

只看內文,夠嗎?

📖 原書 你要回 John 的信,打了「Dear」,理想上應該建議「John」。但如果輸入裡沒有這個資訊,模型不可能猜出 John。所以要加上主旨、收件者、之前的信。


      

建議:

原書Combining various inputs · Figure 30、31

好幾種輸入,怎麼一起餵進去?串成一長串就好

這一步要解決主旨、收件者、前一封信都有用,怎麼一起交給模型?

📖 原書 Figure 30傳統 ML 與 GenAI 時代結合多種輸入的方式(依原書內容重繪)

📖 原書 傳統 ML 的架構跟著資料型態走:文字、圖片、表格各要客製的 preprocessing 和 feature engineering(人工整理、設計要餵的欄位)。GenAI 時代,架構和輸入結構脫鉤:同一個架構吃各種輸入,靠的是 prompt engineering(設計交給模型的那段開頭文字)這類技巧(第 6 章詳談)。

📖 原書 Figure 31結合文字輸入的範例;原圖框內只看得到「Inputs:…」(依原書內容重繪)

動手組一個 prompt template


      

📖 原書 用 prompt template 把多段文字加上標籤串成一個序列。只要訓練資料裡也有缺欄位的例子,就不用擔心選填欄位缺漏:模型不管拿到完整還是部分資訊,都能產生合適的輸出。

原書Sampling · Figure 32、33、35 · 動手玩

訓練好了,怎麼讓它開口?

這一步要解決模型只給一張機率表。要怎麼從表裡選出要說的字?

📖 原書 Figure 33Greedy search(依原書內容重繪)

📖 原書 Sampling 就是用訓練好的生成模型產生新資料。Smart Compose 裡:「Hi Alex, does today」→ 選出 work → 「Hi Alex, does today work」→ 選出 for → …直到 <EOS>。兩大類策略:

Deterministic

沒有隨機性,例如每步都選機率最高的(greedy search)。同樣輸入永遠同樣輸出。優點:一致、可預測、少意外。缺點:缺乏多樣性,會錯過機率低但有趣的 token;容易重複。

Stochastic

依機率抽樣,同樣輸入每次可能不同。優點:多樣、新穎,適合對話生成。缺點:不一致,不適合要精確重現的應用;可能出現不恰當的意外輸出。

原書Which generation method · Greedy search · Figure 34

寫信要的是穩,不是驚喜

這一步要解決Smart Compose 該挑最穩的,還是擲骰子?

📖 原書 Smart Compose 偏好 deterministic 的三個理由

  • Consistency:使用者期待可預測、可靠的建議,每次打同樣的開頭,不該看到差很多的建議
  • Better handling of common phrases:信件裡,常見的補全比新奇更重要
  • Reduced risk of inappropriate suggestions:隨機方法偶爾會生出不恰當的建議

「就算是機率很低的 Token,他還是有機會在擲骰子的時候被擲到。一旦在生成的過程中擲到機率很低的 Token,整個句子就會變得很奇怪。」🎓 李宏毅課堂 第 1 講

📖 原書 選定 deterministic 之後,兩個主要演算法:greedy search 和 beam search。

📖 原書 Figure 34GPT-2 用 greedy search 生成的文字;原圖描述沒有列出生成結果(依原書內容重繪)

📖 原書 Greedy search 永遠選機率最高的 token。它沿著一條窄路走,不考慮其他可能更通順的路,所以容易重複。原書說因為這個限制,greedy 在實務上很少用。

看它卡住

這是一個只有十幾個字的玩具模型,不是 GPT-2。但卡住的原因一樣:最高分的路繞回原點,greedy 就一直繞。

延伸基礎第 9 階 · 多留幾條路 · 懂的人可以跳到第 34 頁

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

每一步都挑最好的,整條路就最好嗎?

① 生活情境

逛夜市,第一攤排最長,你就進去了,結果第二道菜普普通通。隔壁排隊少一點,招牌菜卻超好吃。只看眼前這一步,可能錯過更好的整條路線。

你猜猜看:John 的信從「Hi John!」開始。路線 A:Hope(0.5)→ you(0.3)。路線 B:I(0.4)→ hope(0.9)。整條路誰的分數高?

③ 這時才給名字

每步只挑最高的,就是前面的 greedy。同時留 k 條路、每步展開後只留總分最好的 k 條,叫 beam search;k 叫 beam width。

② 動手玩

只留 1 條路,就是每步挑最高的。

④ 跟這章的關係k = 1 就退化成 greedy;k 越大越不容易錯過,但要算的越多。原書用 k = 3(第 34 頁)。

原書Beam search · Figure 36、37

原書的 beam search:beam width = 3

這一步要解決每步只挑最好的會錯過好路線,怎麼多看幾條?

📖 原書 Figure 37beam width = 3 的第一輪:Initialization → Expansion → Pruning(依原書內容重繪)

📖 原書 核心:同時追蹤多個可能的 token 序列。每一步算每條序列下一個 token 的機率,選累積機率最高的 top-k。步驟(beam width = 3):

  1. Initialization:輸入使用者寫到一半的信,選出機率最高的三個 token
  2. Expansion:三條序列各自丟進模型,拿到下一個 token 的機率
  3. Pruning:依累積機率留下最好的三條

重複 expansion 和 pruning,直到三條都遇到 <EOS> 或最大長度,再選累積機率最高的那條。圖上:How are you = 0.31 × 0.91 ≈ 0.28,How do you = 0.26 × 0.63 ≈ 0.16,How come animals = 0.24 × 0.36 ≈ 0.09。

兩個缺點,和原書的選擇

Limited diversity:輸出常常很像。Struggle with long sequences:同時追太多序列,長句子算起來很貴。但 Smart Compose 的建議很短,而且不需要多樣性,所以原書選 beam search 當主要的取樣演算法。

延伸基礎第 10 階 · 猶豫程度 · 懂的人可以跳到第 36 頁

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

怎麼用一個數字,說模型猜得有多猶豫?

① 生活情境

擲一顆公正的六面骰子,猜下一次是幾點。每一面機率都是 1/6,你等於在 6 個選項之間猶豫。如果有一面特別容易出現,你就沒那麼猶豫了。

你猜猜看:模型每一步都給正確的字 1/2 的機率。它像在幾個選項之間猶豫?

③ 這時才給名字

「平均在幾個選項之間猶豫」叫 perplexity。越低越好,最低是 1:完全不猶豫。

② 動手玩

John 的信「I hope you are well」。模型每一步給正確的字多少機率?拉拉看。

—猶豫程度—平均每一步的機率

④ 跟這章的關係原書離線評估的第一個指標就是它(第 36 頁);它跟驚訝分數是同一件事換個說法。

原書Evaluation · Offline · Perplexity · Figure 38

離線評估一:perplexity

這一步要解決上線前,怎麼用舊信件替模型打分數?

📖 原書 原書說評估在 ML system design 面試中很重要:面試官會看你能不能測試、驗證自己設計的系統,好的回答要同時講 offline(上線前用舊資料考)和 online(上線後看真實使用者)。

📖 原書 Offline evaluation 用事先收集的歷史資料,確保上線前表現可以接受。Smart Compose 用歷史信件評估,兩個常用指標:Perplexity 和 ExactMatch@N。

📖 原書公式圖Perplexity 的定義(依原書內容重繪)

📖 原書 X 是一串 token(x1 … xN),N 是 token 數,P(xi | x1:i−1) 是看到前面的 token 後,模型給第 i 個 token 的機率。白話:平均驚訝分數,再換回「幾個選項」。perplexity 越低,代表模型平均給實際出現的 token 越高的機率,越會猜下一個字。

📖 原書 Figure 38Perplexity 計算範例。原圖描述是一片空白,這裡依原書公式重做一個例子,數字是示意

原書Offline · ExactMatch@N · Figure 39 · 動手算

離線評估二:前 N 個字有沒有一字不差

這一步要解決使用者看到的是那幾個字。那幾個字到底對不對?

—ExactMatch@N—N = 1 到 3 的平均
📖 原書 Figure 39三個序列的 ExactMatch@3(依原書內容重繪;滑桿換 N 是本簡報加的互動)

📖 原書 ExactMatch@N:生成的片語裡,剛好 N 個字長、而且和真實文字的前 N 個字完全相同的比例。原圖三題對了兩題,ExactMatch@3 = 2/3,原書寫 0.66。

📖 原書 對不同的 N 都算一次,就知道模型在不同建議長度的表現;要看整體表現,就算到某個長度為止的每個 N,再取平均。原書也提到,近年發現 BLEU、ROUGE-N(數一數有幾個字重疊的分數)這些指標也有幫助(第 3 章)。

「假設有人問三角形有幾個邊?模型說 3,然後標準答案是中文的『三』。那如果按照 Exact Match 這個標準來計算的話,其實模型算是答錯了。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講

課堂上說 Exact Match 適合「答案只有幾種可能」的時候。你仔細想想,「meeting you today」和「seeing you today」意思都對,Exact Match 卻給 0 分。這就是它嚴格的地方。

原書Online evaluation metrics

上線之後,看使用者用腳投票

這一步要解決離線分數好看,使用者真的會按 Tab 嗎?

📖 原書 Online evaluation 量模型在使用者實際互動時的表現。離線指標通常是標準的,線上指標則依需求定義;公司常用上百個,面試時講最常見的就好:

類別指標在量什麼
User engagementAcceptance rate建議被使用者接受的比例。越高,代表建議越相關、有用
Usage rate所有寫好的信裡,有用到 Smart Compose 的比例。高代表使用者信任它
EffectivenessAverage completion time有和沒有 Smart Compose 時,寫完一封信的平均時間。變短代表真的加速
LatencySystem response time開始打字到建議出現的時間;要低於門檻,才能在使用者打出來之前就建議
QualityFeedback rate使用者對建議給回饋的頻率,有助持續改進
Human evaluation透過使用者研究做質性評估,反映滿意度

動手算:一天的紀錄

—Acceptance rate

你可能會想說,那就多跳一點建議,收下的次數不就變多了?收下的次數變多,但被拒絕的也變多,acceptance rate 反而下降,而且很煩。所以要同時看好幾個指標,一個指標會騙人。

📖 原書 持續監控這些指標,相關人員才能完整掌握功能在 production 的表現。

小結第 9–10 階:它怎麼開口、怎麼打分數

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

到這裡你已經會了

  • 每步挑最好的,整條不一定最好所以多留幾條路:beam search(第 33、34 頁)
  • 替模型打分數有兩把尺perplexity 看平均猶豫程度,ExactMatch 看前 N 個字一字不差(第 35、37 頁)
  • 上線之後看使用者收不收下acceptance rate 等線上指標,一個指標會騙人(第 38 頁)

John 的那句話,現在走到哪裡

  1. 開口留 3 條路:Hi John! I hope(0.36)勝過 Hope you(0.15)
  2. 離線I hope you are well 的 perplexity ≈ 1.74
  3. 一字不差建議 are doing well = 真的 are doing well → 對
  4. 上線灰字出現 600 次,被 Tab 收下 150 次 → 25%

下一階要解決:模型只是其中一格。怎麼在 100 毫秒內,把它接成一個「有把握才開口」的系統?

原書Overall ML System Design · Figure 43

全部接起來:模型只是其中一格

這一步要解決模型只會猜字。從打字到灰字出現,中間還要哪些關卡?

📖 原書 Figure 43Smart Compose 整體設計(依原書內容重繪)

📖 原書 三個關鍵元件

系統好不好,不只看預測下一個 token 的模型,還要靠各元件合作,讓系統夠快、建議相關、守倫理標準:Triggering service、Phrase generator、Post-processing service。

📖 原書 六個步驟

  1. Monitoring:觸發服務監看使用者打字
  2. Triggering:認出特定模式就觸發 phrase generator
  3. Beam search:從模型拿 top-k 候選
  4. Filtering:移除太長、信心太低的
  5. Post-processing:最高分的那個去換掉性別代名詞、調整敏感詞
  6. Display suggestion:顯示給使用者

原書Triggering service · Phrase generator · Figure 40 · 動手玩

什麼時候該開口?開口時要準備幾個答案?

這一步要解決不是每打一個字都該建議。什麼時候開口?

📖 原書 Triggering service

監看按鍵,依打了幾個字或出現特定關鍵字決定要不要啟動。只打「I」太早,猜不出意圖;打到「I hope」就有足夠上下文。它也確保建議不要太頻繁。

—要不要觸發

示意規則:字數到門檻,或最後一個字是 hope、thank、looking、let、please 這類關鍵字,就觸發。

📖 原書 Phrase generator

📖 原書 Figure 40Beam search 輸出前五個候選(beam width = 5)(依原書內容重繪)

Smart Compose 的核心。拿使用者打到一半的文字,跟模型互動、用 beam search 產生 top-k 最可能的補全。每個補全都以 <EOS> 結尾,附一個信心分數。拿到候選之後,還有兩件事要做:移除太長的、移除信心太低的(下一頁)。

原書Removing long / low-confidence suggestions · Figure 41、42 · 動手玩

寧可不說,也不要說錯

這一步要解決候選太長或沒把握,說出來反而煩人。

最後顯示:

📖 原書 Figure 41移除太長的建議(依原書內容重繪)

📖 原書 Removing long suggestions

短的建議比較好在打字時讀。使用者打「Can you please」,建議「help me with this?」很好;「help me with this project that is due next week」太具體,反而不太可能猜中作者想寫的。

📖 原書 Removing low-confidence suggestions

信心分數低於門檻的移除。模型沒把握,就不要拿出來。

📖 原書 最後如果清單不是空的,就把信心最高的那一個交給 post-processing。這就是需求裡「只在有信心時建議」的實作。

原書Post-processing service · 動手玩

最後一關:在說出口前,先把偏見擋下來

這一步要解決建議裡如果帶著偏見,說出口就收不回來。

模型的原始建議(示範用):


      

處理之後:


    

📖 原書 依預先定義的規則,有效率地偵測並修正偏見

  • Pronoun replacement:性別沒有指明時,he 或 she 換成 they
  • Gender-neutral word replacement:chairman → chairperson、policeman → police officer
  • Lexical analysis for sensitive terms:用預先定義的標記詞清單,把可能暗示年齡、種族、身心障礙偏見的詞換成中性詞
  • NSFW content filtering(不適合在工作場合出現的內容):用 NSFW 關鍵字、片語和模式清單,掃描並移除不當內容

這些規則讓建議相關、尊重、包容。

📅 2026 補充 規則式替換是方法上的取捨:快、可預測,但會遇到文法問題。你看左邊,he is 換成 they 之後,is 沒有跟著變。規則越寫越多,就越難維護;所以常見的做法是把「不要有偏見」也放進訓練資料和評估裡,規則只當最後一道保險。

客座講評Triton 怎麼看這個延遲預算

100 毫秒裡,網路要吃掉多少?

這一步要解決100 毫秒很短,系統拆成好幾台機器,會不會來不及?

「如果你呼叫的api不是127.0.0.1,請預想每一層的呼叫可以消耗掉5ms以上。(視你網絡設定,可以更差)」🗣️ Triton 本人說 156-如果要講究response time.md

「除非你要大型系統玩microservice,否則這種nodejs -> php -> nodejs絕對是玩弄自己的」🗣️ Triton 本人說 156-如果要講究response time.md

白話:127.0.0.1 就是自己這台電腦;microservice 是把系統拆成很多小服務。

🔭 依 Triton 原則推論 Triton 沒有談過 Smart Compose。這頁是把他「每多一層網路呼叫就多付 5ms 以上」的原則套進原書的 Figure 43:triggering、phrase generator、model、filter、post-processing 如果各自是一台遠端服務,每一跳都在吃 100 ms 的預算。比較省的切法:filter 和 post-processing 跟 phrase generator 放在同一個程序裡,觸發判斷放在使用者那一端。

—總延遲—對 100 ms 的判斷

預設 5 層:使用者 → triggering → phrase generator → model → filter → post-processing,每層 5 ms 就先花掉 25 ms。

原書Other Talking Points

面試還有時間,可能會被問到這些

📖 原書 資深職位要準備的主題

  • 支援多語言的 Smart Compose
  • 個人化建議
  • 加入更多上下文讓預測更準
  • 不同 tokenization 演算法怎麼運作:BPE、SentencePiece、WordPiece
  • 不同的 ML objective,例如 masked language modeling(MLM)及其變體
  • Multi-token prediction 這個 objective 的優缺點
  • 在品質和推論延遲之間取得平衡

會被問到哪些,看面試官偏好、你的專長和職位需求。

每一題回到今天的哪一頁

  • 多語言 → 第 12 頁:字典要能切各種語言,這是 subword 演算法的強項
  • 個人化、更多上下文 → 第 30 頁:都是往 prompt template 裡加欄位
  • BPE、WordPiece → 第 10 頁的切法,第 3 章細講
  • MLM → 第 14 頁的 encoder-only(BERT)用的就是「克漏字」式的 objective,不是接龍
  • Multi-token prediction → 一次猜好幾個 token,跟第 27 頁「每個位置猜一個」不同
  • 品質 vs 延遲 → 第 44 頁的預算,和第 46 頁的加速方法

📅 2026 補充方法怎麼演進

原書之後,這幾個零件換了做法

這一步要解決原書之後,這些零件的做法往哪裡演進?

位置:從 sine-cosine 到 RoPE

原書選 fixed 的 sine-cosine。之後主流改用相對位置的 RoPE(Rotary Positional Embedding):重點從「你在第幾格」變成「你跟我差幾格」。

「但最終歷史的洪流選擇了 RoPE 這個方式,然後它是被用在 LLaMA、Qwen、Gemma 等等知名的語言模型之中。」🎓 李宏毅課堂 如何讓 Transformer 知道輸入 Token 的順序?

字典變大了

原書 Table 3 寫 subword 約 5 萬到 15 萬。LLaMA 3 約 12.8 萬、GPT-4o 的 o200k 約 20 萬、Gemma 約 25.6 萬。多語言模型要把更多語言切得有效率,字典就做大。

延遲:不只靠架構,也靠解碼技巧

生成分兩段:先一次讀完前文(prefill),再一個一個吐(decode)。KV cache 把前文算過的東西存起來,不用每吐一個 token 就重算一次;speculative decoding 先讓小模型猜幾個 token,再讓大模型一次驗證。原書 other talking points 裡的 multi-token prediction 也是同一個方向。

Greedy 沒有被淘汰

原書說 greedy 實務上很少用,這是針對長文生成的重複問題。需要可重現的場合,例如評測,greedy decoding 仍然很常見;聊天型的 LLM 則多用帶隨機性的取樣。選哪個,還是回到原書的判準:要一致,還是要多樣。

原書Summary 心智圖

原書這一章的總結圖

📖 原書章末心智圖依原書的分支重繪(依原書內容重繪)

回顧10 階全部爬完

  1. 文字接龍
  2. 回頭翻
  3. 切塊編號
  4. 座標
  5. 位置
  6. 背答案
  7. 驚訝分數
  8. 蒙眼下山
  9. 多留幾條路
  10. 猶豫程度

Smart Compose 其實就是一個很會看場合的文字接龍而已。

它怎麼猜

切成 token、換成編號 → 查座標(embedding)→ 加位置 → 回頭翻好幾輪(self-attention)→ 吐出下一個 token 的機率表。

它怎麼學會猜

先讀整座圖書館(pretraining),再練寫信(finetuning)。目標都是 next-token prediction,loss 是猜錯時的驚訝分數,用 gradient descent 下山。

它怎麼開口

寫信要穩,所以用 deterministic 的 beam search,同時留好幾條路,選總分最高的。

它什麼時候閉嘴

打太少不觸發、太長不說、沒把握不說、有偏見先改。還要在 100 毫秒內做完。

猜下一個字,接上去,再猜下一個字。然後呢?然後就結束了。

名詞小卡課後複習用 · 每個詞一行白話

本章名詞小卡

名詞一行白話在哪一頁
language model(語言模型)猜下一塊字的機器,就是文字接龍第 5 頁
token模型一次猜的那一塊,大約一個字或半個字第 5 頁
RNN傳話式讀前文:一個傳一個,傳越遠越模糊第 6 頁
self-attention回頭翻:每個字自己決定要看前面哪幾個字第 6 頁
Transformer用回頭翻蓋起來的模型,可以同時算第 7 頁
tokenization把句子切塊,每塊換成字典裡的號碼第 10 頁
subword常見字整塊、少見字拆成零件的切法第 11 頁
embedding每個 token 的座標,意思近就站得近第 15 頁
positional encoding告訴模型每個字在第幾格第 18 頁
prediction head最後吐出機率表的那一層第 21 頁

忘了哪個詞,就回到右邊那一頁,四步再走一次。

給工程師的重點出處、公式與頁碼對照

本章引用的來源

原書

Generative AI System Design Interview · Gmail Smart Compose 章。Introduction 與 Figure 1(第 2 頁)、Clarifying Requirements(4)、Frame the problem、Figure 2、Table 1(7)、資料來源、Figure 3、Table 2(8)、cleaning 與 normalization(9)、tokenization 與 Figure 4–8(11)、Table 3(12)、token indexing 與 Figure 9–10(13)、三種架構與 Figure 11–14(14)、text embedding 與 Figure 15–16(16)、positional encoding 與 Figure 17–20(19–20)、Transformer、prediction head 與 Figure 21–22(21)、兩階段訓練與 Figure 23(23)、pretraining 與 Figure 24–25(24)、loss 與 Figure 26–27(27)、finetuning 與 Figure 28–29(29)、combining inputs 與 Figure 30–31(30)、sampling 與 Figure 32、33、35(31)、Figure 34 與選擇理由(32)、beam search 與 Figure 36–37(34)、perplexity 公式與 Figure 38(36)、ExactMatch@N 與 Figure 39(37)、online metrics(38)、整體設計與 Figure 43(40)、triggering、phrase generator 與 Figure 40(41)、filtering 與 Figure 41–42(42)、post-processing(43)、Other Talking Points(45)、心智圖(47)。45 張圖全部依圖說與描述重繪,不是原圖;Figure 1 產品截圖改線框圖、不畫 logo;Figure 3 掃描頁改版面示意;Figure 20、38 原描述空白,依圖說與內文重做

本簡報加的頁面:概念階梯(3)、10 個延伸基礎(5、6、10、15、18、22、25、26、33、35)、小結(17、28、39)、名詞小卡(49)。貫穿例子「Hi John! I hope you are well.」裡只有 well 86% 出自原書 Figure 24,其餘機率都是示意

🎓 李宏毅課堂(逐字稿)

  • 生成式人工智慧與機器學習導論 2025 · 第 1 講 — 機率分布與擲骰子、網路句子是接龍教材、低機率 token 讓句子變怪
  • 同 · 第 3 講 — Tokenization 與 ID、Token Embedding、兩顆青蘋果的 attention、Causal Attention
  • 同 · 第 4 講 — Exact Match 的限制
  • 同 · 第 5 講 — gradient descent、餓狼下坡、learning rate
  • 同 · 第 6 講 — Cross-Entropy
  • 同 · 第 7 講 — Pre-training 像學齡前兒童
  • 如何讓 Transformer 知道輸入 Token 的順序?— 你打我/我打你、RoPE
  • 加快語言模型生成速度 (2/2):KV Cache — prefill 與 decode

來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)

🗣️ Triton 與 📅 依據

  • 156-如果要講究response time.md — 每一層呼叫 5ms 以上、多層呼叫的 response time
  • 📅 RoPE:課堂逐字稿;字典大小:各模型公開的 tokenizer 設定
  • 📅 KV cache、speculative decoding:常見的推論加速做法

公式(主文用文字講過)

  • attention:am,n = exp(qm·kn/√d) / Σj exp(qm·kj/√d)
  • PE(pos,2i) = sin(pos/100002i/d),PE(pos,2i+1) = cos(…)
  • cross-entropy:−Σi yi ln pi(one-hot 時 = −ln p正確)
  • perplexity:exp(−(1/N) Σ log P(xi|x1:i−1))
  • beam score:Σ log p,與連乘排序相同
← → 翻頁 · S 講者備註 · D 深/淺色
1 / 1目錄