GenAI System Design · 第 2 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無(只有一張延遲預算的客座卡)
Gmail Smart Compose
其實就是一個很會看場合的文字接龍而已
你在 Gmail 打「Hi John! I hope」,灰色的「you are doing well!」自己冒出來,按 Tab 就收下。原書用這個小功能,把 Transformer 從頭到尾拆開來講一遍。今天我們也一樣:先遇到問題,再看方法是怎麼被想出來的。
今天的路線
需求 → 一邊爬 10 階基礎、一邊對照原書(第 3 頁的階梯):它怎麼猜 → 怎麼學會猜 → 怎麼開口 → 怎麼打分數 → 整個系統 → 2026 年的變化。全程只用同一封信當例子。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論 延伸基礎
標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。
先講跟你有關的動手玩
你每天都在用的文字接龍
你可能會想說,這不就是手機輸入法的選字嗎?差不多,但它一次猜好幾個字,而且只在它有把握的時候才開口。
試試看:先打 Thank you,什麼都沒有;再打 for,灰字冒出來了。為什麼一開始不講話?因為只看到兩個字,它還猜不準。這個「什麼時候該開口」,原書後面叫做 triggering service(第 41 頁)。
今天整堂課只在回答三個問題:它怎麼猜?(模型)它怎麼學會猜?(訓練)它什麼時候該閉嘴?(系統)
學習地圖今天要爬的 10 階 · 每一階只用前面學過的東西
一階一階往上爬,不跳階
- 1文字接龍它到底在猜什麼?
- 2回頭翻怎麼讀懂前面寫了什麼?
- 3切塊編號字怎麼變成數字?
- 4座標號碼怎麼帶有意思?
- 5位置怎麼分出誰先誰後?
- 6背答案為什麼不能只練信件?
- 7驚訝分數猜錯要罰多重?
- 8蒙眼下山罰完往哪邊改?
- 9多留幾條路怎麼說出最好的一整句?
- 10猶豫程度怎麼替模型打分數?
它怎麼猜 它怎麼學會猜 它怎麼開口 怎麼替它打分數 英文名字等爬到那一階才給。
整堂課只用一封信
Hi John! I hope you are well.
每一階都拿這一句來玩。數字盡量小到可以心算。
每一階都走四步
① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。
每爬幾階就停一下
「到這裡你已經會了」:第 17、28、39 頁。最後還有名詞小卡(第 49 頁)。
原書Clarifying Requirements
原書的題目:幫使用者把信寫完
這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 每個人寫法不同,要做個人化嗎? | 為了簡單,先不做個人化 |
| 只在對預測有信心時才建議嗎? | 是的 |
| 訓練資料大概多大? | 假設大約十億封電子郵件 |
| 過去的信、主旨都可以用,先只用內文可以嗎? | 好。但實務上會用更多資訊;先從內文開始,有時間再擴充 |
| 要支援哪些語言? | 先從英文開始 |
| 要確保系統沒有偏見嗎? | 這是重要需求,建議裡不能有帶偏見的假設 |
| Gmail 有多少使用者?運算成本要顧嗎? | 約 18 億使用者,一人一天最多寄 500 封。成本重要,但先把系統做出來,之後再優化 |
| 要即時建議嗎? | 要。延遲要讓人感覺不到,大約 100 毫秒 |
整理成需求清單
- 功能:根據已經打的字,建議接下來的幾個字;沒把握就不建議
- 輸入:先只用信件內文(之後可加主旨、收件者、過去的信)
- 資料:約 10 億封信;先做英文;先不做個人化
- 品質:不能有偏見
- 速度:約 100 ms;規模是 18 億使用者
你想想看,100 毫秒是多少?大概是你打一個字母的時間。也就是說,你手指還沒按下一個鍵,建議就要出現。這個數字等一下在第 44 頁會回來找我們。
延伸基礎第 1 階 · 文字接龍 · 懂的人可以跳到第 7 頁
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
打到一半的句子,下一個字會是什麼?
你傳訊息打「晚安」,手機跳出「好夢」「早點睡」。它心裡其實有一張排行榜。最常接在後面的,排第一。
你猜猜看:John 的信打到「I hope you are ___」,排行榜第一名大概佔多少?
原書 Figure 24:well 拿 86%、able 11%,全部加起來剛好 100%。它給的是一張表,不是一個字。
這台「猜下一塊」的機器叫 language model(語言模型)。它每次猜的那一塊叫 token,先想成一個字或半個字。
「語言模型真正的輸出……其實是一個 Token 的機率分佈。」「它根據這個機率分佈來擲骰子。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講
每按一次,就接上一塊,再猜下一塊。
④ 跟這章的關係Smart Compose 的心臟就是一台語言模型:猜一塊、接上去、再猜,猜到 <EOS>(寫完了的記號)就停。
延伸基礎第 2 階 · 回頭翻 · 懂的人可以跳到第 7 頁
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
要讀懂前文:一個傳一個,還是直接回頭翻?
玩過傳話遊戲嗎?第一個人說的話,傳到第十個人常常走樣。開書考試就不一樣:想看哪一頁,直接翻回去。
你猜猜看:傳話時每傳一手,只剩 80% 的意思。傳 3 手之後,第一個人的話還剩多少?
100% → 80% → 64% → 51%。每多傳一手就再打八折,傳越遠越模糊。
傳話的做法叫 RNN。回頭翻的做法叫 self-attention:每個字自己決定要看前面哪幾個字、看多重。
「如果只看『果』這個 token,你其實不知道這個『果』指的是蘋果……所以 attention 第一件做的事情,是找出輸入的 token 裡面,哪些 token 會影響『果』的意思。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講(例句:兩顆青蘋果)
④ 跟這章的關係原書選 Transformer,就是因為它靠回頭翻、可以同時算(第 7 頁)。代價:長度變 2 倍,要比的對數變約 4 倍。
原書Frame the Problem as an ML Task
把問題變成 ML 任務:text generation,選 Transformer
這一步要解決「幫人把信寫完」要變成 ML(機器學習)題目:輸入什麼、輸出什麼、用哪種模型?
📖 原書 Input:使用者打的一串字。Output:這串字的延續,也就是使用者接下來可能打的字。
它在生成文字,所以是 text generation 任務。處理序列資料的兩大架構:RNN(含 GRU、LSTM 這兩種改良版)和 Transformer。原書選 Transformer(用第 6 頁「回頭翻」蓋起來的模型),兩個主要理由:平行處理,以及長序列處理得比較好。
📖 原書 Transformer 的代價:self-attention 的計算量是 O(n²)(長度變 2 倍,計算量變約 4 倍),n 是序列長度,因為每一對 token 都要算 attention 分數。降低這個成本的方法,原書列了 Group Attention 和 Flash Attention。
📖 原書 Table 1 RNN 與 Transformer 比較
| 特徵 | RNN(GRU、LSTM) | Transformer |
|---|---|---|
| Architecture | 簡單 | 複雜 |
| Training efficiency | 依序處理,效率低 | 平行處理,效率高 |
| Effectiveness | 處理長序列吃力,低 | 能處理長序列,高 |
| Scalability | 有限 | 高度可擴展 |
| Applications | 簡單任務,如時間序列 | 複雜任務,如語言補全、翻譯 |
原書的結論:因為這些優勢,現在大多數生成式系統都用 Transformer,Smart Compose 也是。
原書Data Preparation · 兩種資料
教材從哪裡來?一般文字,加上十億封信
這一步要解決模型要從例子裡學。例子從哪裡來?
📖 原書 General data
公開的文字:書、網站、社群貼文。詞彙、句法、語境都很多樣,是訓練語言模型的基礎。
📖 原書 Email data
需求裡的十億封信。讓模型學會信件的寫法和信裡的常用片語。下表是簡化的例子,實務上每封信會存更多 metadata(寄件時間這類附帶資訊)。
| Email ID | Sender | Recipient | Subject | Body |
|---|---|---|---|---|
| 4953 | john@gmail.com | mike@yahoo.com | Catchup? | Hey Mike, let's catch up this Sat. … |
| 9356 | kkart@gmail.com | cs382@stanford.edu | Project Deadline | Hi TA, I hope you are well. I am writing to you to … |
📖 原書 Table 2電子郵件資料範例
📖 原書 兩種資料的原始文字都很髒、格式不一致,會拖累模型;而且模型只吃數字。所以要兩步:① 清理與正規化 ② tokenization 與 token indexing(切塊、換號碼,第 10 頁)。
原書Text cleaning and normalization · 動手玩
先把教材洗乾淨
這一步要解決原始文字很髒:外語、個資、亂碼、重複。不洗乾淨,模型會學壞。
內容是示範用的虛構信件。勾越多,越乾淨。
📖 原書 Text cleaning:拿掉不需要的
- 非英文:用 language identification(自動判斷是哪種語言,例如 fastText 的語言辨識模型)找出來移除
- 機密資訊:電話、信用卡號等。人名、URL、email、電話換成佔位字元,例如
john@gmail.com→##@gmail.com,免得模型學起來、日後說出去 - 無關符號:©、™、emoji,通常不改變意思
- 重複資料:不同來源的同一段文字,避免模型學偏
📖 原書 Text normalization:統一格式
(123) 456-7890、123.456.7890、123-456-7890 都變成 1234567890。格式一致,資料就沒那麼複雜。
延伸基礎第 3 階 · 切塊編號 · 懂的人可以跳到第 11 頁
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
模型不認識字,只認識號碼
圖書館不會叫你報書名,而是報索書號。模型也一樣,裡面只有數字在算。所以 John 的信得先切成一塊一塊,每塊換一個號碼。
你猜猜看:把「Hi John! I hope you are well.」一個字母切一塊(空白、標點也算),會切成幾塊?
數數看:字母、空白、驚嘆號、句點各算一塊,共 29 塊。7 塊是「一個單字一塊」的切法。
把句子切塊、每塊換成字典裡的號碼,叫 tokenization。「常見字整塊、少見字拆零件」的切法叫 subword。
「輸入的句子會先經過 Tokenization,被切成一個一個 Token,那每一個 Token 會對應到一個編號,對應到一個 ID。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講
④ 跟這章的關係切太細沒意思,切太粗字典太大、新字查不到。原書選 subword(第 11–13 頁)。
原書Text tokenization · Figure 4–8
三種切法,各有代價
這一步要解決模型只吃數字,句子要先切成塊。切多細?
📖 原書 同一句「Hello world」可以切成 ["Hello", "world"],也可以切成 11 個字元。原書說:搞懂三種切法的優缺點,在多數 ML 面試都很重要。
Character-level
切成一個個字元。好實作,但模型很難幫每個 token 學到有意義的表示:「go」有意思,「g」沒有。常常效能比較差。
Word-level
切成單字,最簡單的做法是照空白切。每個 token 意思清楚,但字典會非常大:Transformer-XL 用 word-level,字典有 267,735 個 token。要學幾十萬個表示,訓練又久又貴。
Subword-level
常見的字不拆,少見的字拆成有意義的零件,例如 unhappily → unhappy + ly。實作比較複雜,但字典大小可控,而且沒看過的字也能用認識的零件拼出來。
原書Table 3 · 選哪一種
原書選 subword:效能好,又實際
這一步要解決三種切法只能選一種,而且要真的能用。
📖 原書 Table 3 三種切法的比較
| 特性 | Character-level | Word-level | Subword-level |
|---|---|---|---|
| Granularity | 單一字元 | 單一單字 | Subwords |
| Vocabulary size | 小 | 大 | 中等 |
| Algorithm complexity | 簡單 | 簡單 | 複雜 |
| Handling unseen words | 拆成字元 | 不容易處理 | 拆成認識的 subword |
| Vocabulary size | ~100 | ~300,000+ | ~50,000–150,000 |
| Performance | 差 | 高但不實用 | 高而且實用 |
原書的表裡 Vocabulary size 出現兩列,一列定性、一列給數字,這裡照原書保留。
📅 2026 補充 字典越做越大:LLaMA 3 約 12.8 萬、GPT-4o 的 o200k 約 20 萬、Gemma 約 25.6 萬個 token,已超過表中 subword 的上緣(第 46 頁)。
📖 原書 實務上用什麼
- 多數最先進的語言模型用 subword 演算法:Byte-Pair Encoding(BPE)和 SentencePiece 這兩種 subword 切法,有效率,也能處理多語言
- OpenAI 的 GPT-4 用 BPE 的變體;Google 的 Gemini 用 SentencePiece
- Smart Compose 也用 subword,不自己寫:用 OpenAI 的 Tiktoken 或 Google 的 SentencePiece 這類 Python 函式庫,實作可靠、支援多種演算法
- BPE 的演算法細節在第 3 章;原書註腳建議到 OpenAI 的 tokenizer 頁面看各種 tokenizer 的例子
切法其實就是在「字典多大」和「每塊有沒有意思」之間找平衡而已。你想想看,背英文單字的時候,你是背 unhappily,還是背 un-、happy、-ly?
原書Token indexing · Figure 9、10
切好之後,查字典換成編號
這一步要解決切好的塊,怎麼變成模型能吃的號碼?
📖 原書 Token indexing 就是把 token 換成整數。準備方式:tokenization 演算法先從訓練資料建出 vocabulary(字典),也就是所有不重複 token 的集合,存成一張表。有了這張表,token 可以變數字,數字也可以變回 token。
GPT-4 的字典裡,Let 是 10267、's 是 596、go 是 733、! 是 0。
📖 原書 資料準備總結
- 清理、正規化,讓訓練資料品質高又一致
- 用 BPE 這類 subword 演算法切成 token
- 每個 token 換成數字編號
做完這三步,資料就變成模型能用的數字格式。
注意:編號只是頁碼。頁碼 733 跟 734 不代表意思相近,這件事第 15 頁會變成一個問題。
原書Model Development · Architecture · Figure 11–14
Transformer 有三種變體,Smart Compose 用哪一種?
這一步要解決Transformer 有好幾種,「把信補完」該用哪一種?
📖 原書 看任務是生成還是理解。Smart Compose 要把寫到一半的信補完,是生成,所以選 decoder-only。它有四個元件:text embedding → positional encoding → Transformer → prediction head(白話:查座標 → 加位置 → 回頭翻 → 吐機率表),接下來一個一個看。原書提醒:面試重點是高階概念和元件互動,不是架構細節。
Encoder-only
要理解整段文字的任務:情感分析、句子分類、named entity recognition(找出人名、地名)。例子:Google 的 BERT。通常不拿來生成。
Decoder-only
處理輸入,一次一個 token地生成新序列。多數 LLM(大型語言模型)都是:GPT-4、LLaMA、Gemini。
Encoder-decoder
encoder 讀輸入、decoder 生成輸出,適合「輸出是輸入的轉換」,例如翻譯(第 3 章)。
延伸基礎第 4 階 · 座標 · 懂的人可以跳到第 16 頁
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
號碼 733 和 734,意思接近嗎?
教室座位如果照學號排,好朋友常常被拆散。改成照興趣排,愛打球的坐一區、愛畫畫的坐一區。誰跟誰像,看位置就知道。
你猜猜看:如果每個字都照「意思」排座位,John 信裡的 well 最可能坐在誰旁邊?
意思近的坐得近:well 旁邊是 fine、happy。號碼是隨便給的,號碼相鄰的字意思常常八竿子打不著。
給每個 token 一組短短的數字當座標,叫 embedding。座標不是人排的,是訓練時模型自己慢慢挪出來的。
「這個 Token Embedding 裡面的這個數字……不是亂給的,意思相近的 Token 就會有相近的 Token Embedding。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講
④ 跟這章的關係原書模型的第一個元件,就是查這張座標表(第 16 頁)。
原書Text embedding · Figure 15、16
第一個元件:把編號換成向量
這一步要解決號碼本身沒有意思。模型要怎麼知道 happy 和 joyful 很像?
📖 原書 text embedding 把每個 token ID 換成固定長度的向量,叫 embedding。通常存在一張表裡,在訓練時學出來。查表就是:ID 0 對到第一列 [0.25, 0.10, 0.75]。
📖 原書 為什麼需要它?ID 有兩個限制:
- Sparsity:字典有幾萬個 ID,用 one-hot(五萬格裡只有一格是 1)表示會又稀疏又高維,沒效率
- Lack of semantic information:ID 是任意的,happy 和 joyful 意思接近,ID 看不出來
Embedding 是低維、密集的向量(短短一組數字,每格都有值),解決 sparsity;又是學出來的,所以 happy 和 joyful 會比 happy 和 sad 更近。
小結第 1–4 階:它怎麼猜(上)
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
到這裡你已經會了
- 模型其實就是文字接龍每次吐一張機率表,挑一塊接上去,再猜下一塊(第 5 頁)
- 讀前文不用傳話,直接回頭翻self-attention:每個字自己決定看前面誰(第 6 頁)
- 字先切塊換號碼,再換成座標tokenization 與 embedding:意思近的,座標就近(第 10、15 頁)
John 的那句話,現在走到哪裡
- 切塊HiJohn!Ihopeyouare
- 換號碼#17250 #3842 #0 #40 #3987 #499 #527
- 換座標每塊變成一組數字;well 和 fine、happy 坐在一起
- 回頭翻are 回頭看 hope、John,決定下一塊
- 機率表well 86%、able 11%……
號碼和座標都是示意;well 86% 來自原書 Figure 24。
下一階要解決:回頭翻只看內容、不看順序,「你打我」和「我打你」會變成一樣。怎麼辦呢?
延伸基礎第 5 階 · 位置 · 懂的人可以跳到第 19 頁
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
「你打我」跟「我打你」,回頭翻分得出來嗎?
把「你打我」丟進袋子再倒出來:你、打、我。「我打你」倒出來也一樣。不管順序,意思就丟了。
你猜猜看:回頭翻只看字的內容。「I hope you」和「you hope I」,它看到的一樣嗎?
回頭翻是把字加權加起來,加法不管先後。所以要另外告訴它:誰在第幾格。
不管順序的看法叫 bag of words(一袋字)。替每格加上「第幾格」,叫 positional encoding。
「假設現在本來 A、B、C 三個 Token 代表你打我,那改成 CBA 就變成我打你,那意思完全不一樣,但是最後一個位置算出來的 Embedding 卻是一樣的。」🎓 李宏毅課堂 如何讓 Transformer 知道輸入 Token 的順序?
④ 跟這章的關係這是原書模型的第二個元件;原書的例子換成程式碼,道理一樣(第 19 頁)。
原書Positional encoding · Figure 17
第二個元件:幫每個 token 加上位置
這一步要解決回頭翻分不出順序,要怎麼把「第幾格」告訴模型?
📖 原書 Transformer 本身不考慮 token 的順序。看 attention 的公式會發現它是 permutation-invariant(換順序結果不變),所以分不出「initialize the variable, then use it」和「use the variable, then initialize it」。沒有位置資訊,模型就把句子當成一袋字(bag of words)。
📖 原書 解法:用一個 positional encoding 函數,把位置 i 變成一個向量 pi = f(i),加到 token embedding 上。
兩種做法
- Fixed positional encoding:用固定的函數算
- Learned positional encoding:訓練時學出來
下一頁比較兩者。
原書Fixed vs learned · Figure 18–20 · 動手玩
位置要用公式算,還是讓模型自己學?
這一步要解決位置資訊要用公式算好,還是讓模型自己學?
文組版:sine-cosine 就像好幾根轉速不同的指針。快的那根每格轉很多,分得出相鄰位置;慢的那根轉很少,分得出很遠的位置。合起來,每個位置都有一個獨一無二的指針組合。
Fixed(如 sine-cosine)
優點:不增加可訓練參數(模型裡要學的數字),有效率;任何位置都算得出來,能處理比訓練資料更長的序列。缺點:有些方法要預先定最大位置;某些任務上不如學出來的好。
Learned
開一個 N×d 的矩陣 P(N 是最長序列長度,d 是 embedding 維度)跟著一起訓練。優點:能學到最適合該任務的表示。缺點:多了參數,訓練更久更貴;可能 overfit 到訓練時常見的長度(像背答案,第 22 頁),對其他位置泛化不好。
📖 原書 選哪個看任務限制,包括序列長度變化多大。原始 Transformer 論文因為效率和泛化而用 fixed;Smart Compose 也用 sine-cosine。
📅 2026 補充 現在主流 LLM 多半改用相對位置的 RoPE,見第 46 頁。
原書Transformer · Prediction head · Figure 21、22
第三、四個元件:反覆「回頭翻 + 自己想」,最後吐出機率表
這一步要解決有了座標和位置,模型怎麼讀懂前文,再吐出下一個字的機率?
📖 原書 輸入一串 embedding,輸出一串更新過的 embedding。由好幾個 block 疊成,每個 block 有:
- Multi-head attention(同時從好幾個角度回頭翻):用 attention 更新每個 embedding,讓每個 embedding 去看它前面的 embedding;本書之後都叫它 self-attention
- Feed forward:對每個 embedding 各自做兩次線性轉換,中間夾一個 ReLU(把負數變成 0 的小開關)
還有 residual connection、layer normalization、dropout 等細節,原書請讀者看原論文。
📖 原書 Prediction head 是最後一個元件:把 Transformer 的輸出變成字典裡每一個 token 的機率,再用來選最可能的下一個 token。「How are」後面,you 有 94%。
延伸基礎第 6 階 · 背答案 · 懂的人可以跳到第 23 頁
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
考古題背到滿分,新題目卻不會?
你只有一小本考古題,一直練,練到每題答案都背起來。考古題 100 分。正式考試換了數字,你就不會了。
你猜猜看:同一小本考古題一直練下去,「新題目」的分數會怎樣?
一開始真的在學,後來開始背答案。拉右邊的「練習回合」,就看得到那個轉折。
把練習用的資料背起來、而不是學會,叫 overfitting。原書的定義:「模型記住訓練資料到無法泛化到沒看過的資料。」泛化,就是學到的本事能用在新題目上。
換成信:只讀過幾封寫給 John 的信,模型可能背下「Hi John!」,寫給 Amy 時還硬要接 John。
④ 跟這章的關係解法之一:先讀一整座圖書館,再練考古題,就是原書的兩階段訓練(第 23 頁)。
原書Training · Two-stage training · Figure 23
直接拿信件訓練?原書說:不是好策略
這一步要解決模型有了,怎麼教它?直接拿信件練行不行?
📖 原書 直接用任務資料訓練的三個問題
- 資料不夠大:任務專用的資料通常有限
- 容易 overfitting:在任務資料上訓練,很容易背起來
- 又貴又久:從零訓練大模型,要從頭學語言的各個面向
Pretraining:大量一般資料,學語言的結構。Finetuning:再用任務資料(email 補全)微調。這是一種 transfer learning(把學過的本事搬過來用):預訓練學到的知識轉移過來,不必從零開始,調整預訓練好的權重就好。
📖 原書 兩階段訓練的好處
- Adaptability:同一個 base model 可以改去做不同任務
- Improved generalization:大量多樣資料讓模型廣泛理解語言
- Fast finetuning:已有一般知識,微調更快
- Handling data scarcity:任務資料少也能表現好
- Mitigating overfitting:pretraining 像一種 regularization(防止背答案的手段)
- Resource optimization:昂貴的 pretraining 只做一次,重複使用
「第一階段的 Pre-training,就是機器像是一個學齡前的兒童,他就是每天玩,看到什麼就學什麼。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講
原書1. Pretraining · Figure 24、25
預訓練:網路上的每一句話,都是一題考題
這一步要解決沒有人幫忙出題,模型要怎麼從網路文字裡學語言?
📖 原書 資料:網頁、書、社群媒體等大量一般文字。例如 Common Crawl:爬大量網頁收集的公開資料集,從 2008 年起定期收集,有好幾 PB(1 PB 約一百萬 GB)。目的是讓模型懂語法、常識和語言結構。
📖 原書 ML objective(訓練要達成的正式目標):next-token prediction,根據前面的 token 預測下一個。「I hope you are __」,well 的機率要高。訓練完就能逐步造句:「I ordered food because I」→ was → hungry → … → <EOS>。
「爬下來的每一個句子通通都是學習文字接龍的教材。語言模型在網路上讀到一句話叫人工智慧真神奇,根據這句話他就知道說人後面應該接工。」🎓 李宏毅課堂 第 1 講
你發現了嗎?這種考題不需要人出,答案就藏在句子的下一個字裡。原書導論章說這叫 self-supervised learning,是 GenAI 能用網路資料、不必人工標註的關鍵。
延伸基礎第 7 階 · 驚訝分數 · 懂的人可以跳到第 27 頁
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
模型猜錯的時候,要罰多重?
氣象預報說明天下雨機率 90%,結果下雨了,你不驚訝。它說 1%,結果下大雨,你嚇一跳。越沒把握的事發生了,越驚訝。
你猜猜看:模型給正確答案的機率,從 1/10 掉到 1/100,「驚訝分數」會怎樣?
1/10 是 2.3 分,1/100 是 4.6 分:每多一個零,就多 2.3 分。這就是 log 在做的事,只看數量級。
這個驚訝分數叫 loss:模型離正確答案多遠。「只看正確答案拿到多少機率」的這種算法,叫 cross-entropy。
「這兩個機率分布越接近,那這個 Loss 算出來呢就會越小。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
John 的信:正確答案是 well。模型給 86%,只扣 0.15 分;把機率拉低看看。
④ 跟這章的關係訓練就是想辦法讓 loss 變小。原書的 next-token prediction,每個位置都算一次(第 27 頁)。
延伸基礎第 8 階 · 蒙眼下山 · 懂的人可以跳到第 27 頁
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
知道罰多重之後,要往哪邊改?
你蒙著眼睛站在山坡上,想走到谷底。用腳摸一摸,哪邊往下,就往哪邊跨一步。步子要跨多大,是個學問。
你猜猜看:如果每一步都跨得很大很大,會怎樣?
跨過頭就到了對面山坡,再跨回來又過頭。右邊把步伐拉到 1.0 以上試試看,還會越彈越高。
模型裡可以調的旋鈕叫「參數」。一步步往 loss 低的方向調,叫 gradient descent;步子大小叫 learning rate。
「講到梯度下降法,我們就用餓狼來當作代表一個模型……你就往左右各踏一小步……看往哪一邊可以讓 loss 下降」「當你把 learning rate 設大一點的時候,步伐踏大一點學的就比較快……learning rate 你也是不能夠設太大。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講(餓狼下坡)
④ 跟這章的關係原書說用 loss 去「更新參數」,做的就是下山(第 27 頁)。
原書Loss function · Figure 26、27
每一個位置都在考試,而且可以同時考
這一步要解決怎麼替模型的每一次猜測打分數,而且要快?
📖 原書 next-token prediction 常用 cross-entropy loss:量預測機率和正確 token 之間的差距,讓 optimizer(負責下山的那支程式,第 26 頁)更新參數,之後給出更準的機率。正確答案是一欄只有一個 1、其他都是 0 的向量。
📖 原書 實務上,模型平行處理一個序列裡所有長度,同時算出每個位置的 loss,比一個一個算快很多。「How are you?」一句話就是五題:看到 <BOS> 要猜 How、看到 How 要猜 are……最後看到 ? 要猜 <EOS>。
你想想看,這就是第 6 頁 Transformer 贏 RNN 的地方:RNN 要一題一題傳下去,Transformer 一次把五題都改完。
小結第 5–8 階:它怎麼學會猜
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
到這裡你已經會了
- 位置要另外加上去positional encoding:不然 I hope you 和 you hope I 一樣(第 18 頁)
- 只練一小本會背答案overfitting,所以先讀圖書館、再練寫信(第 22、23 頁)
- 猜錯有多驚訝就是 loss,蒙眼下山把它變小cross-entropy 與 gradient descent(第 25、26 頁)
John 的那句話,現在走到哪裡
- 考題I hope you are ___
- 答案藏在句子裡:well,不用人出題
- 模型猜well 86%
- 驚訝分數loss 0.15(如果只給 1%,就是 4.6)
- 下山把參數往 loss 低的方向調一點,下次給 well 更高
下一階要解決:先讓讀過圖書館的模型學會寫信(finetuning),再讓它真的開口,說出一整句。
原書2. Finetuning · Figure 28、29 · 動手玩
微調:讓讀過圖書館的學生,學會寫信
這一步要解決讀過圖書館的模型會講話,但還不會寫信。
📖 原書 把 base model 調整到特定任務(email 補全)。資料是約十億封信,有正式和非正式的語氣、信件特有的詞彙。ML objective 和 loss 都不變:一樣是 next-token prediction 加 cross-entropy,唯一差別是 loss 用信件資料算。
只看內文,夠嗎?
📖 原書 你要回 John 的信,打了「Dear」,理想上應該建議「John」。但如果輸入裡沒有這個資訊,模型不可能猜出 John。所以要加上主旨、收件者、之前的信。
建議:
原書Combining various inputs · Figure 30、31
好幾種輸入,怎麼一起餵進去?串成一長串就好
這一步要解決主旨、收件者、前一封信都有用,怎麼一起交給模型?
📖 原書 傳統 ML 的架構跟著資料型態走:文字、圖片、表格各要客製的 preprocessing 和 feature engineering(人工整理、設計要餵的欄位)。GenAI 時代,架構和輸入結構脫鉤:同一個架構吃各種輸入,靠的是 prompt engineering(設計交給模型的那段開頭文字)這類技巧(第 6 章詳談)。
動手組一個 prompt template
📖 原書 用 prompt template 把多段文字加上標籤串成一個序列。只要訓練資料裡也有缺欄位的例子,就不用擔心選填欄位缺漏:模型不管拿到完整還是部分資訊,都能產生合適的輸出。
原書Sampling · Figure 32、33、35 · 動手玩
訓練好了,怎麼讓它開口?
這一步要解決模型只給一張機率表。要怎麼從表裡選出要說的字?
📖 原書 Sampling 就是用訓練好的生成模型產生新資料。Smart Compose 裡:「Hi Alex, does today」→ 選出 work → 「Hi Alex, does today work」→ 選出 for → …直到 <EOS>。兩大類策略:
Deterministic
沒有隨機性,例如每步都選機率最高的(greedy search)。同樣輸入永遠同樣輸出。優點:一致、可預測、少意外。缺點:缺乏多樣性,會錯過機率低但有趣的 token;容易重複。
Stochastic
依機率抽樣,同樣輸入每次可能不同。優點:多樣、新穎,適合對話生成。缺點:不一致,不適合要精確重現的應用;可能出現不恰當的意外輸出。
原書Which generation method · Greedy search · Figure 34
寫信要的是穩,不是驚喜
這一步要解決Smart Compose 該挑最穩的,還是擲骰子?
📖 原書 Smart Compose 偏好 deterministic 的三個理由
- Consistency:使用者期待可預測、可靠的建議,每次打同樣的開頭,不該看到差很多的建議
- Better handling of common phrases:信件裡,常見的補全比新奇更重要
- Reduced risk of inappropriate suggestions:隨機方法偶爾會生出不恰當的建議
「就算是機率很低的 Token,他還是有機會在擲骰子的時候被擲到。一旦在生成的過程中擲到機率很低的 Token,整個句子就會變得很奇怪。」🎓 李宏毅課堂 第 1 講
📖 原書 選定 deterministic 之後,兩個主要演算法:greedy search 和 beam search。
📖 原書 Greedy search 永遠選機率最高的 token。它沿著一條窄路走,不考慮其他可能更通順的路,所以容易重複。原書說因為這個限制,greedy 在實務上很少用。
看它卡住
這是一個只有十幾個字的玩具模型,不是 GPT-2。但卡住的原因一樣:最高分的路繞回原點,greedy 就一直繞。
延伸基礎第 9 階 · 多留幾條路 · 懂的人可以跳到第 34 頁
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
每一步都挑最好的,整條路就最好嗎?
逛夜市,第一攤排最長,你就進去了,結果第二道菜普普通通。隔壁排隊少一點,招牌菜卻超好吃。只看眼前這一步,可能錯過更好的整條路線。
你猜猜看:John 的信從「Hi John!」開始。路線 A:Hope(0.5)→ you(0.3)。路線 B:I(0.4)→ hope(0.9)。整條路誰的分數高?
整條路的分數=每一步的機率乘起來:A 是 0.5 × 0.3 = 0.15,B 是 0.4 × 0.9 = 0.36。
每步只挑最高的,就是前面的 greedy。同時留 k 條路、每步展開後只留總分最好的 k 條,叫 beam search;k 叫 beam width。
只留 1 條路,就是每步挑最高的。
④ 跟這章的關係k = 1 就退化成 greedy;k 越大越不容易錯過,但要算的越多。原書用 k = 3(第 34 頁)。
原書Beam search · Figure 36、37
原書的 beam search:beam width = 3
這一步要解決每步只挑最好的會錯過好路線,怎麼多看幾條?
📖 原書 核心:同時追蹤多個可能的 token 序列。每一步算每條序列下一個 token 的機率,選累積機率最高的 top-k。步驟(beam width = 3):
- Initialization:輸入使用者寫到一半的信,選出機率最高的三個 token
- Expansion:三條序列各自丟進模型,拿到下一個 token 的機率
- Pruning:依累積機率留下最好的三條
重複 expansion 和 pruning,直到三條都遇到 <EOS> 或最大長度,再選累積機率最高的那條。圖上:How are you = 0.31 × 0.91 ≈ 0.28,How do you = 0.26 × 0.63 ≈ 0.16,How come animals = 0.24 × 0.36 ≈ 0.09。
兩個缺點,和原書的選擇
Limited diversity:輸出常常很像。Struggle with long sequences:同時追太多序列,長句子算起來很貴。但 Smart Compose 的建議很短,而且不需要多樣性,所以原書選 beam search 當主要的取樣演算法。
延伸基礎第 10 階 · 猶豫程度 · 懂的人可以跳到第 36 頁
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
怎麼用一個數字,說模型猜得有多猶豫?
擲一顆公正的六面骰子,猜下一次是幾點。每一面機率都是 1/6,你等於在 6 個選項之間猶豫。如果有一面特別容易出現,你就沒那麼猶豫了。
你猜猜看:模型每一步都給正確的字 1/2 的機率。它像在幾個選項之間猶豫?
機率 1/2,就像二選一。把「平均每一步的機率」倒過來,就是「在幾個選項之間猶豫」。
「平均在幾個選項之間猶豫」叫 perplexity。越低越好,最低是 1:完全不猶豫。
John 的信「I hope you are well」。模型每一步給正確的字多少機率?拉拉看。
④ 跟這章的關係原書離線評估的第一個指標就是它(第 36 頁);它跟驚訝分數是同一件事換個說法。
原書Evaluation · Offline · Perplexity · Figure 38
離線評估一:perplexity
這一步要解決上線前,怎麼用舊信件替模型打分數?
📖 原書 原書說評估在 ML system design 面試中很重要:面試官會看你能不能測試、驗證自己設計的系統,好的回答要同時講 offline(上線前用舊資料考)和 online(上線後看真實使用者)。
📖 原書 Offline evaluation 用事先收集的歷史資料,確保上線前表現可以接受。Smart Compose 用歷史信件評估,兩個常用指標:Perplexity 和 ExactMatch@N。
📖 原書 X 是一串 token(x1 … xN),N 是 token 數,P(xi | x1:i−1) 是看到前面的 token 後,模型給第 i 個 token 的機率。白話:平均驚訝分數,再換回「幾個選項」。perplexity 越低,代表模型平均給實際出現的 token 越高的機率,越會猜下一個字。
原書Offline · ExactMatch@N · Figure 39 · 動手算
離線評估二:前 N 個字有沒有一字不差
這一步要解決使用者看到的是那幾個字。那幾個字到底對不對?
📖 原書 ExactMatch@N:生成的片語裡,剛好 N 個字長、而且和真實文字的前 N 個字完全相同的比例。原圖三題對了兩題,ExactMatch@3 = 2/3,原書寫 0.66。
📖 原書 對不同的 N 都算一次,就知道模型在不同建議長度的表現;要看整體表現,就算到某個長度為止的每個 N,再取平均。原書也提到,近年發現 BLEU、ROUGE-N(數一數有幾個字重疊的分數)這些指標也有幫助(第 3 章)。
「假設有人問三角形有幾個邊?模型說 3,然後標準答案是中文的『三』。那如果按照 Exact Match 這個標準來計算的話,其實模型算是答錯了。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講
課堂上說 Exact Match 適合「答案只有幾種可能」的時候。你仔細想想,「meeting you today」和「seeing you today」意思都對,Exact Match 卻給 0 分。這就是它嚴格的地方。
原書Online evaluation metrics
上線之後,看使用者用腳投票
這一步要解決離線分數好看,使用者真的會按 Tab 嗎?
📖 原書 Online evaluation 量模型在使用者實際互動時的表現。離線指標通常是標準的,線上指標則依需求定義;公司常用上百個,面試時講最常見的就好:
| 類別 | 指標 | 在量什麼 |
|---|---|---|
| User engagement | Acceptance rate | 建議被使用者接受的比例。越高,代表建議越相關、有用 |
| Usage rate | 所有寫好的信裡,有用到 Smart Compose 的比例。高代表使用者信任它 | |
| Effectiveness | Average completion time | 有和沒有 Smart Compose 時,寫完一封信的平均時間。變短代表真的加速 |
| Latency | System response time | 開始打字到建議出現的時間;要低於門檻,才能在使用者打出來之前就建議 |
| Quality | Feedback rate | 使用者對建議給回饋的頻率,有助持續改進 |
| Human evaluation | 透過使用者研究做質性評估,反映滿意度 |
動手算:一天的紀錄
你可能會想說,那就多跳一點建議,收下的次數不就變多了?收下的次數變多,但被拒絕的也變多,acceptance rate 反而下降,而且很煩。所以要同時看好幾個指標,一個指標會騙人。
📖 原書 持續監控這些指標,相關人員才能完整掌握功能在 production 的表現。
小結第 9–10 階:它怎麼開口、怎麼打分數
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
到這裡你已經會了
- 每步挑最好的,整條不一定最好所以多留幾條路:beam search(第 33、34 頁)
- 替模型打分數有兩把尺perplexity 看平均猶豫程度,ExactMatch 看前 N 個字一字不差(第 35、37 頁)
- 上線之後看使用者收不收下acceptance rate 等線上指標,一個指標會騙人(第 38 頁)
John 的那句話,現在走到哪裡
- 開口留 3 條路:Hi John! I hope(0.36)勝過 Hope you(0.15)
- 離線I hope you are well 的 perplexity ≈ 1.74
- 一字不差建議 are doing well = 真的 are doing well → 對
- 上線灰字出現 600 次,被 Tab 收下 150 次 → 25%
下一階要解決:模型只是其中一格。怎麼在 100 毫秒內,把它接成一個「有把握才開口」的系統?
原書Overall ML System Design · Figure 43
全部接起來:模型只是其中一格
這一步要解決模型只會猜字。從打字到灰字出現,中間還要哪些關卡?
📖 原書 三個關鍵元件
系統好不好,不只看預測下一個 token 的模型,還要靠各元件合作,讓系統夠快、建議相關、守倫理標準:Triggering service、Phrase generator、Post-processing service。
📖 原書 六個步驟
- Monitoring:觸發服務監看使用者打字
- Triggering:認出特定模式就觸發 phrase generator
- Beam search:從模型拿 top-k 候選
- Filtering:移除太長、信心太低的
- Post-processing:最高分的那個去換掉性別代名詞、調整敏感詞
- Display suggestion:顯示給使用者
原書Triggering service · Phrase generator · Figure 40 · 動手玩
什麼時候該開口?開口時要準備幾個答案?
這一步要解決不是每打一個字都該建議。什麼時候開口?
📖 原書 Triggering service
監看按鍵,依打了幾個字或出現特定關鍵字決定要不要啟動。只打「I」太早,猜不出意圖;打到「I hope」就有足夠上下文。它也確保建議不要太頻繁。
示意規則:字數到門檻,或最後一個字是 hope、thank、looking、let、please 這類關鍵字,就觸發。
📖 原書 Phrase generator
Smart Compose 的核心。拿使用者打到一半的文字,跟模型互動、用 beam search 產生 top-k 最可能的補全。每個補全都以 <EOS> 結尾,附一個信心分數。拿到候選之後,還有兩件事要做:移除太長的、移除信心太低的(下一頁)。
原書Removing long / low-confidence suggestions · Figure 41、42 · 動手玩
寧可不說,也不要說錯
這一步要解決候選太長或沒把握,說出來反而煩人。
最後顯示:
📖 原書 Removing long suggestions
短的建議比較好在打字時讀。使用者打「Can you please」,建議「help me with this?」很好;「help me with this project that is due next week」太具體,反而不太可能猜中作者想寫的。
📖 原書 Removing low-confidence suggestions
信心分數低於門檻的移除。模型沒把握,就不要拿出來。
📖 原書 最後如果清單不是空的,就把信心最高的那一個交給 post-processing。這就是需求裡「只在有信心時建議」的實作。
原書Post-processing service · 動手玩
最後一關:在說出口前,先把偏見擋下來
這一步要解決建議裡如果帶著偏見,說出口就收不回來。
模型的原始建議(示範用):
處理之後:
📖 原書 依預先定義的規則,有效率地偵測並修正偏見
- Pronoun replacement:性別沒有指明時,he 或 she 換成 they
- Gender-neutral word replacement:chairman → chairperson、policeman → police officer
- Lexical analysis for sensitive terms:用預先定義的標記詞清單,把可能暗示年齡、種族、身心障礙偏見的詞換成中性詞
- NSFW content filtering(不適合在工作場合出現的內容):用 NSFW 關鍵字、片語和模式清單,掃描並移除不當內容
這些規則讓建議相關、尊重、包容。
📅 2026 補充 規則式替換是方法上的取捨:快、可預測,但會遇到文法問題。你看左邊,he is 換成 they 之後,is 沒有跟著變。規則越寫越多,就越難維護;所以常見的做法是把「不要有偏見」也放進訓練資料和評估裡,規則只當最後一道保險。
客座講評Triton 怎麼看這個延遲預算
100 毫秒裡,網路要吃掉多少?
這一步要解決100 毫秒很短,系統拆成好幾台機器,會不會來不及?
「如果你呼叫的api不是127.0.0.1,請預想每一層的呼叫可以消耗掉5ms以上。(視你網絡設定,可以更差)」🗣️ Triton 本人說 156-如果要講究response time.md
「除非你要大型系統玩microservice,否則這種nodejs -> php -> nodejs絕對是玩弄自己的」🗣️ Triton 本人說 156-如果要講究response time.md
白話:127.0.0.1 就是自己這台電腦;microservice 是把系統拆成很多小服務。
🔭 依 Triton 原則推論 Triton 沒有談過 Smart Compose。這頁是把他「每多一層網路呼叫就多付 5ms 以上」的原則套進原書的 Figure 43:triggering、phrase generator、model、filter、post-processing 如果各自是一台遠端服務,每一跳都在吃 100 ms 的預算。比較省的切法:filter 和 post-processing 跟 phrase generator 放在同一個程序裡,觸發判斷放在使用者那一端。
預設 5 層:使用者 → triggering → phrase generator → model → filter → post-processing,每層 5 ms 就先花掉 25 ms。
原書Other Talking Points
面試還有時間,可能會被問到這些
📖 原書 資深職位要準備的主題
- 支援多語言的 Smart Compose
- 個人化建議
- 加入更多上下文讓預測更準
- 不同 tokenization 演算法怎麼運作:BPE、SentencePiece、WordPiece
- 不同的 ML objective,例如 masked language modeling(MLM)及其變體
- Multi-token prediction 這個 objective 的優缺點
- 在品質和推論延遲之間取得平衡
會被問到哪些,看面試官偏好、你的專長和職位需求。
每一題回到今天的哪一頁
- 多語言 → 第 12 頁:字典要能切各種語言,這是 subword 演算法的強項
- 個人化、更多上下文 → 第 30 頁:都是往 prompt template 裡加欄位
- BPE、WordPiece → 第 10 頁的切法,第 3 章細講
- MLM → 第 14 頁的 encoder-only(BERT)用的就是「克漏字」式的 objective,不是接龍
- Multi-token prediction → 一次猜好幾個 token,跟第 27 頁「每個位置猜一個」不同
- 品質 vs 延遲 → 第 44 頁的預算,和第 46 頁的加速方法
📅 2026 補充方法怎麼演進
原書之後,這幾個零件換了做法
這一步要解決原書之後,這些零件的做法往哪裡演進?
位置:從 sine-cosine 到 RoPE
原書選 fixed 的 sine-cosine。之後主流改用相對位置的 RoPE(Rotary Positional Embedding):重點從「你在第幾格」變成「你跟我差幾格」。
「但最終歷史的洪流選擇了 RoPE 這個方式,然後它是被用在 LLaMA、Qwen、Gemma 等等知名的語言模型之中。」🎓 李宏毅課堂 如何讓 Transformer 知道輸入 Token 的順序?
字典變大了
原書 Table 3 寫 subword 約 5 萬到 15 萬。LLaMA 3 約 12.8 萬、GPT-4o 的 o200k 約 20 萬、Gemma 約 25.6 萬。多語言模型要把更多語言切得有效率,字典就做大。
延遲:不只靠架構,也靠解碼技巧
生成分兩段:先一次讀完前文(prefill),再一個一個吐(decode)。KV cache 把前文算過的東西存起來,不用每吐一個 token 就重算一次;speculative decoding 先讓小模型猜幾個 token,再讓大模型一次驗證。原書 other talking points 裡的 multi-token prediction 也是同一個方向。
Greedy 沒有被淘汰
原書說 greedy 實務上很少用,這是針對長文生成的重複問題。需要可重現的場合,例如評測,greedy decoding 仍然很常見;聊天型的 LLM 則多用帶隨機性的取樣。選哪個,還是回到原書的判準:要一致,還是要多樣。
原書Summary 心智圖
原書這一章的總結圖
回顧10 階全部爬完
- 文字接龍
- 回頭翻
- 切塊編號
- 座標
- 位置
- 背答案
- 驚訝分數
- 蒙眼下山
- 多留幾條路
- 猶豫程度
Smart Compose 其實就是一個很會看場合的文字接龍而已。
它怎麼猜
切成 token、換成編號 → 查座標(embedding)→ 加位置 → 回頭翻好幾輪(self-attention)→ 吐出下一個 token 的機率表。
它怎麼學會猜
先讀整座圖書館(pretraining),再練寫信(finetuning)。目標都是 next-token prediction,loss 是猜錯時的驚訝分數,用 gradient descent 下山。
它怎麼開口
寫信要穩,所以用 deterministic 的 beam search,同時留好幾條路,選總分最高的。
它什麼時候閉嘴
打太少不觸發、太長不說、沒把握不說、有偏見先改。還要在 100 毫秒內做完。
猜下一個字,接上去,再猜下一個字。然後呢?然後就結束了。
名詞小卡課後複習用 · 每個詞一行白話
本章名詞小卡
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| language model(語言模型) | 猜下一塊字的機器,就是文字接龍 | 第 5 頁 |
| token | 模型一次猜的那一塊,大約一個字或半個字 | 第 5 頁 |
| RNN | 傳話式讀前文:一個傳一個,傳越遠越模糊 | 第 6 頁 |
| self-attention | 回頭翻:每個字自己決定要看前面哪幾個字 | 第 6 頁 |
| Transformer | 用回頭翻蓋起來的模型,可以同時算 | 第 7 頁 |
| tokenization | 把句子切塊,每塊換成字典裡的號碼 | 第 10 頁 |
| subword | 常見字整塊、少見字拆成零件的切法 | 第 11 頁 |
| embedding | 每個 token 的座標,意思近就站得近 | 第 15 頁 |
| positional encoding | 告訴模型每個字在第幾格 | 第 18 頁 |
| prediction head | 最後吐出機率表的那一層 | 第 21 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| 參數 | 模型裡可以調的旋鈕,訓練就是在調它們 | 第 26 頁 |
| overfitting | 背答案,不是學會;新題目就不會了 | 第 22 頁 |
| pretraining | 先讀一整座圖書館,學語言的大道理 | 第 23 頁 |
| finetuning | 再用十億封信練寫信 | 第 29 頁 |
| next-token prediction | 考題就是「猜下一個字」,答案藏在句子裡 | 第 24 頁 |
| loss | 猜錯時有多驚訝;越小越好 | 第 25 頁 |
| cross-entropy | 只看正確答案拿到多少機率的驚訝算法 | 第 25 頁 |
| gradient descent | 蒙著眼睛下山,往 loss 低的方向走 | 第 26 頁 |
| learning rate | 下山的步伐大小,太大會彈來彈去 | 第 26 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| greedy search | 每一步都挑機率最高的那一個 | 第 31 頁 |
| stochastic sampling | 照機率擲骰子,每次可能不一樣 | 第 31 頁 |
| beam search | 同時留 k 條路,每步只留總分最好的 k 條 | 第 33 頁 |
| beam width | 那個 k:同時留幾條路 | 第 33 頁 |
| <EOS> | 「信寫完了」的記號,猜到它就停 | 第 5 頁 |
| perplexity | 平均在幾個選項之間猶豫;越低越好 | 第 35 頁 |
| ExactMatch@N | 建議的前 N 個字跟真的一字不差的比例 | 第 37 頁 |
| acceptance rate | 灰字出現後,被按 Tab 收下的比例 | 第 38 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| triggering service | 決定現在該不該開口建議 | 第 41 頁 |
| phrase generator | 跟模型要幾個候選句子 | 第 41 頁 |
| filtering | 太長的、沒把握的候選先劃掉 | 第 42 頁 |
| post-processing | 說出口前,把帶偏見的字換掉 | 第 43 頁 |
| latency(延遲) | 從打字到灰字出現要多久;目標約 100 毫秒 | 第 44 頁 |
| offline / online evaluation | 上線前用舊信件考/上線後看真實使用者 | 第 36 頁 |
忘了哪個詞,就回到右邊那一頁,四步再走一次。
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Generative AI System Design Interview · Gmail Smart Compose 章。Introduction 與 Figure 1(第 2 頁)、Clarifying Requirements(4)、Frame the problem、Figure 2、Table 1(7)、資料來源、Figure 3、Table 2(8)、cleaning 與 normalization(9)、tokenization 與 Figure 4–8(11)、Table 3(12)、token indexing 與 Figure 9–10(13)、三種架構與 Figure 11–14(14)、text embedding 與 Figure 15–16(16)、positional encoding 與 Figure 17–20(19–20)、Transformer、prediction head 與 Figure 21–22(21)、兩階段訓練與 Figure 23(23)、pretraining 與 Figure 24–25(24)、loss 與 Figure 26–27(27)、finetuning 與 Figure 28–29(29)、combining inputs 與 Figure 30–31(30)、sampling 與 Figure 32、33、35(31)、Figure 34 與選擇理由(32)、beam search 與 Figure 36–37(34)、perplexity 公式與 Figure 38(36)、ExactMatch@N 與 Figure 39(37)、online metrics(38)、整體設計與 Figure 43(40)、triggering、phrase generator 與 Figure 40(41)、filtering 與 Figure 41–42(42)、post-processing(43)、Other Talking Points(45)、心智圖(47)。45 張圖全部依圖說與描述重繪,不是原圖;Figure 1 產品截圖改線框圖、不畫 logo;Figure 3 掃描頁改版面示意;Figure 20、38 原描述空白,依圖說與內文重做
本簡報加的頁面:概念階梯(3)、10 個延伸基礎(5、6、10、15、18、22、25、26、33、35)、小結(17、28、39)、名詞小卡(49)。貫穿例子「Hi John! I hope you are well.」裡只有 well 86% 出自原書 Figure 24,其餘機率都是示意
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 1 講 — 機率分布與擲骰子、網路句子是接龍教材、低機率 token 讓句子變怪
- 同 · 第 3 講 — Tokenization 與 ID、Token Embedding、兩顆青蘋果的 attention、Causal Attention
- 同 · 第 4 講 — Exact Match 的限制
- 同 · 第 5 講 — gradient descent、餓狼下坡、learning rate
- 同 · 第 6 講 — Cross-Entropy
- 同 · 第 7 講 — Pre-training 像學齡前兒童
- 如何讓 Transformer 知道輸入 Token 的順序?— 你打我/我打你、RoPE
- 加快語言模型生成速度 (2/2):KV Cache — prefill 與 decode
來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)
🗣️ Triton 與 📅 依據
- 156-如果要講究response time.md — 每一層呼叫 5ms 以上、多層呼叫的 response time
- 📅 RoPE:課堂逐字稿;字典大小:各模型公開的 tokenizer 設定
- 📅 KV cache、speculative decoding:常見的推論加速做法
公式(主文用文字講過)
- attention:am,n = exp(qm·kn/√d) / Σj exp(qm·kj/√d)
- PE(pos,2i) = sin(pos/100002i/d),PE(pos,2i+1) = cos(…)
- cross-entropy:−Σi yi ln pi(one-hot 時 = −ln p正確)
- perplexity:exp(−(1/N) Σ log P(xi|x1:i−1))
- beam score:Σ log p,與連乘排序相同