GenAI System Design · 第 4 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(只有 serving 和 rate limit 兩張客座卡)
ChatGPT: Personal Assistant Chatbot
其實就是一個上過三次學的文字接龍而已
讀遍圖書館(pretraining)、進學校照範例學(SFT)、出社會被評審打分數(RLHF)。原書用這一章,把「接龍機」怎麼變成「會回答問題的助理」從頭到尾拆一遍。我們一樣:先遇到問題,再看方法是怎麼被想出來的。
今天的路線
需求 → 一邊爬 13 階基礎、一邊對照原書(第 3 頁的階梯):模型怎麼讀長對話 → 怎麼學會聊天 → 怎麼開口 → 怎麼打分數 → 整套推論流程 → Triton 客座 → 2026 補充。全程只用同一句話當例子。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論
頁首標 延伸基礎 的頁只用高中數學講 ML 基本功,懂的人可以跳過。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。
先講跟你有關的動手玩
同一句「我想學寫程式」,三個階段的模型怎麼回?
📖 原書 ChatGPT 由 OpenAI 在 2022 年推出,依輸入生成像人寫的文字,能回答問題、提供解釋、產出創意內容。推出不到三個月,使用者就超過一億,是史上採用最快的應用之一。
你可能會想說,ChatGPT 不就是一個很會聊天的程式嗎?其實它就是文字接龍而已:看前面的字,猜下一個字。
可是,只會接龍的模型,聽到「我想學寫程式」,會幫你接一句「因為這是很有價值的技能」。它沒有在回答你。點左邊三個按鈕比比看。
今天整堂課在回答三個問題:它怎麼讀得懂一整段對話?(架構)它怎麼從「接龍」變成「回答」?(三階段訓練)它怎麼決定要說哪一句、說錯了誰攔住?(sampling 與推論流程)
學習地圖本章的概念階梯
今天爬 13 階。每一階,只用前面講過的東西。
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
第 1–4 階 · 它怎麼讀長對話
要回答:4096 個字卡的對話,模型怎麼知道誰在誰前面?
第 5–6 階 · 從接龍到回答
要回答:讀遍網路的模型,為什麼還不會回答問題?
第 7–9 階 · 出社會被打分數
要回答:好幾個回答都通順,怎麼教它挑最好的?
第 10–12 階 · 怎麼開口
要回答:機率表有了,下一個字要怎麼選?
第 13 階 · 怎麼打分數
要回答:考卷都考滿分了,怎麼知道誰比較好用?
全程只用一句話:小美打開 ChatGPT,打「我想學寫程式」
base model 會接「,因為這是很有價值的技能」;SFT 模型會答「先從 Python 開始」;她接著追問「那要學多久?」。每一階都拿這段對話來玩,數字小到可以心算。每爬 3–4 階,有一頁「到這裡你已經會了」。
延伸基礎第 1 階 · 文字接龍 · token懂的人可以跳過
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
打到一半的句子,下一張字卡會是什麼?
① 先想像
手機打「我想」,它跳出「要」「去」「吃」。它心裡有一張排行榜:網路上最常接在後面的,排第一。
你猜猜看:網路文章裡「我想學寫程式」後面,最常接什麼?
這句話多半出現在心得文裡,作者接著講理由或煩惱,不是在回答別人。所以只會接龍的模型也這樣接。
③ 這叫做 language model 和 token
language model(語言模型):猜下一張字卡的機器。token:它用來接龍的字卡。
「語言模型就是在做文字接龍」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 2 講
④ 跟 ChatGPT 的關係
ChatGPT 的心臟就是一台語言模型。整章在拆:怎麼讓這台接龍機,變成會回答問題的助理。
② 動手玩:一次接一張字卡
每按一次,就把第一名接上去,再猜下一張。
原書Clarifying Requirements
原書的題目:做一個像 ChatGPT 的聊天機器人
這一步要解決的問題「做一個 ChatGPT」範圍太大,先問清楚:要做哪些事、不做哪些事。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 要支援哪些語言? | 先專注英文 |
| 要靠嚴格的內容審查和演算法,確保輸出沒有偏見又安全? | 當然 |
| 要做哪些任務? | 提供資訊、回答問題 |
| 要收或吐圖片、聲音、影片嗎? | 先只做純文字,輸入輸出都是文字 |
| 要能追問嗎?對話內容要記多久? | 同一個對話 session 裡要能追問;context window 至少 4096 個 token |
| 要能瀏覽網站、呼叫外部 API、上網搜尋嗎? | 這一輪先不談 |
| 要做個人化嗎? | 先不做 |
| 有 instruction(指令)型的訓練資料嗎? | 有,80,000 組指令與回答 |
整理成需求清單
- 功能:回答問題、提供資訊;同一個 session 可以追問
- 輸入輸出:純文字;先做英文
- 安全:沒有偏見、安全,要有內容審查
- 長度:context window ≥ 4096 token
- 先不做:上網、呼叫 API、個人化、多模態
- 資料:80,000 組(指令, 回答)
記住兩個數字:4096 決定了第 11 頁「位置怎麼編」和第 48 頁「聊天紀錄放哪」;80,000 會在第 20 頁 SFT 用到。4096 個 token 是多少?下一頁先學「小抄」。
延伸基礎第 2 階 · 小抄長度 · context window懂的人可以跳過
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
模型一次讀得下多少?整段對話要擠在同一張小抄上
① 先想像
開書考試只准帶一張 A4 小抄。聊天也一樣:你說的每一句、它回的每一句,都要抄在同一張上,它才看得到。
你猜猜看:小抄寫滿了,還要繼續聊,會怎樣?
上限是模型訓練時就決定的。放不下的部分,系統只能截掉或報錯,所以它會「忘記」最早講過的事。右邊把小抄拉小看看。
③ 這叫做 context window
context window:模型一次讀得下的 token 上限。問題、聊天紀錄、它寫到一半的回答,通通算在裡面。
「Context Window Size 就是 這個模型可以輸入的長度上限。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 2 講
④ 跟 ChatGPT 的關係
面試官要至少 4096 個 token。課堂上估一頁 A4 約 1,000 個 token,所以大約是 4 頁 A4 的對話。
② 動手玩:小美和 AI 一來一往 7 句,小抄放得下幾句?
原書Frame the Problem as an ML Task
把問題變成 ML 任務:輸入一段 prompt,輸出一段回答
這一步要解決的問題「聊天機器人」要變成 ML(機器學習)題目:輸入什麼、輸出什麼、用哪種模型?
📖 原書 Input:使用者打的文字 prompt,可以是問題、指令或任何文字查詢。Output:相關、符合上下文的回應。
📖 原書 選 ML 方法
聊天機器人是一種 language generation(生成文字)任務:語言模型讀 prompt、生成回應。這種模型通常要數十億個參數(模型裡可以調的旋鈕)才學得好,所以叫 LLM(large language model,大型語言模型)。
📖 原書 架構:decoder-only Transformer
前幾章說過,decoder-only Transformer(只往後接龍的那種 Transformer)是語言模型的標準選擇。OpenAI 的 GPT、Google 的 Gemini、Meta 的 Llama 都是。原書也跟著用它。
Transformer 每一層在做什麼(embedding、attention),Smart Compose 那份簡報有一階一階講。
原書Data Preparation · 動手玩
網路爬下來的教材,大部分要丟掉
這一步要解決的問題LLM 好不好,看教材好不好。網路爬下來的網頁有廣告、選單、別的語言、個資、重複文章。
動手洗一頁爬下來的網頁
📖 原書 網路爬蟲資料特有的四步
- Content extraction and parsing:用 Beautiful Soup、lxml 解析 HTML,DOM analysis、boilerplate detection 只留正文,丟掉標籤、廣告、選單
- URL and domain filtering:規則或 ML 分類器排除低品質部落格、內容農場、垃圾網站;allowlist/blocklist
- Language identification:fastText、langid.py 分辨語言
- Content quality filtering:可讀性分數、垃圾偵測、啟發式檢查(長度、句子結構),也可以用 ML 模型預測品質
📖 原書 所有資料都要做的六步
移除不當內容(冒犯、有害、NSFW)· 匿名化個資(PII)· 移除低品質資料(看連貫、相關、文法、可讀性)· 去重(同一篇新聞只留一份)· 移除無關資料(怪字元、不支援的語言)· 用 BPE 切 token
「多數網路上爬到的資料 其實都在清理的過程就被丟掉了」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講
原書Model Development · Architecture · Figure 3
架構跟前幾章一樣,只有「位置」要換
這一步要解決的問題聊天的輸入比一句話、一封信長得多(至少 4096 個 token),模型要知道每張字卡在哪裡。
📖 原書 LLM 的架構是 decoder-only Transformer。text embedding、Transformer blocks、prediction head 都跟第 2 章一樣,但 LLM 通常用更先進的 positional encoding。
- Text Embedding:把每張字卡換成一組數字
- Positional Encoding:告訴模型每張字卡坐在哪裡(今天的重點)
- Transformer × N:每一層(圖上由上往下)有 Normalization、Feed Forward、Normalization、Multi-head attention(回頭看前面哪些字),疊 N 層
- Prediction Head:最後吐出下一張字卡的機率表
原書接著依序講三種位置編碼:absolute(絕對)→ relative(相對)→ RoPE(旋轉)。我們先學「座號」是什麼。
延伸基礎第 3 階 · 座號 · positional encoding懂的人可以跳過
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
「你打我」和「我打你」,同樣三張字卡,怎麼分?
① 先想像
把三張字卡丟進袋子搖一搖。「你打我」和「我打你」倒出來,是同一袋。要分得出來,每張字卡要貼上座號。
你猜猜看:不貼座號,模型分得出這兩句嗎?
attention 回頭看的時候,只看「有哪些字」,不管順序。字一樣,結果就一樣。
③ 這叫做 positional encoding
positional encoding:幫每張字卡加上位置資訊。每個位置一張固定的貼紙,叫 absolute(絕對)位置編碼。
「本來 A、B、C 三個 Token 代表你打我 那改成 CBA 就變成我打你……但是最後一個位置 算出來的 Embedding 卻是一樣的」🎓 李宏毅課堂 如何讓 Transformer 知道輸入 Token 的順序?
④ 跟 ChatGPT 的關係
原書說:只貼絕對座號,訓練時只看過 1–512 號,遇到 4096 號就不會了。右下的滑桿就是這件事。
② 動手玩:貼座號,再把句子拉長
原書Positional encoding · Absolute · Relative · 動手看
絕對座號不夠用;改記「差幾號」,又變得難算
這一步要解決的問題4096 個 token 的對話,模型要懂每張字卡的位置,也要懂「誰離誰多遠」。
attention 分數,拆開是四塊
📖 原書 Absolute positional encoding
傳統做法:sinusoidal(正弦波)或 learnable(可學的)編碼,每個位置一個獨一無二的向量,加到 token embedding 上。attention 分數展開成四項,位置只出現在「第幾號」。所以它只抓到絕對位置,難以推廣到不同長度或沒看過的位置:訓練到 512 個 token 的模型,用在 4096 個 token 時可能表現不好;正弦波在長距離會重複,關係資訊流失。
📖 原書 Relative positional encoding
不編絕對位置,改編兩個 token 差幾號。知道「car 跟在 chased 後面」,比知道它們是第 5 和第 10 號更有用。T5 論文:丟掉第二、三項,第四項換成可學的 bias;DeBERTa 論文:丟掉第四項,第二、三項換成相對位置向量。代價:分數不再是單純的 dot product(兩組數字相乘再加總),用不了 linear attention 這類加速技巧。
延伸基礎第 4 階 · 轉角度 · RoPE懂的人可以跳過
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
不貼座號,改成「轉角度」:每多一號,就多轉一格
① 先想像
每張字卡拿一支時鐘指針。坐 1 號轉 30°,坐 2 號轉 60°……兩支指針的夾角,剛好就是「差幾號 × 30°」。
你猜猜看:cat 坐 2 號、dog 坐 5 號。句子前面多加 4 個字,兩支指針的夾角?
原本 60° 和 150°,夾角 90°;挪成 6 號和 9 號,變成 180° 和 270°,夾角還是 90°。各自的角度變了,夾角沒變。
③ 這叫做 RoPE
RoPE(rotary positional encoding):用旋轉的角度當座號。各自的角度記絕對位置,夾角記相對位置。
「他們這邊是把旋轉 當作 position 的印記……其實對這個向量做一個旋轉 而位置的資訊 就被放在旋轉的角度裡面」🎓 李宏毅課堂 如何讓 Transformer 知道輸入 Token 的順序?
④ 跟 ChatGPT 的關係
原書 Figure 4 就是這兩句話。Llama 3 這些熱門 LLM 用的就是 RoPE。
② 動手玩:把整句往後挪,看夾角
原書Rotary positional encoding · Figure 4、5
原書的 RoPE:在空間裡轉一個角度
📖 原書 RoPE 把位置資訊表示成套在 token embedding 上的旋轉矩陣:位置 m 的向量,轉一個由 m 決定的角度。這個旋轉用三角函數(cos、sin)組成,同時抓到絕對與相對位置。高維時,每兩個數字一組,各轉各的角度(Figure 5)。
📖 原書 Figure 4 左邊「The cat chased the dog」、右邊「Once upon a time, the cat chased the dog」:兩支向量的絕對方向不同,夾角一樣。
Pros
- Translational invariance:整句平移,位置關係不變
- Relative position representation:用幾何的旋轉,天生懂相對距離(正弦編碼只是加上去)
- Generalization to unseen positions:關係跟絕對位置無關,長度不同也推得過去
Cons
- Mathematical complexity:多了旋轉運算,不算太難,但比正弦或可學的位置編碼複雜
到這裡你已經會了小結 1 / 4
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
到這裡你已經會了:模型怎麼讀一段長對話
- ChatGPT 的心臟是語言模型:一次接一張字卡(token),整段對話要擠在 context window 這張小抄上(至少 4096 張)。
- 位置要另外告訴它(positional encoding)。只貼絕對座號,沒看過的長度就不會了。
- RoPE 改用轉角度:各自的角度是絕對位置,夾角是「差幾號」,整句怎麼平移都不變。
下一階要解決的問題
架構有了,可是它還只會接龍:小美說「我想學寫程式」,它接「因為這是很有價值的技能」。怎麼教它回答?
原書Training · Three-stage training · Figure 6
兩階段不夠了:聊天機器人要上三次學
這一步要解決的問題前幾章的兩階段(pretraining + finetuning)訓練不出好的聊天機器人。原書說:大多數聊天機器人,包括 ChatGPT,都用三階段。
1. Pretraining · 學齡前
一般資料 → Base Model。看到什麼學什麼,學會語言和世界知識。
2. SFT · 上學
Instruction 資料 → SFT Model。老師給標準答案,學會「回答」而不是「接下去」。
3. RLHF · 出社會
Human Feedback 資料 → Chatbot。沒有標準答案了,只有人告訴它好不好。
「RLHF 呢 就是機器出了社會 再也沒有老師可以教他了 但是他就會遭遇社會的毒打 會有人告訴他你這樣是錯的 但是不會告訴他錯在哪裡」「這三個階段在學的 其實都是文字接龍」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講:大型語言模型的學習歷程
延伸基礎第 5 階 · 驚訝分數 · cross-entropy懂的人可以跳過
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
接龍接錯了,要罰多重?看它有多驚訝
① 先想像
朋友說「我九成會準時」,結果準時,你不驚訝。他說「我只有百分之一會來」,結果他來了,你嚇一跳。越沒把握的事發生了,越驚訝。
你猜猜看:模型給正確答案 100% 的機率,驚訝分數是多少?
百分之百會發生的事發生了,一點都不驚訝,所以是 0。把右邊的滑桿拉到 100% 看看。
③ 這叫做 cross-entropy loss
loss:模型離正確答案多遠。只看「正確答案拿到多少機率」的這種算法,叫 cross-entropy。
「這兩個機率分布越接近 那這個 Loss 算出來呢就會越小」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟 ChatGPT 的關係
原書的 pretraining 和 SFT 都用「猜下一張字卡」加 cross-entropy。訓練就是想辦法讓這個分數變小。
② 動手玩:「先從 ___ 開始」,正確答案是 Python
怎麼心算:看機率是「幾分之一」,數有幾個零。1/10 是 2.3 分,1/100 是 4.6 分,每多一個零多 2.3 分。
原書1. Pretraining · Pretraining data · Table 1 · 動手算
第一階段:讀遍圖書館,要幾千張 GPU、好幾個月
這一步要解決的問題先讓模型懂語言和世界知識,做出一個 base model(基礎模型)。
📖 原書 用網路上海量的文字訓練。成本很高:通常要數千張 GPU、數百萬美元、好幾個月。資料來自網頁、書、社群貼文,常用的資料集:
- Common Crawl:2008 年起定期爬網頁,數 PB,雜訊和有害內容多,要大量清洗
- C4:Google 清洗過的 Common Crawl
- GitHub:開源程式碼,學程式語言
- Wikipedia:事實資訊,寫得仔細、較可靠
- Books:各類書,長、品質好
- ArXiv:論文,學術術語與知識
- Stack Exchange:高品質問答,像使用者之間的對話
動手算:教材印成 A4,疊起來多高?
📖 原書 Table 1 Llama 1 的預訓練資料
| Dataset | Sampling proportion | Disk size |
|---|---|---|
| Common Crawl | 67.0% | 3.3 TB |
| C4 | 15.0% | 783 GB |
| Github | 4.5% | 328 GB |
| Books | 4.5% | 85 GB |
| Wikipedia | 4.5% | 83 GB |
| ArXiv | 2.5% | 92 GB |
| Stack Exchange | 2.0% | 78 GB |
原書:Llama-1 用了上面全部,約 1.4 兆個 token。多數熱門 LLM 都用這些資料集的全部或一部分。
原書Pretraining · ML objective · Outcome · Figure 7
讀完圖書館的模型,很會接,但不會答
📖 原書 ML objective 和 loss function
訓練 decoder-only Transformer 做文字生成,所以 ML objective(訓練要達成的目標)是標準的 next-token prediction(猜下一張字卡),loss 用 cross-entropy(第 16 頁的驚訝分數),量預測機率和正確 token 的差距。
📖 原書 這一階段的結果
得到一個很懂語言的模型,叫 base model。它會依 prompt 預測接下來的文字,接得相關又有意義。但它只會把 prompt 接下去。要變成會回答問題的聊天機器人,要再訓練,這就是下一階段 SFT。
「網路上的資料 根本不足以讓模型學會回答問題 比如說你在網路上搜尋 台灣最高的山是哪座山 你以為後面接的都是玉山嗎 其實有各式各樣的接龍的結果 有考卷的選擇題 有知道答案的朋友請留言」🎓 李宏毅課堂 第 7 講
延伸基礎第 6 階 · 照範例學 · SFT懂的人可以跳過
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
不要再接下去了:給它看「人家問、你這樣答」的範例
① 先想像
客服新人第一天,主管給他一疊範例:「客人這樣問,我們這樣回」。他照著學,學的還是「下一句怎麼接」,只是教材換了。
你猜猜看:「我想學寫程式 → 先從 Python 開始。」這一筆範例,變成幾題接龍考題?
回答有 先、從、Python、開、始、。六張字卡,再加一張「結束」,每一張都是一題:看到前面,要接出它。右邊數數看。
③ 這叫做 SFT
SFT(supervised finetuning,也叫 instruction finetuning):用 (prompt, response) 範例再訓練。範例叫 demonstration data。
「SFT 呢 就是他開始上學了 上學以後 老師就會提供一些教材 會告訴他說什麼東西 才是正確的」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講
④ 跟 ChatGPT 的關係
面試官說有 80,000 組指令與回答,就是拿來做這一步。
② 動手玩:一筆範例,拆成好幾題
原書2. Supervised finetuning · Training data · Figure 8 · Table 2、3
第二階段的教材:少,但要好
這一步要解決的問題保留 base model 的語言能力和知識,同時把它的行為從「接下去」改成「回答」。
📖 原書 格式:(prompt, response)
它示範給模型看「怎麼回應 prompt」,所以叫 demonstration data。跟預訓練資料的差別,除了格式,還有大小和品質。
📖 原書 Table 2 大小:1 萬到 10 萬組
| Dataset | Size | Notes |
|---|---|---|
| InstructGPT | ~14,500 | OpenAI 的 GPT-3 指令資料 |
| Alpaca | 52,000 | Stanford 研究者 |
| Dolly-15K | ~15,000 | Databricks |
| FLAN 2022 | ~104,000 | Google Research |
「與其弄上百萬筆低品質的資料 還不如好好收集幾萬筆高品質的資料」🎓 李宏毅課堂 第 7 講(談 Llama 2 的 SFT 資料)
📖 原書 Table 3 品質:OpenAI 標註者的學歷
| Education | Percentage |
|---|---|
| Less than a high school degree | 0% |
| High school degree | 10.5% |
| Undergraduate degree | 52.6% |
| Master’s degree | 36.8% |
資料通常由受過教育的約聘人員寫;醫療、金融這類專業領域要請領域專家。超過三分之一的標註者有碩士學位,很貴,但對可靠、專業的回答很重要。
原書SFT · Loss · Outcome · Figure 9、10、11
學會回答了,可是不一定是最好的回答
📖 原書 ML objective 和 loss 不變:資料不同,但任務一樣,還是根據 prompt 一次生一張字卡,所以照樣用 next-token prediction 和 cross-entropy。結果是 SFT model:在示範資料上練過,會給詳細、有幫助的回答。
你猜猜看:問「有什麼有效的抒壓方法?」,四個回答哪一個又安全、又有幫助?
原書:只有第 2 個又安全又有幫助。1 和 4 文法、語境都對,但建議不準;3 有幫助但沒禮貌。四個都「通順」,SFT 分不出來。
📖 原書 SFT model 通常文法正確、合理,但不一定是最好的,可能沒幫助、甚至不安全。要讓它可靠地選出相關、安全、有幫助的回答,要再訓練:RLHF。
到這裡你已經會了小結 2 / 4
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
到這裡你已經會了:從「接下去」到「回答」
- 訓練在做的事:讓驚訝分數(cross-entropy)變小。猜得越準,分數越低。
- Pretraining 讀遍網路,得到 base model:很會接,但只會把小美的話接下去。
- SFT 照 1 萬到 10 萬組範例學:會答「先從 Python 開始」了。可是幾個通順的回答裡,它分不出哪個最好。
下一階要解決的問題
沒有標準答案了,只能請人說「哪個比較好」。可是人不可能一直坐在旁邊打分數。怎麼辦?
延伸基礎第 7 階 · 評審 · reward model懂的人可以跳過
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
自己不會唱,也聽得出誰唱得好:先訓練一個評審
① 先想像
歌唱比賽的評審自己不一定會唱,但聽得出誰唱得好。而且叫評審「兩個比較,誰比較好」,比叫他「打 1 到 10 分」容易,也比較不會吵架。
你猜猜看:4 個回答排好名次,可以拆出幾組「誰比較好」?
每兩個配一對:4 × 3 ÷ 2 = 6。第 1 名贏 2、3、4 名,第 2 名贏 3、4 名,第 3 名贏第 4 名,3 + 2 + 1 = 6。
③ 這叫做 reward model
reward model:讀 (prompt, response),吐出一個分數的評審模型。教它的資料是 preference pair:(prompt, 贏的回答, 輸的回答)。
「但是人很懶惰 今天能不能夠把人 直接換成機器呢……這些提供 feedback 的模型 它有個名字叫做 reward model」「生成答案困難 評分相對容易」🎓 李宏毅課堂 第 7 講
④ 跟 ChatGPT 的關係
RLHF 的第一步就是訓練這個評審。之後它可以無限次幫模型打分數,人不用一直在場。
② 動手玩:幫小美的四個回答排名次
依你覺得好的順序點下去(第一個點的是第 1 名)。
原書3. RLHF · 3.1 Training a reward model · Figure 12、13
RLHF 第一步:評審吃 (prompt, response),吐一個分數
這一步要解決的問題SFT 只看過「一個」合理的回答。要讓模型挑出最有幫助的那個,先要有人(或模型)能幫回答打分數。
📖 原書 RLHF 又叫 alignment(對齊)階段:讓模型對齊人類偏好。關鍵想法:有一個另外的 reward model 能評「回答跟 prompt 多相關」,就能再調 SFT model,讓它不只生合理的回答,而是生高分的回答。兩步:① 訓練 reward model → ② 優化 SFT model。
📖 原書 Reward model 的架構
- 訓練模型輸出分數是 ML 很常見的任務:decoder-only、encoder-only、encoder-decoder Transformer 都行,只要輸出一個數字(scalar)
- 大小沒有固定模式:OpenAI 用 6B 的 reward model 訓練 175B 的語言模型;Anthropic 用 10B 到 52B 的模型
- 常見做法:複製一份 SFT model,加一個 prediction head 輸出相關性分數
原書Reward model · Training data · Figure 14
評審的教材怎麼來?讓模型多答幾次,再請人排名次
📖 原書 收集 reward model 訓練資料的四步:
- Collect prompts:人工建立一份 prompt 清單
- Generate multiple responses:用 SFT model 對每個 prompt 生好幾個回答
- Rank responses:請約聘人員依相關性排名次。為什麼排名次、不打分數?排名次減少主觀和不一致;直接比較,比給一個數字容易、直覺,不同人給的數字差很多
- Create preference pairs:依名次組成 (prompt, winning response, losing response)
這就是第 23 頁的排名次互動:3 個回答拆成 3 組,4 個拆成 6 組。
延伸基礎第 8 階 · 至少贏多少 · margin懂的人可以跳過
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
評審給贏家的分數,至少要比輸家高多少?
① 先想像
拔河比賽規定:繩子中間的紅帶要拉過 2 公尺的線才算贏。只拉過 1 公尺?不算,繼續拉。拉過 3 公尺?夠了,不用再拉。
你猜猜看:贏家 3 分、輸家 2 分,規定至少贏 2 分。還差幾分(要罰幾分)?
實際只贏 3 − 2 = 1 分,規定要 2 分,還差 2 − 1 = 1 分。如果贏了 4 分,就不差,罰 0 分,不會變成負的。
③ 這叫做 margin
margin(m):贏家至少要贏的分數差。「還差多少」就是 margin ranking loss,最少是 0。
④ 跟 ChatGPT 的關係
原書訓練 reward model 就用它。差太少,就調參數:贏家分數往上、輸家往下。
② 動手玩:「先從 Python 開始」vs.「這都不會?丟臉!」
原書Reward model · ML objective · Loss · Figure 15、16
評審的考試:贏的分數要比輸的高,而且要高夠多
📖 原書 ML objective
每筆資料是 (prompt, winning response, losing response)。目標是讓贏家分數比輸家高,正式地說是最大化 Swin − Slose:Swin 是 (prompt, 贏的回答) 的預測分數,Slose 是 (prompt, 輸的回答) 的。
📖 原書 Loss:margin ranking loss
L = max(0, m − (Swin − Slose))
m 是 hyperparameter(訓練前人定好的設定值),代表兩個分數「至少要差多少」。差距小於 m,optimizer 就更新參數,讓 Swin 變大或 Slose 變小。
📖 原書 結果:一個能替 (prompt, response) 預測相關性分數的 reward model。這些分數反映人的判斷,是 RLHF 第二步的關鍵。
延伸基礎第 9 階 · 試打分改 · reinforcement learning懂的人可以跳過
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
沒人教你標準答案:自己試,看分數,再調整
① 先想像
學騎腳踏車,沒有人能一個動作一個動作教你。你騎、摔了、再騎。摔得少的騎法,你會越用越多。
你猜猜看:評審給低分的回答,下一輪出現的機率會?
高分的回答被「拉近」,出現得更常;低分的被「拉遠」,越來越少出現。右邊連試 20 輪看看。
③ 這叫做 reinforcement learning
reinforcement learning(RL,強化學習):模型自己產生答案,拿到分數(reward),再把高分的變多、低分的變少。
「如果人覺得它是好的 那它就是正確答案 那我們就讓 語言模型的輸出 跟這個正確答案拉近……唯一的差別 是加了一個負號 本來拉近 變成拉遠」🎓 李宏毅課堂 第 7 講(Policy Gradient 的精神)
④ 跟 ChatGPT 的關係
RLHF 第二步:SFT model 自己生回答,reward model 打分數,再更新。原書用的演算法叫 PPO。
② 動手玩:小美問「我想學寫程式」,模型一輪一輪試
一開始四種回答各 25%。每一輪擲骰子選一個,評審打分數。
原書3.2 Optimizing the SFT model · PPO · Figure 17
RLHF 第二步:生回答 → 評審打分 → 更新,一直轉
這一步要解決的問題有評審了。怎麼用評審的分數,讓 SFT model 生出「不只合理、而且有幫助」的回答?
📖 原書 常見做法:用 RL 演算法,例如 PPO(proximal policy optimization),微調 SFT model,讓 reward model 給的分數最大。反覆做三件事:
- Generate model responses:對一個 prompt 生好幾個可能的回答
- Compute rewards:reward model 替這些回答打分數
- Update model weights:RL 演算法更新權重,讓期望 reward 最大,強化高分的回答
📖 原書 資料、演算法、結果
- Training data:約聘人員寫的 prompt 清單,通常 1 萬到 10 萬個
- 演算法:ChatGPT、Llama 這些知名 LLM 用 PPO 和 DPO 這類 RL 演算法;細節通常超出 ML 系統設計面試的範圍
- 結果:RLHF 的產物通常就是可以上線當聊天機器人的最終模型
原書Training 總結 · Figure 18 · Table 4
三階段(四個步驟)一張圖看完
| LLM name | Developer | Release date | Access | Parameters |
|---|---|---|---|---|
| o1 | OpenAI | September 12, 2024 | Preview only | Unknown |
| GPT-4o | OpenAI | May 13, 2024 | API | Unknown |
| Claude 3 | Anthropic | March 14, 2024 | API | Unknown |
| Gemini 1.5 | DeepMind | February 2, 2024 | API | Unknown |
| Llama 3 | Meta AI | April 18, 2024 | Open-Source | 8 and 70 billion |
| Grok-1 | xAI | November 4, 2023 | Open-Source | 314 billion |
| Mixtral 8x22B | Mistral AI | April 10, 2024 | Open-Source | 141 billion |
| Gemma | DeepMind | February 21, 2024 | Open-Source | 2 and 7 billion |
| Phi-3 | Microsoft | April 23, 2024 | Open-Source | 3.8 billion |
| DBRX | Databricks | March 27, 2024 | Open-Source | 132 billion |
📅 2026 補充 這張表是原書寫作時(2024)的名單,之後各家都出了新世代模型,看的時候當作歷史紀錄。
📖 原書 總結:pretraining 在大量文字上學廣泛的語言理解;SFT 把輸出調成 (prompt, response) 的格式;RLHF 再把回答調得有用、安全、符合人類偏好。Figure 18 也看得出成本差多少:pretraining 要上千張 GPU,後面三步各只要 1–100 張。
到這裡你已經會了小結 3 / 4
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
到這裡你已經會了:出社會被打分數
- 評審(reward model):讀 (prompt, response) 吐一個分數。教材是請人「排名次」拆出來的 (贏, 輸) 配對。
- 至少贏多少(margin ranking loss):贏家分數要比輸家高 m 分,不夠就罰「還差多少」。
- 試打分改(RL、PPO):模型自己生回答、評審打分、高分的拉近、低分的拉遠。小美就會穩定拿到「先從 Python 開始,每天練 30 分鐘」。
下一階要解決的問題
模型訓練好了,每一步吐出一張機率表。可是下一張字卡到底要選哪一張?永遠選第一名就好嗎?
原書Sampling · Figure 19、20
訓練好了,怎麼從機率表裡選下一張字卡?
這一步要解決的問題模型每一步只給一張機率表。要怎麼選,回答才會通順又有幫助?
📖 原書 Sampling:從模型預測的機率分布裡選 token,生成連貫、有幫助的回應。「What is 2 + 2 ?」之後,four 拿 93%。
📖 原書 第 2 章講過:有些方法是 deterministic(同樣輸入永遠同樣輸出),有些是 stochastic(帶隨機性)。這一節要找出哪種適合開放式的文字生成。Smart Compose 選 deterministic;聊天機器人呢?
原書Deterministic methods · Greedy search · Beam search · Figure 21–23
永遠挑最穩的:聊天時會鬼打牆
這一步要解決的問題beam search 這類 deterministic 方法適合短、長度可預測的任務。聊天的長度變化很大,會出什麼事?
📖 原書 Greedy search
每一步都選機率最高的 token。簡單,常常也通順,但有兩個大問題:
- Repetition:模型認定某些字彼此相連的機率很高,就卡進迴圈,一直重複同一串(Figure 22)
- Suboptimal generation:忽略其他路,可能錯過「藏在低機率 token 後面」的高機率句子
📖 原書 Beam search
同時追蹤前 k 條序列(k 可設定),探索得比較多、品質比 greedy 好。但開放式生成時也有兩個問題:
- Inefficiency:要同時算好幾條序列,生成變慢
- Repetition:容易重複、很籠統,卡在常見片語的迴圈
📖 原書 結論:deterministic 方法在重複上表現不好,不適合 LLM 的文字生成。所以聊天機器人改用帶隨機性的 stochastic 方法。
延伸基礎第 10 階 · 擲骰子 · multinomial sampling懂的人可以跳過
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
不要永遠選第一名:照機率擲骰子
① 先想像
夜市的轉盤:大格子容易中,小格子也會中,只是比較少。每一張字卡都是轉盤上的一格,格子大小就是機率。
你猜猜看:同樣問「先從 ___ 開始」10 次,每次都接 Python 嗎?
Python 的格子佔一半,最常中;JavaScript、Scratch 也會中,偶爾還會中到怪字。按右邊「擲 20 次」看看。
③ 這叫做 multinomial sampling
multinomial sampling:照整張機率表擲骰子,每張字卡都有機會。
「因為語言模型在產生每一個token的時候 都要擲一次骰子 這就是為什麼你問語言模型的問題 它每次的答案都是不同的」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講
④ 跟 ChatGPT 的關係
好處是不會鬼打牆。壞處是怪字也會中,一步歪、步步歪(原書 Figure 25)。
② 動手玩:「先從 ___ 開始」擲骰子
原書Stochastic methods · Multinomial sampling · Figure 24、25
三種 stochastic 方法,先看最直接的那個
📖 原書 stochastic 方法用隨機性生成文字,比較適合開放式生成。三種常見的:multinomial sampling、top-k sampling、top-p(nucleus)sampling。
📖 原書 Multinomial sampling
依模型預測的機率分布選下一個 token:每個 token 都有機率,照機率抽。優點:輸出很多樣。缺點:隨機性很大,機率分布很平的時候特別嚴重,常常生出不連貫的句子。因為連貫性的問題,LLM 很少用它。
延伸基礎第 11 階 · 切線 · top-k、top-p懂的人可以跳過
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
怪字不准擲:在排行榜上畫一條線
① 先想像
選班代進決選,有兩種規則:「前 3 高票進決選」(固定人數),或「從第一名往下加,票數加到九成就停」(固定比例)。
你猜猜看:有人拿了 89% 的票。「前 3 高票進決選」會怎樣?
明明大家都選他,固定 3 個名額還是把冷門的拉進來。反過來,票很分散時,3 個名額又太少。右邊切換看看。
③ 這叫做 top-k 和 top-p
top-k:只有前 k 名可以擲。top-p:從第一名往下加,加到 p 就畫線,線上面的才能擲。
「只有前三名的Token 可以加入擲骰子的行列」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講(程式示範)
④ 跟 ChatGPT 的關係
GPT-2 一開始用 top-k;原書說先進的 LLM 廣泛使用 top-p,推論流程的回應生成器也用它。
② 動手玩:同一條規則,遇到很有把握和很猶豫
原書Top-k sampling · Figure 26–28
Top-k:只從前 k 名裡擲,但 k 是固定的
📖 原書 Top-k sampling:不從整張表抽,只從最可能的 k 個 token 裡選。五個步驟:
- 模型預測下一個 token 的機率分布,vocabulary 裡每個 token 一個機率
- 依機率由大到小排序
- 只考慮機率最高的前 k 個
- 把這 k 個的機率重新算,讓總和是 1(normalize)
- 從重新算過的分布裡抽一個
在連貫和多樣之間取得平衡:少選到無關的字,又保留一點隨機。GPT-2 一開始就用 top-k,對它的成功很關鍵。
限制:k 是固定的
分布很尖的時候,固定名額可能讓模型錯過最好的選擇,生出荒謬的結果;分布很平的時候,又限制了創意。Figure 28:模型 89% 確定下一個是「lot」,top-k 還是把「much」「high」拉進來抽。
原書Top-p (nucleus) sampling · Figure 29、30
Top-p:名額跟著把握程度伸縮
📖 原書 Top-p sampling 又叫 nucleus sampling,2019 年提出。不固定只抽前 k 個,而是選累積機率超過 p 的最小 token 集合,依分布動態調整數量,比 top-k 有彈性。步驟:
- 預測下一個 token 的機率分布
- 由大到小排序
- 不選固定數量,改選累積機率超過門檻 p 的最小集合
- 把選中的機率重新算,總和為 1
- 從中抽一個
📖 原書 top-p 廣泛用在先進的 LLM:聚焦在最可能的 token,又保留一點隨機,生成連貫、符合上下文、像人寫的文字。原書接著說,進階的 sampling 常再搭配兩個技巧:temperature 和 repetition penalty。
延伸基礎第 12 階 · 溫度 · temperature懂的人可以跳過
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
同一張分數表,可以調得「保守」或「大膽」
① 先想像
模型先給每張字卡一個原始分數,再換成百分比。換之前,先把分數除以一個數字:除以大數,大家的分數靠攏,冷門的也有機會;除以小數,差距被放大,第一名獨大。
你猜猜看:把這個數字調到接近 0,會怎樣?
差距被放到無限大,第一名拿走將近 100%,就跟 greedy 一樣,每次輸出相同。原書:temperature 0 就是 deterministic。
③ 這叫做 temperature
temperature(T):換成百分比前,分數要除以的那個數。原始分數叫 logits。
④ 跟 ChatGPT 的關係
原書 Table 5 建議:寫程式 0.2、聊天 0.5、創意寫作 0.7。拉右邊的滑桿到這三個值看看。
② 動手玩:「先從 ___」的原始分數,除以溫度再換成百分比
原書Temperature · Repetition penalty · Figure 31、32 · Table 5
兩個調味料:temperature 和 repetition penalty
📖 原書 Temperature
控制 sampling 隨機性的參數:在 softmax(把分數換成機率)之前,用 T 縮放 logits(原始分數)。T = 1 正常;T > 1 分布更平均,更隨機、更有創意,但開始離題、胡言亂語就是設太高;T < 1 更確定,適合摘要、翻譯這種要精準的任務,但開始重複就是設太低;T = 0 永遠同樣輸出。
📖 原書 Repetition penalty
明確降低重複 token 序列的機率。兩種做法:偵測到重複的 n-gram(連續 n 個字)就停(Hugging Face 的 no_repeat_ngram_size),或直接調低前面已經抽過的 token 的機率(ChatGPT API 的 frequency_penalty)。
📖 原書 典型的值
多數模型提供者允許的範圍是 0 到 2(Figure 32 是 OpenAI API 文件的 temperature 說明,屬於網頁截圖,這裡不重繪)。現代 LLM 通常用 0.1 到 1.5;超過 1.5 會越來越不穩、不連貫。最佳值看需求,通常靠實驗決定。
📖 原書 Table 5 不同任務的經驗值
| Use case | Temperature | Top-p | Description |
|---|---|---|---|
| Code generation | 0.2 | 0.1 | 照既有模式和慣例,輸出確定、集中,適合生語法正確的程式 |
| Creative writing | 0.7 | 0.8 | 有創意、多樣,適合說故事,比較不受模式限制 |
| Chatbot responses | 0.5 | 0.5 | 在連貫和多樣之間平衡,自然、吸引人 |
原書註明這張表由參考文獻 [33] 整理。更多 sampling 細節見參考文獻 [30]。
到這裡你已經會了小結 4 / 4
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
到這裡你已經會了:它怎麼開口
- 永遠選第一名(greedy、beam)很穩,但長的回答會鬼打牆。所以聊天要擲骰子(multinomial)。
- 擲骰子會擲到怪字,所以畫一條線:top-k 固定名額,top-p 名額跟著把握程度伸縮。
- temperature 調保守或大膽:除以小數變保守,除以大數變大膽;聊天常用 0.5 左右,再加 repetition penalty 防重複。
下一階要解決的問題
模型會開口了。它到底好不好?考卷考得好,使用者就喜歡嗎?
原書Evaluation · Offline · Traditional · Task-specific · Figure 33–37
只看 perplexity 不夠:要考很多科
這一步要解決的問題LLM 的行為很複雜,不同任務表現不同。要分科考,才知道它強在哪、弱在哪,而且夠安全。
📖 原書 離線評估四個角度:traditional、task-specific、safety、human。Traditional:perplexity(模型猜訓練資料的字卡時有多猶豫,越低越好)是初步了解,但看不出能力:perplexity 低不代表它懂程式、會解數學。
| Task-specific | 在考什麼 | 常見 benchmark |
|---|---|---|
| Common-sense reasoning | 日常情境推論:成語、因果、社交情境的結果 | PIQA(物理互動)、SIQA、HellaSwag(日常事件)、WinoGrande、OpenBookQA、CommonsenseQA(要常識的選擇題) |
| World knowledge | 歷史、科學、地理、時事的事實 | TriviaQA(益智問答網站)、Natural Questions(Google 真實查詢)、SQuAD(Wikipedia 文章) |
| Reading comprehension | 讀懂一段文字並回答 | SQuAD、QuAC、BoolQ |
| Mathematical reasoning | 解數學題 | MATH(高中數學競賽)、GSM8K(小學應用題) |
| Code generation | 依自然語言寫出正確能跑的程式 | HumanEval(Python)、MBPP(多種程式語言) |
| Composite benchmarks | 很多科一起考 | MMLU(人文、STEM、社科選擇題)、MMMU(多語言、跨文化)、AGIEval、Meta Llama 3 human evaluation(1,800 個 prompt、12 種用途) |
五張圖的原圖描述只看得到「Prompt...」「Answer...」兩格(只有 Figure 37 看得到 def is_prime(n):...),題目內容沒有描述,所以不編造。
「你以為他很會推論 其實他只是正好看到一樣的問題而已 有沒有可能是這樣呢 還真的不是不可能的」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講(談 GSM8K 換掉人名數字後正確率下降)
原書Safety evaluation · Human evaluation · Figure 38、39
會答還不夠:還要考「不該答的不答」
📖 原書 Safety evaluation 確保回答安全、合乎倫理,找出並降低生成有害內容的風險。五個面向:
| 面向 | 在考什麼 | Benchmark |
|---|---|---|
| Toxicity and harmful content | 仇恨言論、辱罵、傷害個人/群體/社會的內容、策劃攻擊或暴力、找非法內容的指示 | RealToxicityPrompts(約 10 萬個 prompt,用 PerspectiveAPI 自動打毒性分數)、ToxiGen(歧視性語言)、HateCheck(各類仇恨言論) |
| Bias and fairness | 性別、種族等偏見 | CrowS-Pairs(只差一個屬性的成對句子,9 類)、BBQ(手寫題組)、BOLD(23,679 個 prompt、5 個領域) |
| Truthfulness | 分得出事實和常見誤解 | TruthfulQA |
| User privacy and data leakage | 會不會說出訓練時看過的個資 | PrivacyQA |
| Adversarial robustness | 故意設計來騙它的輸入 | AdvGLUE、TextFooler、AdvBench |
📖 原書 Human evaluation:請人替有幫助、安全等面向打分數。benchmark 會漏掉的細微之處要靠人看,原書說這仍是最可靠的全面評估方法。
兩張原圖描述一樣只有「Prompt...」「Answer...」的空框。
「jailbreak 是叫模型做出它原來 無論如何都不該做的事情」「Prompt Injection Attack 意思是說 模型怠忽職守……它做一個在它現在這個位置上 不應該做的事情」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講
課堂把「騙模型」分成兩種,剛好對應原書的 adversarial robustness。
延伸基礎第 13 階 · 兩兩對決 · Chatbot Arena懂的人可以跳過
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
不出考卷了:兩個匿名模型對決,讓大家投票
① 先想像
美食節目盲測:兩碗牛肉麵不告訴你是哪家,你只說哪碗好吃。比了一千次,就能排出名次。這跟第 7 階「兩個比較比打分數容易」是同一個道理。
你猜猜看:A 和 B 回答的內容一模一樣,B 多了粗體、條列和 emoji。大家多半投誰?
課堂上說,人有時候在意模型「怎麼說」勝過「說了什麼」。右邊打開「C 很會排版」看看排名怎麼變。
③ 這叫做 Chatbot Arena
Chatbot Arena:隨機配兩個匿名模型,讓使用者投票的排行榜。從勝率反推每個模型的戰力,叫 Elo score。
「他就隨機給你兩個模型 模型A跟模型B……根據這些比賽的結果 每一個模型會有一個分數 然後會有一個排行榜」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講
④ 跟 ChatGPT 的關係
原書的線上指標之一:LMSYS Chatbot Arena,用超過 80 萬次人類兩兩比較來排名。
② 動手玩:三個模型對決,每次投 100 票
原書Online evaluation metrics · Figure 40、41
上線之後:看使用者用腳投票
📖 原書 線上指標衡量 LLM 在 production 的表現。常用四個:
User feedback and ratings
使用者替回答的滿意度打分數,直接指出要改進的地方(Figure 40)。
User engagement
「問了幾個問題」「session 多長」。參與度高,通常代表它提供的資訊有幫助。
Conversion rate
互動之後購買或註冊服務的使用者比例。越高代表使用者覺得它值得付錢。
Online leaderboards
即時追蹤各家 LLM 的表現。著名例子是 LMSYS Chatbot Arena:群眾外包的開放平台,依超過 80 萬次人類兩兩比較排名(第 44 頁)。
「人類有時候會在意模型 怎麼說 勝過模型 說了什麼」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講
原書Overall ML System Design · Training pipeline · Inference pipeline · Figure 42
全部接起來:模型只是中間那一格
這一步要解決的問題跟傳統模型不一樣,聊天機器人要很多服務一起運作,才能有效率、安全、持續改進。
📖 原書 Training pipeline
三個關鍵階段:pretraining、SFT、RLHF(第 15–30 頁)。它們一起確保模型有能力,而且回答有幫助又安全。
📖 原書 Inference pipeline
負責跟使用者即時互動,確保回答安全、相關、有品質。六個元件:Safety filtering、Prompt enhancer、Response generator、Response safety evaluator、Rejection response generator、Session management。下兩頁一個一個看。
原書Inference pipeline · 五個元件 · Figure 43 · 動手玩
一句話進來,要過幾道關才回得出去?
動手玩:丟一句 prompt 進流程
📖 原書 Response safety evaluator · Rejection response generator
回答給使用者看之前,再檢查一次有沒有有害內容,是最後一道防線。prompt 不安全或回答不合適時,由 rejection response generator 生一個清楚、有禮貌的說明,告訴使用者為什麼不能照做。
📖 原書 Safety filtering
模型處理之前,先分析使用者的 prompt,偵測有害、不當、不安全的請求。例如問怎麼做有害裝置,會被拒絕並標記。
📖 原書 Prompt enhancer
把 prompt 改得更完整、更清楚:展開縮寫、修正錯字、必要時補上下文。確保交給模型的 prompt 清楚、不含糊、沒有文法錯誤,模型就答得更好。
📖 原書 Response generator
跟訓練好的 LLM 互動,用 top-p sampling 生出有幫助的回答。也可以加其他技巧,例如先生好幾個回答,再依預先定好的標準挑最合適的。
原書Session management · 動手玩
小美追問「那要學多久?」,它怎麼知道在說什麼?
這一步要解決的問題要維持對話脈絡、處理追問。聊喜歡的電影時,模型不只要記得現在的問題,還要記得前面提過哪些類型和片名。
動手玩:要不要把聊天紀錄一起送進去?
模型真正讀到的 prompt:
回答:
📖 原書 Session management 追蹤聊天紀錄、管理對話流程,維持對話的連貫。做法:把聊天紀錄和 enhanced prompt 一起餵給 response generator。每個回答都參考前面的互動,正確處理對話狀態。
「這個問題前面會加上過去所有的對話記錄……他是看這一大串的文字去做文字接龍 所以他知道第二高的指的是台灣第二高的山」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講
你發現了嗎?模型本身不記得任何事。「記得」是系統每次把整段紀錄重新抄上小抄。紀錄要存在哪裡、伺服器掛了怎麼辦,就是下一頁 Triton 的客座題目。
客座講評Triton 怎麼看 serving:stateless vs stateful
GPU 伺服器掛了一台,小美的對話還在嗎?
「stateless component就是指像:Application Server(AS) / Ngnix 這些不會存放application state的component」「stateless component算是很簡單的,就單純有N個相同的node就好 然後就由heartbeat來判定是否正常工作 如果掛掉,就不把工作丟掉死了的node就好」🗣️ Triton 本人說 017-High Availability stateful component vs stateless component.md
「有HA不代表系統完全零秒的Downtime, 有HA只代表有single component掛了後系統能自動短時間內回復。」🗣️ Triton 本人說 017
🔭 依 Triton 原則推論 Triton 沒有談過 ChatGPT。套進來:上一頁說模型本身不記得事,每次都吃「整段紀錄」。所以跑模型的 GPU 伺服器可以做成 stateless,聊天紀錄放在 stateful 的資料庫。任何一台都能接下一句;掛一台,換一台繼續。
動手玩:讓伺服器 2 當機
客座講評Triton 怎麼看 rate limit
GPU 不夠用的那一刻,先擋誰?
「Unpredictable events cause sudden burst of QPS」「Auto-scaling is not fast enough」「Solution: HTTP 429, Too Many Requests」「Users play 30mins game in our app – Interruption causes horribly bad UX」「When QPS over server capacity – Allow requests from existing users – Block requests from new users」🗣️ Triton 本人說 089-redis-ratelimit.pdf.md
「Performing redis call per request for ratelimiting is horribly bad idea – Your redis will fail during DDoS」🗣️ Triton 本人說 089
「現實中的ratelimitor,其流速很可能不是固定不變的。……如果HTTP request的latency變大,或是你的server CPU變高,那麼你很可能需要降低你的ratelimitor flow rate。」🗣️ Triton 本人說 142-喵談rate limit.md(後半 Triton 自己的段落)
動手玩:容量每秒 100 個請求,突然多來 60 位新使用者
🔭 依 Triton 原則推論 089 是遊戲 app 的例子:玩到一半被打斷,體驗最糟。聊天也一樣,小美問到一半被 429,比新使用者晚一點進來更糟。GPU 開機比一般伺服器慢,auto-scaling 更來不及。
原書Other Talking Points
面試還有時間,可能會被問到這些
- 多輪對話的狀態管理:跨好幾輪追蹤上下文的技術
- Multi-token prediction:一次猜好幾張字卡的訓練目標
- 超長序列:處理非常長的輸入
- Multimodal LLM:同時懂文字、圖片、聲音
- RAG:先搜尋外部知識再回答(第 6 章)
- 效率技巧:例如 distillation(大模型教小模型),生成更快
- 適應特定領域:客服、醫療,又不忘記原本的知識
- 安全與隱私:LLM 的資安和隱私問題
- 不同的優化演算法:PPO、DPO、rejection sampling
- Red-teaming:故意找人攻擊模型,降低傷害
- Super-alignment:它在開發 LLM 上的重要性
- In-context learning:在 prompt 裡給例子就學會,是怎麼運作的
- Grouped query attention:attention 的省記憶體版本與好處
- Chain-of-thought prompting:請它一步一步想(第 6 章)
- KV cache:把算過的東西存起來,生成更快
- 可驗證的理由:要求模型給出清楚、能檢查的理由,增加信任
📅 2026 補充方法怎麼演進
原書之後,這幾個零件換了做法
RLHF 變成一整個家族
原書寫 DPO 是 direct policy optimization;文獻上常見的全名是 Direct Preference Optimization:直接拿 (prompt, 贏, 輸) 配對調模型,不必另外訓練 reward model、也不跑 RL 迴圈。評審也常換成 AI(RLAIF)。reasoning 模型(原書 Table 4 的 o1 就是)則常用「答案能不能驗證對錯」當 reward。
「總之有 好多好多 什麼什麼 PO」🎓 李宏毅課堂 第 7 講
4096 token 已經很小了
面試官要的是至少 4096。2026 年常見的模型,context window 是十萬級到百萬級 token。RoPE 也有一系列「拉長」的做法(例如 position interpolation、YaRN),讓訓練時較短的模型能用在更長的輸入上。第 6 頁的小抄道理不變,只是變大了。
排行榜也在修正「怎麼說」的偏誤
Chatbot Arena 後來改名 LMArena。它發現回答長度、markdown、emoji 會影響投票,於是在算分時把這些因素扣掉(style control)。
「你可以把所有你覺得 跟模型實力無關 但會影響評比結果的各種factor 通通都找出來」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講
「記得你」不只靠同一個 session
原書的 session management 只管同一個對話。現在的聊天產品多了跨對話的記憶:把重要的事另外存起來,需要時再放進 prompt。本質還是第 48 頁那件事:模型不記得,是系統幫它抄小抄。
原書Summary 心智圖
原書這一章的總結圖
回顧13 階全部爬完
ChatGPT 其實就是一個上過三次學的文字接龍而已。
- 文字接龍
- 小抄長度
- 座號
- 轉角度
- 驚訝分數
- 照範例學
- 評審
- 至少贏多少
- 試打分改
- 擲骰子
- 切線
- 溫度
- 兩兩對決
讀得懂長對話
decoder-only Transformer;小抄至少 4096 張;RoPE 用轉角度記位置,夾角就是「差幾號」。
上三次學
讀遍圖書館(base model)→ 照範例學(SFT)→ 評審打分、試打分改(reward model、margin loss、PPO)。
開口不鬼打牆
不選永遠第一名;top-p 畫線、temperature 調膽量、repetition penalty 防重複。
考很多科,還要過很多關
benchmark、安全、人評、Arena 對決;上線後前後各一道安全過濾,聊天紀錄每次重新抄上小抄。
小美打「我想學寫程式」,它答「先從 Python 開始」。然後呢?然後就結束了。
本章名詞小卡課後複習用 · 每個名詞一句白話
今天出現的名詞,一句話講完
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Generative AI System Design Interview · ChatGPT: Personal Assistant Chatbot 章。Introduction 與 Figure 1(第 2 頁)、Clarifying Requirements(5)、Frame the problem 與 Figure 2(7)、Data Preparation(8)、Architecture 與 Figure 3(9)、absolute/relative PE(11)、RoPE 與 Figure 4–5、pros/cons(13)、三階段訓練與 Figure 6(15)、pretraining、Table 1、Figure 7(17–18)、SFT、Figure 8–11、Table 2–3(20–21)、reward model 與 Figure 12–16(24–27)、PPO 與 Figure 17(29)、Table 4、Figure 18(30)、sampling 與 Figure 19–23(32–33)、multinomial、top-k、top-p 與 Figure 24–30(35–38)、temperature、repetition penalty、Figure 31–32、Table 5(40)、offline 評估與 Figure 33–39(42–43)、online 評估與 Figure 40–41(45)、整體設計與 Figure 42(46)、推論元件與 Figure 43(47–48)、Other Talking Points(51)、心智圖(53)。Figure 1 截圖改線框圖、Figure 32 文件截圖不重繪、Figure 41 只畫欄位;Figure 5 畫成方塊圖;心智圖依章節重繪;其餘依圖說與描述重繪,不是原圖
加的頁面:概念階梯(3)、13 個延伸基礎(4、6、10、12、16、19、23、26、28、34、36、39、44)、小結(14、22、31、41)、名詞小卡(55)
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 1 講(TigfpYPJk1s)— 擲骰子、每次答案不同、前三名擲骰子、多輪對話與對話紀錄
- 同 · 第 2 講(lVdajtNpaGI)— 文字接龍、Context Window Size
- 同 · 第 4 講(dWQVY_h0YXU)— jailbreak 與 prompt injection、「怎麼說」勝過「說了什麼」
- 同 · 第 6 講(mPWvAN4hzzY)— cross-entropy
- 同 · 第 7 講:大型語言模型的學習歷程(YJoegm7kiUM)— 三階段比方、資料清洗、base model、SFT 資料品質、policy gradient 精神、reward model、「什麼什麼 PO」
- 如何讓 Transformer 知道輸入 Token 的順序?(Ll-wk8x3G_g)— 你打我/我打你、RoPE 旋轉
- 生成式AI時代下的機器學習(2025) · 第五講(Ozos6M1JtIE)— alignment 是畫龍點睛(講者備註)
- 生成式AI時代下的機器學習(2025) · 第九講(s266BzGNKKc)— GSM8K 記憶、Chatbot Arena、Elo 與風格因素
來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)
🗣️ Triton 與公式
- 017-High Availability stateful component vs stateless component.md — stateless/stateful、HA 的定義(只引 Triton 自己的段落,不引開頭轉貼的原文)
- 089-redis-ratelimit.pdf.md — QPS burst、429、先放舊使用者、別每個請求打 Redis(018 是同一份的語音轉錄,改引 089)
- 142-喵談rate limit.md — 只引後半 Triton 的段落:bucket size、流速要跟著 latency 調
- abs:qm·kn = emWqWken + emWqWkpn + pmWqWken + pmWqWkpn;T5:emWqWken + bm,n;DeBERTa:+ emWqWkRn−m + Rn−mWqWken
- RoPE:f(qm, m) = qm·R(θm),Rdθ,m 對角 2×2 塊 [[cos mθi, −sin mθi], [sin mθi, cos mθi]]
- cross-entropy(one-hot)= −ln p正確
- L = max(0, m − (Swin − Slose))
- pi = exp(xi/T) ÷ Σj exp(xj/T)