GenAI System Design · 第 4 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(只有 serving 和 rate limit 兩張客座卡)

ChatGPT: Personal Assistant Chatbot
其實就是一個上過三次學的文字接龍而已

讀遍圖書館(pretraining)、進學校照範例學(SFT)、出社會被評審打分數(RLHF)。原書用這一章,把「接龍機」怎麼變成「會回答問題的助理」從頭到尾拆一遍。我們一樣:先遇到問題,再看方法是怎麼被想出來的。

今天的路線

需求 → 一邊爬 13 階基礎、一邊對照原書(第 3 頁的階梯):模型怎麼讀長對話 → 怎麼學會聊天 → 怎麼開口 → 怎麼打分數 → 整套推論流程 → Triton 客座 → 2026 補充。全程只用同一句話當例子。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論

頁首標 延伸基礎 的頁只用高中數學講 ML 基本功,懂的人可以跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。

先講跟你有關的動手玩

同一句「我想學寫程式」,三個階段的模型怎麼回?

📖 原書 ChatGPT 由 OpenAI 在 2022 年推出,依輸入生成像人寫的文字,能回答問題、提供解釋、產出創意內容。推出不到三個月,使用者就超過一億,是史上採用最快的應用之一。

你可能會想說,ChatGPT 不就是一個很會聊天的程式嗎?其實它就是文字接龍而已:看前面的字,猜下一個字。

可是,只會接龍的模型,聽到「我想學寫程式」,會幫你接一句「因為這是很有價值的技能」。它沒有在回答你。點左邊三個按鈕比比看。

今天整堂課在回答三個問題:它怎麼讀得懂一整段對話?(架構)它怎麼從「接龍」變成「回答」?(三階段訓練)它怎麼決定要說哪一句、說錯了誰攔住?(sampling 與推論流程)

學習地圖本章的概念階梯

今天爬 13 階。每一階,只用前面講過的東西。

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

第 1–4 階 · 它怎麼讀長對話

要回答:4096 個字卡的對話,模型怎麼知道誰在誰前面?

第 5–6 階 · 從接龍到回答

要回答:讀遍網路的模型,為什麼還不會回答問題?

第 7–9 階 · 出社會被打分數

要回答:好幾個回答都通順,怎麼教它挑最好的?

第 10–12 階 · 怎麼開口

要回答:機率表有了,下一個字要怎麼選?

第 13 階 · 怎麼打分數

要回答:考卷都考滿分了,怎麼知道誰比較好用?

全程只用一句話:小美打開 ChatGPT,打「我想學寫程式」

base model 會接「,因為這是很有價值的技能」;SFT 模型會答「先從 Python 開始」;她接著追問「那要學多久?」。每一階都拿這段對話來玩,數字小到可以心算。每爬 3–4 階,有一頁「到這裡你已經會了」。

延伸基礎第 1 階 · 文字接龍 · token懂的人可以跳過

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

打到一半的句子,下一張字卡會是什麼?

① 先想像

手機打「我想」,它跳出「要」「去」「吃」。它心裡有一張排行榜:網路上最常接在後面的,排第一。

你猜猜看:網路文章裡「我想學寫程式」後面,最常接什麼?

③ 這叫做 language model 和 token

language model(語言模型):猜下一張字卡的機器。token:它用來接龍的字卡。

「語言模型就是在做文字接龍」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 2 講

④ 跟 ChatGPT 的關係

ChatGPT 的心臟就是一台語言模型。整章在拆:怎麼讓這台接龍機,變成會回答問題的助理。

② 動手玩:一次接一張字卡

0接了幾張字卡

每按一次,就把第一名接上去,再猜下一張。

原書Clarifying Requirements

原書的題目:做一個像 ChatGPT 的聊天機器人

這一步要解決的問題「做一個 ChatGPT」範圍太大,先問清楚:要做哪些事、不做哪些事。

📖 原書 應徵者 × 面試官

應徵者問面試官答
要支援哪些語言?先專注英文
要靠嚴格的內容審查和演算法,確保輸出沒有偏見又安全?當然
要做哪些任務?提供資訊、回答問題
要收或吐圖片、聲音、影片嗎?先只做純文字,輸入輸出都是文字
要能追問嗎?對話內容要記多久?同一個對話 session 裡要能追問;context window 至少 4096 個 token
要能瀏覽網站、呼叫外部 API、上網搜尋嗎?這一輪先不談
要做個人化嗎?先不做
有 instruction(指令)型的訓練資料嗎?有,80,000 組指令與回答

整理成需求清單

  • 功能:回答問題、提供資訊;同一個 session 可以追問
  • 輸入輸出:純文字;先做英文
  • 安全:沒有偏見、安全,要有內容審查
  • 長度:context window ≥ 4096 token
  • 先不做:上網、呼叫 API、個人化、多模態
  • 資料:80,000 組(指令, 回答)

記住兩個數字:4096 決定了第 11 頁「位置怎麼編」和第 48 頁「聊天紀錄放哪」;80,000 會在第 20 頁 SFT 用到。4096 個 token 是多少?下一頁先學「小抄」。

延伸基礎第 2 階 · 小抄長度 · context window懂的人可以跳過

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

模型一次讀得下多少?整段對話要擠在同一張小抄上

① 先想像

開書考試只准帶一張 A4 小抄。聊天也一樣:你說的每一句、它回的每一句,都要抄在同一張上,它才看得到。

你猜猜看:小抄寫滿了,還要繼續聊,會怎樣?

③ 這叫做 context window

context window:模型一次讀得下的 token 上限。問題、聊天紀錄、它寫到一半的回答,通通算在裡面。

「Context Window Size 就是 這個模型可以輸入的長度上限。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 2 講

④ 跟 ChatGPT 的關係

面試官要至少 4096 個 token。課堂上估一頁 A4 約 1,000 個 token,所以大約是 4 頁 A4 的對話。

② 動手玩:小美和 AI 一來一往 7 句,小抄放得下幾句?

—整段對話幾張字卡—看得到的句數—被擠掉的句數

原書Frame the Problem as an ML Task

把問題變成 ML 任務:輸入一段 prompt,輸出一段回答

這一步要解決的問題「聊天機器人」要變成 ML(機器學習)題目:輸入什麼、輸出什麼、用哪種模型?

📖 原書 Figure 2聊天機器人的 input 和 output(依原書內容重繪)

📖 原書 Input:使用者打的文字 prompt,可以是問題、指令或任何文字查詢。Output:相關、符合上下文的回應。

📖 原書 選 ML 方法

聊天機器人是一種 language generation(生成文字)任務:語言模型讀 prompt、生成回應。這種模型通常要數十億個參數(模型裡可以調的旋鈕)才學得好,所以叫 LLM(large language model,大型語言模型)。

📖 原書 架構:decoder-only Transformer

前幾章說過,decoder-only Transformer(只往後接龍的那種 Transformer)是語言模型的標準選擇。OpenAI 的 GPT、Google 的 Gemini、Meta 的 Llama 都是。原書也跟著用它。

Transformer 每一層在做什麼(embedding、attention),Smart Compose 那份簡報有一階一階講。

原書Data Preparation · 動手玩

網路爬下來的教材,大部分要丟掉

這一步要解決的問題LLM 好不好,看教材好不好。網路爬下來的網頁有廣告、選單、別的語言、個資、重複文章。

動手洗一頁爬下來的網頁

—留下的字卡比例(示意)

📖 原書 網路爬蟲資料特有的四步

  • Content extraction and parsing:用 Beautiful Soup、lxml 解析 HTML,DOM analysis、boilerplate detection 只留正文,丟掉標籤、廣告、選單
  • URL and domain filtering:規則或 ML 分類器排除低品質部落格、內容農場、垃圾網站;allowlist/blocklist
  • Language identification:fastText、langid.py 分辨語言
  • Content quality filtering:可讀性分數、垃圾偵測、啟發式檢查(長度、句子結構),也可以用 ML 模型預測品質

📖 原書 所有資料都要做的六步

移除不當內容(冒犯、有害、NSFW)· 匿名化個資(PII)· 移除低品質資料(看連貫、相關、文法、可讀性)· 去重(同一篇新聞只留一份)· 移除無關資料(怪字元、不支援的語言)· 用 BPE 切 token

「多數網路上爬到的資料 其實都在清理的過程就被丟掉了」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講

原書Model Development · Architecture · Figure 3

架構跟前幾章一樣,只有「位置」要換

這一步要解決的問題聊天的輸入比一句話、一封信長得多(至少 4096 個 token),模型要知道每張字卡在哪裡。

📖 原書 Figure 3decoder-only Transformer 的元件,由下往上(依原書內容重繪)

📖 原書 LLM 的架構是 decoder-only Transformer。text embedding、Transformer blocks、prediction head 都跟第 2 章一樣,但 LLM 通常用更先進的 positional encoding。

  • Text Embedding:把每張字卡換成一組數字
  • Positional Encoding:告訴模型每張字卡坐在哪裡(今天的重點)
  • Transformer × N:每一層(圖上由上往下)有 Normalization、Feed Forward、Normalization、Multi-head attention(回頭看前面哪些字),疊 N 層
  • Prediction Head:最後吐出下一張字卡的機率表

原書接著依序講三種位置編碼:absolute(絕對)→ relative(相對)→ RoPE(旋轉)。我們先學「座號」是什麼。

延伸基礎第 3 階 · 座號 · positional encoding懂的人可以跳過

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

「你打我」和「我打你」,同樣三張字卡,怎麼分?

① 先想像

把三張字卡丟進袋子搖一搖。「你打我」和「我打你」倒出來,是同一袋。要分得出來,每張字卡要貼上座號。

你猜猜看:不貼座號,模型分得出這兩句嗎?

③ 這叫做 positional encoding

positional encoding:幫每張字卡加上位置資訊。每個位置一張固定的貼紙,叫 absolute(絕對)位置編碼。

「本來 A、B、C 三個 Token 代表你打我 那改成 CBA 就變成我打你……但是最後一個位置 算出來的 Embedding 卻是一樣的」🎓 李宏毅課堂 如何讓 Transformer 知道輸入 Token 的順序?

④ 跟 ChatGPT 的關係

原書說:只貼絕對座號,訓練時只看過 1–512 號,遇到 4096 號就不會了。右下的滑桿就是這件事。

② 動手玩:貼座號,再把句子拉長

訓練時只看過 1–8 號

原書Positional encoding · Absolute · Relative · 動手看

絕對座號不夠用;改記「差幾號」,又變得難算

這一步要解決的問題4096 個 token 的對話,模型要懂每張字卡的位置,也要懂「誰離誰多遠」。

attention 分數,拆開是四塊

📖 原書 Absolute positional encoding

傳統做法:sinusoidal(正弦波)或 learnable(可學的)編碼,每個位置一個獨一無二的向量,加到 token embedding 上。attention 分數展開成四項,位置只出現在「第幾號」。所以它只抓到絕對位置,難以推廣到不同長度或沒看過的位置:訓練到 512 個 token 的模型,用在 4096 個 token 時可能表現不好;正弦波在長距離會重複,關係資訊流失。

📖 原書 Relative positional encoding

不編絕對位置,改編兩個 token 差幾號。知道「car 跟在 chased 後面」,比知道它們是第 5 和第 10 號更有用。T5 論文:丟掉第二、三項,第四項換成可學的 bias;DeBERTa 論文:丟掉第四項,第二、三項換成相對位置向量。代價:分數不再是單純的 dot product(兩組數字相乘再加總),用不了 linear attention 這類加速技巧。

延伸基礎第 4 階 · 轉角度 · RoPE懂的人可以跳過

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

不貼座號,改成「轉角度」:每多一號,就多轉一格

① 先想像

每張字卡拿一支時鐘指針。坐 1 號轉 30°,坐 2 號轉 60°……兩支指針的夾角,剛好就是「差幾號 × 30°」。

你猜猜看:cat 坐 2 號、dog 坐 5 號。句子前面多加 4 個字,兩支指針的夾角?

③ 這叫做 RoPE

RoPE(rotary positional encoding):用旋轉的角度當座號。各自的角度記絕對位置,夾角記相對位置。

「他們這邊是把旋轉 當作 position 的印記……其實對這個向量做一個旋轉 而位置的資訊 就被放在旋轉的角度裡面」🎓 李宏毅課堂 如何讓 Transformer 知道輸入 Token 的順序?

④ 跟 ChatGPT 的關係

原書 Figure 4 就是這兩句話。Llama 3 這些熱門 LLM 用的就是 RoPE。

② 動手玩:把整句往後挪,看夾角

—cat 轉了—dog 轉了—兩支的夾角

原書Rotary positional encoding · Figure 4、5

原書的 RoPE:在空間裡轉一個角度

📖 原書 Figure 4兩個句子裡 cat 和 dog 的方向不同、夾角 θ 相同(依原書內容重繪)

📖 原書 RoPE 把位置資訊表示成套在 token embedding 上的旋轉矩陣:位置 m 的向量,轉一個由 m 決定的角度。這個旋轉用三角函數(cos、sin)組成,同時抓到絕對與相對位置。高維時,每兩個數字一組,各轉各的角度(Figure 5)。

📖 原書 Figure 4 左邊「The cat chased the dog」、右邊「Once upon a time, the cat chased the dog」:兩支向量的絕對方向不同,夾角一樣。

Pros

  • Translational invariance:整句平移,位置關係不變
  • Relative position representation:用幾何的旋轉,天生懂相對距離(正弦編碼只是加上去)
  • Generalization to unseen positions:關係跟絕對位置無關,長度不同也推得過去

Cons

  • Mathematical complexity:多了旋轉運算,不算太難,但比正弦或可學的位置編碼複雜

到這裡你已經會了小結 1 / 4

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

到這裡你已經會了:模型怎麼讀一段長對話

下一階要解決的問題

架構有了,可是它還只會接龍:小美說「我想學寫程式」,它接「因為這是很有價值的技能」。怎麼教它回答?

原書Training · Three-stage training · Figure 6

兩階段不夠了:聊天機器人要上三次學

這一步要解決的問題前幾章的兩階段(pretraining + finetuning)訓練不出好的聊天機器人。原書說:大多數聊天機器人,包括 ChatGPT,都用三階段。

📖 原書 Figure 6訓練 LLM 的三個階段(依原書內容重繪)

1. Pretraining · 學齡前

一般資料 → Base Model。看到什麼學什麼,學會語言和世界知識。

2. SFT · 上學

Instruction 資料 → SFT Model。老師給標準答案,學會「回答」而不是「接下去」。

3. RLHF · 出社會

Human Feedback 資料 → Chatbot。沒有標準答案了,只有人告訴它好不好。

「RLHF 呢 就是機器出了社會 再也沒有老師可以教他了 但是他就會遭遇社會的毒打 會有人告訴他你這樣是錯的 但是不會告訴他錯在哪裡」「這三個階段在學的 其實都是文字接龍」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講:大型語言模型的學習歷程

延伸基礎第 5 階 · 驚訝分數 · cross-entropy懂的人可以跳過

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

接龍接錯了,要罰多重?看它有多驚訝

① 先想像

朋友說「我九成會準時」,結果準時,你不驚訝。他說「我只有百分之一會來」,結果他來了,你嚇一跳。越沒把握的事發生了,越驚訝。

你猜猜看:模型給正確答案 100% 的機率,驚訝分數是多少?

③ 這叫做 cross-entropy loss

loss:模型離正確答案多遠。只看「正確答案拿到多少機率」的這種算法,叫 cross-entropy。

「這兩個機率分布越接近 那這個 Loss 算出來呢就會越小」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

④ 跟 ChatGPT 的關係

原書的 pretraining 和 SFT 都用「猜下一張字卡」加 cross-entropy。訓練就是想辦法讓這個分數變小。

② 動手玩:「先從 ___ 開始」,正確答案是 Python

—這一題的驚訝分數—等於「幾分之一」

怎麼心算:看機率是「幾分之一」,數有幾個零。1/10 是 2.3 分,1/100 是 4.6 分,每多一個零多 2.3 分。

原書1. Pretraining · Pretraining data · Table 1 · 動手算

第一階段:讀遍圖書館,要幾千張 GPU、好幾個月

這一步要解決的問題先讓模型懂語言和世界知識,做出一個 base model(基礎模型)。

📖 原書 用網路上海量的文字訓練。成本很高:通常要數千張 GPU、數百萬美元、好幾個月。資料來自網頁、書、社群貼文,常用的資料集:

  • Common Crawl:2008 年起定期爬網頁,數 PB,雜訊和有害內容多,要大量清洗
  • C4:Google 清洗過的 Common Crawl
  • GitHub:開源程式碼,學程式語言
  • Wikipedia:事實資訊,寫得仔細、較可靠
  • Books:各類書,長、品質好
  • ArXiv:論文,學術術語與知識
  • Stack Exchange:高品質問答,像使用者之間的對話

動手算:教材印成 A4,疊起來多高?

📖 原書 Table 1 Llama 1 的預訓練資料

DatasetSampling proportionDisk size
Common Crawl67.0%3.3 TB
C415.0%783 GB
Github4.5%328 GB
Books4.5%85 GB
Wikipedia4.5%83 GB
ArXiv2.5%92 GB
Stack Exchange2.0%78 GB

原書:Llama-1 用了上面全部,約 1.4 兆個 token。多數熱門 LLM 都用這些資料集的全部或一部分。

原書Pretraining · ML objective · Outcome · Figure 7

讀完圖書館的模型,很會接,但不會答

📖 原書 ML objective 和 loss function

訓練 decoder-only Transformer 做文字生成,所以 ML objective(訓練要達成的目標)是標準的 next-token prediction(猜下一張字卡),loss 用 cross-entropy(第 16 頁的驚訝分數),量預測機率和正確 token 的差距。

📖 原書 這一階段的結果

得到一個很懂語言的模型,叫 base model。它會依 prompt 預測接下來的文字,接得相關又有意義。但它只會把 prompt 接下去。要變成會回答問題的聊天機器人,要再訓練,這就是下一階段 SFT。

📖 原書 Figure 7base model 把句子接下去(依原書內容重繪)

「網路上的資料 根本不足以讓模型學會回答問題 比如說你在網路上搜尋 台灣最高的山是哪座山 你以為後面接的都是玉山嗎 其實有各式各樣的接龍的結果 有考卷的選擇題 有知道答案的朋友請留言」🎓 李宏毅課堂 第 7 講

延伸基礎第 6 階 · 照範例學 · SFT懂的人可以跳過

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

不要再接下去了:給它看「人家問、你這樣答」的範例

① 先想像

客服新人第一天,主管給他一疊範例:「客人這樣問,我們這樣回」。他照著學,學的還是「下一句怎麼接」,只是教材換了。

你猜猜看:「我想學寫程式 → 先從 Python 開始。」這一筆範例,變成幾題接龍考題?

③ 這叫做 SFT

SFT(supervised finetuning,也叫 instruction finetuning):用 (prompt, response) 範例再訓練。範例叫 demonstration data。

「SFT 呢 就是他開始上學了 上學以後 老師就會提供一些教材 會告訴他說什麼東西 才是正確的」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講

④ 跟 ChatGPT 的關係

面試官說有 80,000 組指令與回答,就是拿來做這一步。

② 動手玩:一筆範例,拆成好幾題


      
—這筆範例變成幾題prompt 的部分只當「題目」,不考;回答的每一張字卡才考。

原書2. Supervised finetuning · Training data · Figure 8 · Table 2、3

第二階段的教材:少,但要好

這一步要解決的問題保留 base model 的語言能力和知識,同時把它的行為從「接下去」改成「回答」。

📖 原書 格式:(prompt, response)

📖 原書 Figure 8一筆 demonstration data(依原書內容重繪;原圖框內沒有內容)

它示範給模型看「怎麼回應 prompt」,所以叫 demonstration data。跟預訓練資料的差別,除了格式,還有大小和品質。

📖 原書 Table 2 大小:1 萬到 10 萬組

DatasetSizeNotes
InstructGPT~14,500OpenAI 的 GPT-3 指令資料
Alpaca52,000Stanford 研究者
Dolly-15K~15,000Databricks
FLAN 2022~104,000Google Research

「與其弄上百萬筆低品質的資料 還不如好好收集幾萬筆高品質的資料」🎓 李宏毅課堂 第 7 講(談 Llama 2 的 SFT 資料)

📖 原書 Table 3 品質:OpenAI 標註者的學歷

EducationPercentage
Less than a high school degree0%
High school degree10.5%
Undergraduate degree52.6%
Master’s degree36.8%

資料通常由受過教育的約聘人員寫;醫療、金融這類專業領域要請領域專家。超過三分之一的標註者有碩士學位,很貴,但對可靠、專業的回答很重要。

原書SFT · Loss · Outcome · Figure 9、10、11

學會回答了,可是不一定是最好的回答

📖 原書 Figure 9在一筆 (prompt, response) 上算 loss(依原書內容重繪)

📖 原書 ML objective 和 loss 不變:資料不同,但任務一樣,還是根據 prompt 一次生一張字卡,所以照樣用 next-token prediction 和 cross-entropy。結果是 SFT model:在示範資料上練過,會給詳細、有幫助的回答。

📖 原書 Figure 11同一個 prompt 的四種回答(依原書內容重繪)

你猜猜看:問「有什麼有效的抒壓方法?」,四個回答哪一個又安全、又有幫助?

📖 原書 SFT model 通常文法正確、合理,但不一定是最好的,可能沒幫助、甚至不安全。要讓它可靠地選出相關、安全、有幫助的回答,要再訓練:RLHF。

到這裡你已經會了小結 2 / 4

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

到這裡你已經會了:從「接下去」到「回答」

下一階要解決的問題

沒有標準答案了,只能請人說「哪個比較好」。可是人不可能一直坐在旁邊打分數。怎麼辦?

延伸基礎第 7 階 · 評審 · reward model懂的人可以跳過

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

自己不會唱,也聽得出誰唱得好:先訓練一個評審

① 先想像

歌唱比賽的評審自己不一定會唱,但聽得出誰唱得好。而且叫評審「兩個比較,誰比較好」,比叫他「打 1 到 10 分」容易,也比較不會吵架。

你猜猜看:4 個回答排好名次,可以拆出幾組「誰比較好」?

③ 這叫做 reward model

reward model:讀 (prompt, response),吐出一個分數的評審模型。教它的資料是 preference pair:(prompt, 贏的回答, 輸的回答)。

「但是人很懶惰 今天能不能夠把人 直接換成機器呢……這些提供 feedback 的模型 它有個名字叫做 reward model」「生成答案困難 評分相對容易」🎓 李宏毅課堂 第 7 講

④ 跟 ChatGPT 的關係

RLHF 的第一步就是訓練這個評審。之後它可以無限次幫模型打分數,人不用一直在場。

② 動手玩:幫小美的四個回答排名次

依你覺得好的順序點下去(第一個點的是第 1 名)。

0拆出幾組 (贏, 輸)

原書3. RLHF · 3.1 Training a reward model · Figure 12、13

RLHF 第一步:評審吃 (prompt, response),吐一個分數

這一步要解決的問題SFT 只看過「一個」合理的回答。要讓模型挑出最有幫助的那個,先要有人(或模型)能幫回答打分數。

📖 原書 Figure 12同一個 prompt 的兩個回答,評審給 5 分和 1 分(依原書內容重繪)

📖 原書 RLHF 又叫 alignment(對齊)階段:讓模型對齊人類偏好。關鍵想法:有一個另外的 reward model 能評「回答跟 prompt 多相關」,就能再調 SFT model,讓它不只生合理的回答,而是生高分的回答。兩步:① 訓練 reward model → ② 優化 SFT model。

📖 原書 Reward model 的架構

  • 訓練模型輸出分數是 ML 很常見的任務:decoder-only、encoder-only、encoder-decoder Transformer 都行,只要輸出一個數字(scalar)
  • 大小沒有固定模式:OpenAI 用 6B 的 reward model 訓練 175B 的語言模型;Anthropic 用 10B 到 52B 的模型
  • 常見做法:複製一份 SFT model,加一個 prediction head 輸出相關性分數

原書Reward model · Training data · Figure 14

評審的教材怎麼來?讓模型多答幾次,再請人排名次

📖 原書 收集 reward model 訓練資料的四步:

  1. Collect prompts:人工建立一份 prompt 清單
  2. Generate multiple responses:用 SFT model 對每個 prompt 生好幾個回答
  3. Rank responses:請約聘人員依相關性排名次。為什麼排名次、不打分數?排名次減少主觀和不一致;直接比較,比給一個數字容易、直覺,不同人給的數字差很多
  4. Create preference pairs:依名次組成 (prompt, winning response, losing response)

這就是第 23 頁的排名次互動:3 個回答拆成 3 組,4 個拆成 6 組。

📖 原書 Figure 14收集訓練 reward model 的資料(依原書內容重繪)

延伸基礎第 8 階 · 至少贏多少 · margin懂的人可以跳過

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

評審給贏家的分數,至少要比輸家高多少?

① 先想像

拔河比賽規定:繩子中間的紅帶要拉過 2 公尺的線才算贏。只拉過 1 公尺?不算,繼續拉。拉過 3 公尺?夠了,不用再拉。

你猜猜看:贏家 3 分、輸家 2 分,規定至少贏 2 分。還差幾分(要罰幾分)?

③ 這叫做 margin

margin(m):贏家至少要贏的分數差。「還差多少」就是 margin ranking loss,最少是 0。

④ 跟 ChatGPT 的關係

原書訓練 reward model 就用它。差太少,就調參數:贏家分數往上、輸家往下。

② 動手玩:「先從 Python 開始」vs.「這都不會?丟臉!」

原書Reward model · ML objective · Loss · Figure 15、16

評審的考試:贏的分數要比輸的高,而且要高夠多

📖 原書 ML objective

每筆資料是 (prompt, winning response, losing response)。目標是讓贏家分數比輸家高,正式地說是最大化 Swin − Slose:Swin 是 (prompt, 贏的回答) 的預測分數,Slose 是 (prompt, 輸的回答) 的。

📖 原書 Loss:margin ranking loss

L = max(0, m − (Swin − Slose))

m 是 hyperparameter(訓練前人定好的設定值),代表兩個分數「至少要差多少」。差距小於 m,optimizer 就更新參數,讓 Swin 變大或 Slose 變小。

📖 原書 結果:一個能替 (prompt, response) 預測相關性分數的 reward model。這些分數反映人的判斷,是 RLHF 第二步的關鍵。

📖 原書 Figure 15一筆訓練資料的 reward modeling loss(依原書內容重繪)
📖 原書 Figure 16訓練好的 reward model 替 (prompt, response) 打分數(依原書內容重繪)

延伸基礎第 9 階 · 試打分改 · reinforcement learning懂的人可以跳過

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

沒人教你標準答案:自己試,看分數,再調整

① 先想像

學騎腳踏車,沒有人能一個動作一個動作教你。你騎、摔了、再騎。摔得少的騎法,你會越用越多。

你猜猜看:評審給低分的回答,下一輪出現的機率會?

③ 這叫做 reinforcement learning

reinforcement learning(RL,強化學習):模型自己產生答案,拿到分數(reward),再把高分的變多、低分的變少。

「如果人覺得它是好的 那它就是正確答案 那我們就讓 語言模型的輸出 跟這個正確答案拉近……唯一的差別 是加了一個負號 本來拉近 變成拉遠」🎓 李宏毅課堂 第 7 講(Policy Gradient 的精神)

④ 跟 ChatGPT 的關係

RLHF 第二步:SFT model 自己生回答,reward model 打分數,再更新。原書用的演算法叫 PPO。

② 動手玩:小美問「我想學寫程式」,模型一輪一輪試

0試了幾輪

一開始四種回答各 25%。每一輪擲骰子選一個,評審打分數。

原書3.2 Optimizing the SFT model · PPO · Figure 17

RLHF 第二步:生回答 → 評審打分 → 更新,一直轉

這一步要解決的問題有評審了。怎麼用評審的分數,讓 SFT model 生出「不只合理、而且有幫助」的回答?

📖 原書 常見做法:用 RL 演算法,例如 PPO(proximal policy optimization),微調 SFT model,讓 reward model 給的分數最大。反覆做三件事:

  1. Generate model responses:對一個 prompt 生好幾個可能的回答
  2. Compute rewards:reward model 替這些回答打分數
  3. Update model weights:RL 演算法更新權重,讓期望 reward 最大,強化高分的回答

📖 原書 資料、演算法、結果

  • Training data:約聘人員寫的 prompt 清單,通常 1 萬到 10 萬個
  • 演算法:ChatGPT、Llama 這些知名 LLM 用 PPO 和 DPO 這類 RL 演算法;細節通常超出 ML 系統設計面試的範圍
  • 結果:RLHF 的產物通常就是可以上線當聊天機器人的最終模型
📖 原書 Figure 17用 PPO 演算法優化模型(單一回答的版本;實務上會同時生、同時評好幾個)(依原書內容重繪)

原書Training 總結 · Figure 18 · Table 4

三階段(四個步驟)一張圖看完

📖 原書 Figure 18LLM 訓練摘要,原書註明受 [29] 啟發(依原書內容重繪)

📖 原書 總結:pretraining 在大量文字上學廣泛的語言理解;SFT 把輸出調成 (prompt, response) 的格式;RLHF 再把回答調得有用、安全、符合人類偏好。Figure 18 也看得出成本差多少:pretraining 要上千張 GPU,後面三步各只要 1–100 張。

到這裡你已經會了小結 3 / 4

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

到這裡你已經會了:出社會被打分數

下一階要解決的問題

模型訓練好了,每一步吐出一張機率表。可是下一張字卡到底要選哪一張?永遠選第一名就好嗎?

原書Sampling · Figure 19、20

訓練好了,怎麼從機率表裡選下一張字卡?

這一步要解決的問題模型每一步只給一張機率表。要怎麼選,回答才會通順又有幫助?

📖 原書 Figure 19從預測機率裡選出下一個 token(依原書內容重繪)

📖 原書 Sampling:從模型預測的機率分布裡選 token,生成連貫、有幫助的回應。「What is 2 + 2 ?」之後,four 拿 93%。

📖 原書 Figure 20常見的文字生成方法(依原書內容重繪)

📖 原書 第 2 章講過:有些方法是 deterministic(同樣輸入永遠同樣輸出),有些是 stochastic(帶隨機性)。這一節要找出哪種適合開放式的文字生成。Smart Compose 選 deterministic;聊天機器人呢?

原書Deterministic methods · Greedy search · Beam search · Figure 21–23

永遠挑最穩的:聊天時會鬼打牆

這一步要解決的問題beam search 這類 deterministic 方法適合短、長度可預測的任務。聊天的長度變化很大,會出什麼事?

📖 原書 Figure 21Greedy search:每一步都走機率最高的實線(依原書內容重繪)

📖 原書 Greedy search

每一步都選機率最高的 token。簡單,常常也通順,但有兩個大問題:

  • Repetition:模型認定某些字彼此相連的機率很高,就卡進迴圈,一直重複同一串(Figure 22)
  • Suboptimal generation:忽略其他路,可能錯過「藏在低機率 token 後面」的高機率句子

📖 原書 Beam search

同時追蹤前 k 條序列(k 可設定),探索得比較多、品質比 greedy 好。但開放式生成時也有兩個問題:

  • Inefficiency:要同時算好幾條序列,生成變慢
  • Repetition:容易重複、很籠統,卡在常見片語的迴圈

📖 原書 結論:deterministic 方法在重複上表現不好,不適合 LLM 的文字生成。所以聊天機器人改用帶隨機性的 stochastic 方法。

延伸基礎第 10 階 · 擲骰子 · multinomial sampling懂的人可以跳過

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

不要永遠選第一名:照機率擲骰子

① 先想像

夜市的轉盤:大格子容易中,小格子也會中,只是比較少。每一張字卡都是轉盤上的一格,格子大小就是機率。

你猜猜看:同樣問「先從 ___ 開始」10 次,每次都接 Python 嗎?

③ 這叫做 multinomial sampling

multinomial sampling:照整張機率表擲骰子,每張字卡都有機會。

「因為語言模型在產生每一個token的時候 都要擲一次骰子 這就是為什麼你問語言模型的問題 它每次的答案都是不同的」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講

④ 跟 ChatGPT 的關係

好處是不會鬼打牆。壞處是怪字也會中,一步歪、步步歪(原書 Figure 25)。

② 動手玩:「先從 ___ 開始」擲骰子

原書Stochastic methods · Multinomial sampling · Figure 24、25

三種 stochastic 方法,先看最直接的那個

📖 原書 Figure 24Multinomial sampling:在「How」之後照機率選字(依原書內容重繪)

📖 原書 stochastic 方法用隨機性生成文字,比較適合開放式生成。三種常見的:multinomial sampling、top-k sampling、top-p(nucleus)sampling。

📖 原書 Multinomial sampling

依模型預測的機率分布選下一個 token:每個 token 都有機率,照機率抽。優點:輸出很多樣。缺點:隨機性很大,機率分布很平的時候特別嚴重,常常生出不連貫的句子。因為連貫性的問題,LLM 很少用它。

📖 原書 Figure 25GPT-2 用 multinomial sampling 的輸出(依原書內容重繪)

延伸基礎第 11 階 · 切線 · top-k、top-p懂的人可以跳過

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

怪字不准擲:在排行榜上畫一條線

① 先想像

選班代進決選,有兩種規則:「前 3 高票進決選」(固定人數),或「從第一名往下加,票數加到九成就停」(固定比例)。

你猜猜看:有人拿了 89% 的票。「前 3 高票進決選」會怎樣?

③ 這叫做 top-k 和 top-p

top-k:只有前 k 名可以擲。top-p:從第一名往下加,加到 p 就畫線,線上面的才能擲。

「只有前三名的Token 可以加入擲骰子的行列」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講(程式示範)

④ 跟 ChatGPT 的關係

GPT-2 一開始用 top-k;原書說先進的 LLM 廣泛使用 top-p,推論流程的回應生成器也用它。

② 動手玩:同一條規則,遇到很有把握和很猶豫

原書Top-k sampling · Figure 26–28

Top-k:只從前 k 名裡擲,但 k 是固定的

📖 原書 Figure 26k = 3 的 top-k sampling(依原書內容重繪)

📖 原書 Top-k sampling:不從整張表抽,只從最可能的 k 個 token 裡選。五個步驟:

  1. 模型預測下一個 token 的機率分布,vocabulary 裡每個 token 一個機率
  2. 依機率由大到小排序
  3. 只考慮機率最高的前 k 個
  4. 把這 k 個的機率重新算,讓總和是 1(normalize)
  5. 從重新算過的分布裡抽一個

在連貫和多樣之間取得平衡:少選到無關的字,又保留一點隨機。GPT-2 一開始就用 top-k,對它的成功很關鍵。

限制:k 是固定的

分布很尖的時候,固定名額可能讓模型錯過最好的選擇,生出荒謬的結果;分布很平的時候,又限制了創意。Figure 28:模型 89% 確定下一個是「lot」,top-k 還是把「much」「high」拉進來抽。

原書Top-p (nucleus) sampling · Figure 29、30

Top-p:名額跟著把握程度伸縮

📖 原書 Figure 29Top-p 依機率分布自動決定要留幾個 token(依原書內容重繪)
📖 原書 Figure 30GPT-2 用 p = 0.92 的 top-p sampling 的輸出(依原書內容重繪)

📖 原書 Top-p sampling 又叫 nucleus sampling,2019 年提出。不固定只抽前 k 個,而是選累積機率超過 p 的最小 token 集合,依分布動態調整數量,比 top-k 有彈性。步驟:

  1. 預測下一個 token 的機率分布
  2. 由大到小排序
  3. 不選固定數量,改選累積機率超過門檻 p 的最小集合
  4. 把選中的機率重新算,總和為 1
  5. 從中抽一個

📖 原書 top-p 廣泛用在先進的 LLM:聚焦在最可能的 token,又保留一點隨機,生成連貫、符合上下文、像人寫的文字。原書接著說,進階的 sampling 常再搭配兩個技巧:temperature 和 repetition penalty。

延伸基礎第 12 階 · 溫度 · temperature懂的人可以跳過

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

同一張分數表,可以調得「保守」或「大膽」

① 先想像

模型先給每張字卡一個原始分數,再換成百分比。換之前,先把分數除以一個數字:除以大數,大家的分數靠攏,冷門的也有機會;除以小數,差距被放大,第一名獨大。

你猜猜看:把這個數字調到接近 0,會怎樣?

③ 這叫做 temperature

temperature(T):換成百分比前,分數要除以的那個數。原始分數叫 logits。

④ 跟 ChatGPT 的關係

原書 Table 5 建議:寫程式 0.2、聊天 0.5、創意寫作 0.7。拉右邊的滑桿到這三個值看看。

② 動手玩:「先從 ___」的原始分數,除以溫度再換成百分比

—第一名 Python 佔

原書Temperature · Repetition penalty · Figure 31、32 · Table 5

兩個調味料:temperature 和 repetition penalty

📖 原書 Figure 31同一組 logits 套上不同 temperature(依原書內容重繪;alt 沒有給數值,長條用示意的 logits 算出)

📖 原書 Temperature

控制 sampling 隨機性的參數:在 softmax(把分數換成機率)之前,用 T 縮放 logits(原始分數)。T = 1 正常;T > 1 分布更平均,更隨機、更有創意,但開始離題、胡言亂語就是設太高;T < 1 更確定,適合摘要、翻譯這種要精準的任務,但開始重複就是設太低;T = 0 永遠同樣輸出。

📖 原書 Repetition penalty

明確降低重複 token 序列的機率。兩種做法:偵測到重複的 n-gram(連續 n 個字)就停(Hugging Face 的 no_repeat_ngram_size),或直接調低前面已經抽過的 token 的機率(ChatGPT API 的 frequency_penalty)。

📖 原書 典型的值

多數模型提供者允許的範圍是 0 到 2(Figure 32 是 OpenAI API 文件的 temperature 說明,屬於網頁截圖,這裡不重繪)。現代 LLM 通常用 0.1 到 1.5;超過 1.5 會越來越不穩、不連貫。最佳值看需求,通常靠實驗決定。

📖 原書 Table 5 不同任務的經驗值

Use caseTemperatureTop-pDescription
Code generation0.20.1照既有模式和慣例,輸出確定、集中,適合生語法正確的程式
Creative writing0.70.8有創意、多樣,適合說故事,比較不受模式限制
Chatbot responses0.50.5在連貫和多樣之間平衡,自然、吸引人

原書註明這張表由參考文獻 [33] 整理。更多 sampling 細節見參考文獻 [30]。

到這裡你已經會了小結 4 / 4

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

到這裡你已經會了:它怎麼開口

下一階要解決的問題

模型會開口了。它到底好不好?考卷考得好,使用者就喜歡嗎?

原書Evaluation · Offline · Traditional · Task-specific · Figure 33–37

只看 perplexity 不夠:要考很多科

這一步要解決的問題LLM 的行為很複雜,不同任務表現不同。要分科考,才知道它強在哪、弱在哪,而且夠安全。

📖 原書 離線評估四個角度:traditional、task-specific、safety、human。Traditional:perplexity(模型猜訓練資料的字卡時有多猶豫,越低越好)是初步了解,但看不出能力:perplexity 低不代表它懂程式、會解數學。

Task-specific在考什麼常見 benchmark
Common-sense reasoning日常情境推論:成語、因果、社交情境的結果PIQA(物理互動)、SIQA、HellaSwag(日常事件)、WinoGrande、OpenBookQA、CommonsenseQA(要常識的選擇題)
World knowledge歷史、科學、地理、時事的事實TriviaQA(益智問答網站)、Natural Questions(Google 真實查詢)、SQuAD(Wikipedia 文章)
Reading comprehension讀懂一段文字並回答SQuAD、QuAC、BoolQ
Mathematical reasoning解數學題MATH(高中數學競賽)、GSM8K(小學應用題)
Code generation依自然語言寫出正確能跑的程式HumanEval(Python)、MBPP(多種程式語言)
Composite benchmarks很多科一起考MMLU(人文、STEM、社科選擇題)、MMMU(多語言、跨文化)、AGIEval、Meta Llama 3 human evaluation(1,800 個 prompt、12 種用途)
📖 原書 Figure 33Common-sense reasoning 的例子(依原書內容重繪)

五張圖的原圖描述只看得到「Prompt...」「Answer...」兩格(只有 Figure 37 看得到 def is_prime(n):...),題目內容沒有描述,所以不編造。

「你以為他很會推論 其實他只是正好看到一樣的問題而已 有沒有可能是這樣呢 還真的不是不可能的」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講(談 GSM8K 換掉人名數字後正確率下降)

原書Safety evaluation · Human evaluation · Figure 38、39

會答還不夠:還要考「不該答的不答」

📖 原書 Safety evaluation 確保回答安全、合乎倫理,找出並降低生成有害內容的風險。五個面向:

面向在考什麼Benchmark
Toxicity and harmful content仇恨言論、辱罵、傷害個人/群體/社會的內容、策劃攻擊或暴力、找非法內容的指示RealToxicityPrompts(約 10 萬個 prompt,用 PerspectiveAPI 自動打毒性分數)、ToxiGen(歧視性語言)、HateCheck(各類仇恨言論)
Bias and fairness性別、種族等偏見CrowS-Pairs(只差一個屬性的成對句子,9 類)、BBQ(手寫題組)、BOLD(23,679 個 prompt、5 個領域)
Truthfulness分得出事實和常見誤解TruthfulQA
User privacy and data leakage會不會說出訓練時看過的個資PrivacyQA
Adversarial robustness故意設計來騙它的輸入AdvGLUE、TextFooler、AdvBench

📖 原書 Human evaluation:請人替有幫助、安全等面向打分數。benchmark 會漏掉的細微之處要靠人看,原書說這仍是最可靠的全面評估方法。

📖 原書 Figure 38模型面對有毒 prompt 時預期的回應(依原書內容重繪)

兩張原圖描述一樣只有「Prompt...」「Answer...」的空框。

「jailbreak 是叫模型做出它原來 無論如何都不該做的事情」「Prompt Injection Attack 意思是說 模型怠忽職守……它做一個在它現在這個位置上 不應該做的事情」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講

課堂把「騙模型」分成兩種,剛好對應原書的 adversarial robustness。

延伸基礎第 13 階 · 兩兩對決 · Chatbot Arena懂的人可以跳過

  1. 文字接龍
  2. 小抄長度
  3. 座號
  4. 轉角度
  5. 驚訝分數
  6. 照範例學
  7. 評審
  8. 至少贏多少
  9. 試打分改
  10. 擲骰子
  11. 切線
  12. 溫度
  13. 兩兩對決

不出考卷了:兩個匿名模型對決,讓大家投票

① 先想像

美食節目盲測:兩碗牛肉麵不告訴你是哪家,你只說哪碗好吃。比了一千次,就能排出名次。這跟第 7 階「兩個比較比打分數容易」是同一個道理。

你猜猜看:A 和 B 回答的內容一模一樣,B 多了粗體、條列和 emoji。大家多半投誰?

③ 這叫做 Chatbot Arena

Chatbot Arena:隨機配兩個匿名模型,讓使用者投票的排行榜。從勝率反推每個模型的戰力,叫 Elo score。

「他就隨機給你兩個模型 模型A跟模型B……根據這些比賽的結果 每一個模型會有一個分數 然後會有一個排行榜」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講

④ 跟 ChatGPT 的關係

原書的線上指標之一:LMSYS Chatbot Arena,用超過 80 萬次人類兩兩比較來排名。

② 動手玩:三個模型對決,每次投 100 票

原書Online evaluation metrics · Figure 40、41

上線之後:看使用者用腳投票

📖 原書 線上指標衡量 LLM 在 production 的表現。常用四個:

User feedback and ratings

使用者替回答的滿意度打分數,直接指出要改進的地方(Figure 40)。

User engagement

「問了幾個問題」「session 多長」。參與度高,通常代表它提供的資訊有幫助。

Conversion rate

互動之後購買或註冊服務的使用者比例。越高代表使用者覺得它值得付錢。

Online leaderboards

即時追蹤各家 LLM 的表現。著名例子是 LMSYS Chatbot Arena:群眾外包的開放平台,依超過 80 萬次人類兩兩比較排名(第 44 頁)。

📖 原書 Figure 40收集使用者回饋(依原書內容重繪)
📖 原書 Figure 41Chatbot Arena 排行榜:原圖是網站截圖,這裡只畫欄位結構,名次和分數不重繪

「人類有時候會在意模型 怎麼說 勝過模型 說了什麼」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講

原書Overall ML System Design · Training pipeline · Inference pipeline · Figure 42

全部接起來:模型只是中間那一格

這一步要解決的問題跟傳統模型不一樣,聊天機器人要很多服務一起運作,才能有效率、安全、持續改進。

📖 原書 Figure 42聊天機器人整體設計(依原書內容重繪)

📖 原書 Training pipeline

三個關鍵階段:pretraining、SFT、RLHF(第 15–30 頁)。它們一起確保模型有能力,而且回答有幫助又安全。

📖 原書 Inference pipeline

負責跟使用者即時互動,確保回答安全、相關、有品質。六個元件:Safety filtering、Prompt enhancer、Response generator、Response safety evaluator、Rejection response generator、Session management。下兩頁一個一個看。

原書Inference pipeline · 五個元件 · Figure 43 · 動手玩

一句話進來,要過幾道關才回得出去?

動手玩:丟一句 prompt 進流程

    📖 原書 Figure 43Prompt enhancement 的例子(依原書內容重繪)

    📖 原書 Response safety evaluator · Rejection response generator

    回答給使用者看之前,再檢查一次有沒有有害內容,是最後一道防線。prompt 不安全或回答不合適時,由 rejection response generator 生一個清楚、有禮貌的說明,告訴使用者為什麼不能照做。

    📖 原書 Safety filtering

    模型處理之前,先分析使用者的 prompt,偵測有害、不當、不安全的請求。例如問怎麼做有害裝置,會被拒絕並標記。

    📖 原書 Prompt enhancer

    把 prompt 改得更完整、更清楚:展開縮寫、修正錯字、必要時補上下文。確保交給模型的 prompt 清楚、不含糊、沒有文法錯誤,模型就答得更好。

    📖 原書 Response generator

    跟訓練好的 LLM 互動,用 top-p sampling 生出有幫助的回答。也可以加其他技巧,例如先生好幾個回答,再依預先定好的標準挑最合適的。

    原書Session management · 動手玩

    小美追問「那要學多久?」,它怎麼知道在說什麼?

    這一步要解決的問題要維持對話脈絡、處理追問。聊喜歡的電影時,模型不只要記得現在的問題,還要記得前面提過哪些類型和片名。

    動手玩:要不要把聊天紀錄一起送進去?

    模型真正讀到的 prompt:

    
          

    回答:

    —這次送進去的字卡(示意)上限是 context window:至少 4096 張(第 6 頁)

    📖 原書 Session management 追蹤聊天紀錄、管理對話流程,維持對話的連貫。做法:把聊天紀錄和 enhanced prompt 一起餵給 response generator。每個回答都參考前面的互動,正確處理對話狀態。

    「這個問題前面會加上過去所有的對話記錄……他是看這一大串的文字去做文字接龍 所以他知道第二高的指的是台灣第二高的山」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講

    你發現了嗎?模型本身不記得任何事。「記得」是系統每次把整段紀錄重新抄上小抄。紀錄要存在哪裡、伺服器掛了怎麼辦,就是下一頁 Triton 的客座題目。

    客座講評Triton 怎麼看 serving:stateless vs stateful

    GPU 伺服器掛了一台,小美的對話還在嗎?

    「stateless component就是指像:Application Server(AS) / Ngnix 這些不會存放application state的component」「stateless component算是很簡單的,就單純有N個相同的node就好 然後就由heartbeat來判定是否正常工作 如果掛掉,就不把工作丟掉死了的node就好」🗣️ Triton 本人說 017-High Availability stateful component vs stateless component.md

    「有HA不代表系統完全零秒的Downtime, 有HA只代表有single component掛了後系統能自動短時間內回復。」🗣️ Triton 本人說 017

    🔭 依 Triton 原則推論 Triton 沒有談過 ChatGPT。套進來:上一頁說模型本身不記得事,每次都吃「整段紀錄」。所以跑模型的 GPU 伺服器可以做成 stateless,聊天紀錄放在 stateful 的資料庫。任何一台都能接下一句;掛一台,換一台繼續。

    動手玩:讓伺服器 2 當機

    0不見的對話

    客座講評Triton 怎麼看 rate limit

    GPU 不夠用的那一刻,先擋誰?

    「Unpredictable events cause sudden burst of QPS」「Auto-scaling is not fast enough」「Solution: HTTP 429, Too Many Requests」「Users play 30mins game in our app – Interruption causes horribly bad UX」「When QPS over server capacity – Allow requests from existing users – Block requests from new users」🗣️ Triton 本人說 089-redis-ratelimit.pdf.md

    「Performing redis call per request for ratelimiting is horribly bad idea – Your redis will fail during DDoS」🗣️ Triton 本人說 089

    「現實中的ratelimitor,其流速很可能不是固定不變的。……如果HTTP request的latency變大,或是你的server CPU變高,那麼你很可能需要降低你的ratelimitor flow rate。」🗣️ Triton 本人說 142-喵談rate limit.md(後半 Triton 自己的段落)

    動手玩:容量每秒 100 個請求,突然多來 60 位新使用者

    —聊到一半被打斷—收到 429 的新使用者

    🔭 依 Triton 原則推論 089 是遊戲 app 的例子:玩到一半被打斷,體驗最糟。聊天也一樣,小美問到一半被 429,比新使用者晚一點進來更糟。GPU 開機比一般伺服器慢,auto-scaling 更來不及。

    原書Other Talking Points

    面試還有時間,可能會被問到這些

    • 多輪對話的狀態管理:跨好幾輪追蹤上下文的技術
    • Multi-token prediction:一次猜好幾張字卡的訓練目標
    • 超長序列:處理非常長的輸入
    • Multimodal LLM:同時懂文字、圖片、聲音
    • RAG:先搜尋外部知識再回答(第 6 章)
    • 效率技巧:例如 distillation(大模型教小模型),生成更快
    • 適應特定領域:客服、醫療,又不忘記原本的知識
    • 安全與隱私:LLM 的資安和隱私問題
    • 不同的優化演算法:PPO、DPO、rejection sampling
    • Red-teaming:故意找人攻擊模型,降低傷害
    • Super-alignment:它在開發 LLM 上的重要性
    • In-context learning:在 prompt 裡給例子就學會,是怎麼運作的
    • Grouped query attention:attention 的省記憶體版本與好處
    • Chain-of-thought prompting:請它一步一步想(第 6 章)
    • KV cache:把算過的東西存起來,生成更快
    • 可驗證的理由:要求模型給出清楚、能檢查的理由,增加信任

    📅 2026 補充方法怎麼演進

    原書之後,這幾個零件換了做法

    RLHF 變成一整個家族

    原書寫 DPO 是 direct policy optimization;文獻上常見的全名是 Direct Preference Optimization:直接拿 (prompt, 贏, 輸) 配對調模型,不必另外訓練 reward model、也不跑 RL 迴圈。評審也常換成 AI(RLAIF)。reasoning 模型(原書 Table 4 的 o1 就是)則常用「答案能不能驗證對錯」當 reward。

    「總之有 好多好多 什麼什麼 PO」🎓 李宏毅課堂 第 7 講

    4096 token 已經很小了

    面試官要的是至少 4096。2026 年常見的模型,context window 是十萬級到百萬級 token。RoPE 也有一系列「拉長」的做法(例如 position interpolation、YaRN),讓訓練時較短的模型能用在更長的輸入上。第 6 頁的小抄道理不變,只是變大了。

    排行榜也在修正「怎麼說」的偏誤

    Chatbot Arena 後來改名 LMArena。它發現回答長度、markdown、emoji 會影響投票,於是在算分時把這些因素扣掉(style control)。

    「你可以把所有你覺得 跟模型實力無關 但會影響評比結果的各種factor 通通都找出來」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第九講

    「記得你」不只靠同一個 session

    原書的 session management 只管同一個對話。現在的聊天產品多了跨對話的記憶:把重要的事另外存起來,需要時再放進 prompt。本質還是第 48 頁那件事:模型不記得,是系統幫它抄小抄。

    原書Summary 心智圖

    原書這一章的總結圖

    📖 原書章末心智圖原圖描述的分支文字多處對不上本章內容(例如「Caching mechanisms」「CI/CD」),看起來是圖片辨識出錯,所以依本章的段落重繪分支

    回顧13 階全部爬完

    ChatGPT 其實就是一個上過三次學的文字接龍而已。

    1. 文字接龍
    2. 小抄長度
    3. 座號
    4. 轉角度
    5. 驚訝分數
    6. 照範例學
    7. 評審
    8. 至少贏多少
    9. 試打分改
    10. 擲骰子
    11. 切線
    12. 溫度
    13. 兩兩對決

    讀得懂長對話

    decoder-only Transformer;小抄至少 4096 張;RoPE 用轉角度記位置,夾角就是「差幾號」。

    上三次學

    讀遍圖書館(base model)→ 照範例學(SFT)→ 評審打分、試打分改(reward model、margin loss、PPO)。

    開口不鬼打牆

    不選永遠第一名;top-p 畫線、temperature 調膽量、repetition penalty 防重複。

    考很多科,還要過很多關

    benchmark、安全、人評、Arena 對決;上線後前後各一道安全過濾,聊天紀錄每次重新抄上小抄。

    小美打「我想學寫程式」,它答「先從 Python 開始」。然後呢?然後就結束了。

    本章名詞小卡課後複習用 · 每個名詞一句白話

    今天出現的名詞,一句話講完

    LLM大型語言模型,數十億個參數的文字接龍機
    token模型接龍用的字卡
    BPE依常見程度把字切成小塊的切字卡方法
    context window一次讀得下的字卡上限,像一張小抄
    decoder-only Transformer只往後接龍的 Transformer
    positional encoding告訴模型每張字卡坐在哪裡
    absolute PE每個位置一張固定的座號貼紙
    relative PE改記兩張字卡差幾號
    RoPE用旋轉角度當座號,夾角就是差幾號
    linear attention一種 attention 加速技巧,相對編碼會讓它用不了

    給工程師的重點出處、公式與頁碼對照

    本章引用的來源

    原書

    Generative AI System Design Interview · ChatGPT: Personal Assistant Chatbot 章。Introduction 與 Figure 1(第 2 頁)、Clarifying Requirements(5)、Frame the problem 與 Figure 2(7)、Data Preparation(8)、Architecture 與 Figure 3(9)、absolute/relative PE(11)、RoPE 與 Figure 4–5、pros/cons(13)、三階段訓練與 Figure 6(15)、pretraining、Table 1、Figure 7(17–18)、SFT、Figure 8–11、Table 2–3(20–21)、reward model 與 Figure 12–16(24–27)、PPO 與 Figure 17(29)、Table 4、Figure 18(30)、sampling 與 Figure 19–23(32–33)、multinomial、top-k、top-p 與 Figure 24–30(35–38)、temperature、repetition penalty、Figure 31–32、Table 5(40)、offline 評估與 Figure 33–39(42–43)、online 評估與 Figure 40–41(45)、整體設計與 Figure 42(46)、推論元件與 Figure 43(47–48)、Other Talking Points(51)、心智圖(53)。Figure 1 截圖改線框圖、Figure 32 文件截圖不重繪、Figure 41 只畫欄位;Figure 5 畫成方塊圖;心智圖依章節重繪;其餘依圖說與描述重繪,不是原圖

    加的頁面:概念階梯(3)、13 個延伸基礎(4、6、10、12、16、19、23、26、28、34、36、39、44)、小結(14、22、31、41)、名詞小卡(55)

    🎓 李宏毅課堂(逐字稿)

    • 生成式人工智慧與機器學習導論 2025 · 第 1 講(TigfpYPJk1s)— 擲骰子、每次答案不同、前三名擲骰子、多輪對話與對話紀錄
    • 同 · 第 2 講(lVdajtNpaGI)— 文字接龍、Context Window Size
    • 同 · 第 4 講(dWQVY_h0YXU)— jailbreak 與 prompt injection、「怎麼說」勝過「說了什麼」
    • 同 · 第 6 講(mPWvAN4hzzY)— cross-entropy
    • 同 · 第 7 講:大型語言模型的學習歷程(YJoegm7kiUM)— 三階段比方、資料清洗、base model、SFT 資料品質、policy gradient 精神、reward model、「什麼什麼 PO」
    • 如何讓 Transformer 知道輸入 Token 的順序?(Ll-wk8x3G_g)— 你打我/我打你、RoPE 旋轉
    • 生成式AI時代下的機器學習(2025) · 第五講(Ozos6M1JtIE)— alignment 是畫龍點睛(講者備註)
    • 生成式AI時代下的機器學習(2025) · 第九講(s266BzGNKKc)— GSM8K 記憶、Chatbot Arena、Elo 與風格因素

    來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)

    🗣️ Triton 與公式

    • 017-High Availability stateful component vs stateless component.md — stateless/stateful、HA 的定義(只引 Triton 自己的段落,不引開頭轉貼的原文)
    • 089-redis-ratelimit.pdf.md — QPS burst、429、先放舊使用者、別每個請求打 Redis(018 是同一份的語音轉錄,改引 089)
    • 142-喵談rate limit.md — 只引後半 Triton 的段落:bucket size、流速要跟著 latency 調
    • abs:qm·kn = emWqWken + emWqWkpn + pmWqWken + pmWqWkpn;T5:emWqWken + bm,n;DeBERTa:+ emWqWkRn−m + Rn−mWqWken
    • RoPE:f(qm, m) = qm·R(θm),Rdθ,m 對角 2×2 塊 [[cos mθi, −sin mθi], [sin mθi, cos mθi]]
    • cross-entropy(one-hot)= −ln p正確
    • L = max(0, m − (Swin − Slose))
    • pi = exp(xi/T) ÷ Σj exp(xj/T)
    ← → 翻頁 · S 講者備註 · D 深/淺色
    1 / 1目錄