GenAI System Design · 第 3 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無
Google Translate
其實就是一個「看著原文」的文字接龍而已
你把「A beautiful day」貼進翻譯框,選西班牙文,它回你「Un día hermoso」。原書用這個題目,把 encoder-decoder Transformer、BPE、BLEU 一路講完。我們一樣先遇到問題,再看方法是怎麼被想出來的。
今天的路線
需求 → 一邊爬 15 階基礎、一邊對照原書(第 3 頁的階梯):它怎麼讀懂 → 教材怎麼準備 → 模型怎麼讀和寫 → 怎麼學、怎麼開口 → 怎麼打分數、怎麼上線 → 2026 年的變化。全程只用同一句話當例子。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 延伸基礎
標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。這一章沒有 Triton 的資料,所以沒有客座卡。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。
先講跟你有關的動手玩
翻譯不就是查字典嗎?
你可能會想說,翻譯就是查字典嘛:每個英文字換成一個外文字,然後就結束了。
試試看:選「I love you → 韓文」,用查字典的方法,會翻出「나는 사랑해 너를」:三個字都對,順序錯了,而且太囉唆。自然的說法一個字就夠:「사랑해」。
今天整堂課只在回答三個問題:它怎麼讀懂整句?(模型)它怎麼學會翻?(資料與訓練)它怎麼知道自己翻得好不好?(評估與系統)
學習地圖今天要爬的 15 階 · 每一階只用前面學過的東西
一階一階往上爬,不跳階
- 1文字接龍寫外文時在猜什麼?
- 2先聽完再說為什麼要先讀完整句?
- 3背答案為什麼要去掉重複?
- 4切塊編號四種語言怎麼變數字?
- 5座標號碼怎麼帶有意思?
- 6位置誰先誰後怎麼分?
- 7前後都看讀原文要看哪裡?
- 8對照原文寫的時候怎麼回頭看?
- 9分數變機率怎麼吐出機率表?
- 10克漏字沒人出題怎麼考?
- 11驚訝分數猜錯要罰多重?
- 12多留幾條路怎麼說出最好的一句?
- 13數重疊怎麼對答案?
- 14抓得全漏掉的算不算?
- 15選擇題這句是哪種語言?
翻譯是什麼題目 教材怎麼準備 模型怎麼讀、怎麼寫 怎麼學、怎麼開口 怎麼打分數、怎麼上線 英文名字等爬到那一階才給。
整堂課只用一句話
A beautiful day → Un día hermoso
原書 Figure 2 的例子。每一階都拿這一句來玩,數字盡量小到可以心算。
每一階都走四步
① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。
每爬幾階就停一下
「到這裡你已經會了」:第 17、26、38、50 頁。最後還有名詞小卡(第 55 頁)。
原書Introduction · Clarifying Requirements
原書的題目:做一個翻譯服務
這一步要解決先問清楚要翻哪些語言、有多少資料、要多快,免得答錯題目。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 一開始要支援哪些語言? | 先做四種:英文、西班牙文、韓文、法文。之後再擴充 |
| 有足夠大、夠多樣的訓練資料嗎? | 有。正式文件、網頁、對話都有,四種語言都涵蓋。共 3 億個例子,一個例子=一組「原文句子+譯文句子」 |
| 有一般文字資料嗎?可以拿來預訓練,讓模型有一般知識 | 假設每種語言都有好幾 TB 的一般文字 |
| 使用者會指定原文的語言,還是系統自動偵測? | 使用者不一定認得,例如一本看不懂的書名。系統要自動偵測 |
| 輸入長度有限制嗎? | 最多 1,000 個字 |
| 要支援離線、在手機上跑嗎? | 這次面試不談裝置端最佳化。假設需要網路、模型放在雲端 |
| 要即時翻譯嗎? | 一開始不用 |
整理成需求清單
- 功能:輸入一段文字和目標語言,輸出譯文;原文語言自動偵測
- 語言:英、西、韓、法四種
- 資料:3 億組句對,加上每種語言數 TB 的一般文字
- 限制:最多 1,000 字;雲端;先不做即時
📖 原書 背景:截至 2024 年,Google 翻譯支援超過 130 種語言,使用者超過十億。
你想想看,3 億組句對是多少?一天讀 1 萬句,要讀八十多年。人讀不完,但模型讀得完。還有「自動偵測」這一條,等一下會變成系統裡的一個獨立元件(第 48 頁)。
延伸基礎第 1 階 · 文字接龍 · 懂的人可以跳到第 7 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
寫到「Un día」,下一個字會是什麼?
你在學西班牙文。老師說「A beautiful day」,你開口「Un día…」,下一個字心裡有好幾個候選。最有把握的,排第一。
你猜猜看:寫到「Un día ___」,排行榜第一名大概佔多少?
hermoso 70%、bonito 20%、precioso 8%(示意)。全部加起來剛好 100%。它給的是一張表,不是一個字。
這台「猜下一塊」的機器叫 language model(語言模型),每次猜的那一塊叫 token,先想成一個字或半個字。
「語言模型真正的輸出……其實是一個 Token 的機率分佈。」「它根據這個機率分佈來擲骰子。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講
原文:A beautiful day 已經寫出:
每按一次,就接上一塊,再猜下一塊。
④ 跟這章的關係翻譯「寫出西班牙文」的那一半,就是一台語言模型:猜一塊、接上去、再猜,猜到 <EOS>(寫完了的記號)就停。跟上一章 Smart Compose 一樣,只是多了「看著原文」。
延伸基礎第 2 階 · 先聽完再說 · 懂的人可以跳到第 7 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
口譯員為什麼要等你講完一整句?
逐步口譯:講者說完一整句,口譯員才開口。因為韓文的動詞放在句尾,不聽完,根本不知道句子要往哪裡收。
你猜猜看:「I love you」翻成韓文最自然的口語,有幾個字?
「사랑해」一個字就說完了。輸入 3 個字、輸出 1 個字:長度不一定一樣,所以不能一個對一個換。
先讀完整句、寫成一疊「筆記」的那一半叫 encoder;看著筆記,一個字一個字寫出譯文的那一半叫 decoder。
④ 跟這章的關係原書第一個決定:把翻譯當成「一串換一串」的題目,用 encoder-decoder(第 7 頁)。decoder 就是上一階的文字接龍,只是多了一疊筆記可以看。
原書Frame the Problem as an ML Task · Figure 2、3
把翻譯變成 ML 題目:一串換一串
這一步要解決「做翻譯」要變成 ML(機器學習)題目:輸入什麼、輸出什麼、用哪一類模型?
📖 原書 Input:使用者給的一串原文字,加上目標語言。Output:目標語言的一串字。
📖 原書 一種語言的一串字,換成另一種語言的一串字,這種結構叫 sequence-to-sequence(seq2seq)。摘要、語音辨識也是同一種結構。
📖 原書 seq2seq 模型輸出的長度可以和輸入不同,由兩部分組成:Encoder 把輸入變成一串 context vector(讀完整句的筆記);Decoder 利用這些筆記,一次生成一個 token。
📖 原書 encoder 和 decoder 可以用 LSTM、GRU(兩種傳話式的舊架構)或 Transformer。Transformer 在翻譯上表現最好,尤其是長距離的依賴關係(句首的字影響句尾)。而且 attention 機制最早就是在翻譯的研究裡提出來的(原書參考文獻 [2])。
原書Choosing a suitable ML approach
Transformer 有三種,翻譯為什麼偏好 encoder-decoder?
這一步要解決三種 Transformer 都很強,都可以拿來翻。那要選哪一種?
📖 原書 三種變體(第 2 章講過)
| 變體 | 擅長 | 例子 |
|---|---|---|
| Encoder-only | 理解、處理輸入;要生成通常得另外加機制 | BERT |
| Decoder-only | 生成任務非常有效 | OpenAI 的 GPT、Anthropic 的 Claude |
| Encoder-decoder | 一個讀、一個寫 | 本章選這個 |
三種效能都強,也都能透過 prompt engineering(設計交給模型的那段開頭文字)這類技巧拿來翻譯。但 encoder-decoder 通常是首選,三個理由 →
你可以把它想成兩個人分工:一個專門聽懂原文,一個專門寫譯文。分工之後,各自可以做到最好。
① 理解和生成分開
很適合翻譯這種 seq2seq 任務。encoder 可以專心處理原文,在 decoder 開始寫之前完整讀懂。encoder 常用雙向的機制(bidirectional LSTM 或 Transformer),從左右兩個方向理解上下文(第 21 頁)。
② 天生處理不同長度
輸入和輸出的長度可以各自不同,沒有固定比例。I love you 三個字、사랑해 一個字,對它來說很自然。
③ Cross-attention
decoder 在生成時,可以動態地聚焦在原文的相關部分,讓譯文和原文的重點緊密對齊,提升準確度和品質。架構那一段細講(第 24、25 頁)。
延伸基礎第 3 階 · 背答案 · 懂的人可以跳到第 10 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
同一題考古題印了 100 次,會怎樣?
考古題本裡,同一題印了 100 次。你一直練,那題的答案背得滾瓜爛熟。別的題目反而沒練到,正式考試換了題,你就不會了。
你猜猜看:教材裡「Thank you → Gracias」重複了一百萬次。模型最可能怎樣?
練習時間被同一題吃掉了。它把這一句背起來,而不是學會翻譯。拉右邊的滑桿看看。
把練習資料背起來、而不是學會,叫 overfitting。學到的本事能用在新題目上,叫「泛化」。
④ 跟這章的關係原書資料準備的第三步「去重複」,理由就是防止模型 overfit 到某些例子(第 10 頁)。
原書Data Preparation · Text preprocessing · 動手玩
兩種教材,先把句對洗乾淨
這一步要解決原始句對很髒:缺一半、夾著網頁標籤、語言配錯、重複。不洗乾淨,模型會學壞。
📖 原書 兩種教材
General data:網路上公開的文字。Translation data:3 億組句對,每組是一句原文和它的譯文。兩種的原始文字都有雜訊、格式也不對。第 2 章講過一般資料,這章只講翻譯資料,分兩步:text preprocessing 和 text tokenization。
📖 原書 Text preprocessing 的四招
- Remove missing data:原文或譯文缺一邊的,整組移除
- Remove noisy data:夾著 HTML 標籤(網頁原始碼裡的 <b> 這類記號),或語言配錯的,移除
- Deduplication:重複的句對移除,防止 overfit 到某些例子(第 9 頁)
- Handle named entities:人名地名換成佔位符號(下一頁)
原書Handle named entities · 動手玩
人名地名很少見,先換成佔位符號
這一步要解決Burlingame 這種罕見的名字,模型常常翻壞。怎麼辦?
📖 原書 翻譯模型常常處理不好 named entities(命名實體:人名、地名、組織名)。做法:在文字裡找出這些實體,換成佔位 token;翻譯完,再換回原來的名字。
- 偵測:California(地名)、Burlingame(地名)、Anson Burlingame(人名)
- 替換:「The ENTITY_1 city, ENTITY_2, is named after diplomat ENTITY_3.」
- 翻譯完再把 ENTITY_1、2、3 換回去
📖 原書 這樣模型訓練時可以專心學句子的語境,不會被罕見的詞搞混。
你仔細看,Burlingame 出現兩次:一次是城市,一次是人名的一部分。所以替換時要先換長的「Anson Burlingame」,不然會換成「Anson ENTITY_2」。
原書Steps no longer needed · 動手玩
以前要做、現在反而不做的四件事
這一步要解決傳統翻譯系統會先把文字「簡化」。Transformer 時代為什麼不做了?
📖 原書 現在通常跳過
- Lowercasing:模型訓練時就學會分辨大小寫,例如公司 Apple 和水果 apple。改小寫會丟掉這個資訊
- Stop word removal:the、and、in 這種停用詞,是句子文法結構的骨架;拿掉會破壞譯文的流暢和意思
- Stemming、lemmatization:把字還原成詞根(stemming)或字典形(lemmatization)。現代模型本來就能處理詞形變化,還原反而丟掉有用的資訊
- Punctuation removal:標點對句子結構和意思很重要,通常保留
你想想看,這四件事以前為什麼要做?因為以前的模型小,得幫它把世界變簡單。現在的模型夠大,簡化反而是幫倒忙。
延伸基礎第 4 階 · 切塊編號 · 懂的人可以跳到第 14 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
四種語言,放進同一本字典
圖書館不叫你報書名,而是報索書號。模型也一樣,只認識號碼。這次麻煩的是:書架上有英、西、韓、法四種語言的書。
你猜猜看:「一個單字一個號碼」,四種語言加起來,字典要多大?
原書:所有語言加起來會有「數十萬個」不同的字,又大又沒效率。而且再大,還是會遇到沒收錄的新字。
把句子切塊、每塊換成字典裡的號碼,叫 tokenization。字典裡查不到的字,叫 OOV(out-of-vocabulary)。
「輸入的句子會先經過 Tokenization,被切成一個一個 Token,那每一個 Token 會對應到一個編號,對應到一個 ID。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講
④ 跟這章的關係原書選「常見的整塊、少見的拆零件」的 subword 切法,並細講怎麼用 BPE 從字母黏出這本字典(第 14–16 頁)。
原書Text tokenization · Figure 4、5
單字切法字典太大,原書改用 BPE
這一步要解決四種語言放同一本字典,單字切法會變得又大又查不到新字。
📖 原書 多語言翻譯裡,切法的選擇很重要。用 word-level(一個單字一塊),所有語言加起來會有數十萬個不同的字,又大又沒效率。傳統的單字切法也常常遇到 OOV 的字;subword 切法更有效率,能有效解決 OOV。
📖 原書 因為很重要、又很常用,原書細講一個 subword 演算法:Byte-Pair Encoding(BPE)。它從字母開始,反覆把最常一起出現的組合合併成新的 subword。這樣就算是罕見、沒看過的字,也能拆成認識的零件。
「其實今天文字模型上的 token 就是用 BPE 這個演算法找出來的……他會去找說哪一些 token 常常一起出現……就把它合併起來,用一個新的符號來表示他。」🎓 李宏毅課堂 生成式AI時代下的機器學習 2025 · 第十二講
📖 原書 初始設定:假設語料庫只有 cat、cats、dog、dogs 四個字。
原書BPE · Initial setup · Iterative merging · Figure 6–10 · 動手玩
從字母開始,一輪一輪「黏」出字典
這一步要解決字典要從哪裡來?讓資料自己告訴我們,哪些字母常常黏在一起。
📖 原書 初始設定(Figure 6)
- 每個字尾加上特殊記號
</w>,標出「字到這裡結束」 - 每個字拆成一個一個字母
- 用字母和它們的出現次數,當作初始字典
📖 原書 反覆合併:前五輪
- d + o → do:一起出現 10 次(dog、dogs)。og 也是 10 次,但 do 字母順序在前
- do + g → dog:10 次
- c + a → ca:8 次(cat、cats),cat 變成 ca + t
- ca + t → cat:8 次;cats = cat + s,dogs = dog + s
- s + </w> → s</w>:7 次(dogs、cats)
一直合併到字典達到預定大小,或達到停止條件。字典越來越精簡地描述整個語料庫。
原書The </w> token · Figure 11 · 動手玩
字典有了:切塊、換號碼,變成訓練資料
這一步要解決學到的字典要怎麼用在新字上?句對又要怎麼變成數字?
用剛剛黏出來的字典切切看
📖 原書 </w> 是關鍵:cat 後面接 </w>,代表「cat 這個字結束了」;沒有 </w> 的 cat,可能是別的字的一部分。這讓 BPE 能準確表示熟悉和沒看過的字。
📖 原書 字典建好之後,把每一句切好的句子換成一串整數,就是訓練資料。每一個語言對各一張表,例如英法一張、英韓一張。
小結第 1–4 階:翻譯是什麼題目、教材怎麼準備
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
到這裡你已經會了
- 翻譯就是「先聽完,再接龍」encoder 讀懂整句寫成筆記,decoder 看著筆記一個字一個字寫(第 5、6 頁)
- 教材要先洗缺漏、雜訊、重複都移除;重複會讓模型背答案(第 9、10 頁)
- 字典是黏出來的BPE 從字母開始,反覆合併最常一起出現的兩塊(第 13、15 頁)
那句話現在走到哪裡
- 句對A beautiful day | Un día hermoso
- 洗資料兩邊都有、沒有標籤、沒重複 → 留下;大小寫和標點照留
- 切塊Abeautifulday|Undíahermoso
- 換號碼[32, 4998, 1938] | [1958, 9921, 30475]
切法和號碼都是示意。
下一階要解決:號碼只是頁碼,沒有意思。模型要怎麼從一串號碼裡「讀懂」這句話,還要知道誰先誰後?
延伸基礎第 5 階 · 座標 · 懂的人可以跳到第 20 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
día 和 day 的號碼差很多,意思卻一樣?
座位照學號排,好朋友會被拆散。改成照興趣排,愛打球的坐一區、愛畫畫的坐一區。誰跟誰像,看位置就知道。
你猜猜看:如果每個字都照「意思」排座位,西班牙文的 día 最可能坐在誰旁邊?
意思近的坐得近,就算是不同語言。號碼相鄰的字,意思常常八竿子打不著。
給每個 token 一組短短的數字當座標,叫 embedding。座標是訓練時模型自己挪出來的。
「可能會有一個方向代表中文英文的翻譯……Cold 跟『冷』它們之間相減的方向,跟『熱』減掉 Hot 的方向……可能是非常接近的。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講
④ 跟這章的關係原書 encoder 和 decoder 的第一個元件,都是查這張座標表(Figure 13,第 20 頁)。
延伸基礎第 6 階 · 位置 · 懂的人可以跳到第 20 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
「狗咬人」跟「人咬狗」,模型分得出來嗎?
把「狗咬人」三個字丟進袋子再倒出來:狗、咬、人。「人咬狗」倒出來也一樣。不管順序,新聞就變了。
你猜猜看:只看「有哪些字」,dog bites man 和 man bites dog,看起來一樣嗎?
字一模一樣,只是順序不同。所以要另外告訴模型:誰在第幾格。
替每一格加上「第幾格」的資訊,叫 positional encoding。
「假設現在本來 A、B、C 三個 Token 代表你打我,那改成 CBA 就變成我打你,那意思完全不一樣,但是最後一個位置算出來的 Embedding 卻是一樣的。」🎓 李宏毅課堂 如何讓 Transformer 知道輸入 Token 的順序?
④ 跟這章的關係原書沿用前一章的結論:固定公式或學出來的都有效,為了簡單選固定的 sine-cosine(第 20 頁;公式細節在 Smart Compose 那份)。
原書Model Development · Encoder · Figure 12、13
Encoder 的三個元件:查座標、加位置、反覆讀
這一步要解決encoder 要把一串號碼,變成每個 token 一個「讀懂了」的向量。
📖 原書 encoder-decoder 的元件和第 2 章的 decoder-only 很像。encoder 處理輸入序列,替每個輸入 token 輸出一個 embedding。三個元件:
Text embedding
把每個 token 換成一個 embedding 向量(第 18 頁的座標),捕捉每個 token 的意思。
Positional encoding
注入每個 token 的位置資訊(第 19 頁)。固定和學習的方法實務上都有效,為了簡單,選固定的 sine-cosine。
Transformer:一疊 Transformer block,下一頁講。
延伸基礎第 7 階 · 前後都看 · 懂的人可以跳到第 22 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
「bank」是銀行還是河岸?要看後面的字
「I went to the bank to fish.」讀到 fish(釣魚),你才知道 bank 是河岸,不是銀行。有些字要看後面才懂。
你猜猜看:只准看 bank 左邊的字(I went to the),猜得出它是哪個意思嗎?
「去 bank」通常是去銀行。真正的線索 fish 在右邊。翻成西班牙文,銀行是 banco、河岸是 orilla,翻錯就差很多。
每個字自己決定要看句子裡哪些字、看多重,叫 self-attention。只准看左邊的版本,叫 masked self-attention(把右邊遮起來)。
「這種只考慮左邊、只考慮前面的 attention,叫做 Causal Attention……一個 Token 不是只受左邊的詞彙影響,也有可能受到右邊的詞彙影響。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講
④ 跟這章的關係encoder 讀的是已經完整的原文,可以前後都看;decoder 還在寫,右邊的字還不存在,只能看左邊(Figure 16,第 22 頁)。
原書Encoder · Transformer · Self-attention mechanism · Figure 16 · 動手算
Encoder 的 Transformer:前後都看,看好幾輪
這一步要解決有了座標和位置,encoder 怎麼真的讀懂整句?1,000 個字會不會太貴?
📖 原書 Transformer 用一疊 block 處理 token embedding。每個 block 有一層 self-attention(用 multi-head attention,MHA:同時從好幾個角度回頭看),加一層 feed-forward(每個 token 自己再消化一下),中間夾 normalization(把數字的大小拉回穩定範圍),讓訓練穩定。
動手算:1,000 個字要比幾對?
📖 原書 需求是最多 1,000 字,標準的 attention 就夠用,不需要為了效率改用最佳化過的 attention。
📖 原書 Encoder:每個 token 看序列裡所有其他 token,全面理解整句。Decoder:每個 token 只能看它前面的 token,未來的 token 被 mask 遮住。因為生成時,模型只能用已經生出來的字去猜下一個字。
原書Decoder · Figure 14 · Key differences
Decoder:一邊看筆記,一邊一個字一個字寫
這一步要解決decoder 要利用 encoder 的筆記和已經寫出的字,猜下一個字。它比 encoder 多了什麼?
📖 原書 Decoder 的四個元件:
- Text embedding:目標序列的每個 token 換成 embedding
- Positional encoding:注入位置資訊
- Transformer:處理目標序列,輸出更新過的 embedding
- Prediction head:用更新過的 embedding 預測下一個 token
📖 原書 和 encoder 的三個主要差異
- Cross-attention layer:多一層回頭看 encoder 的筆記(第 24 頁)
- Self-attention mechanism:只能看前面(上一頁 Figure 16)
- Prediction head:最上面多一個吐機率表的頭(第 28 頁)
延伸基礎第 8 階 · 對照原文 · 懂的人可以跳到第 25 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
寫到「hermoso」時,眼睛要回到原文哪裡?
筆譯員寫譯文,每寫一個字,眼睛就回到原文找對應的地方。寫「día」看 day,寫「hermoso」看 beautiful。每個字看的地方都不一樣。
你猜猜看:寫西班牙文第三個字「hermoso」時,最該看原文 A beautiful day 的哪個字?
西班牙文的形容詞放在名詞後面,順序交叉了。所以不能「第幾個字對第幾個字」,要讓它自己找。
decoder 寫每個字時,回頭看 encoder 筆記、自己決定看哪裡看多重,叫 cross-attention。上一階的 self-attention 看「自己這一句」,cross 是看「另一句」。
④ 跟這章的關係原書選 encoder-decoder 的第三個理由就是它(第 8 頁)。attention 最早就是為了翻譯的「對齊」發明的。
原書Cross-attention layer · Figure 15
Cross-attention:decoder 的每個字,都能看 encoder 的每個字
這一步要解決寫譯文的時候,怎麼隨時對照原文的每一個地方?
📖 原書 decoder 的 Transformer 有一層 cross-attention:對 encoder 的輸出做 MHA。decoder 裡的每一個 token,都能 attend(注意)到 encoder 的所有 embedding。
📖 原書 這樣 cross-attention 就能在生成輸出的過程中,有效地整合輸入序列的資訊。
用我們的例子讀這張圖
每一列加起來是 100%(示意)。對角線不是最深的:día 和 hermoso 交叉了。
小結第 5–8 階:模型怎麼讀、怎麼寫(上)
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
到這裡你已經會了
- 號碼先換成座標,再加上位置embedding 與 positional encoding:意思近就站得近,還分得出誰先誰後(第 18、19 頁)
- encoder 前後都看,decoder 只看左邊self-attention 與 masked self-attention(第 21、22 頁)
- decoder 寫每個字,都回頭對照原文cross-attention:día 看 day、hermoso 看 beautiful(第 24 頁)
那句話現在走到哪裡
- 查座標A、beautiful、day 各變成一組數字
- 加位置第 0、1、2 格
- encoder前後都看好幾輪 → 三份筆記
- decoder已寫 Un día,只看左邊
- 對照原文回頭看筆記,最重的是 beautiful
下一階要解決:decoder 最後吐出的是一排分數。分數可以是負的,加起來也不是 100%,怎麼變成「下一個字的機率表」?
延伸基礎第 9 階 · 分數變機率 · 懂的人可以跳到第 28 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
評審的分數,怎麼變成「得票率」?
歌唱比賽,評審給 hermoso 2 分、bonito 1 分、gato 0 分。分數可以是負的,加起來也不是 100。要擲骰子,得先換成加起來剛好 100% 的比例。
你猜猜看:三個分數都加 10 分(12、11、10),換成百分比之後會怎樣?
它只看「誰比誰高多少」。大家一起加 10,差距沒變,百分比也不變。右邊按「全部 +10」試試。
把一排分數變成「每個都在 0 到 1 之間、加起來是 1」的機率,叫 softmax。轉換之前的分數叫 logit。
「你要對它做一個操作,這個操作叫做 softmax。把 logit 轉成機率……每一個向量裡面的數字,變成介於 0 到 1 之間,這個向量裡面所有數字的總和變成 1。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講
④ 跟這章的關係decoder 最上面的 prediction head 就是「打分數+softmax」(第 28 頁);語言偵測器最後也用它(第 48 頁)。
原書Prediction head · 動手玩
Prediction head:一排分數,變成整本字典的機率表
這一步要解決decoder 讀完、對照完原文之後,要說出「下一個字是什麼」。
分數和機率都是示意;真的字典有好幾萬個 token,每一個都會拿到一個機率。
📖 原書 decoder 的 Transformer 上面有一個 prediction head,通常是一層 linear layer(線性轉換:替字典裡每個 token 算一個分數),接著一層 softmax(第 27 頁),把 Transformer 的輸出變成整本字典上的機率,用來決定最可能的下一個 token。
📖 原書 encoder 與 decoder 對照
| Encoder | Decoder | |
|---|---|---|
| Self-attention | 看全部 token | 只看前面(mask 未來) |
| Cross-attention | 沒有 | 看 encoder 的所有輸出 |
| Prediction head | 沒有(輸出 embedding) | linear + softmax |
原書Training · 1. Unsupervised pretraining · 動手玩
兩階段訓練:先讀圖書館,再練翻譯
這一步要解決模型蓋好了,裡面的數字一開始都是亂的。要怎麼教?
📖 原書 兩階段:① Unsupervised pretraining(沒有標準答案的預訓練):用大量一般資料訓練 base model,讓它懂語言、文法和語境。② Supervised finetuning(有標準答案的微調):再用翻譯資料調成翻譯專用。
📖 原書 預訓練資料
常用的 C4、Wikipedia、StackExchange。第 2 章只要英文,這章要一個懂多種語言的 base model:不刪非英文,而是只留要翻的那四種語言,刪掉其他語言。
📖 原書 預訓練很吃資源、很貴。實務上常直接用公開、已預訓練好的 encoder-decoder 模型,例如 Google 的 T5、Meta 的 BART,大幅省下成本。
「第一階段的 Pre-training,就是機器像是一個學齡前的兒童,他就是每天玩,看到什麼就學什麼。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講
動手篩:只留四種語言
延伸基礎第 10 階 · 克漏字 · 懂的人可以跳到第 31 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
先看完整篇課文,再考「下一個字是什麼」?
老師先把整篇課文發給你,再考「第三個字是什麼」,抄就好。克漏字不一樣:把幾個字塗掉,你得真的看懂上下文,才填得出來。
你猜猜看:encoder 先看到整句「Thank you for inviting me」,再叫 decoder 接出同一句。decoder 會學到什麼?
答案就在筆記裡,照抄就滿分。分數很漂亮,什麼都沒學到。原書說這是在「作弊」。
把一些字蓋起來、讓模型猜回來,叫 masked language modeling(MLM)。蓋住的地方放一個特殊 token [MASK]。
④ 跟這章的關係原書的預訓練不用「猜下一個字」,改用 MLM(第 31 頁)。
原書ML objective · Masked language modeling · Figure 17
預訓練考克漏字:不讓模型偷看答案
這一步要解決沒有人出題,encoder-decoder 要考什麼,才學得到東西?
📖 原書 第 2 章的主要 objective(訓練要達成的正式目標)是 next-token prediction。但在 encoder-decoder 的預訓練裡它不理想:訓練是 unsupervised,如果把整句交給 encoder,encoder 會把資訊編碼成讓 decoder 每次都猜對的樣子,等於「作弊」。
📖 原書 所以改用 masked language modeling,也叫 masked token prediction,是預訓練 encoder-decoder Transformer 的常見 objective:把部分輸入 token 蓋住,訓練模型預測被蓋住的 token。
📖 原書 MLM 讓 encoder 處理輸入句、把它編碼好,讓 decoder 能預測被蓋住的字。被蓋住的字在編碼時從來看不到,所以模型沒辦法作弊。
延伸基礎第 11 階 · 驚訝分數 · 懂的人可以跳到第 33 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
模型猜錯的時候,要罰多重?
氣象預報說明天下雨機率 90%,結果下雨了,你不驚訝。它說 1%,結果下大雨,你嚇一跳。越沒把握的事發生了,越驚訝。
你猜猜看:模型給正確答案的機率,從 1/10 掉到 1/100,「驚訝分數」會怎樣?
1/10 是 2.3 分,1/100 是 4.6 分:每多一個零,就多 2.3 分。這就是 log 在做的事,只看數量級。
驚訝分數叫 loss:離正確答案多遠。「只看正確答案拿到多少機率」的算法,叫 cross-entropy。
「反正你就知道說,這兩個機率分布越接近,那這個 Loss 算出來呢就會越小。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係原書預訓練和微調都用 cross-entropy(第 33、35 頁)。算完 loss 再往 loss 低的方向調參數,就是 Smart Compose 那份的「蒙眼下山」。
原書MLM 的 loss 計算 · Figure 18
克漏字怎麼打分數:只算被蓋住的那幾格
這一步要解決模型每一格都會猜,哪幾格的答案才要算進 loss?
📖 原書 用 cross-entropy loss 量「預測機率」和「正確 token」差多少,引導訓練。五個步驟:
- 隨機選一部分輸入 token 換成
[MASK]:「Thank [MASK] for inviting [MASK]」 - 把蓋過的序列給 encoder,讓它在缺字的情況下理解上下文,替每個 token 輸出新的 embedding
- 給 decoder 同一句,但沒有蓋,而且在最前面插入
<BOS>(開頭記號),整句往右移一格 - decoder 替每個位置預測下一個 token,用的是前面所有的輸入 token 和 encoder 的資訊
- 只對被蓋住的 token,拿預測機率和正確答案算 cross-entropy
📖 原書 總結:MLM 同時讓 encoder 和 decoder 都參與。encoder 透過編碼被蓋住的句子學會理解語言;decoder 學會用這些編碼預測被蓋住的字。兩邊都為下一階段的微調做好準備。
原書2. Supervised finetuning · Bilingual vs multilingual · Figure 19 · 動手算
一種語言對一個模型,還是一個模型全包?
這一步要解決base model 會語言了。要怎麼把它調成翻譯專用?
📖 原書 Figure 19雙語模型與多語模型(依原書內容重繪,分成兩個分頁)
Bilingual(雙語)
每個語言對訓練一個模型。優點:抓得到每個語言對獨特的細微差異;專門,所以通常更準;出問題時容易隔離、各個擊破。缺點:訓練、部署、維護很多個模型,很吃資源、很貴。
Multilingual(多語)
一個模型翻多種語言。優點:比雙語簡單、便宜,部署和維護都容易。mT5、mBART 等研究顯示,多語模型常常追上、甚至超過雙語模型。
📖 原書 這一章重視準確度勝過簡單,所以選 bilingual。
「我們也許可以拿 SFT 來打造一堆專才的模型……把 Pre-training 的模型變成一個翻譯的專才……第二條路線是直接打造一個通材。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講
原書Training data · ML objective and loss · Figure 20、21
微調:考的是「看著原文,猜譯文的下一個字」
這一步要解決翻譯資料長什麼樣?微調時要考什麼、怎麼打分數?
📖 原書 每個語言對一張表。每一列是一個例子:原文句子的 token ID 序列,加上譯文的 token ID 序列。
📖 原書 預訓練是 unsupervised,微調是 supervised:encoder 處理原文 token,decoder 生成譯文 token。訓練完 decoder 要一個一個依序生成,所以 objective 用 next-token prediction,loss 用 cross-entropy。
📖 原書 圖上為了簡單只畫一次預測。實際上就像第 2 章,decoder 同時預測所有位置的下一個 token,每個預測都算 loss。
動手算:正確答案 Quel 拿到 0.73,驚訝分數是 −ln 0.73 ≈ 0.31(第 32 頁的滑桿拉到 73% 就是它)。
延伸基礎第 12 階 · 多留幾條路 · 懂的人可以跳到第 37 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
每一步都挑最好的,整句就最好嗎?
排旅遊行程,第一站挑評價最高的景點,結果它離下一站超遠,整天都在坐車。只看眼前這一步,可能錯過更好的整條路線。
你猜猜看:路線 A:Hermoso(0.5)→ día(0.3)。路線 B:Un(0.4)→ día(0.9)。整條路誰的分數高?
整條路的分數=每一步的機率乘起來:A 是 0.5 × 0.3 = 0.15,B 是 0.4 × 0.9 = 0.36。
同時留 k 條路、每步展開後只留總分最好的 k 條,叫 beam search;k 叫 beam width。只留 1 條,就是「每步都挑最高的」。
只留 1 條路,就是每步挑最高的。
④ 跟這章的關係原書的翻譯用 beam search(第 37 頁);演算法的逐步圖解在第 2 章(Smart Compose 那份)。
原書Sampling · Figure 22 · Table 1 · 動手玩
翻譯要的是穩:同一句話,每次都翻得一樣
這一步要解決訓練好了,要怎麼產生一整句譯文?擲骰子,還是挑最穩的?
📖 原書 取樣時,模型根據已經生成的 token 和輸入序列的上下文,一個一個預測下一個 token。兩大策略:deterministic(例如 beam search)和 stochastic sampling。這裡選 beam search,兩個理由:
- Translation accuracy:同時評估好幾條可能的序列、選最可能的那條,通常翻得更準
- Consistency:同樣的輸入永遠得到同樣的輸出,少有意外。多樣性對翻譯系統既不必要、也不理想
📖 原書 Table 1 兩種方法比較
| 特性 | Deterministic | Stochastic |
|---|---|---|
| Approach | 照可預測的流程產生輸出 | 依機率分布產生輸出 |
| Efficiency | 要追蹤多條路,通常較慢 | 隨機選擇,比較快 |
| Quality | 連貫、可預測 | 多樣、有創意 |
| Risk | 長序列容易重複 | 可能生出不恰當的輸出 |
| Use case | 需要一致的任務,如翻譯 | 需要創意的任務,如開放式生成 |
| Methods | Greedy search、beam search | Multinomial、top-k、top-p |
動手翻五次:A beautiful day
📖 原書 重視多樣和創意的應用(例如創意寫作)通常偏好 stochastic;第 4 章細講 top-k、top-p。
小結第 9–12 階:怎麼吐機率、怎麼學、怎麼開口
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
到這裡你已經會了
- 分數變機率靠 softmaxprediction head = 打分數+softmax(第 27、28 頁)
- 預訓練考克漏字,微調考下一個字,都用驚訝分數MLM 防作弊;loss 用 cross-entropy(第 30、32、35 頁)
- 開口時多留幾條路beam search:準,而且每次都一樣(第 36、37 頁)
那句話現在走到哪裡
- 預訓練a [MASK] day → 猜回 beautiful
- 微調看著 A beautiful day,猜 Un → día → hermoso
- 驚訝分數hermoso 給 70% → loss 0.36
- 開口留 2 條路:Un día(0.36)勝過 Hermoso día(0.15)
- 一致翻 5 次都是 Un día hermoso
下一階要解決:翻好了。可是「Un día bonito」也對啊。要怎麼替譯文打分數?
延伸基礎第 13 階 · 數重疊 · 懂的人可以跳到第 40 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
手上有一份標準答案,最省事的改法是什麼?
老師改翻譯作業,手上有一份標準答案。最省事的改法:數你寫的字裡,有幾成也出現在標準答案裡。
你猜猜看:標準答案「Un día hermoso」。學生寫「hermoso día Un」。只看「單字有沒有出現」,幾分?
三個字都出現過,所以 3/3。可是順序全亂了。所以還要數「連續兩個字」有沒有對上:這時是 0/2。
連續 n 個字叫 n-gram(1 個字是 1-gram,連續 2 個字是 2-gram)。「我寫的裡面有幾成對」叫 precision。
標準答案:Un día hermoso
④ 跟這章的關係原書第一個離線指標 BLEU 就是這樣數的,再加上「太短要罰」(第 40 頁)。
原書Evaluation · Offline · BLEU · Figure 23
離線評估一:BLEU,數 n-gram 對上幾成
這一步要解決上線前,怎麼用標準譯文替模型打分數?
📖 原書 評估要同時看翻得準不準和合不合語境。研究社群多年來公認的三個標準指標:BLEU、ROUGE、METEOR。
📖 原書 BLEU(BiLingual Evaluation Understudy)是 precision-based:拿候選譯文的 n-gram 和參考譯文的 n-gram 比,數對上的比例。範圍 0 到 1,越高越精確。
- N:最長看到幾-gram pn:n-gram 的 precision
- wn:每種 n 的權重,通常平均分,例如看到 4-gram 就各 1/4
- BP(brevity penalty):c 是譯文長度、r 是參考長度;c 比 r 長,BP = 1 不罰;c ≤ r,BP 依長度比例指數衰減
原書BLEU 的優缺點 · 動手算
BLEU 好算,但會冤枉「對、可是用字不同」的譯文
這一步要解決BLEU 給的分數,真的等於翻得好不好嗎?
BLEU 計算器(示意:N = 2,w1 = w2 = 1/2)
📖 原書 優點:簡單、好算。缺點:會不公平地懲罰正確、但和參考譯文不同的翻譯。參考是「The engineer discovered a new algorithm」,譯文「The engineer found a new method」意思一樣,BLEU 卻可能扣分。即使有這個限制,BLEU 仍然有參考價值,實務上被廣泛使用。
「假設我們現在要求模型做一個翻譯的任務,它要把 HUMOR 這個字呢,翻譯成中文。那 HUMOR 翻譯成中文也許可以翻『詼諧』,但假設標準答案寫的是『幽默』怎麼辦呢?那難道要算模型完全錯、得到 0 分嗎?」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講
延伸基礎第 14 階 · 抓得全 · 懂的人可以跳到第 43 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
寫得都對,就是滿分嗎?漏掉的怎麼算?
老師要你列出課本的 4 個重點。小明只寫 1 個,完全正確。小華寫了 8 個,4 個重點都在裡面,也混了一些廢話。誰比較「準」?誰比較「全」?
你猜猜看:小明寫的都對,但 4 個重點只抓到 1 個。他抓到幾成?
1 ÷ 4 = 25%。他寫的「準」是 100%,但抓得「全」只有 25%。兩個都要看。
「標準答案裡的東西,我抓到幾成」叫 recall。上一階的 precision 看準,recall 看全。
標準答案:Un día hermoso
④ 跟這章的關係原書第二個指標 ROUGE 看 recall;第三個指標 METEOR 把兩個合起來(第 43、44 頁)。
原書Offline · ROUGE · Figure 24
離線評估二:ROUGE,看參考譯文被抓到幾成
這一步要解決BLEU 只看「我寫的對不對」,漏掉的字沒人管。
📖 原書 ROUGE(Recall-Oriented Understudy for Gisting Evaluation)是很常用的指標,補 BLEU 的不足:看 recall 而不是 precision,量候選和參考之間 n-gram 重疊的比例。例如 ROUGE-N 的 recall:
📖 原書 想多了解公式可看原書參考文獻 [17]。和 BLEU 一樣,ROUGE 好實作、算得快;主要缺點是不懂語境:用字不同、意思相近的譯文,可能拿到很低的 ROUGE。
用原書的例句算一次
| 內容 | |
|---|---|
| 參考 | The engineer discovered a new algorithm |
| 譯文 | The engineer found a new method |
| ROUGE-1 recall | 參考 6 個字,對上 The、engineer、a、new → 4/6 ≈ 0.67 |
| ROUGE-2 recall | 參考 5 個 2-gram,對上 The engineer、a new → 2/5 = 0.40 |
分數和 BLEU 差不多低。因為兩個指標都只認「字面一模一樣」,found 和 discovered 在它們眼裡就是不一樣的字。
課堂上也說:BLEU、ROUGE「本質上就是在計算輸出跟標準答案有多少共用的詞彙」(🎓 第 4 講)。
原書Offline · METEOR · 動手玩
離線評估三:METEOR,認得同義詞
這一步要解決意思一樣、用字不一樣,能不能也給分?
調和平均像算來回的平均時速:去程 60、回程 40,平均是 48 不是 50。哪一邊很差,就把整體拉下來。
📖 原書 METEOR 算 precision 和 recall,再用加權調和平均合起來。不同於只認字面的 BLEU 和 ROUGE,它考慮同義詞和詞形變化:參考寫 run、譯文寫 running,它認得是相關的字。同義詞來自 WordNet 這類詞彙資料庫,它把字分成各種同義詞集合,並標出集合之間的關係。
| 優點 | 缺點 |
|---|---|
| 懂語意:不同用字、相同意思時評得更準 | 計算複雜:要做同義詞、詞根比對,比較難實作、比較慢 |
| 平衡:合併 precision 和 recall,抓出又準又完整的譯文 | 依賴資源:同義詞典、詞根演算法,不是每種語言都有 |
| 更像人:和人工判斷的相關性比 BLEU、ROUGE 好 |
「METEOR 這個指標呢已經會考慮詞彙之間的語意相似的程度……比如說你給它 WordNet 的資料,告訴它說哪些詞彙呢字面上不一樣,但是語意其實是一樣的。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講
📖 原書 三個指標都能看出模型表現,實務上都常用。
原書Online evaluation metrics · Figure 25 · 動手玩
上線之後:問使用者滿不滿意、還會不會回來
這一步要解決離線分數好看,真實使用者覺得好用嗎?
📖 原書 線上評估看系統在 production(正式上線的環境)跑得好不好。用兩個指標量使用者的滿意度和參與度:
User feedback
收集使用者對翻譯品質的評分或意見。很有參考價值,因為它直接反映滿意度。
User engagement
監看使用者多常用翻譯功能、互動多久、多常回來。用來了解這個工具在真實世界裡多有價值、多有效。
📖 原書 離線+線上,才能完整掌握表現:既符合技術標準,也滿足使用者期待。
原書Overall ML System Design · Figure 26
全部接起來:模型只是其中一格
這一步要解決使用者貼上一句話,到看到譯文,中間要經過哪些關卡?
📖 原書 兩個關鍵元件
Language detector(語言偵測器):判斷原文是哪種語言(第 48 頁)。Translation service(翻譯服務):找對的模型、做 beam search、轉回文字(第 49 頁)。
四個步驟
- 使用者給一句原文和想要的語言
- Language detector 判斷原文語言
- Translation service 依「偵測到的語言 × 想要的語言」選模型,用 beam search 生成
- token 轉回文字,顯示給使用者
延伸基礎第 15 階 · 選擇題 · 懂的人可以跳到第 48 頁
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
「這句是哪種語言?」其實是一題四選一
改選擇題比改作文容易,答案只有 A、B、C、D。看到一本外文書名,你會找線索:有 ñ 像西班牙文、有 é 像法文、方方正正的字是韓文。
你猜猜看:「Merci beaucoup」是哪種語言?
法文的「非常謝謝」。你剛剛做的,就是看每個字的線索、投票,再選票最多的那一個。
從幾個固定的選項裡選一個,叫 classification(分類)。這題的選項就是四種語言,輸出是四個百分比(第 27 頁的 softmax)。
④ 跟這章的關係原書的 language detector 就是一個分類器,用 encoder-only Transformer 做(第 48 頁)。
原書Language detector · Figure 27
語言偵測器:encoder 讀完,再接一個「選擇題的頭」
這一步要解決使用者不一定認得原文的語言(例如一本看不懂的書名),系統要自己判斷,才知道要用哪個模型。
📖 原書 Figure 27用 encoder-only Transformer 做語言偵測的兩種做法(依原書內容重繪,分成兩個分頁)
📖 原書 語言偵測器判斷文字的語言,讓我們能用專門為這個語言訓練的模型。這可以當成 sequence classification(替整個序列分類);encoder-only 架構很適合。把 encoder-only Transformer 改成分類器,有兩種方式:
Option 1:Average pooling
把 Transformer 每個 token 的輸出平均成一個向量(像全班成績取平均),再交給 prediction head 輸出各語言的機率。
Option 2:Last token representation
只拿 Transformer 輸出的最後一個 token 的向量,交給 prediction head。
為什麼只拿最後一個也可以?因為 encoder 是前後都看的(第 21 頁),讀完之後,最後一個 token 的向量裡已經混進了整句的資訊。
原書Translation service · 動手玩
翻譯服務:依「從哪種語言 × 到哪種語言」找模型
這一步要解決知道原文語言和目標語言之後,要叫哪一個模型?
📖 原書 翻譯服務依偵測到的語言和想要的語言,去找對應的那個模型;接著用 beam search 生成目標語言的 token 序列,再把 token 轉回文字,最後把譯文顯示給使用者。
你猜猜看:4 種語言,如果每個翻譯方向(例如英→西、西→英)都各有一個雙語模型,要準備幾個?
每種語言可以翻成另外 3 種:4 × 3 = 12。不分方向的話是 6 對。左邊的表格就是 4 × 4 扣掉對角線。原書沒有給這個數字,這是示意。
你可能會想說,如果偵測到的語言跟想要的一樣呢?那就不用翻了,直接回傳。這種小細節,面試時講出來會加分。
小結第 13–15 階:怎麼打分數、怎麼上線
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
到這裡你已經會了
- 對答案先數重疊,太短要罰n-gram precision 加上 brevity penalty,就是 BLEU(第 39、40 頁)
- 準和全都要看,最好還認得同義詞ROUGE 看 recall,METEOR 合併兩者、查 WordNet(第 42、44 頁)
- 系統先做一題選擇題,再叫對的模型language detector 分類,translation service 選模型、beam search(第 47、49 頁)
那句話現在走到哪裡
- 偵測A beautiful day → 英文
- 選模型英 → 西 的雙語模型
- 生成beam search → Un día hermoso
- 離線BLEU 1.00;如果是 Un día bonito,0.58
- 線上使用者按下「好」、或提出修改
15 階全部爬完。接下來是原書面試最後可以多聊的題目,和 2026 年這幾個零件的演進。
原書Other Talking Points
面試還有時間,可能會被問到這些
📖 原書 時間允許時可以討論
- 訓練資料很少的語言:用 transfer learning(把學過的本事搬過來)和多語模型 [20]
- 用 decoder-only Transformer 做翻譯 [21]
- 透過使用者回饋持續改進翻譯模型 [22]
- 高效率推論與裝置端翻譯的最佳化技巧 [23]
- 開發單一多語模型 [24]
- 其他自動指標,例如 WER(word error rate)怎麼算 [25][26]
- 怎麼建一個語言偵測模型 [27]
每一題回到今天的哪一頁
- 資料少的語言、單一多語模型 → 第 34 頁的 bilingual vs multilingual,和第 52 頁
- decoder-only → 第 8 頁的三種變體;文字接龍本身就能「看著前文」翻(第 5 頁)
- 使用者回饋 → 第 45 頁的「Suggest an edit」
- 裝置端 → 需求第 4 頁先排除了;要做就得把模型變小
- WER → 跟第 39 頁一樣在對答案,但數的是「要改幾個字才會變成標準答案」
- 語言偵測 → 第 47、48 頁
📅 2026 補充方法怎麼演進
原書之後,這幾個零件往哪裡走
這一步要解決原書的選擇(雙語模型、encoder-decoder、BLEU)在之後幾年有什麼變化?
一個模型翻很多種語言
原書引用的 NLLB-200(Meta,2022)用單一模型處理 200 種語言;原書開頭引用的 2024 年 Google 翻譯公告,新增的 110 種語言也是用大型語言模型 PaLM 2 做的。路線從「一群專才」往「一個通才」移動,資料少的語言受惠最多。
Decoder-only 也翻得很好
通用的大型語言模型靠 prompt 就能翻譯,這正是原書 other talking points 的第二點。課堂分析過一個有趣的現象:
「語言模型好像是在內心裡先把法文變成了英文,然後才把英文變成了中文。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講(Logit Lens 分析 Llama 翻 fleur)
指標:從數字面重疊,到比較語意
BLEU、METEOR 還在用,但研究上越來越常看「學出來的指標」,例如用模型的 embedding 比語意的 BERTScore、COMET。
「BERTScore 就是拿來計算標準答案跟輸出之間相似程度的、語意上相似程度的一種方法。」🎓 李宏毅課堂 導論 2025 · 第 4 講
用回饋持續訓練,要小心「忘記」
拿使用者回饋或新語言的資料繼續訓練,模型可能把原本會的東西弄壞。
「今天你教模型做 Post Training 以後,模型遺忘他本來就有的能力,是一個非常常見的事情。」🎓 李宏毅課堂 生成式AI時代下的機器學習 2025 · 第六講
原書Summary 心智圖
原書這一章的總結圖
回顧15 階全部爬完
- 文字接龍
- 先聽完再說
- 背答案
- 切塊編號
- 座標
- 位置
- 前後都看
- 對照原文
- 分數變機率
- 克漏字
- 驚訝分數
- 多留幾條路
- 數重疊
- 抓得全
- 選擇題
Google 翻譯其實就是一個「看著原文」的文字接龍而已。
它怎麼讀懂
句對先洗乾淨、用 BPE 切塊 → 查座標、加位置 → encoder 前後都看,寫成筆記。
它怎麼寫
decoder 只看左邊、隨時用 cross-attention 對照原文 → softmax 吐出機率表 → beam search 挑最穩的那句。
它怎麼學
先考克漏字(MLM)讀遍四種語言,再用 3 億組句對練「看著原文猜下一個字」,loss 都是驚訝分數。
它怎麼知道翻得好不好
離線看 BLEU、ROUGE、METEOR;上線看回饋和回訪。前面還有一題選擇題:這句是哪種語言。
先聽完,再一個字一個字說;每說一個字,都回頭看一眼原文。然後呢?然後就結束了。
名詞小卡課後複習用 · 每個詞一行白話
本章名詞小卡
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| language model | 猜下一塊字的機器,就是文字接龍 | 第 5 頁 |
| token | 模型一次猜的那一塊,大約一個字或半個字 | 第 5 頁 |
| seq2seq | 一串換一串,長度可以不一樣 | 第 7 頁 |
| encoder / decoder | 先讀懂寫筆記的一半/看筆記寫譯文的一半 | 第 6 頁 |
| overfitting | 背答案,不是學會;新句子就不會了 | 第 9 頁 |
| deduplication | 去掉重複的句對,免得背答案 | 第 10 頁 |
| named entity | 人名、地名;先換成 ENTITY_1,翻完再換回 | 第 11 頁 |
| tokenization / OOV | 切塊換號碼/字典裡查不到的字 | 第 13 頁 |
| BPE | 從字母開始,反覆黏起最常一起出現的兩塊 | 第 15 頁 |
| </w> | 「字到這裡結束」的記號 | 第 16 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| embedding | 每個 token 的座標,意思近就站得近 | 第 18 頁 |
| positional encoding | 告訴模型每個字在第幾格 | 第 19 頁 |
| self-attention | 每個字自己決定要看句子裡的誰 | 第 21 頁 |
| masked self-attention | 只准看左邊;decoder 用的版本 | 第 21 頁 |
| multi-head attention | 同時從好幾個角度回頭看 | 第 22 頁 |
| cross-attention | decoder 寫每個字時,回頭對照原文 | 第 24 頁 |
| softmax / logit | 把分數變成加起來 100% 的機率/轉換前的分數 | 第 27 頁 |
| prediction head | 最上面吐出機率表的那一層 | 第 28 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| pretraining | 先讀一整座圖書館,學語言的大道理 | 第 29 頁 |
| finetuning | 再用 3 億組句對練翻譯 | 第 34 頁 |
| MLM / [MASK] | 克漏字:蓋住幾個字讓模型猜回來 | 第 30 頁 |
| next-token prediction | 猜下一個字;微調時用 | 第 35 頁 |
| loss / cross-entropy | 猜錯時有多驚訝;越小越好 | 第 32 頁 |
| bilingual / multilingual | 一個語言對一個模型/一個模型全包 | 第 34 頁 |
| T5 / BART | 公開、已預訓練好的 encoder-decoder 模型 | 第 29 頁 |
| beam search / beam width | 同時留 k 條路,每步留總分最好的 k 條 | 第 36 頁 |
| deterministic / stochastic | 每次都一樣/照機率擲骰子 | 第 37 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| n-gram | 連續 n 個字 | 第 39 頁 |
| precision / recall | 我寫的有幾成對/答案裡的我抓到幾成 | 第 42 頁 |
| BLEU / BP | 數 n-gram precision,太短要罰 | 第 40 頁 |
| ROUGE | 數 n-gram recall | 第 43 頁 |
| METEOR / WordNet | 合併準與全,認得同義詞與詞形 | 第 44 頁 |
| user feedback / engagement | 使用者評分/多常用、用多久、會不會回來 | 第 45 頁 |
| classification | 選擇題:從固定選項裡選一個 | 第 47 頁 |
| average pooling | 把一排向量平均成一個 | 第 48 頁 |
| language detector / translation service | 判斷原文語言/選模型、beam search、轉回文字 | 第 46 頁 |
忘了哪個詞,就回到右邊那一頁,四步再走一次。
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Generative AI System Design Interview · Google Translate 章。Introduction 與 Figure 1(第 2、4 頁)、Clarifying Requirements(4)、input/output、seq2seq、Figure 2–3(7)、選擇 encoder-decoder 的三個理由(8)、兩種資料與 text preprocessing(10)、named entities(11)、不再需要的四個步驟(12)、tokenization 與 Figure 4–5(14)、BPE 初始設定與五輪合併、Figure 6–10(15)、</w> 與 Figure 11(16)、encoder、Figure 12–13(20)、Transformer block、1,000 字不需最佳化 attention、Figure 16(22)、decoder、三個差異、Figure 14(23)、cross-attention 與 Figure 15(25)、prediction head(28)、兩階段訓練與預訓練資料、T5/BART(29)、MLM 與 Figure 17(31)、loss 五步驟與 Figure 18(33)、bilingual vs multilingual 與 Figure 19(34)、微調資料與 loss、Figure 20–21(35)、sampling、Figure 22、Table 1(37)、BLEU 公式與 Figure 23(40)、BLEU 優缺點(41)、ROUGE 與 Figure 24(43)、METEOR(44)、online metrics 與 Figure 25(45)、整體設計與 Figure 26(46)、language detector 與 Figure 27(48)、translation service(49)、Other Talking Points(51)、Summary 圖(53)。28 張圖全部依圖說與 alt 重繪,不是原圖;Figure 1、25 產品畫面改線框圖;Figure 23 alt 空白,用內文例句重做;Figure 24 圖說與 alt 不符,照 alt 畫
本簡報加的頁面:概念階梯(3)、15 個延伸基礎(5、6、9、13、18、19、21、24、27、30、32、36、39、42、47)、小結(17、26、38、50)、名詞小卡(55)。貫穿例子「A beautiful day → Un día hermoso」出自原書 Figure 2;所有機率、attention 權重、號碼都是示意
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 1 講(TigfpYPJk1s)— 機率分佈與擲骰子
- 同 · 第 3 講(8iFvM7WUUs8)— Tokenization 與 ID、Embedding 的翻譯方向、Causal Attention、softmax 與 logit、Logit Lens 分析 Llama 翻譯
- 同 · 第 4 講(dWQVY_h0YXU)— BLEU/ROUGE 算共用詞彙、HUMOR 詼諧/幽默、METEOR 與 WordNet、BERTScore、Parrot
- 同 · 第 6 講(mPWvAN4hzzY)— Cross-Entropy
- 同 · 第 7 講(YJoegm7kiUM)— Pre-training 像學齡前兒童、專才與通才
- 如何讓 Transformer 知道輸入 Token 的順序?(Ll-wk8x3G_g)— 你打我/我打你
- 生成式AI時代下的機器學習 2025 · 第六講(Z6b5-77EfGk)— 後訓練的遺忘
- 同 · 第十二講(gkAyqoQkOSk)— BPE 合併常一起出現的 token
- 導論 2025 · 第 10 講(CbIPjrOj2Tc)— 語音版 BERT 的蓋住與還原(備註)
來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)
📅 依據與公式
- 📅 NLLB-200:原書參考文獻 [24];Google 2024 新增 110 種語言、PaLM 2:參考文獻 [1]
- 📅 BERTScore、COMET:公開的學習式指標
- METEOR 原式:Fmean = 10PR/(R+9P),另有 fragmentation penalty(Banerjee & Lavie 2005)
公式(主文用文字講過)
- BLEU = BP · exp(Σn wn log pn);BP = 1(c>r)或 e1−r/c(c≤r)
- ROUGE-N recall = 對上的 n-gram 數 ÷ 參考的 n-gram 數
- softmax:pi = esi / Σj esj
- cross-entropy:−Σi yi ln pi(one-hot 時 = −ln p正確)
- self-attention 的對數:n × n(1,000 字 → 106)
- 雙語模型數:N(N−1)/2 對,或 N(N−1) 個方向