GenAI System Design · 第 3 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無

Google Translate
其實就是一個「看著原文」的文字接龍而已

你把「A beautiful day」貼進翻譯框,選西班牙文,它回你「Un día hermoso」。原書用這個題目,把 encoder-decoder Transformer、BPE、BLEU 一路講完。我們一樣先遇到問題,再看方法是怎麼被想出來的。

今天的路線

需求 → 一邊爬 15 階基礎、一邊對照原書(第 3 頁的階梯):它怎麼讀懂 → 教材怎麼準備 → 模型怎麼讀和寫 → 怎麼學、怎麼開口 → 怎麼打分數、怎麼上線 → 2026 年的變化。全程只用同一句話當例子。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 延伸基礎

標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。這一章沒有 Triton 的資料,所以沒有客座卡。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。

先講跟你有關的動手玩

翻譯不就是查字典嗎?

📖 原書 Figure 1語言翻譯服務(原圖是產品截圖,這裡改畫成線框圖,不畫 logo)

你可能會想說,翻譯就是查字典嘛:每個英文字換成一個外文字,然後就結束了。

試試看:選「I love you → 韓文」,用查字典的方法,會翻出「나는 사랑해 너를」:三個字都對,順序錯了,而且太囉唆。自然的說法一個字就夠:「사랑해」。

今天整堂課只在回答三個問題:它怎麼讀懂整句?(模型)它怎麼學會翻?(資料與訓練)它怎麼知道自己翻得好不好?(評估與系統)

學習地圖今天要爬的 15 階 · 每一階只用前面學過的東西

一階一階往上爬,不跳階

  1. 1文字接龍寫外文時在猜什麼?
  2. 2先聽完再說為什麼要先讀完整句?
  3. 3背答案為什麼要去掉重複?
  4. 4切塊編號四種語言怎麼變數字?
  5. 5座標號碼怎麼帶有意思?
  6. 6位置誰先誰後怎麼分?
  7. 7前後都看讀原文要看哪裡?
  8. 8對照原文寫的時候怎麼回頭看?
  9. 9分數變機率怎麼吐出機率表?
  10. 10克漏字沒人出題怎麼考?
  11. 11驚訝分數猜錯要罰多重?
  12. 12多留幾條路怎麼說出最好的一句?
  13. 13數重疊怎麼對答案?
  14. 14抓得全漏掉的算不算?
  15. 15選擇題這句是哪種語言?

翻譯是什麼題目 教材怎麼準備 模型怎麼讀、怎麼寫 怎麼學、怎麼開口 怎麼打分數、怎麼上線 英文名字等爬到那一階才給。

整堂課只用一句話

A beautiful day → Un día hermoso

原書 Figure 2 的例子。每一階都拿這一句來玩,數字盡量小到可以心算。

每一階都走四步

① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。

每爬幾階就停一下

「到這裡你已經會了」:第 17、26、38、50 頁。最後還有名詞小卡(第 55 頁)。

原書Introduction · Clarifying Requirements

原書的題目:做一個翻譯服務

這一步要解決先問清楚要翻哪些語言、有多少資料、要多快,免得答錯題目。

📖 原書 應徵者 × 面試官

應徵者問面試官答
一開始要支援哪些語言?先做四種:英文、西班牙文、韓文、法文。之後再擴充
有足夠大、夠多樣的訓練資料嗎?有。正式文件、網頁、對話都有,四種語言都涵蓋。共 3 億個例子,一個例子=一組「原文句子+譯文句子」
有一般文字資料嗎?可以拿來預訓練,讓模型有一般知識假設每種語言都有好幾 TB 的一般文字
使用者會指定原文的語言,還是系統自動偵測?使用者不一定認得,例如一本看不懂的書名。系統要自動偵測
輸入長度有限制嗎?最多 1,000 個字
要支援離線、在手機上跑嗎?這次面試不談裝置端最佳化。假設需要網路、模型放在雲端
要即時翻譯嗎?一開始不用

整理成需求清單

  • 功能:輸入一段文字和目標語言,輸出譯文;原文語言自動偵測
  • 語言:英、西、韓、法四種
  • 資料:3 億組句對,加上每種語言數 TB 的一般文字
  • 限制:最多 1,000 字;雲端;先不做即時

📖 原書 背景:截至 2024 年,Google 翻譯支援超過 130 種語言,使用者超過十億。

你想想看,3 億組句對是多少?一天讀 1 萬句,要讀八十多年。人讀不完,但模型讀得完。還有「自動偵測」這一條,等一下會變成系統裡的一個獨立元件(第 48 頁)。

延伸基礎第 1 階 · 文字接龍 · 懂的人可以跳到第 7 頁

  1. 文字接龍
  2. 先聽完再說
  3. 背答案
  4. 切塊編號
  5. 座標
  6. 位置
  7. 前後都看
  8. 對照原文
  9. 分數變機率
  10. 克漏字
  11. 驚訝分數
  12. 多留幾條路
  13. 數重疊
  14. 抓得全
  15. 選擇題

寫到「Un día」,下一個字會是什麼?

① 生活情境

你在學西班牙文。老師說「A beautiful day」,你開口「Un día…」,下一個字心裡有好幾個候選。最有把握的,排第一。

你猜猜看:寫到「Un día ___」,排行榜第一名大概佔多少?

③ 這時才給名字

這台「猜下一塊」的機器叫 language model(語言模型),每次猜的那一塊叫 token,先想成一個字或半個字。

「語言模型真正的輸出……其實是一個 Token 的機率分佈。」「它根據這個機率分佈來擲骰子。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講

② 動手玩

原文:A beautiful day 已經寫出:

每按一次,就接上一塊,再猜下一塊。

④ 跟這章的關係翻譯「寫出西班牙文」的那一半,就是一台語言模型:猜一塊、接上去、再猜,猜到 <EOS>(寫完了的記號)就停。跟上一章 Smart Compose 一樣,只是多了「看著原文」。

延伸基礎第 2 階 · 先聽完再說 · 懂的人可以跳到第 7 頁

  1. 文字接龍
  2. 先聽完再說
  3. 背答案
  4. 切塊編號
  5. 座標
  6. 位置
  7. 前後都看
  8. 對照原文
  9. 分數變機率
  10. 克漏字
  11. 驚訝分數
  12. 多留幾條路
  13. 數重疊
  14. 抓得全
  15. 選擇題

口譯員為什麼要等你講完一整句?

① 生活情境

逐步口譯:講者說完一整句,口譯員才開口。因為韓文的動詞放在句尾,不聽完,根本不知道句子要往哪裡收。

你猜猜看:「I love you」翻成韓文最自然的口語,有幾個字?

③ 這時才給名字

先讀完整句、寫成一疊「筆記」的那一半叫 encoder;看著筆記,一個字一個字寫出譯文的那一半叫 decoder。

② 動手玩
—輸入幾個字—輸出幾個字—自然嗎

④ 跟這章的關係原書第一個決定:把翻譯當成「一串換一串」的題目,用 encoder-decoder(第 7 頁)。decoder 就是上一階的文字接龍,只是多了一疊筆記可以看。

原書Frame the Problem as an ML Task · Figure 2、3

把翻譯變成 ML 題目:一串換一串

這一步要解決「做翻譯」要變成 ML(機器學習)題目:輸入什麼、輸出什麼、用哪一類模型?

📖 原書 Figure 2翻譯系統的輸入與輸出(依原書內容重繪)

📖 原書 Input:使用者給的一串原文字,加上目標語言。Output:目標語言的一串字。

📖 原書 一種語言的一串字,換成另一種語言的一串字,這種結構叫 sequence-to-sequence(seq2seq)。摘要、語音辨識也是同一種結構。

📖 原書 Figure 3英翻西的 encoder-decoder 模型(依原書內容重繪)

📖 原書 seq2seq 模型輸出的長度可以和輸入不同,由兩部分組成:Encoder 把輸入變成一串 context vector(讀完整句的筆記);Decoder 利用這些筆記,一次生成一個 token。

📖 原書 encoder 和 decoder 可以用 LSTM、GRU(兩種傳話式的舊架構)或 Transformer。Transformer 在翻譯上表現最好,尤其是長距離的依賴關係(句首的字影響句尾)。而且 attention 機制最早就是在翻譯的研究裡提出來的(原書參考文獻 [2])。

原書Choosing a suitable ML approach

Transformer 有三種,翻譯為什麼偏好 encoder-decoder?

這一步要解決三種 Transformer 都很強,都可以拿來翻。那要選哪一種?

📖 原書 三種變體(第 2 章講過)

變體擅長例子
Encoder-only理解、處理輸入;要生成通常得另外加機制BERT
Decoder-only生成任務非常有效OpenAI 的 GPT、Anthropic 的 Claude
Encoder-decoder一個讀、一個寫本章選這個

三種效能都強,也都能透過 prompt engineering(設計交給模型的那段開頭文字)這類技巧拿來翻譯。但 encoder-decoder 通常是首選,三個理由 →

你可以把它想成兩個人分工:一個專門聽懂原文,一個專門寫譯文。分工之後,各自可以做到最好。

① 理解和生成分開

很適合翻譯這種 seq2seq 任務。encoder 可以專心處理原文,在 decoder 開始寫之前完整讀懂。encoder 常用雙向的機制(bidirectional LSTM 或 Transformer),從左右兩個方向理解上下文(第 21 頁)。

② 天生處理不同長度

輸入和輸出的長度可以各自不同,沒有固定比例。I love you 三個字、사랑해 一個字,對它來說很自然。

③ Cross-attention

decoder 在生成時,可以動態地聚焦在原文的相關部分,讓譯文和原文的重點緊密對齊,提升準確度和品質。架構那一段細講(第 24、25 頁)。

延伸基礎第 3 階 · 背答案 · 懂的人可以跳到第 10 頁

  1. 文字接龍
  2. 先聽完再說
  3. 背答案
  4. 切塊編號
  5. 座標
  6. 位置
  7. 前後都看
  8. 對照原文
  9. 分數變機率
  10. 克漏字
  11. 驚訝分數
  12. 多留幾條路
  13. 數重疊
  14. 抓得全
  15. 選擇題

同一題考古題印了 100 次,會怎樣?

① 生活情境

考古題本裡,同一題印了 100 次。你一直練,那題的答案背得滾瓜爛熟。別的題目反而沒練到,正式考試換了題,你就不會了。

你猜猜看:教材裡「Thank you → Gracias」重複了一百萬次。模型最可能怎樣?

③ 這時才給名字

把練習資料背起來、而不是學會,叫 overfitting。學到的本事能用在新題目上,叫「泛化」。

② 動手玩
—練習過的句子—沒看過的新句子

④ 跟這章的關係原書資料準備的第三步「去重複」,理由就是防止模型 overfit 到某些例子(第 10 頁)。

原書Data Preparation · Text preprocessing · 動手玩

兩種教材,先把句對洗乾淨

這一步要解決原始句對很髒:缺一半、夾著網頁標籤、語言配錯、重複。不洗乾淨,模型會學壞。

📖 原書 兩種教材

General data:網路上公開的文字。Translation data:3 億組句對,每組是一句原文和它的譯文。兩種的原始文字都有雜訊、格式也不對。第 2 章講過一般資料,這章只講翻譯資料,分兩步:text preprocessing 和 text tokenization。

📖 原書 Text preprocessing 的四招

  • Remove missing data:原文或譯文缺一邊的,整組移除
  • Remove noisy data:夾著 HTML 標籤(網頁原始碼裡的 <b> 這類記號),或語言配錯的,移除
  • Deduplication:重複的句對移除,防止 overfit 到某些例子(第 9 頁)
  • Handle named entities:人名地名換成佔位符號(下一頁)

原書Handle named entities · 動手玩

人名地名很少見,先換成佔位符號

這一步要解決Burlingame 這種罕見的名字,模型常常翻壞。怎麼辦?

📖 原書 翻譯模型常常處理不好 named entities(命名實體:人名、地名、組織名)。做法:在文字裡找出這些實體,換成佔位 token;翻譯完,再換回原來的名字。

  1. 偵測:California(地名)、Burlingame(地名)、Anson Burlingame(人名)
  2. 替換:「The ENTITY_1 city, ENTITY_2, is named after diplomat ENTITY_3.」
  3. 翻譯完再把 ENTITY_1、2、3 換回去

📖 原書 這樣模型訓練時可以專心學句子的語境,不會被罕見的詞搞混。

你仔細看,Burlingame 出現兩次:一次是城市,一次是人名的一部分。所以替換時要先換長的「Anson Burlingame」,不然會換成「Anson ENTITY_2」。

原書Steps no longer needed · 動手玩

以前要做、現在反而不做的四件事

這一步要解決傳統翻譯系統會先把文字「簡化」。Transformer 時代為什麼不做了?


      

    📖 原書 現在通常跳過

    • Lowercasing:模型訓練時就學會分辨大小寫,例如公司 Apple 和水果 apple。改小寫會丟掉這個資訊
    • Stop word removal:the、and、in 這種停用詞,是句子文法結構的骨架;拿掉會破壞譯文的流暢和意思
    • Stemming、lemmatization:把字還原成詞根(stemming)或字典形(lemmatization)。現代模型本來就能處理詞形變化,還原反而丟掉有用的資訊
    • Punctuation removal:標點對句子結構和意思很重要,通常保留

    你想想看,這四件事以前為什麼要做?因為以前的模型小,得幫它把世界變簡單。現在的模型夠大,簡化反而是幫倒忙。

    延伸基礎第 4 階 · 切塊編號 · 懂的人可以跳到第 14 頁

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    四種語言,放進同一本字典

    ① 生活情境

    圖書館不叫你報書名,而是報索書號。模型也一樣,只認識號碼。這次麻煩的是:書架上有英、西、韓、法四種語言的書。

    你猜猜看:「一個單字一個號碼」,四種語言加起來,字典要多大?

    ③ 這時才給名字

    把句子切塊、每塊換成字典裡的號碼,叫 tokenization。字典裡查不到的字,叫 OOV(out-of-vocabulary)。

    「輸入的句子會先經過 Tokenization,被切成一個一個 Token,那每一個 Token 會對應到一個編號,對應到一個 ID。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

    ② 動手玩
    —切成幾塊—字典大概要多大—查不到的塊

    ④ 跟這章的關係原書選「常見的整塊、少見的拆零件」的 subword 切法,並細講怎麼用 BPE 從字母黏出這本字典(第 14–16 頁)。

    原書Text tokenization · Figure 4、5

    單字切法字典太大,原書改用 BPE

    這一步要解決四種語言放同一本字典,單字切法會變得又大又查不到新字。

    📖 原書 Figure 4單字切法造成的超大字典(依原書內容重繪)

    📖 原書 多語言翻譯裡,切法的選擇很重要。用 word-level(一個單字一塊),所有語言加起來會有數十萬個不同的字,又大又沒效率。傳統的單字切法也常常遇到 OOV 的字;subword 切法更有效率,能有效解決 OOV。

    📖 原書 因為很重要、又很常用,原書細講一個 subword 演算法:Byte-Pair Encoding(BPE)。它從字母開始,反覆把最常一起出現的組合合併成新的 subword。這樣就算是罕見、沒看過的字,也能拆成認識的零件。

    「其實今天文字模型上的 token 就是用 BPE 這個演算法找出來的……他會去找說哪一些 token 常常一起出現……就把它合併起來,用一個新的符號來表示他。」🎓 李宏毅課堂 生成式AI時代下的機器學習 2025 · 第十二講

    📖 原書 Figure 5語料庫裡每個字出現的次數(依原書內容重繪)

    📖 原書 初始設定:假設語料庫只有 cat、cats、dog、dogs 四個字。

    原書BPE · Initial setup · Iterative merging · Figure 6–10 · 動手玩

    從字母開始,一輪一輪「黏」出字典

    這一步要解決字典要從哪裡來?讓資料自己告訴我們,哪些字母常常黏在一起。

    📖 原書 Figure 7、8第 1、2 輪的樣子;之後幾輪對到 Figure 9、10(依原書內容重繪,逐輪播放是本簡報加的互動)

    📖 原書 初始設定(Figure 6)

    1. 每個字尾加上特殊記號 </w>,標出「字到這裡結束」
    2. 每個字拆成一個一個字母
    3. 用字母和它們的出現次數,當作初始字典

    📖 原書 反覆合併:前五輪

    1. d + o → do:一起出現 10 次(dog、dogs)。og 也是 10 次,但 do 字母順序在前
    2. do + g → dog:10 次
    3. c + a → ca:8 次(cat、cats),cat 變成 ca + t
    4. ca + t → cat:8 次;cats = cat + s,dogs = dog + s
    5. s + </w> → s</w>:7 次(dogs、cats)

    一直合併到字典達到預定大小,或達到停止條件。字典越來越精簡地描述整個語料庫。

    原書The </w> token · Figure 11 · 動手玩

    字典有了:切塊、換號碼,變成訓練資料

    這一步要解決學到的字典要怎麼用在新字上?句對又要怎麼變成數字?

    用剛剛黏出來的字典切切看

    📖 原書 </w> 是關鍵:cat 後面接 </w>,代表「cat 這個字結束了」;沒有 </w> 的 cat,可能是別的字的一部分。這讓 BPE 能準確表示熟悉和沒看過的字。

    📖 原書 Figure 11英韓、英法句對做成訓練資料;原圖沒有寫出句子和編號,這裡的句子和編號都是示意(依原書內容重繪)

    📖 原書 字典建好之後,把每一句切好的句子換成一串整數,就是訓練資料。每一個語言對各一張表,例如英法一張、英韓一張。

    小結第 1–4 階:翻譯是什麼題目、教材怎麼準備

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    到這裡你已經會了

    • 翻譯就是「先聽完,再接龍」encoder 讀懂整句寫成筆記,decoder 看著筆記一個字一個字寫(第 5、6 頁)
    • 教材要先洗缺漏、雜訊、重複都移除;重複會讓模型背答案(第 9、10 頁)
    • 字典是黏出來的BPE 從字母開始,反覆合併最常一起出現的兩塊(第 13、15 頁)

    那句話現在走到哪裡

    1. 句對A beautiful day | Un día hermoso
    2. 洗資料兩邊都有、沒有標籤、沒重複 → 留下;大小寫和標點照留
    3. 切塊Abeautifulday|Undíahermoso
    4. 換號碼[32, 4998, 1938] | [1958, 9921, 30475]

    切法和號碼都是示意。

    下一階要解決:號碼只是頁碼,沒有意思。模型要怎麼從一串號碼裡「讀懂」這句話,還要知道誰先誰後?

    延伸基礎第 5 階 · 座標 · 懂的人可以跳到第 20 頁

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    día 和 day 的號碼差很多,意思卻一樣?

    ① 生活情境

    座位照學號排,好朋友會被拆散。改成照興趣排,愛打球的坐一區、愛畫畫的坐一區。誰跟誰像,看位置就知道。

    你猜猜看:如果每個字都照「意思」排座位,西班牙文的 día 最可能坐在誰旁邊?

    ③ 這時才給名字

    給每個 token 一組短短的數字當座標,叫 embedding。座標是訓練時模型自己挪出來的。

    「可能會有一個方向代表中文英文的翻譯……Cold 跟『冷』它們之間相減的方向,跟『熱』減掉 Hot 的方向……可能是非常接近的。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

    ② 動手玩
    點一個字,看誰離它最近

    ④ 跟這章的關係原書 encoder 和 decoder 的第一個元件,都是查這張座標表(Figure 13,第 20 頁)。

    延伸基礎第 6 階 · 位置 · 懂的人可以跳到第 20 頁

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    「狗咬人」跟「人咬狗」,模型分得出來嗎?

    ① 生活情境

    把「狗咬人」三個字丟進袋子再倒出來:狗、咬、人。「人咬狗」倒出來也一樣。不管順序,新聞就變了。

    你猜猜看:只看「有哪些字」,dog bites man 和 man bites dog,看起來一樣嗎?

    ③ 這時才給名字

    替每一格加上「第幾格」的資訊,叫 positional encoding。

    「假設現在本來 A、B、C 三個 Token 代表你打我,那改成 CBA 就變成我打你,那意思完全不一樣,但是最後一個位置算出來的 Embedding 卻是一樣的。」🎓 李宏毅課堂 如何讓 Transformer 知道輸入 Token 的順序?

    ② 動手玩

    ④ 跟這章的關係原書沿用前一章的結論:固定公式或學出來的都有效,為了簡單選固定的 sine-cosine(第 20 頁;公式細節在 Smart Compose 那份)。

    原書Model Development · Encoder · Figure 12、13

    Encoder 的三個元件:查座標、加位置、反覆讀

    這一步要解決encoder 要把一串號碼,變成每個 token 一個「讀懂了」的向量。

    📖 原書 Figure 12Encoder 的元件(依原書內容重繪)

    📖 原書 encoder-decoder 的元件和第 2 章的 decoder-only 很像。encoder 處理輸入序列,替每個輸入 token 輸出一個 embedding。三個元件:

    Text embedding

    把每個 token 換成一個 embedding 向量(第 18 頁的座標),捕捉每個 token 的意思。

    📖 原書 Figure 13Token embedding table(依原書內容重繪)

    Positional encoding

    注入每個 token 的位置資訊(第 19 頁)。固定和學習的方法實務上都有效,為了簡單,選固定的 sine-cosine。

    Transformer:一疊 Transformer block,下一頁講。

    延伸基礎第 7 階 · 前後都看 · 懂的人可以跳到第 22 頁

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    「bank」是銀行還是河岸?要看後面的字

    ① 生活情境

    「I went to the bank to fish.」讀到 fish(釣魚),你才知道 bank 是河岸,不是銀行。有些字要看後面才懂。

    你猜猜看:只准看 bank 左邊的字(I went to the),猜得出它是哪個意思嗎?

    ③ 這時才給名字

    每個字自己決定要看句子裡哪些字、看多重,叫 self-attention。只准看左邊的版本,叫 masked self-attention(把右邊遮起來)。

    「這種只考慮左邊、只考慮前面的 attention,叫做 Causal Attention……一個 Token 不是只受左邊的詞彙影響,也有可能受到右邊的詞彙影響。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

    ② 動手玩
    點一個字,看它能看到誰

    ④ 跟這章的關係encoder 讀的是已經完整的原文,可以前後都看;decoder 還在寫,右邊的字還不存在,只能看左邊(Figure 16,第 22 頁)。

    原書Encoder · Transformer · Self-attention mechanism · Figure 16 · 動手算

    Encoder 的 Transformer:前後都看,看好幾輪

    這一步要解決有了座標和位置,encoder 怎麼真的讀懂整句?1,000 個字會不會太貴?

    📖 原書 Transformer 用一疊 block 處理 token embedding。每個 block 有一層 self-attention(用 multi-head attention,MHA:同時從好幾個角度回頭看),加一層 feed-forward(每個 token 自己再消化一下),中間夾 normalization(把數字的大小拉回穩定範圍),讓訓練穩定。

    動手算:1,000 個字要比幾對?

    —每一層要算的「相關程度」對數—跟 1,000 個字比

    📖 原書 需求是最多 1,000 字,標準的 attention 就夠用,不需要為了效率改用最佳化過的 attention。

    📖 原書 Figure 16encoder 和 decoder 的 self-attention 不一樣(依原書內容重繪)

    📖 原書 Encoder:每個 token 看序列裡所有其他 token,全面理解整句。Decoder:每個 token 只能看它前面的 token,未來的 token 被 mask 遮住。因為生成時,模型只能用已經生出來的字去猜下一個字。

    原書Decoder · Figure 14 · Key differences

    Decoder:一邊看筆記,一邊一個字一個字寫

    這一步要解決decoder 要利用 encoder 的筆記和已經寫出的字,猜下一個字。它比 encoder 多了什麼?

    📖 原書 Decoder 的四個元件:

    • Text embedding:目標序列的每個 token 換成 embedding
    • Positional encoding:注入位置資訊
    • Transformer:處理目標序列,輸出更新過的 embedding
    • Prediction head:用更新過的 embedding 預測下一個 token

    📖 原書 和 encoder 的三個主要差異

    1. Cross-attention layer:多一層回頭看 encoder 的筆記(第 24 頁)
    2. Self-attention mechanism:只能看前面(上一頁 Figure 16)
    3. Prediction head:最上面多一個吐機率表的頭(第 28 頁)
    📖 原書 Figure 14Decoder 的元件(依原書內容重繪)

    延伸基礎第 8 階 · 對照原文 · 懂的人可以跳到第 25 頁

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    寫到「hermoso」時,眼睛要回到原文哪裡?

    ① 生活情境

    筆譯員寫譯文,每寫一個字,眼睛就回到原文找對應的地方。寫「día」看 day,寫「hermoso」看 beautiful。每個字看的地方都不一樣。

    你猜猜看:寫西班牙文第三個字「hermoso」時,最該看原文 A beautiful day 的哪個字?

    ③ 這時才給名字

    decoder 寫每個字時,回頭看 encoder 筆記、自己決定看哪裡看多重,叫 cross-attention。上一階的 self-attention 看「自己這一句」,cross 是看「另一句」。

    ② 動手玩
    點上面的西班牙文,看它回頭看原文的哪裡

    ④ 跟這章的關係原書選 encoder-decoder 的第三個理由就是它(第 8 頁)。attention 最早就是為了翻譯的「對齊」發明的。

    原書Cross-attention layer · Figure 15

    Cross-attention:decoder 的每個字,都能看 encoder 的每個字

    這一步要解決寫譯文的時候,怎麼隨時對照原文的每一個地方?

    📖 原書 Figure 15Cross-attention layer(依原書內容重繪)

    📖 原書 decoder 的 Transformer 有一層 cross-attention:對 encoder 的輸出做 MHA。decoder 裡的每一個 token,都能 attend(注意)到 encoder 的所有 embedding。

    📖 原書 這樣 cross-attention 就能在生成輸出的過程中,有效地整合輸入序列的資訊。

    用我們的例子讀這張圖

    每一列加起來是 100%(示意)。對角線不是最深的:día 和 hermoso 交叉了。

    小結第 5–8 階:模型怎麼讀、怎麼寫(上)

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    到這裡你已經會了

    • 號碼先換成座標,再加上位置embedding 與 positional encoding:意思近就站得近,還分得出誰先誰後(第 18、19 頁)
    • encoder 前後都看,decoder 只看左邊self-attention 與 masked self-attention(第 21、22 頁)
    • decoder 寫每個字,都回頭對照原文cross-attention:día 看 day、hermoso 看 beautiful(第 24 頁)

    那句話現在走到哪裡

    1. 查座標A、beautiful、day 各變成一組數字
    2. 加位置第 0、1、2 格
    3. encoder前後都看好幾輪 → 三份筆記
    4. decoder已寫 Un día,只看左邊
    5. 對照原文回頭看筆記,最重的是 beautiful

    下一階要解決:decoder 最後吐出的是一排分數。分數可以是負的,加起來也不是 100%,怎麼變成「下一個字的機率表」?

    延伸基礎第 9 階 · 分數變機率 · 懂的人可以跳到第 28 頁

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    評審的分數,怎麼變成「得票率」?

    ① 生活情境

    歌唱比賽,評審給 hermoso 2 分、bonito 1 分、gato 0 分。分數可以是負的,加起來也不是 100。要擲骰子,得先換成加起來剛好 100% 的比例。

    你猜猜看:三個分數都加 10 分(12、11、10),換成百分比之後會怎樣?

    ③ 這時才給名字

    把一排分數變成「每個都在 0 到 1 之間、加起來是 1」的機率,叫 softmax。轉換之前的分數叫 logit。

    「你要對它做一個操作,這個操作叫做 softmax。把 logit 轉成機率……每一個向量裡面的數字,變成介於 0 到 1 之間,這個向量裡面所有數字的總和變成 1。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

    ② 動手玩

    ④ 跟這章的關係decoder 最上面的 prediction head 就是「打分數+softmax」(第 28 頁);語言偵測器最後也用它(第 48 頁)。

    原書Prediction head · 動手玩

    Prediction head:一排分數,變成整本字典的機率表

    這一步要解決decoder 讀完、對照完原文之後,要說出「下一個字是什麼」。

    分數和機率都是示意;真的字典有好幾萬個 token,每一個都會拿到一個機率。

    📖 原書 decoder 的 Transformer 上面有一個 prediction head,通常是一層 linear layer(線性轉換:替字典裡每個 token 算一個分數),接著一層 softmax(第 27 頁),把 Transformer 的輸出變成整本字典上的機率,用來決定最可能的下一個 token。

    📖 原書 encoder 與 decoder 對照

    EncoderDecoder
    Self-attention看全部 token只看前面(mask 未來)
    Cross-attention沒有看 encoder 的所有輸出
    Prediction head沒有(輸出 embedding)linear + softmax

    原書Training · 1. Unsupervised pretraining · 動手玩

    兩階段訓練:先讀圖書館,再練翻譯

    這一步要解決模型蓋好了,裡面的數字一開始都是亂的。要怎麼教?

    📖 原書 兩階段:① Unsupervised pretraining(沒有標準答案的預訓練):用大量一般資料訓練 base model,讓它懂語言、文法和語境。② Supervised finetuning(有標準答案的微調):再用翻譯資料調成翻譯專用。

    📖 原書 預訓練資料

    常用的 C4、Wikipedia、StackExchange。第 2 章只要英文,這章要一個懂多種語言的 base model:不刪非英文,而是只留要翻的那四種語言,刪掉其他語言。

    📖 原書 預訓練很吃資源、很貴。實務上常直接用公開、已預訓練好的 encoder-decoder 模型,例如 Google 的 T5、Meta 的 BART,大幅省下成本。

    「第一階段的 Pre-training,就是機器像是一個學齡前的兒童,他就是每天玩,看到什麼就學什麼。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講

    動手篩:只留四種語言

    延伸基礎第 10 階 · 克漏字 · 懂的人可以跳到第 31 頁

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    先看完整篇課文,再考「下一個字是什麼」?

    ① 生活情境

    老師先把整篇課文發給你,再考「第三個字是什麼」,抄就好。克漏字不一樣:把幾個字塗掉,你得真的看懂上下文,才填得出來。

    你猜猜看:encoder 先看到整句「Thank you for inviting me」,再叫 decoder 接出同一句。decoder 會學到什麼?

    ③ 這時才給名字

    把一些字蓋起來、讓模型猜回來,叫 masked language modeling(MLM)。蓋住的地方放一個特殊 token [MASK]。

    ② 動手玩
    點字可以蓋住/打開
    —要動腦的格數—抄得到答案的格數

    ④ 跟這章的關係原書的預訓練不用「猜下一個字」,改用 MLM(第 31 頁)。

    原書ML objective · Masked language modeling · Figure 17

    預訓練考克漏字:不讓模型偷看答案

    這一步要解決沒有人出題,encoder-decoder 要考什麼,才學得到東西?

    📖 原書 第 2 章的主要 objective(訓練要達成的正式目標)是 next-token prediction。但在 encoder-decoder 的預訓練裡它不理想:訓練是 unsupervised,如果把整句交給 encoder,encoder 會把資訊編碼成讓 decoder 每次都猜對的樣子,等於「作弊」。

    📖 原書 所以改用 masked language modeling,也叫 masked token prediction,是預訓練 encoder-decoder Transformer 的常見 objective:把部分輸入 token 蓋住,訓練模型預測被蓋住的 token。

    📖 原書 MLM 讓 encoder 處理輸入句、把它編碼好,讓 decoder 能預測被蓋住的字。被蓋住的字在編碼時從來看不到,所以模型沒辦法作弊。

    📖 原書 Figure 17MLM objective 概觀(依原書內容重繪)

    延伸基礎第 11 階 · 驚訝分數 · 懂的人可以跳到第 33 頁

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    模型猜錯的時候,要罰多重?

    ① 生活情境

    氣象預報說明天下雨機率 90%,結果下雨了,你不驚訝。它說 1%,結果下大雨,你嚇一跳。越沒把握的事發生了,越驚訝。

    你猜猜看:模型給正確答案的機率,從 1/10 掉到 1/100,「驚訝分數」會怎樣?

    ③ 這時才給名字

    驚訝分數叫 loss:離正確答案多遠。「只看正確答案拿到多少機率」的算法,叫 cross-entropy。

    「反正你就知道說,這兩個機率分布越接近,那這個 Loss 算出來呢就會越小。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

    ② 動手玩
    —這一題的驚訝分數—等於「幾分之一」的機率

    ④ 跟這章的關係原書預訓練和微調都用 cross-entropy(第 33、35 頁)。算完 loss 再往 loss 低的方向調參數,就是 Smart Compose 那份的「蒙眼下山」。

    原書MLM 的 loss 計算 · Figure 18

    克漏字怎麼打分數:只算被蓋住的那幾格

    這一步要解決模型每一格都會猜,哪幾格的答案才要算進 loss?

    📖 原書 用 cross-entropy loss 量「預測機率」和「正確 token」差多少,引導訓練。五個步驟:

    1. 隨機選一部分輸入 token 換成 [MASK]:「Thank [MASK] for inviting [MASK]」
    2. 把蓋過的序列給 encoder,讓它在缺字的情況下理解上下文,替每個 token 輸出新的 embedding
    3. 給 decoder 同一句,但沒有蓋,而且在最前面插入 <BOS>(開頭記號),整句往右移一格
    4. decoder 替每個位置預測下一個 token,用的是前面所有的輸入 token 和 encoder 的資訊
    5. 只對被蓋住的 token,拿預測機率和正確答案算 cross-entropy

    📖 原書 總結:MLM 同時讓 encoder 和 decoder 都參與。encoder 透過編碼被蓋住的句子學會理解語言;decoder 學會用這些編碼預測被蓋住的字。兩邊都為下一階段的微調做好準備。

    📖 原書 Figure 18MLM objective 的 cross-entropy loss 計算;機率欄的數字原圖沒有描述,這裡是示意(依原書內容重繪)

    原書2. Supervised finetuning · Bilingual vs multilingual · Figure 19 · 動手算

    一種語言對一個模型,還是一個模型全包?

    這一步要解決base model 會語言了。要怎麼把它調成翻譯專用?

    📖 原書 Figure 19雙語模型與多語模型(依原書內容重繪,分成兩個分頁)

    —語言對(雙語模型數)—若每個方向各一個1多語模型數

    Bilingual(雙語)

    每個語言對訓練一個模型。優點:抓得到每個語言對獨特的細微差異;專門,所以通常更準;出問題時容易隔離、各個擊破。缺點:訓練、部署、維護很多個模型,很吃資源、很貴。

    Multilingual(多語)

    一個模型翻多種語言。優點:比雙語簡單、便宜,部署和維護都容易。mT5、mBART 等研究顯示,多語模型常常追上、甚至超過雙語模型。

    📖 原書 這一章重視準確度勝過簡單,所以選 bilingual。

    「我們也許可以拿 SFT 來打造一堆專才的模型……把 Pre-training 的模型變成一個翻譯的專才……第二條路線是直接打造一個通材。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講

    原書Training data · ML objective and loss · Figure 20、21

    微調:考的是「看著原文,猜譯文的下一個字」

    這一步要解決翻譯資料長什麼樣?微調時要考什麼、怎麼打分數?

    📖 原書 Figure 20不同語言對的訓練資料範例(依原書內容重繪)

    📖 原書 每個語言對一張表。每一列是一個例子:原文句子的 token ID 序列,加上譯文的 token ID 序列。

    📖 原書 預訓練是 unsupervised,微調是 supervised:encoder 處理原文 token,decoder 生成譯文 token。訓練完 decoder 要一個一個依序生成,所以 objective 用 next-token prediction,loss 用 cross-entropy。

    📖 原書 Figure 21微調階段的 loss 計算(依原書內容重繪)

    📖 原書 圖上為了簡單只畫一次預測。實際上就像第 2 章,decoder 同時預測所有位置的下一個 token,每個預測都算 loss。

    動手算:正確答案 Quel 拿到 0.73,驚訝分數是 −ln 0.73 ≈ 0.31(第 32 頁的滑桿拉到 73% 就是它)。

    延伸基礎第 12 階 · 多留幾條路 · 懂的人可以跳到第 37 頁

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    每一步都挑最好的,整句就最好嗎?

    ① 生活情境

    排旅遊行程,第一站挑評價最高的景點,結果它離下一站超遠,整天都在坐車。只看眼前這一步,可能錯過更好的整條路線。

    你猜猜看:路線 A:Hermoso(0.5)→ día(0.3)。路線 B:Un(0.4)→ día(0.9)。整條路誰的分數高?

    ③ 這時才給名字

    同時留 k 條路、每步展開後只留總分最好的 k 條,叫 beam search;k 叫 beam width。只留 1 條,就是「每步都挑最高的」。

    ② 動手玩

    只留 1 條路,就是每步挑最高的。

    ④ 跟這章的關係原書的翻譯用 beam search(第 37 頁);演算法的逐步圖解在第 2 章(Smart Compose 那份)。

    原書Sampling · Figure 22 · Table 1 · 動手玩

    翻譯要的是穩:同一句話,每次都翻得一樣

    這一步要解決訓練好了,要怎麼產生一整句譯文?擲骰子,還是挑最穩的?

    📖 原書 Figure 22生成譯文(依原書內容重繪)

    📖 原書 取樣時,模型根據已經生成的 token 和輸入序列的上下文,一個一個預測下一個 token。兩大策略:deterministic(例如 beam search)和 stochastic sampling。這裡選 beam search,兩個理由:

    • Translation accuracy:同時評估好幾條可能的序列、選最可能的那條,通常翻得更準
    • Consistency:同樣的輸入永遠得到同樣的輸出,少有意外。多樣性對翻譯系統既不必要、也不理想

    📖 原書 Table 1 兩種方法比較

    特性DeterministicStochastic
    Approach照可預測的流程產生輸出依機率分布產生輸出
    Efficiency要追蹤多條路,通常較慢隨機選擇,比較快
    Quality連貫、可預測多樣、有創意
    Risk長序列容易重複可能生出不恰當的輸出
    Use case需要一致的任務,如翻譯需要創意的任務,如開放式生成
    MethodsGreedy search、beam searchMultinomial、top-k、top-p

    動手翻五次:A beautiful day

    📖 原書 重視多樣和創意的應用(例如創意寫作)通常偏好 stochastic;第 4 章細講 top-k、top-p。

    小結第 9–12 階:怎麼吐機率、怎麼學、怎麼開口

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    到這裡你已經會了

    • 分數變機率靠 softmaxprediction head = 打分數+softmax(第 27、28 頁)
    • 預訓練考克漏字,微調考下一個字,都用驚訝分數MLM 防作弊;loss 用 cross-entropy(第 30、32、35 頁)
    • 開口時多留幾條路beam search:準,而且每次都一樣(第 36、37 頁)

    那句話現在走到哪裡

    1. 預訓練a [MASK] day → 猜回 beautiful
    2. 微調看著 A beautiful day,猜 Un → día → hermoso
    3. 驚訝分數hermoso 給 70% → loss 0.36
    4. 開口留 2 條路:Un día(0.36)勝過 Hermoso día(0.15)
    5. 一致翻 5 次都是 Un día hermoso

    下一階要解決:翻好了。可是「Un día bonito」也對啊。要怎麼替譯文打分數?

    延伸基礎第 13 階 · 數重疊 · 懂的人可以跳到第 40 頁

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    手上有一份標準答案,最省事的改法是什麼?

    ① 生活情境

    老師改翻譯作業,手上有一份標準答案。最省事的改法:數你寫的字裡,有幾成也出現在標準答案裡。

    你猜猜看:標準答案「Un día hermoso」。學生寫「hermoso día Un」。只看「單字有沒有出現」,幾分?

    ③ 這時才給名字

    連續 n 個字叫 n-gram(1 個字是 1-gram,連續 2 個字是 2-gram)。「我寫的裡面有幾成對」叫 precision。

    ② 動手玩

    標準答案:Un día hermoso

    —precision:對上的 ÷ 我寫的

    ④ 跟這章的關係原書第一個離線指標 BLEU 就是這樣數的,再加上「太短要罰」(第 40 頁)。

    原書Evaluation · Offline · BLEU · Figure 23

    離線評估一:BLEU,數 n-gram 對上幾成

    這一步要解決上線前,怎麼用標準譯文替模型打分數?

    📖 原書 評估要同時看翻得準不準和合不合語境。研究社群多年來公認的三個標準指標:BLEU、ROUGE、METEOR。

    📖 原書 BLEU(BiLingual Evaluation Understudy)是 precision-based:拿候選譯文的 n-gram 和參考譯文的 n-gram 比,數對上的比例。範圍 0 到 1,越高越精確。

    📖 原書公式BLEU 與 brevity penalty(依原書內容重繪)
    • N:最長看到幾-gram pn:n-gram 的 precision
    • wn:每種 n 的權重,通常平均分,例如看到 4-gram 就各 1/4
    • BP(brevity penalty):c 是譯文長度、r 是參考長度;c 比 r 長,BP = 1 不罰;c ≤ r,BP 依長度比例指數衰減
    📖 原書 Figure 23計算 2-gram precision(p2)的範例。原圖描述是一片空白,這裡用原書內文的例句重做

    原書BLEU 的優缺點 · 動手算

    BLEU 好算,但會冤枉「對、可是用字不同」的譯文

    這一步要解決BLEU 給的分數,真的等於翻得好不好嗎?

    BLEU 計算器(示意:N = 2,w1 = w2 = 1/2)

    
          

    📖 原書 優點:簡單、好算。缺點:會不公平地懲罰正確、但和參考譯文不同的翻譯。參考是「The engineer discovered a new algorithm」,譯文「The engineer found a new method」意思一樣,BLEU 卻可能扣分。即使有這個限制,BLEU 仍然有參考價值,實務上被廣泛使用。

    「假設我們現在要求模型做一個翻譯的任務,它要把 HUMOR 這個字呢,翻譯成中文。那 HUMOR 翻譯成中文也許可以翻『詼諧』,但假設標準答案寫的是『幽默』怎麼辦呢?那難道要算模型完全錯、得到 0 分嗎?」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講

    延伸基礎第 14 階 · 抓得全 · 懂的人可以跳到第 43 頁

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    寫得都對,就是滿分嗎?漏掉的怎麼算?

    ① 生活情境

    老師要你列出課本的 4 個重點。小明只寫 1 個,完全正確。小華寫了 8 個,4 個重點都在裡面,也混了一些廢話。誰比較「準」?誰比較「全」?

    你猜猜看:小明寫的都對,但 4 個重點只抓到 1 個。他抓到幾成?

    ③ 這時才給名字

    「標準答案裡的東西,我抓到幾成」叫 recall。上一階的 precision 看準,recall 看全。

    ② 動手玩

    標準答案:Un día hermoso

    ④ 跟這章的關係原書第二個指標 ROUGE 看 recall;第三個指標 METEOR 把兩個合起來(第 43、44 頁)。

    原書Offline · ROUGE · Figure 24

    離線評估二:ROUGE,看參考譯文被抓到幾成

    這一步要解決BLEU 只看「我寫的對不對」,漏掉的字沒人管。

    📖 原書 ROUGE(Recall-Oriented Understudy for Gisting Evaluation)是很常用的指標,補 BLEU 的不足:看 recall 而不是 precision,量候選和參考之間 n-gram 重疊的比例。例如 ROUGE-N 的 recall:

    📖 原書 Figure 24原書圖說是「詞彙之間關係的範例」,但 alt 描述的是 recall 公式;這裡照 alt 畫公式(依原書內容重繪)

    📖 原書 想多了解公式可看原書參考文獻 [17]。和 BLEU 一樣,ROUGE 好實作、算得快;主要缺點是不懂語境:用字不同、意思相近的譯文,可能拿到很低的 ROUGE。

    用原書的例句算一次

    內容
    參考The engineer discovered a new algorithm
    譯文The engineer found a new method
    ROUGE-1 recall參考 6 個字,對上 The、engineer、a、new → 4/6 ≈ 0.67
    ROUGE-2 recall參考 5 個 2-gram,對上 The engineer、a new → 2/5 = 0.40

    分數和 BLEU 差不多低。因為兩個指標都只認「字面一模一樣」,found 和 discovered 在它們眼裡就是不一樣的字。

    課堂上也說:BLEU、ROUGE「本質上就是在計算輸出跟標準答案有多少共用的詞彙」(🎓 第 4 講)。

    原書Offline · METEOR · 動手玩

    離線評估三:METEOR,認得同義詞

    這一步要解決意思一樣、用字不一樣,能不能也給分?

    —precision—recall—調和平均(示意)

    調和平均像算來回的平均時速:去程 60、回程 40,平均是 48 不是 50。哪一邊很差,就把整體拉下來。

    📖 原書 METEOR 算 precision 和 recall,再用加權調和平均合起來。不同於只認字面的 BLEU 和 ROUGE,它考慮同義詞和詞形變化:參考寫 run、譯文寫 running,它認得是相關的字。同義詞來自 WordNet 這類詞彙資料庫,它把字分成各種同義詞集合,並標出集合之間的關係。

    優點缺點
    懂語意:不同用字、相同意思時評得更準計算複雜:要做同義詞、詞根比對,比較難實作、比較慢
    平衡:合併 precision 和 recall,抓出又準又完整的譯文依賴資源:同義詞典、詞根演算法,不是每種語言都有
    更像人:和人工判斷的相關性比 BLEU、ROUGE 好

    「METEOR 這個指標呢已經會考慮詞彙之間的語意相似的程度……比如說你給它 WordNet 的資料,告訴它說哪些詞彙呢字面上不一樣,但是語意其實是一樣的。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講

    📖 原書 三個指標都能看出模型表現,實務上都常用。

    原書Online evaluation metrics · Figure 25 · 動手玩

    上線之後:問使用者滿不滿意、還會不會回來

    這一步要解決離線分數好看,真實使用者覺得好用嗎?

    📖 原書 Figure 25收集使用者回饋(原圖是產品畫面,改畫成線框圖)
    0送出的回饋—覺得翻得好的比例

    📖 原書 線上評估看系統在 production(正式上線的環境)跑得好不好。用兩個指標量使用者的滿意度和參與度:

    User feedback

    收集使用者對翻譯品質的評分或意見。很有參考價值,因為它直接反映滿意度。

    User engagement

    監看使用者多常用翻譯功能、互動多久、多常回來。用來了解這個工具在真實世界裡多有價值、多有效。

    📖 原書 離線+線上,才能完整掌握表現:既符合技術標準,也滿足使用者期待。

    原書Overall ML System Design · Figure 26

    全部接起來:模型只是其中一格

    這一步要解決使用者貼上一句話,到看到譯文,中間要經過哪些關卡?

    📖 原書 Figure 26語言翻譯的整體設計(依原書內容重繪)

    📖 原書 兩個關鍵元件

    Language detector(語言偵測器):判斷原文是哪種語言(第 48 頁)。Translation service(翻譯服務):找對的模型、做 beam search、轉回文字(第 49 頁)。

    四個步驟

    1. 使用者給一句原文和想要的語言
    2. Language detector 判斷原文語言
    3. Translation service 依「偵測到的語言 × 想要的語言」選模型,用 beam search 生成
    4. token 轉回文字,顯示給使用者

    延伸基礎第 15 階 · 選擇題 · 懂的人可以跳到第 48 頁

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    「這句是哪種語言?」其實是一題四選一

    ① 生活情境

    改選擇題比改作文容易,答案只有 A、B、C、D。看到一本外文書名,你會找線索:有 ñ 像西班牙文、有 é 像法文、方方正正的字是韓文。

    你猜猜看:「Merci beaucoup」是哪種語言?

    ③ 這時才給名字

    從幾個固定的選項裡選一個,叫 classification(分類)。這題的選項就是四種語言,輸出是四個百分比(第 27 頁的 softmax)。

    ② 動手玩

    ④ 跟這章的關係原書的 language detector 就是一個分類器,用 encoder-only Transformer 做(第 48 頁)。

    原書Language detector · Figure 27

    語言偵測器:encoder 讀完,再接一個「選擇題的頭」

    這一步要解決使用者不一定認得原文的語言(例如一本看不懂的書名),系統要自己判斷,才知道要用哪個模型。

    📖 原書 Figure 27用 encoder-only Transformer 做語言偵測的兩種做法(依原書內容重繪,分成兩個分頁)

    📖 原書 語言偵測器判斷文字的語言,讓我們能用專門為這個語言訓練的模型。這可以當成 sequence classification(替整個序列分類);encoder-only 架構很適合。把 encoder-only Transformer 改成分類器,有兩種方式:

    Option 1:Average pooling

    把 Transformer 每個 token 的輸出平均成一個向量(像全班成績取平均),再交給 prediction head 輸出各語言的機率。

    Option 2:Last token representation

    只拿 Transformer 輸出的最後一個 token 的向量,交給 prediction head。

    為什麼只拿最後一個也可以?因為 encoder 是前後都看的(第 21 頁),讀完之後,最後一個 token 的向量裡已經混進了整句的資訊。

    原書Translation service · 動手玩

    翻譯服務:依「從哪種語言 × 到哪種語言」找模型

    這一步要解決知道原文語言和目標語言之後,要叫哪一個模型?

    想翻成:

    📖 原書 翻譯服務依偵測到的語言和想要的語言,去找對應的那個模型;接著用 beam search 生成目標語言的 token 序列,再把 token 轉回文字,最後把譯文顯示給使用者。

    你猜猜看:4 種語言,如果每個翻譯方向(例如英→西、西→英)都各有一個雙語模型,要準備幾個?

    你可能會想說,如果偵測到的語言跟想要的一樣呢?那就不用翻了,直接回傳。這種小細節,面試時講出來會加分。

    小結第 13–15 階:怎麼打分數、怎麼上線

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    到這裡你已經會了

    • 對答案先數重疊,太短要罰n-gram precision 加上 brevity penalty,就是 BLEU(第 39、40 頁)
    • 準和全都要看,最好還認得同義詞ROUGE 看 recall,METEOR 合併兩者、查 WordNet(第 42、44 頁)
    • 系統先做一題選擇題,再叫對的模型language detector 分類,translation service 選模型、beam search(第 47、49 頁)

    那句話現在走到哪裡

    1. 偵測A beautiful day → 英文
    2. 選模型英 → 西 的雙語模型
    3. 生成beam search → Un día hermoso
    4. 離線BLEU 1.00;如果是 Un día bonito,0.58
    5. 線上使用者按下「好」、或提出修改

    15 階全部爬完。接下來是原書面試最後可以多聊的題目,和 2026 年這幾個零件的演進。

    原書Other Talking Points

    面試還有時間,可能會被問到這些

    📖 原書 時間允許時可以討論

    • 訓練資料很少的語言:用 transfer learning(把學過的本事搬過來)和多語模型 [20]
    • 用 decoder-only Transformer 做翻譯 [21]
    • 透過使用者回饋持續改進翻譯模型 [22]
    • 高效率推論與裝置端翻譯的最佳化技巧 [23]
    • 開發單一多語模型 [24]
    • 其他自動指標,例如 WER(word error rate)怎麼算 [25][26]
    • 怎麼建一個語言偵測模型 [27]

    每一題回到今天的哪一頁

    • 資料少的語言、單一多語模型 → 第 34 頁的 bilingual vs multilingual,和第 52 頁
    • decoder-only → 第 8 頁的三種變體;文字接龍本身就能「看著前文」翻(第 5 頁)
    • 使用者回饋 → 第 45 頁的「Suggest an edit」
    • 裝置端 → 需求第 4 頁先排除了;要做就得把模型變小
    • WER → 跟第 39 頁一樣在對答案,但數的是「要改幾個字才會變成標準答案」
    • 語言偵測 → 第 47、48 頁

    📅 2026 補充方法怎麼演進

    原書之後,這幾個零件往哪裡走

    這一步要解決原書的選擇(雙語模型、encoder-decoder、BLEU)在之後幾年有什麼變化?

    一個模型翻很多種語言

    原書引用的 NLLB-200(Meta,2022)用單一模型處理 200 種語言;原書開頭引用的 2024 年 Google 翻譯公告,新增的 110 種語言也是用大型語言模型 PaLM 2 做的。路線從「一群專才」往「一個通才」移動,資料少的語言受惠最多。

    Decoder-only 也翻得很好

    通用的大型語言模型靠 prompt 就能翻譯,這正是原書 other talking points 的第二點。課堂分析過一個有趣的現象:

    「語言模型好像是在內心裡先把法文變成了英文,然後才把英文變成了中文。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講(Logit Lens 分析 Llama 翻 fleur)

    指標:從數字面重疊,到比較語意

    BLEU、METEOR 還在用,但研究上越來越常看「學出來的指標」,例如用模型的 embedding 比語意的 BERTScore、COMET。

    「BERTScore 就是拿來計算標準答案跟輸出之間相似程度的、語意上相似程度的一種方法。」🎓 李宏毅課堂 導論 2025 · 第 4 講

    用回饋持續訓練,要小心「忘記」

    拿使用者回饋或新語言的資料繼續訓練,模型可能把原本會的東西弄壞。

    「今天你教模型做 Post Training 以後,模型遺忘他本來就有的能力,是一個非常常見的事情。」🎓 李宏毅課堂 生成式AI時代下的機器學習 2025 · 第六講

    原書Summary 心智圖

    原書這一章的總結圖

    📖 原書 Summary 圖依 alt 描述的分支重繪;alt 寫「general text and email data」,email 疑為前一章的誤植,照畫並加註

    回顧15 階全部爬完

    1. 文字接龍
    2. 先聽完再說
    3. 背答案
    4. 切塊編號
    5. 座標
    6. 位置
    7. 前後都看
    8. 對照原文
    9. 分數變機率
    10. 克漏字
    11. 驚訝分數
    12. 多留幾條路
    13. 數重疊
    14. 抓得全
    15. 選擇題

    Google 翻譯其實就是一個「看著原文」的文字接龍而已。

    它怎麼讀懂

    句對先洗乾淨、用 BPE 切塊 → 查座標、加位置 → encoder 前後都看,寫成筆記。

    它怎麼寫

    decoder 只看左邊、隨時用 cross-attention 對照原文 → softmax 吐出機率表 → beam search 挑最穩的那句。

    它怎麼學

    先考克漏字(MLM)讀遍四種語言,再用 3 億組句對練「看著原文猜下一個字」,loss 都是驚訝分數。

    它怎麼知道翻得好不好

    離線看 BLEU、ROUGE、METEOR;上線看回饋和回訪。前面還有一題選擇題:這句是哪種語言。

    先聽完,再一個字一個字說;每說一個字,都回頭看一眼原文。然後呢?然後就結束了。

    名詞小卡課後複習用 · 每個詞一行白話

    本章名詞小卡

    名詞一行白話在哪一頁
    language model猜下一塊字的機器,就是文字接龍第 5 頁
    token模型一次猜的那一塊,大約一個字或半個字第 5 頁
    seq2seq一串換一串,長度可以不一樣第 7 頁
    encoder / decoder先讀懂寫筆記的一半/看筆記寫譯文的一半第 6 頁
    overfitting背答案,不是學會;新句子就不會了第 9 頁
    deduplication去掉重複的句對,免得背答案第 10 頁
    named entity人名、地名;先換成 ENTITY_1,翻完再換回第 11 頁
    tokenization / OOV切塊換號碼/字典裡查不到的字第 13 頁
    BPE從字母開始,反覆黏起最常一起出現的兩塊第 15 頁
    </w>「字到這裡結束」的記號第 16 頁

    忘了哪個詞,就回到右邊那一頁,四步再走一次。

    給工程師的重點出處、公式與頁碼對照

    本章引用的來源

    原書

    Generative AI System Design Interview · Google Translate 章。Introduction 與 Figure 1(第 2、4 頁)、Clarifying Requirements(4)、input/output、seq2seq、Figure 2–3(7)、選擇 encoder-decoder 的三個理由(8)、兩種資料與 text preprocessing(10)、named entities(11)、不再需要的四個步驟(12)、tokenization 與 Figure 4–5(14)、BPE 初始設定與五輪合併、Figure 6–10(15)、</w> 與 Figure 11(16)、encoder、Figure 12–13(20)、Transformer block、1,000 字不需最佳化 attention、Figure 16(22)、decoder、三個差異、Figure 14(23)、cross-attention 與 Figure 15(25)、prediction head(28)、兩階段訓練與預訓練資料、T5/BART(29)、MLM 與 Figure 17(31)、loss 五步驟與 Figure 18(33)、bilingual vs multilingual 與 Figure 19(34)、微調資料與 loss、Figure 20–21(35)、sampling、Figure 22、Table 1(37)、BLEU 公式與 Figure 23(40)、BLEU 優缺點(41)、ROUGE 與 Figure 24(43)、METEOR(44)、online metrics 與 Figure 25(45)、整體設計與 Figure 26(46)、language detector 與 Figure 27(48)、translation service(49)、Other Talking Points(51)、Summary 圖(53)。28 張圖全部依圖說與 alt 重繪,不是原圖;Figure 1、25 產品畫面改線框圖;Figure 23 alt 空白,用內文例句重做;Figure 24 圖說與 alt 不符,照 alt 畫

    本簡報加的頁面:概念階梯(3)、15 個延伸基礎(5、6、9、13、18、19、21、24、27、30、32、36、39、42、47)、小結(17、26、38、50)、名詞小卡(55)。貫穿例子「A beautiful day → Un día hermoso」出自原書 Figure 2;所有機率、attention 權重、號碼都是示意

    🎓 李宏毅課堂(逐字稿)

    • 生成式人工智慧與機器學習導論 2025 · 第 1 講(TigfpYPJk1s)— 機率分佈與擲骰子
    • 同 · 第 3 講(8iFvM7WUUs8)— Tokenization 與 ID、Embedding 的翻譯方向、Causal Attention、softmax 與 logit、Logit Lens 分析 Llama 翻譯
    • 同 · 第 4 講(dWQVY_h0YXU)— BLEU/ROUGE 算共用詞彙、HUMOR 詼諧/幽默、METEOR 與 WordNet、BERTScore、Parrot
    • 同 · 第 6 講(mPWvAN4hzzY)— Cross-Entropy
    • 同 · 第 7 講(YJoegm7kiUM)— Pre-training 像學齡前兒童、專才與通才
    • 如何讓 Transformer 知道輸入 Token 的順序?(Ll-wk8x3G_g)— 你打我/我打你
    • 生成式AI時代下的機器學習 2025 · 第六講(Z6b5-77EfGk)— 後訓練的遺忘
    • 同 · 第十二講(gkAyqoQkOSk)— BPE 合併常一起出現的 token
    • 導論 2025 · 第 10 講(CbIPjrOj2Tc)— 語音版 BERT 的蓋住與還原(備註)

    來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)

    📅 依據與公式

    • 📅 NLLB-200:原書參考文獻 [24];Google 2024 新增 110 種語言、PaLM 2:參考文獻 [1]
    • 📅 BERTScore、COMET:公開的學習式指標
    • METEOR 原式:Fmean = 10PR/(R+9P),另有 fragmentation penalty(Banerjee & Lavie 2005)

    公式(主文用文字講過)

    • BLEU = BP · exp(Σn wn log pn);BP = 1(c>r)或 e1−r/c(c≤r)
    • ROUGE-N recall = 對上的 n-gram 數 ÷ 參考的 n-gram 數
    • softmax:pi = esi / Σj esj
    • cross-entropy:−Σi yi ln pi(one-hot 時 = −ln p正確)
    • self-attention 的對數:n × n(1,000 字 → 106)
    • 雙語模型數:N(N−1)/2 對,或 N(N−1) 個方向
    ← → 翻頁 · S 講者備註 · D 深/淺色
    1 / 1目錄