GenAI System Design · 第 7 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無(純白話版)

Realistic Face Generation
其實就是偽鈔犯跟警察一起長大而已

按一個鍵,冒出一張世界上不存在的臉。原書用這一題,把 GAN 從架構、訓練、取樣到評估拆過一遍。今天我們也一樣:先遇到問題,再看方法是怎麼被想出來的。

今天的路線

需求 → 一邊爬 12 階基礎、一邊對照原書(第 3 頁的階梯):臉從哪裡來 → 偽鈔犯與警察怎麼蓋 → 兩個人怎麼一起長大 → 怎麼打分數 → 整個系統 → 2026 年的變化。全程只用同一組「捏臉密碼」當例子。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 延伸基礎

標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。逼真的假臉可能被濫用,這件事只當成方法的限制來談(第 47 頁)。這章沒有 Triton 的資料,不放客座卡。

先講跟你有關的動手玩

你玩過遊戲的「捏臉」嗎?

捏臉系統有一排滑桿:臉寬、眼睛、笑容、頭髮。每個滑桿停在哪,就是一個數字。四個數字,就決定一張臉。

你可能會想說,那如果不是我來拉,而是電腦擲骰子亂拉呢?拉出來的,是一張世界上沒有人見過的臉。這一章做的事情,其實就是這個而已。只是原書的臉不是卡通,是照片等級。

📖 原書 Figure 1StyleGAN2 生成的逼真人臉

原圖是四張照片:深色頭髮表情嚴肅的男性、戴眼鏡微笑的短髮女性、穿紅衣的長髮年輕女性、灰髮留山羊鬍穿西裝的男性。照片不適合重繪,也不該用卡通冒充照片,所以只用文字描述。這四個人都不存在。

今天只回答三個問題:亂數怎麼變成臉?(模型)怎麼學會畫得像?(訓練)怎麼知道畫得好不好?(評估)

學習地圖今天要爬的 12 階 · 每一階只用前面學過的東西

一階一階往上爬,不跳階

  1. 1一組亂數臉要從哪裡開始?
  2. 2數字方格圖片到底是什麼?
  3. 3鐘形曲線亂數怎麼抽?
  4. 4壓縮還原為什麼會糊?
  5. 5偽鈔與警察誰來挑毛病?
  6. 6放大鏡小圖怎麼變大?
  7. 7統一尺度數字怎麼不亂跳?
  8. 8彎一下怎麼畫出曲線?
  9. 9驚訝分數猜錯罰多重?
  10. 10蒙眼下山罰完往哪改?
  11. 11有把握又多樣一張張清楚嗎?
  12. 12兩堆點像不像整堆像真的嗎?

臉從哪裡來 偽鈔犯與警察怎麼蓋 兩個人怎麼一起長大 怎麼打分數 英文名字等爬到那一階才給。

整堂課只用一組捏臉密碼

z = (1, 0, 2, −1)

臉寬 1、眼睛 0、笑容 2、頭髮 −1:一張愛笑的圓臉、短髮。每一階都拿它來玩。

每一階都走四步

① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。

每爬幾階就停一下

「到這裡你已經會了」:第 12、27、37、43 頁。最後還有名詞小卡(第 50 頁)。

原書Clarifying Requirements

原書的題目:生成逼真的人臉

這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。

📖 原書 應徵者 × 面試官

應徵者問面試官答
系統主要用在哪裡?先做娛樂和內容創作;未來也可能拿來收集資料
只做臉,還是整個身體?只做臉
要涵蓋不同種族、年齡、性別嗎?要。這對包容性、避免偏見很關鍵
要能控制臉部屬性嗎?例如改表情、但保留同一個人?好問題。先不做屬性控制,有時間再選擇性討論
訓練資料從哪來?多大?用有授權的公開資料集,符合隱私法規;共 70,000 張多樣的人臉
解析度要多少?1024×1024
生成一張臉要多快?接近即時:不到 1 秒

整理成需求清單

  • 功能:按一下就生成一張新的、逼真的臉(只有臉)
  • 選配:屬性控制(年齡、表情、髮型),先不做
  • 資料:70,000 張有授權的人臉
  • 品質:1024×1024;要多樣,不能有偏見
  • 速度:一張不到 1 秒

你想想看,「選配」這一題很重要。面試官說先不做,但原書最後選模型時,正是拿它當關鍵理由(第 17 頁)。「不到 1 秒」也是。

延伸基礎第 1 階 · 一組亂數 · 懂的人可以跳到第 6 頁

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

一張臉,可以只是一排數字嗎?

① 生活情境

捏臉的四個滑桿,每個停在一格。把四格的數字排成一排,就是這張臉的密碼。把密碼抄給朋友,他就捏得出同一張臉。

你猜猜看:每個滑桿只有 5 格(−2 到 2),4 個滑桿可以捏出幾種臉?

③ 這時才給名字

一排數字叫 vector(向量):先想成「一組數字」,或地圖上的一支箭頭。用亂數抽出來的那一組,叫 noise vector(雜訊向量)。

② 動手玩

每個數字從 −2、−1、0、1、2 裡抽一個。

④ 跟這章的關係原書系統的輸入就是一組 noise vector。使用者只按「生成」,亂數由系統自己抽(第 6 頁)。

原書Frame the Problem as an ML Task · Figure 2

把問題變成 ML 任務:輸入一組雜訊,輸出一張臉

這一步要解決使用者什麼都沒給,模型要拿什麼當輸入?輸出又是什麼?

📖 原書 Input:使用者通常不給特定輸入,只是說「給我一張新臉」。ML 模型需要數字當起點,所以多數影像生成模型從一個隨機的 noise vector 開始,再把它轉成逼真的影像。

📖 原書 如果系統支援屬性控制,使用者也可以把想要的屬性(年齡、性別、髮型)當輸入,引導生成。

📖 原書 Output:一張逼真的人臉影像;有指定屬性時,要反映那些屬性。

換成我們的例子:按下按鈕 → 系統抽出 z = (1, 0, 2, −1) → 模型把它變成一張愛笑的圓臉。輸入只有幾個數字,輸出卻是一整張圖。差多少?下一頁算給你看。

📖 原書 Figure 2人臉生成系統的 input 和 output(依原書內容重繪)

延伸基礎第 2 階 · 數字方格 · 懂的人可以跳到第 8 頁

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

對電腦來說,一張圖是什麼?

① 生活情境

十字繡遠看是一張臉,近看是一格一格的色塊。對電腦來說,每一格只是一個數字:越暗,數字越小。

你猜猜看:原書要 1024×1024 的圖,每格有紅、綠、藍 3 個數字。一張圖總共幾個數字?

③ 這時才給名字

每一格叫 pixel(像素)。一邊有幾格,叫 resolution(解析度)。格子越多,越細緻,也越難畫。

② 動手玩
點一格看它的數字
—格數—點到的那格(0 黑 – 255 白)—縮到 −1 到 1 之後

④ 跟這章的關係原書把每格的 0–255 縮成 −1 到 1(第 19 頁)。generator 要從 100 個數字長出整張方格(第 21 頁)。

延伸基礎第 3 階 · 鐘形曲線 · 懂的人可以跳到第 9 頁

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

亂數要怎麼抽?每個數字都一樣常見嗎?

① 生活情境

全班量身高,大部分人在中間,非常高、非常矮的很少。畫成長條圖,中間高、兩邊低,像一口鐘。

你猜猜看:擲兩顆骰子加起來,哪個數字最常出現?

③ 這時才給名字

中間多、兩邊少的形狀叫 Gaussian distribution(高斯分布、常態分布)。中心在 0、寬度是 1 的那個,叫 standard Gaussian。

② 動手玩

骰子越多顆加總,形狀越像一口鐘。

④ 跟這章的關係原書的 noise vector,每個數字都從 standard Gaussian 抽:大約 2/3 落在 −1 到 1,超過 ±3 的很少(第 36 頁會用到)。

原書Choosing a suitable ML approach

一組亂數,怎麼變成一張臉?原書列了四條路

這一步要解決輸入是一組亂數,輸出是一張臉。中間這台機器,要怎麼做?

📖 原書 影像生成有很多做法,原書只看業界最常用的四種,逐一講優缺點,再挑最適合人臉的那一個:

Variational autoencoder(VAE)

壓縮再還原(第 11 頁)

Generative adversarial network(GAN)

偽鈔犯與警察(第 14 頁)

Autoregressive model

一塊一塊接龍(第 15 頁)

Diffusion model

把雜訊一步步擦掉(第 16 頁)

四個名字聽起來很嚇人。先別管,後面每一個都會先講直覺。

「另外一個世界線最想要處理的問題是,這個世界並沒有標準答案。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 9 講

「我們從這個 Normal Distribution 裡面去做一個 Sample,Sample 出一個點,把這個點丟進生成模型裡面,經過一個很複雜的類神經網路的轉換,它會變成另外一個向量。」🎓 李宏毅課堂 同上

「VAE、GAN、Diffusion、Flow-based Model,你覺得它們看起來很不一樣,其實它們要解決的問題是同一個問題。」🎓 李宏毅課堂 同上

延伸基礎第 4 階 · 壓縮還原 · 懂的人可以跳到第 11 頁

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

用四個數字描述一張臉,再畫回來,會變怎樣?

① 生活情境

你打電話跟畫師描述朋友:「圓臉、普通眼睛、很愛笑、短髮」。四句話,畫師就畫得出來。描述是壓縮,畫出來是還原。

你猜猜看:同一句「愛笑的圓臉」,有時對到短髮照片、有時對到長髮照片。畫師學會畫「兩張的平均」,會畫出什麼?

③ 這時才給名字

負責壓縮的叫 encoder,負責還原的叫 decoder。中間那幾個數字,就是第 1 階的 vector。

「本來輸出綠色的你可以畫一隻狗,輸出紅色的可以畫另外一隻狗,輸出綠色跟紅色混合的,你可能就畫一個雙頭狗。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 9 講

② 動手玩

④ 跟這章的關係原書第一個方法 VAE,就是 encoder 加 decoder。它最大的缺點「模糊」,直覺上就是這個平均(第 11 頁)。

原書Variational autoencoder · Figure 3

VAE:先學會壓縮還原,再拿亂數直接還原

這一步要解決壓縮還原只會還原「看過的臉」。怎麼拿它來生出新的臉?

📖 原書 Figure 3VAE 的訓練與推論流程(依原書內容重繪)

📖 原書 VAE 要學的是資料的分布,學會後從分布裡抽點,就能生成新資料。Encoder 把圖映射到低維的 latent space(壓縮後那幾個數字所在的空間),輸出 latent vector;decoder 把它還原成一樣大小的圖。訓練時:壓縮再還原原圖。訓練後:從學到的 multivariate Gaussian(多個數字一起抽的鐘形曲線)抽點,只用 decoder 畫圖。靠 reparameterization trick(原書請讀者看參考文獻 [2]),latent space 可以平滑內插,適合影像變形、做變體。

Pros

  • Simple architecture:encoder、decoder 都好實作
  • Fast generation:抽一個點、decoder 畫一次
  • Stable training:通常簡單又穩
  • Compression capability:很會把圖壓成低維表示

Cons

  • Less realistic:抓不到高頻細節(頭髮、毛孔這種細小變化)
  • Blurriness:容易模糊、不銳利
  • Limited novelty:難生出跟訓練資料差很多的圖
  • Limited control:不支援文字描述、屬性控制這類額外輸入

📖 原書 結論:VAE 不適合生成高品質、細節多的圖。它的強項是把圖壓成精簡的表示;第 11 章會用這個壓縮能力做影片生成。

小結第 1–4 階:臉從哪裡來

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

到這裡你已經會了

  • 一張臉的起點,就是一排亂數noise vector:每個數字從鐘形曲線抽,大多在中間(第 5、8 頁)
  • 圖片就是數字方格pixel:1024×1024 的彩色圖有 300 多萬個數字(第 7 頁)
  • 壓縮還原會糊encoder、decoder:答案有好幾種時,畫平均就糊了;VAE 快又穩,但不夠銳利(第 10、11 頁)

z 這組密碼,現在走到哪裡

  1. 抽籤z = (1, 0, 2, −1)
  2. 它是一個 vector,數字都在鐘形曲線的中間
  3. 要變成一張 1024×1024×3 的數字方格
  4. VAEdecoder 畫得出來,但頭髮糊糊的

下一階要解決:糊,是因為沒有人告訴畫師「這張一看就是假的」。如果找一個專門挑毛病的人來呢?

延伸基礎第 5 階 · 偽鈔與警察 · 懂的人可以跳到第 14 頁

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

沒有標準答案,那就找一個人專門挑毛病

① 生活情境

偽鈔犯印鈔票,警察負責驗。警察抓到一張,偽鈔犯就改進;偽鈔變好,警察只好練眼力。兩個人一起變強。

你猜猜看:如果有一天偽鈔做到跟真鈔一模一樣,警察猜對的機率剩多少?

③ 這時才給名字

偽鈔犯叫 generator:把亂數變成圖。警察叫 discriminator:看一張圖,判斷是真的還是生成的。

「那如果這個 Discriminator 沒辦法分辨,就代表說原來的聲音訊號跟還原的聲音訊號非常像。」🎓 李宏毅課堂 導論 2025 · 第 9 講(課堂用聲音當例子)

② 動手玩

只練警察,或只練偽鈔犯,會怎樣?

④ 跟這章的關係這就是原書最後選的 GAN(第 14 頁)。訓練完,警察就下班了:生成時只用 generator。

原書Generative adversarial network · Figure 4

GAN:兩個網路玩一場持續的遊戲

這一步要解決怎麼讓生成的圖夠銳利、夠逼真,而且生成要快?

📖 原書 Figure 4GAN 的訓練與推論流程(依原書內容重繪)

📖 原書 GAN 由兩個網路組成:generator 把隨機雜訊變成圖;discriminator 判斷一張圖是真的還是生成的。訓練時兩邊持續比賽:生成的圖被正確判成「生成的」,generator 就被罰。一直比到 discriminator 分不出真假為止。

「你也可以輸入文字,但輸入文字只能夠指定眼睛跟頭髮的顏色,你在輸入更多模型是不會理你的。」🎓 李宏毅課堂 導論 2025 · 第 9 講(回顧 2017 年的二次元人物生成作業)

Pros

  • High-quality generation:以高品質出名
  • Fast generation:通常比 VAE 慢,但 generator 一次 forward pass(輸入從頭走到尾一次)就生出一張
  • Attribute control:改架構就能控制年齡、表情,例如「快樂又年長」的臉

Cons

  • Training instability:難訓練,常見 mode collapse(只會畫少數幾種)和 non-convergence(練不穩)
  • Limited control:屬性可以,再多就難,例如用文字描述生圖
  • Limited novelty:擅長某一類圖的變化,難生出跟訓練資料差很多的圖

📖 原書 結論:GAN 難訓練、控制有限;但細節好、支援臉部屬性控制,適合人臉生成與影像編輯。

原書Autoregressive model · Figure 5

Autoregressive:把圖切成一串,像文字接龍一樣接出來

這一步要解決文字接龍那麼強,圖片能不能也一塊一塊接?

📖 原書 Figure 5Autoregressive model 的訓練與推論流程(依原書內容重繪)

📖 原書 把影像生成當成序列生成:圖的每一部分依序生成。因為是序列,可以用 Transformer(專門做接龍的模型架構,見 Smart Compose 那份),利用它抓遠距離關係的能力。

「所以用像素接龍可以產生圖片,是在寒武紀就已經知道的事情。」🎓 李宏毅課堂 導論 2025 · 第 9 講(「寒武紀」指 2016 年)

📖 原書 結論:慢,但細節多又新穎。OpenAI 的 DALL-E 和 Google 的 Muse 都是 autoregressive;第 8 章細講。

Pros

  • High detail and realism:細節多、銳利
  • Stable training:比 GAN 穩
  • Control over generation:可加文字 prompt;Transformer 的輸入序列可以放任意多個輸入
  • Multimodal conditioning:只要變成一串數字向量,聲音也能當條件,例如給一段慶祝的音樂,生出相符的圖
  • Novelty:沒看過「火星上椅子上的酪梨」也畫得出來

Cons

  • Slow generation:一次一個 token(一小塊),比 VAE、GAN 慢
  • Resource-intensive:常有數十億個參數,訓練很貴
  • Limited image manipulation:沒有結構化的 latent space,難做臉部屬性控制

原書Diffusion model · Figure 6 · 動手玩

Diffusion:先學會把雜訊擦掉,再從一片雜訊擦出一張臉

這一步要解決一次畫好太難,那可不可以分很多步,每步只改一點點?

📖 原書 Figure 6Diffusion model 的訓練與推論流程;原圖是大頭照,這裡用 z 的像素臉代替(依原書內容重繪)

📖 原書 把生成當成反覆的過程。訓練時,在圖上一點一點加雜訊,訓練網路去預測加了什麼雜訊。生成時,從隨機雜訊開始,用網路反覆去雜訊,在固定步數內,每步補上一點細節,變成一張有意義的圖。

📖 原書 結論:慢,但細節、多樣性和想像力都很強。多數最先進的生圖模型(例如 DALL·E 3)是 diffusion;第 9 章細講。

Pros

  • High detail and realism:品質和逼真度卓越
  • Stable training:比 GAN 穩
  • Control over generation:跟 autoregressive 一樣,可以用文字等輸入控制
  • Novelty and creativity:新穎、有想像力
  • Robustness to noisy images:本來就在去雜訊,適合影像去噪

Cons

  • Slow generation:要去雜訊很多步,比其他方法慢
  • Resource-intensive:常有數十億參數,訓練貴
  • Limited image manipulation:沒有結構化的 latent space

原書Table 1 · 四種方法比一比 · 動手玩

四種方法放在一起比,人臉該選誰?

這一步要解決四種方法各有長短,要用這一題的需求來挑。

📖 原書 Table 1 影像生成方法的比較

CharacteristicsVAEGANAutoregressiveDiffusion
Quality 品質LowModerateHighExceptional
Speed 速度FastFastSlowSlow
Training stability 訓練穩定StableUnstableStableStable
Control over generation 生成控制LimitedLimitedFlexibleModerate
Facial manipulation 臉部操控NoYesNoNo
Novelty 新穎性LimitedLimitedHighHigh
Resource intensity 資源ModerateModerateHighHigh

勾選需求,看哪一欄還留著:

你猜猜看:需求是「不到 1 秒」加上「之後要能改臉部屬性」。四個方法剩誰?

你會發現,沒有一個方法每一列都贏。選方法其實就是:先講清楚你最在乎哪幾列,再看誰剩下來而已。

原書選擇 GAN · Figure 7 · 動手玩

原書選 GAN:因為它有一排可以拉的滑桿

這一步要解決為什麼「能改臉部屬性」這麼重要,重要到可以忍受難訓練?

📖 原書 為了逼真的人臉生成,選 GAN 當主要方法。GAN 特別有效,因為它可以透過結構化的 latent space(每個方向都有意思的那排數字)操控臉部屬性,而這是本章的選配需求。

結構化是什麼意思?就像我們的捏臉滑桿:第 4 個數字往下拉,頭髮就變少,其他地方不動。同一個人,只改一件事。

開場的捏臉,其實就是「結構化 latent space」的玩具版而已。真的 GAN 的方向不是人設計的,是訓練出來、再被找出來的(原書引用 [10])。

📖 原書 Figure 7臉部屬性操控。原圖是同一位男性的三張照片(取自原書引用 [10]),照片不重繪,這裡改用 z 的卡通臉表示結構
其他三個數字固定

原書Data Preparation · 動手玩

70,000 張臉,訓練前要先整理四件事

這一步要解決模型只會學你給它看的東西。給它模糊的、偏一邊的照片,它就學模糊的、偏一邊的臉。

📖 原書 ① 移除低品質、低解析度的圖

低解析度的直接拿掉;再用 ML 模型過濾模糊、品質差的。確保模型只從高品質的圖學。

📖 原書 ② Augment(擴增)

翻轉、旋轉、調色,人工增加訓練資料。模型看到更多變化,之後泛化得更好(學到的本事能用在沒看過的臉上)。

📖 原書 ③ Normalize 與 resize

全部調成標準尺寸,例如 1024×1024;數值縮到標準範圍,通常是 −1 到 1。

📖 原書 ④ 提升多樣性

用 ML 分類器幫每張圖標性別、年齡等屬性,再調整資料集,讓不同群體比例平衡。這一步對防止生成的臉有偏差至關重要。

看一張照片走過四步

延伸基礎第 6 階 · 放大鏡 · 懂的人可以跳到第 21 頁

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

小方格怎麼變成大方格?大方格怎麼縮回小方格?

① 生活情境

找照片裡的眼睛:拿一個小放大鏡,從左上角一格一格掃過去。反過來想把小圖變大:拿一顆印章,小圖的每一格,在大紙上蓋一個圖案。

你猜猜看:從 4×4 的小方格開始,每過一關邊長變 2 倍。要過幾關才會變成 64×64?

③ 這時才給名字

放大鏡掃圖叫 convolution(卷積)。印章式的放大叫 transposed convolution(轉置卷積)。放大鏡和印章上的數字,都是模型要學的。

② 動手玩

④ 跟這章的關係generator 用印章一路放大(第 21 頁);discriminator 用放大鏡一路縮小,最後只剩一個數字(第 26 頁)。

原書Architecture · Generator · Figure 8、9

Generator:一關一關放大,從 100 個數字長成一張圖

這一步要解決100 個數字,怎麼變成 64×64×3 的一張圖?

📖 原書 Figure 8一系列 upsampling block(依原書內容重繪)

📖 原書 Generator 吃隨機雜訊、吐出一張圖。架構是一串 upsampling block(放大關卡),每關把高、寬變大,把低維的 noise vector 慢慢變成目標大小的 2D 圖。每關有三個零件:

① Transposed convolution

又叫 deconvolution、upsampling convolution,增加空間解析度,做的是一般 convolution 的反向。常用在影像生成、semantic segmentation(幫每個像素分類)、super-resolution(把圖變清楚)。做法:先在輸入的像素之間插零撐大,再用 filter 掃;調整 stride(每次移幾格)和 padding(外圍補幾圈)得到想要的大小。

📖 原書 例子:1×1×100 用 1024 個 1×1、stride 1 的 filter → 4×4×1024;再用 512 個 3×3、stride 1 的 filter → 8×8×512。這就是 Figure 8 的前兩關。PyTorch 裡通常用 ConvTranspose2d。

② Normalization layer、③ Non-linear activation:第 23、25 頁。

延伸基礎第 7 階 · 統一尺度 · 懂的人可以跳到第 23 頁

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

兩班考試,A 班 50 分和 B 班 95 分,誰比較厲害?

① 生活情境

A 班老師出得難,全班平均 40;B 班出得簡單,平均 90。小明在 A 班考 50,小華在 B 班考 95。光看分數,小華贏。

你猜猜看:誰比自己班的平均,高得比較多?

③ 這時才給名字

把一堆數字移到「平均 0、寬度差不多」,叫 normalization。拿同一批(batch)一起算平均,叫 batch normalization。

「這些 normalization 做的事情是把每一個 layer 的輸出限制在某一個範圍內。」🎓 李宏毅課堂 導論 2025 · 第 6 講

② 動手玩

④ 跟這章的關係generator 每一關蓋完章,就做一次 normalization。GAN 兩邊在拔河,數字一忽大忽小就容易練壞(第 23 頁)。

原書Normalization layer · Figure 10 · 動手玩

第二個零件:normalization,四種差在「誰跟誰一起算平均」

這一步要解決GAN 是兩個網路在拔河,很容易練到一半就亂掉。怎麼讓它穩一點?

📖 原書 Normalization layer 把輸入縮放到一致的分布,提升訓練穩定性。GAN 不穩,因為兩個網路互相競爭,可能 mode collapse 或震盪(兩邊一直無法收斂)。Normalization 縮放每一層的 activation(每層算出來的數字),降低 gradient 消失或爆炸的風險(第 31 頁的坡度變得太平或太陡),讓兩邊勢均力敵;優化更穩,就能用更高的 learning rate(下山步伐),訓練更快、更早收斂。

📖 原書 Figure 10不同 normalization 方法的比較;深色=一起算平均的範圍(依原書內容重繪)

Batch Norm(BN)

在 batch 維度上,替每個 feature 算平均和變異數,再用可學的參數縮放、平移。好處:穩定、可用較高 learning rate、加速;也有 regularization(防背答案)效果。常用:深度網路,包括 CNN 和 GAN generator。

Layer Norm(LN)

不跨 batch,而是在每一個樣本自己的所有 feature 上算平均和變異數。好處:batch 小或大小會變時也有效,如 RNN、Transformer。常用:序列模型,和要求每個樣本行為一致的場景。

Instance Norm(IN)

每個樣本的每一張 feature map 各自正規化。好處:樣本外觀差很多時,讓網路專注內容而不是風格。常用:風格轉換、影像生成。

Group Norm(GN)

把 feature 分成好幾組,組內正規化,介於 BN 和 LN 之間。好處:batch 很小、BN 失效時有用。常用:BN 因 batch 太小而失效,或需要跨特徵組一致時。

延伸基礎第 8 階 · 彎一下 · 懂的人可以跳到第 25 頁

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

只會走直線的人,走一百段還是直線

① 生活情境

只會直走的人,走兩段、走一百段,路線還是一條直線。想繞過柱子、畫出臉的弧線,就得會轉彎。

你猜猜看:一個數字先「× 2」,再「× 3」,等於什麼?

③ 這時才給名字

每一層後面加的「轉彎開關」叫 non-linear activation。最常用的 ReLU:負的變 0,正的照舊,就這樣而已。

② 動手玩

④ 跟這章的關係generator 每關用 ReLU,最後一關用 Tanh 壓到 −1 到 1(剛好是像素的範圍);discriminator 最後用 sigmoid 壓到 0 到 1,當機率(第 25、26 頁)。

原書Non-linear activation · Generator architecture · Figure 11

三個零件組起來:印章 → 統一尺度 → 轉彎,最後一關改用 Tanh

這一步要解決零件都有了,generator 整台長什麼樣?最後吐出來的數字範圍對不對?

📖 原書 Non-linear activation,例如 ReLU,替模型加入非線性,讓它學得會複雜的模式。沒有非線性,網路再深也只是線性轉換,學不會影像、語音這種複雜的資料分布。

📖 原書 Generator 由 upsampling block(ConvTranspose2D)組成,每關後接 normalization(BatchNorm2D)和 activation(ReLU)。最後一關用 Tanh 取代 ReLU,讓輸出落在 −1 到 1,對上資料準備後的像素範圍。

你發現了嗎?第 19 頁把照片縮到 −1 到 1,就是為了這一刻:generator 畫出來的,跟真照片要在同一個尺度上,警察才比得了。

📖 原書 Figure 11Generator 架構(依原書內容重繪)

原書Discriminator · Figure 12、13

Discriminator:一關一關縮小,最後只說一個機率

這一步要解決警察看一整張 64×64×3 的圖,要怎麼濃縮成一句「這是真的機率 80%」?

📖 原書 Figure 12一系列 downsampling block(依原書內容重繪)

📖 原書 Discriminator 是 binary classifier(二選一的分類器):輸入一張圖,輸出它是真的的機率。由一串 downsampling block 加一個 classification head 組成。

Downsampling block

好幾個 convolution,逐步縮小空間維度、同時抽特徵。PyTorch 通常用 stride 2 的 Conv2D 把高寬減半。跟 generator 一樣,中間夾 BatchNorm2D 和 ReLU,提升穩定與效能。

Classification head

一到兩層 fully connected layer(每個輸入都連到每個輸出,最後匯成一個數),接 sigmoid,把輸出壓在 0 到 1,才能解讀成機率。

📖 原書 GAN 有很多版本。例如 StyleGAN 改了 generator 架構,可以控制年齡、髮色、表情(原書請讀者看 [18])。

小結第 5–8 階:偽鈔犯與警察怎麼蓋

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

到這裡你已經會了

  • GAN 是偽鈔犯加警察generator 畫、discriminator 挑毛病;原書因為「快」和「能改屬性」選它(第 13、17 頁)
  • 印章放大、放大鏡縮小transposed convolution 與 convolution(第 20 頁)
  • 每關先統一尺度、再轉個彎BatchNorm 與 ReLU;最後 Tanh 給像素、sigmoid 給機率(第 22、24 頁)

z 這組密碼,現在走到哪裡

  1. 輸入z(原書是 100 個數字)
  2. generator1×1 → 4×4 → 8×8 → … → 64×64×3
  3. 最後一關Tanh:每格都在 −1 到 1
  4. discriminator64×64 → 32 → 16 → 8 → 4 → 一個數
  5. sigmoid「是真的機率 0.3」(示意)

下一階要解決:兩台機器都蓋好了,但裡面的數字都是亂的。兩個人要怎麼一起練?警察說錯了,要罰多重?

原書Training · Adversarial training · Figure 14

對抗訓練:你練一下、我練一下,不能一邊壓著另一邊打

這一步要解決兩個網路要同時變強。可是一起練,誰先誰後?

📖 原書 Figure 14Generator 與 discriminator 交替訓練;🔒 表示凍結(依原書內容重繪)

📖 原書 用一種特別的過程叫 adversarial training(對抗訓練):generator 和 discriminator 在像遊戲的情境裡同時訓練。generator 想產生看起來真的圖;discriminator 加強分辨真假的能力。一直比到 discriminator 抓不出假的為止。

📖 原書 要確保兩邊一起進步,避免一方壓倒另一方;經驗上這個平衡是成功的關鍵。常見做法是交替:

  1. 凍結 generator(數字先不動),訓練 discriminator 幾次
  2. 凍結 discriminator,訓練 generator 幾次

「這種訓練一下 Tokenizer、Detokenizer,再去訓練一下 Discriminator,這個往復往復這樣的行為,其實就跟一個叫做 Generative Adversarial Network (GAN) 的模型做的事情是一樣的。」🎓 李宏毅課堂 導論 2025 · 第 9 講(課堂裡扮演偽鈔犯的是聲音的 Tokenizer、Detokenizer)

延伸基礎第 9 階 · 驚訝分數 · 懂的人可以跳到第 30 頁

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

警察說錯了,要罰多重?

① 生活情境

警察看一張真鈔說「是真的機率 90%」,結果真是真鈔,沒什麼好意外。他說「只有 1%」,結果是真鈔,那就很糗。越有把握卻說錯,越該重罰。

你猜猜看:警察對一張真的臉說「是真的機率只有 1/100」。驚訝分數大約多少?(提示:1/10 是 2.3 分)

③ 這時才給名字

驚訝分數叫 loss:離正確答案多遠,越小越好。答案只有「真」「假」兩種時的驚訝算法,叫 binary cross-entropy。

② 動手玩
—真臉的驚訝—假臉的驚訝—警察這回合的 loss

④ 跟這章的關係警察的 loss 就是兩種驚訝加起來:看真臉的、看生成臉的(第 30 頁)。

原書ML objective and loss function · 動手玩

同一條算式,警察想讓它變大,偽鈔犯想讓它變小

這一步要解決兩個人目標相反。怎麼各自算分數,又怎麼寫成一條式子?

📖 原書 Discriminator:用 binary cross-entropy

LD = 真臉的平均驚訝−log D(真臉),取 m 張的平均 + 生成臉的平均驚訝−log(1 − D(生成臉)),取 n 張的平均

D(…) 是警察說「是真的」的機率。目標:讓 LD 越小越好。

📖 原書 Generator:讓警察把假臉說成真的

LG = 平均 log(1 − D(生成臉))

理想上警察對生成臉要說接近 1。目標:最大化 log D(生成臉),等價於讓 LG 越小越好。

📖 原書 GAN 的 minimax loss

V = 平均 log D(真臉) + 平均 log(1 − D(生成臉))

原始 GAN 論文用的。警察要 V 最大、偽鈔犯要 V 最小,寫成「min over G、max over D」。為了訓練更穩,後來還有很多其他 loss(原書請讀者看 [20])。

拔河看看

延伸基礎第 10 階 · 蒙眼下山 · 懂的人可以跳到第 32 頁

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

知道罰多重了,要往哪邊改?腳下是平地怎麼辦?

① 生活情境

你蒙著眼睛站在山坡上,想走到谷底。用腳摸坡度,往低處跨一步;坡越陡,跨越大。如果腳下是一大片平地呢?

你猜猜看:腳下完全平坦、摸不到坡度,你會怎樣?

③ 這時才給名字

坡度叫 gradient。照著坡度一步步往 loss 低的地方走,叫 gradient descent。

「切線斜率越大,也就是這個山坡越陡,我們就踏越大步,如果很平滑就踏小步一點。」「這邊的這個 gradient 已經非常小了,所以走的非常的慢。」🎓 李宏毅課堂 導論 2025 · 第 5 講

② 動手玩
—腳下坡度—現在的 loss0走了幾步

④ 跟這章的關係警察和偽鈔犯都靠下山調數字。警察太強時,偽鈔犯腳下變成平地,原書叫 vanishing gradient(第 32 頁)。

原書Common training challenges · ① Vanishing gradients · 動手玩

難題一:警察太強,偽鈔犯反而學不到東西

這一步要解決GAN 比其他生成模型難訓練。原書說面試時談這些挑戰很加分,三大難題的第一個是什麼?

📖 原書 三大挑戰:vanishing gradients、mode collapse、failure to converge。第一個主要傷 generator:discriminator 太會分真假時,給 generator 的 gradient 非常小,generator 學得很慢,甚至停住。

解法 ① Modified minimax loss

📖 原書 原始 GAN 論文就指出:照原本的目標練,可能卡住。建議把 generator 的目標改成最大化 log D(生成臉)。換個角度:不是「讓假臉被說成假的機率變小」,而是「讓假臉被說成真的機率變大」。

解法 ② Wasserstein loss(WGAN)

📖 原書 WGAN 的 discriminator 叫 critic(評審):不分類真假,而是給「真實度」分數。Critic loss = D(真) − D(生成),critic 要讓它最大;generator 要讓 D(生成)最大。

看偽鈔犯腳下的坡度

—壓成機率後 D(生成臉)—原本目標的坡度—改過目標的坡度

警察的機率是 sigmoid 壓出來的(第 24 頁)。壓扁的那一段就是平地:原本的目標在警察很有把握時幾乎是平的,改過的目標還很陡。

原書② Mode collapse · 動手玩

難題二:偽鈔犯找到一張必過的,就只印那一張

這一步要解決換不同的亂數,本來應該得到不同的臉。為什麼有時候全部長得一樣?

你猜猜看:偽鈔犯發現有一款假鈔,警察每次都放行。他接下來最可能怎麼做?

📖 原書 理想上,不同的隨機輸入要產生不同的圖。Mode collapse 是 generator 只產生少數幾種圖:訓練中它可能找到一張在 discriminator 眼中最可信的圖,然後一直產生它,永遠學不會畫別的。

📖 原書 兩個常見解法

  • Wasserstein loss(上一頁的 critic 打分數)
  • Unrolled GAN:細節原書請讀者看 [22]、[4]

八組不同的亂數,畫出幾種臉?

原書③ Failure to converge · 動手玩

難題三:偽鈔太像,警察只能丟銅板,回饋變成雜訊

這一步要解決不是練越久越好嗎?為什麼練過頭,品質反而會垮?

📖 原書 GAN 訓練常常不穩,因為 failure to converge(練不到穩定點)。generator 進步時,discriminator 越來越難分,表現下降。如果 generator 完美模仿真資料,discriminator 準確率掉到 50%,等於丟銅板。這時它的回饋對 generator 越來越沒用;練過某個點後,generator 開始拿沒用的回饋在練,品質可能因此崩掉。

📖 原書 改善穩定與收斂的四招

  • Normalization:例如 batch normalization,讓各層分布一致(第 23 頁)
  • Different learning rates:兩邊用不同的步伐,平衡彼此進度
  • Regularization:例如 weight decay(懲罰太大的數字),防止背答案、維持穩定
  • Adding noise to discriminator inputs:在給警察的圖上加雜訊,免得它太早變太強

細節原書請讀者看 [21]、[23]。

練多久才停?

—警察猜對率—生成品質(示意)

原書Sampling · Latent space · Figure 15 · 動手玩

訓練好了:每一個點,都是一張臉

這一步要解決GAN 練好了,要怎麼從它身上「取」出新的臉?

📖 原書 Sampling 就是從訓練好的 GAN 生成新圖。訓練時,generator 學會把各種 noise vector 變成圖,這形成一個 latent space:一個多維空間,每一個點代表一個可能的 noise vector。它對 GAN 有意義,因為 generator 能把每個點對應到一張圖。

📖 原書 要生成一張臉,就從這個空間取一個點,叫 latent vector;generator 再把它變成圖。取點的方法有兩種:random sampling 和 truncated sampling(下一頁)。

我們的捏臉滑桿就是一個 4 維的 latent space。原書的是 100 維:沒辦法畫,但道理一樣。

📖 原書 Figure 15Latent space 裡的點對應到人臉;原圖的兩張臉是照片,這裡改用卡通臉(依原書內容重繪)
點橢圓裡任何一點也可以

原書Random vs truncated sampling · Figure 16 · 動手玩

全部範圍隨便抽,還是只抽中間那一塊?

這一步要解決鐘形曲線偶爾會抽到很邊邊的數字,那張臉就怪怪的。要不要管它?

📖 原書 Figure 16Random 與 truncated sampling;灰色=取樣範圍(依原書內容重繪)
—怪臉張數—多樣程度(數字的分散)

Random sampling

📖 原書 用 standard Gaussian 從整個 latent space 抽。確保 latent vector 多樣,生成的圖也多樣。

Truncated sampling

📖 原書 把 latent vector 限制在比較小、機率比較高的區域。截斷分布,減少生出 outlier(離群的怪東西)的機會,品質更高。主要目標是高度逼真時有用(細節見 [24])。

📖 原書 總結:random 探索整個空間、確保多樣;truncated 聚焦高機率區、提升逼真。人臉生成選 random sampling:多樣,而且實務上通常效果不錯。

小結第 9–10 階:兩個人怎麼一起長大

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

到這裡你已經會了

  • 警察說錯就罰,同一條式子兩邊拔河binary cross-entropy 與 minimax;輪流凍結、輪流練(第 29、30、28 頁)
  • 下山要有坡度gradient descent;警察太強時偽鈔犯腳下是平地(vanishing gradient)(第 31、32 頁)
  • 只會一招、練過頭會垮;取樣要抽全範圍mode collapse、failure to converge;random vs truncated(第 33、34、36 頁)

z 這組密碼,現在走到哪裡

  1. 畫generator 把 z 畫成一張臉
  2. 警察「是真的機率 0.01」→ 偽鈔犯腳下太平
  3. 改目標改成最大化 log D,坡度回來了
  4. 練完警察下班;z 只是 latent space 裡的一個點

機率都是示意。

下一階要解決:練完了,畫得到底好不好?總不能每次都請人來看幾千張臉吧?

延伸基礎第 11 階 · 有把握又多樣 · 懂的人可以跳到第 39 頁

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

請一位認圖專家來看:每張都認得出來,而且種類夠多嗎?

① 生活情境

請專家看你畫的圖。每張他都說「這是狗,九成五確定」,代表畫得清楚。整疊看完,狗、貓、車都有,代表畫得多樣。

你猜猜看:你畫 3 種東西,每張都清楚,三種剛好各佔 1/3。這個「清楚又多樣」分數最高大概是?

③ 這時才給名字

「一張的判斷」跟「整疊平均」差多遠,用 KL divergence 量。整套算法叫 Inception score:專家是一個叫 Inception 的認圖模型。

② 動手玩
—清楚又多樣的分數(最高 3)

④ 跟這章的關係原書的第一個自動評分就是它,越高越好(第 39 頁)。

原書Offline evaluation · Inception score · Figure 17

自動評分 ①:Inception score,五個步驟

這一步要解決怎麼不靠人,自動檢查生成的圖「品質」和「多樣性」?

📖 原書 評估影像生成要同時看品質和多樣性。指標有 Inception score、FID、KID(Kernel Inception distance),最常用的是前兩個;人工評估仍然必要。面試官要看的是直覺和實務理解,不是公式,但大致懂幾個指標有幫助。

  1. Generating images:用要評估的模型生成大量圖
  2. Computing class probabilities:預訓練的分類模型(例如 Inception v3)替每張圖給出 1,000 類的機率;高品質的圖會有一個尖峰
  3. Calculating the marginal distribution:所有圖的機率取平均;圖越多樣,這個平均越平
  4. Computing KL divergence:量每張圖的分布離平均多遠;高品質的圖離得遠
  5. Calculating the Inception score:KL divergence 的平均,再取指數。分數高 = 每張都被自信地分到、而且分到很多不同類
📖 原書 Figure 17Inception score 的計算(依原書內容重繪)

多樣性

整疊平均接近均勻(各類差不多多),代表分布在很多類。

品質

每張分布尖,代表清楚地被認成某一類;跟平均比就看得出來。

延伸基礎第 12 階 · 兩堆點像不像 · 懂的人可以跳到第 41 頁

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

兩班身高平均都是 165,這兩班就「像」嗎?

① 生活情境

A 班從 150 到 180 公分都有,B 班每個人都剛好 165。兩班平均一樣,但站成一排一看就知道不一樣。

你猜猜看:一個 GAN 每次都畫同一張很真的臉(mode collapse)。只比「平均長相」,抓得到它嗎?

③ 這時才給名字

好幾個方向一起看的「分散程度」,叫 covariance。把「中心差多少」和「分散差多少」合成一個距離,就是 FID:越低越像。

「縱軸是一個叫 FID 的東西,我們這邊就不細講 FID 是什麼,它代表的是圖片生成的品質……總之這個數值越小,代表你的圖片生成是越好的。」🎓 李宏毅課堂 導論 2025 · 第 9 講

② 動手玩
—中心差²—分散差²—距離(越低越好)

④ 跟這章的關係FID 不問「每張像什麼」,而是比整堆生成臉和整堆真臉的特徵(第 41 頁)。

原書Fréchet inception distance (FID) · Figure 18

自動評分 ②:FID,比較整堆假臉和整堆真臉的特徵

這一步要解決Inception score 只看生成的圖。能不能直接拿去跟真照片比?

📖 原書 FID 評估生成圖的分布跟真圖的分布有多像。它不用類別機率,而是用預訓練模型(如 Inception v3)抽出的特徵統計。選 Inception 是因為它在大型、多樣的 ImageNet 上訓練過,抽得出代表內容和風格的特徵。

  1. Generating images:生成大量圖,準備跟一組真圖比
  2. Extracting features:生成圖和真圖都進 Inception v3,從接近最後的某一層取出特徵(activation):形狀、紋理、物體這種高階資訊
  3. Calculating mean and covariance:兩組各算特徵的平均和 covariance
  4. Computing Fréchet distance:兩組的平均與 covariance 之間的距離,就是 FID。越低,越真實也越多樣

📖 原書 多樣性:看 covariance,生成的散得跟真的一樣開才好。品質:平均和 covariance 都接近真的,就很可能是高品質。限制:FID 和 IS 依賴 ImageNet 的類別,會帶進偏差,不一定跟人的判斷一致;[30] 建議改用 CLIP 這類非 ImageNet 訓練的模型。但 CLIP 指標也還取代不了人的回饋。

📖 原書 Figure 18FID 的計算(依原書內容重繪)

原書Human evaluation · Online metrics · Figure 19 · 動手玩

最後還是要請人來看,上線後再看使用者

這一步要解決「美不美」「像不像真人」,自動指標常常抓不到。怎麼辦?

📖 原書 Figure 19人工評估的成對比較;點一張選它(依原書內容重繪,兩張圖用 z 系列的卡通臉代替空白方框)
0模型 A 勝0模型 B 勝

📖 原書 人工評估很重要,因為自動指標會漏掉美感這類主觀品質。一種做法([31]):給評估者看兩個模型各生成一張的圖,問「哪一張看起來更像照片」。這樣比較模型,更貼近人的判斷。

「兩個模型各自有一個輸出,怎麼知道誰比較好,找一堆人來評斷。」「當你給人類的指示不一樣的時候,這個評比出來的結果,是會有不一樣的差距的。」🎓 李宏毅課堂 導論 2025 · 第 4 講

📖 原書 Online evaluation metrics

  • User feedback:直接反映使用者的意見,用問卷、評分、留言收集
  • Latency:從送出請求到圖完整生成、送到使用者手上的時間。互動式應用尤其要快;監控它可以找出效能瓶頸,確保符合期望(需求是不到 1 秒)

小結第 11–12 階:怎麼打分數

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

到這裡你已經會了

  • 每張清楚、整疊多樣:Inception score每張的判斷很尖、整疊平均很平,越高越好(第 38、39 頁)
  • 整堆假臉跟整堆真臉比:FID中心和分散程度都要像,越低越好;mode collapse 也抓得到(第 40、41 頁)
  • 最後請人看,上線再看使用者成對比較;user feedback 和 latency(第 42 頁)

評估一台 GAN 的三關

  1. Inception生成的臉:清楚嗎?夠多種嗎?
  2. FID跟 70,000 張真臉比:整堆像嗎?
  3. 人新舊模型各一張,哪張像照片?
  4. 上線使用者喜歡嗎?有沒有在 1 秒內?

下一步要解決:零件、訓練、評估都有了。怎麼把它們接成一個會自己變好的系統?

原書Overall ML System Design · Figure 20

整個系統:一條生成的路,加一條自己變好的迴圈

這一步要解決使用者按一下要拿到臉;模型還要定期重練、檢查、換上線。誰負責哪一段?

📖 原書 Figure 20逼真人臉生成的整體設計;顏色近似原圖(依原書內容重繪)

Face generator

📖 原書 核心元件:接使用者請求,跟訓練好的 GAN 互動,取樣出高品質的圖。使用者可以選擇指定年齡、性別、髮型、表情;服務利用 StyleGAN 的特性,依屬性調整 latent space 裡的 noise vector。屬性控制的架構細節面試通常不談,有興趣看 [32][33]。

Training service

📖 原書 定期用使用者認可的生成圖和新的訓練資料重新訓練 GAN,持續改進。

Evaluation service

📖 原書 自動評估新訓練的模型,用預先定好的指標;結果決定新模型是否達標、該不該取代現有的。

Deployment service

📖 原書 把改進的模型部署到正式環境,更新時平順切換、停機時間最少;也監控上線模型的表現。

原書Other Talking Points

面試還有時間,可能會被問到這些

📖 原書 進階主題

  • 各種 GAN 架構:DCGAN、WGAN、StyleGAN,以及各自的取捨 [34][35][18]
  • 穩定 GAN 訓練、避免 mode collapse 與收斂問題的技巧:Wasserstein loss、gradient penalty,和其他穩健的訓練方法 [36]
  • 用 conditional GAN(cGAN)依特定條件或輸入生成人臉 [37]
  • 條件一致性的評估指標 [38][39]
  • 人臉生成裡的 style-mixing [18]

每一題回到今天的哪一頁

  • DCGAN → 第 21、26 頁:印章放大、放大鏡縮小的 GAN,就是這種卷積式 GAN 的樣子
  • WGAN、gradient penalty → 第 32 頁的 critic;gradient penalty 是限制 critic 的坡度別太陡
  • cGAN → 第 6 頁:把想要的屬性跟亂數一起當輸入
  • 條件一致性 → 第 39–42 頁之外,還要問「叫它笑,它有沒有笑」
  • Style-mixing → 第 18 頁的滑桿:一張臉取 A 的臉型、B 的髮型

📅 2026 補充方法怎麼演進

原書之後:主角換人了,但偽鈔犯和警察的想法還在

這一步要解決原書之後,生成人臉的方法往哪裡走?

生圖的主流是 diffusion 與 flow matching

原書 Table 1 已經寫 diffusion 品質最高。之後通用的生圖模型多半走 diffusion,或它的近親 flow matching。GAN 仍用在需要「一次就畫好、要很快」的場合。

「比如說 Stable Diffusion,它第三代的模型,是用 Flow Matching,所以它名字裡面有 Diffusion,但它居然不是 Diffusion Model。」🎓 李宏毅課堂 導論 2025 · 第 9 講

警察沒有失業:adversarial loss

把圖壓縮再還原的模型(tokenizer、decoder),常加一個 discriminator 一起練,讓還原的圖不糊;把幾十步的 diffusion 壓成一到四步時,也常加對抗訓練(例如 2023 年的 Adversarial Diffusion Distillation)。

「這個叫做 Adversarial 的 Loss。」「它們會拿 Adversarial 的 Loss 當作它的目標來進行訓練。」🎓 李宏毅課堂 導論 2025 · 第 9 講

評分的專家也在換

原書已提醒 FID 依賴 ImageNet 類別。之後也有研究把同樣的距離改用其他模型(例如 DINOv2)抽的特徵來算,並持續拿人的評比校準。

速度差距在縮小

原書要不到 1 秒,GAN 一次 forward pass 是優勢。少步數的 diffusion 出現後,這個差距縮小了;但「能拉滑桿改屬性」仍是 GAN latent space 的強項。

📅 2026 補充方法的限制與安全

越逼真,越要回答:這張臉從哪裡來?

這一步要解決假臉做得跟照片一樣,就可能被拿去冒充、騙人。方法本身有哪些限制、可以怎麼補?

你猜猜看:有人做了一個很準的「假臉偵測器」。對訓練 GAN 的人來說,它最可能變成什麼?

偵測不能是唯一的防線

所以實務上還會在產生的那一刻就留下記號:在圖裡嵌入肉眼看不到的 watermark(浮水印),或在檔案附上來源資訊(例如 C2PA 的 Content Credentials 標準),讓別人查得到「這是 AI 生成的」。

資料與隱私

原書要求授權資料、符合隱私法規。另一個限制:研究發現生成模型有時會把訓練圖「背出來」(第 34 頁的過頭)。上線前可以拿生成的臉去比對訓練集裡最像的那張,太像就擋下。

偏差

模型只會畫它看過的臉。原書的「提升多樣性」(第 19 頁)要持續做;評估時也要分群體看,不只看整體 FID。

回饋迴圈

Training service 會拿使用者認可的生成圖重訓(第 44 頁)。生成的圖一直餵回去,偏差和怪臉可能被放大,要留意比例並保留真實資料。

原書Summary 心智圖

原書這一章的總結圖

📖 原書章末心智圖依原書的分支重繪(依原書內容重繪)

回顧12 階全部爬完

  1. 一組亂數
  2. 數字方格
  3. 鐘形曲線
  4. 壓縮還原
  5. 偽鈔與警察
  6. 放大鏡
  7. 統一尺度
  8. 彎一下
  9. 驚訝分數
  10. 蒙眼下山
  11. 有把握又多樣
  12. 兩堆點像不像

人臉生成,其實就是偽鈔犯跟警察一起長大而已。

臉從哪裡來

從鐘形曲線抽一排亂數(noise vector),generator 用印章一關一關放大,變成一張數字方格。

為什麼選 GAN

VAE 會糊、autoregressive 和 diffusion 太慢;GAN 快,而且 latent space 有滑桿可以改屬性。

怎麼一起長大

警察罰錯(binary cross-entropy),兩邊輪流下山;小心平地、只會一招、練過頭。

怎麼打分數

Inception score 看清楚又多樣,FID 看整堆像不像,最後請人看,上線看使用者和延遲。

抽一組亂數,畫一張臉,給警察看。然後呢?然後就結束了。

名詞小卡課後複習用 · 每個詞一行白話

本章名詞小卡

名詞一行白話在哪一頁
vector一組數字,或地圖上的一支箭頭第 5 頁
noise / latent vector抽出來的那排亂數,就是一張臉的捏臉密碼第 5、35 頁
pixel / resolution圖片的一格/一邊有幾格第 7 頁
Gaussian distribution中間多、兩邊少的鐘形曲線第 8 頁
encoder / decoder負責壓縮的/負責還原的第 10 頁
VAE壓縮還原學會後,拿亂數直接還原;快但會糊第 11 頁
autoregressive把圖切成一串,一塊一塊接龍第 15 頁
diffusion從一片雜訊,一步步擦出一張圖第 16 頁

忘了哪個詞,就回到右邊那一頁,四步再走一次。

給工程師的重點出處、公式與頁碼對照

本章引用的來源

原書

Generative AI System Design Interview · Realistic Face Generation 章。Introduction 與 Figure 1(第 2 頁,照片不重繪)、Clarifying Requirements(4)、Input/Output 與 Figure 2(6)、四種方法(9)、VAE 與 Figure 3(11)、GAN 與 Figure 4(14)、Autoregressive 與 Figure 5(15)、Diffusion 與 Figure 6(16)、Table 1(17)、選擇 GAN 與 Figure 7(18)、Data Preparation(19)、Generator、transposed convolution、Figure 8–9(21)、Normalization 與 Figure 10(23)、activation、Figure 11(25)、Discriminator、Figure 12–13、StyleGAN(26)、adversarial training 與 Figure 14(28)、loss 與 minimax(30)、vanishing gradients、modified minimax、WGAN(32)、mode collapse(33)、failure to converge(34)、latent space 與 Figure 15(35)、random / truncated sampling 與 Figure 16(36)、Inception score 與 Figure 17(39)、FID、CLIP 與 Figure 18(41)、human evaluation、Figure 19、online metrics(42)、Overall design 與 Figure 20(44)、Other Talking Points(45)、心智圖 Figure 21(48)。圖都依圖說與描述重繪,不是原圖;Figure 1 是照片不重繪;Figure 6、7、15、19 的照片或空白方框改用卡通臉

本簡報加的頁面:階梯(3)、12 個延伸基礎(5、7、8、10、13、20、22、24、29、31、38、40)、小結(12、27、37、43)、2026 補充(46、47)、名詞小卡(50)。貫穿例子 z = (1, 0, 2, −1) 與卡通臉是示意,原書是 100 維 noise vector;70,000 張、1024×1024、不到 1 秒、Figure 8 的維度出自原書

🎓 李宏毅課堂(逐字稿)

  • 生成式人工智慧與機器學習導論 2025 · 第 9 講(ccqCDD9LqCA.md)— 沒有標準答案、從 Normal Distribution 取樣再轉換、VAE/GAN/Diffusion/Flow 是同一個問題、雙頭狗、Discriminator 分辨不出就代表像、往復訓練就是 GAN、Adversarial Loss、2017 年二次元作業只能指定眼睛頭髮顏色、像素接龍、FID 越小越好、SD3 用 Flow Matching
  • 同 · 第 6 講(mPWvAN4hzzY.md)— normalization 把每層輸出限制在某範圍
  • 同 · 第 5 講(Taj1eHmZyWw.md)— 斜率越陡踏越大步、gradient 很小就走很慢
  • 同 · 第 4 講(dWQVY_h0YXU.md)— 找人評斷兩個輸出、指示不同結果不同

來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。偽鈔犯與警察、捏臉、兩班考試等比喻是本簡報的,不是課堂原話

公式(主文用文字講過)

  • LD = −(1/m)Σ log D(x(i)) − (1/n)Σ log(1 − D(G(z(j))))
  • LG = (1/n)Σ log(1 − D(G(z(j))));modified:max (1/n)Σ log D(G(z(j)))
  • minimax:minG maxD [(1/m)Σ log D(x) + (1/n)Σ log(1 − D(G(z)))]
  • WGAN:critic 最大化 D(x) − D(G(z));generator 最大化 D(G(z))
  • IS = exp(Ex KL(p(y|x) ‖ p(y)))
  • FID = ‖μr − μg‖² + Tr(Σr + Σg − 2(ΣrΣg)1/2)
  • 像素正規化:x / 127.5 − 1

📅 依據

  • Flow matching、adversarial loss:課堂逐字稿
  • Adversarial Diffusion Distillation(2023)、以 DINOv2 特徵算 Fréchet distance 的研究、C2PA Content Credentials:公開論文與標準
  • Triton:這章沒有可用的 materials/core 資料,不放客座卡
← → 翻頁 · S 講者備註 · D 深/淺色
1 / 1目錄