GenAI System Design · 第 7 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無(純白話版)
Realistic Face Generation
其實就是偽鈔犯跟警察一起長大而已
按一個鍵,冒出一張世界上不存在的臉。原書用這一題,把 GAN 從架構、訓練、取樣到評估拆過一遍。今天我們也一樣:先遇到問題,再看方法是怎麼被想出來的。
今天的路線
需求 → 一邊爬 12 階基礎、一邊對照原書(第 3 頁的階梯):臉從哪裡來 → 偽鈔犯與警察怎麼蓋 → 兩個人怎麼一起長大 → 怎麼打分數 → 整個系統 → 2026 年的變化。全程只用同一組「捏臉密碼」當例子。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 延伸基礎
標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。逼真的假臉可能被濫用,這件事只當成方法的限制來談(第 47 頁)。這章沒有 Triton 的資料,不放客座卡。
先講跟你有關的動手玩
你玩過遊戲的「捏臉」嗎?
捏臉系統有一排滑桿:臉寬、眼睛、笑容、頭髮。每個滑桿停在哪,就是一個數字。四個數字,就決定一張臉。
你可能會想說,那如果不是我來拉,而是電腦擲骰子亂拉呢?拉出來的,是一張世界上沒有人見過的臉。這一章做的事情,其實就是這個而已。只是原書的臉不是卡通,是照片等級。
📖 原書 Figure 1StyleGAN2 生成的逼真人臉
原圖是四張照片:深色頭髮表情嚴肅的男性、戴眼鏡微笑的短髮女性、穿紅衣的長髮年輕女性、灰髮留山羊鬍穿西裝的男性。照片不適合重繪,也不該用卡通冒充照片,所以只用文字描述。這四個人都不存在。
今天只回答三個問題:亂數怎麼變成臉?(模型)怎麼學會畫得像?(訓練)怎麼知道畫得好不好?(評估)
學習地圖今天要爬的 12 階 · 每一階只用前面學過的東西
一階一階往上爬,不跳階
- 1一組亂數臉要從哪裡開始?
- 2數字方格圖片到底是什麼?
- 3鐘形曲線亂數怎麼抽?
- 4壓縮還原為什麼會糊?
- 5偽鈔與警察誰來挑毛病?
- 6放大鏡小圖怎麼變大?
- 7統一尺度數字怎麼不亂跳?
- 8彎一下怎麼畫出曲線?
- 9驚訝分數猜錯罰多重?
- 10蒙眼下山罰完往哪改?
- 11有把握又多樣一張張清楚嗎?
- 12兩堆點像不像整堆像真的嗎?
臉從哪裡來 偽鈔犯與警察怎麼蓋 兩個人怎麼一起長大 怎麼打分數 英文名字等爬到那一階才給。
整堂課只用一組捏臉密碼
z = (1, 0, 2, −1)
臉寬 1、眼睛 0、笑容 2、頭髮 −1:一張愛笑的圓臉、短髮。每一階都拿它來玩。
每一階都走四步
① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。
每爬幾階就停一下
「到這裡你已經會了」:第 12、27、37、43 頁。最後還有名詞小卡(第 50 頁)。
原書Clarifying Requirements
原書的題目:生成逼真的人臉
這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 系統主要用在哪裡? | 先做娛樂和內容創作;未來也可能拿來收集資料 |
| 只做臉,還是整個身體? | 只做臉 |
| 要涵蓋不同種族、年齡、性別嗎? | 要。這對包容性、避免偏見很關鍵 |
| 要能控制臉部屬性嗎?例如改表情、但保留同一個人? | 好問題。先不做屬性控制,有時間再選擇性討論 |
| 訓練資料從哪來?多大? | 用有授權的公開資料集,符合隱私法規;共 70,000 張多樣的人臉 |
| 解析度要多少? | 1024×1024 |
| 生成一張臉要多快? | 接近即時:不到 1 秒 |
整理成需求清單
- 功能:按一下就生成一張新的、逼真的臉(只有臉)
- 選配:屬性控制(年齡、表情、髮型),先不做
- 資料:70,000 張有授權的人臉
- 品質:1024×1024;要多樣,不能有偏見
- 速度:一張不到 1 秒
你想想看,「選配」這一題很重要。面試官說先不做,但原書最後選模型時,正是拿它當關鍵理由(第 17 頁)。「不到 1 秒」也是。
延伸基礎第 1 階 · 一組亂數 · 懂的人可以跳到第 6 頁
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
一張臉,可以只是一排數字嗎?
捏臉的四個滑桿,每個停在一格。把四格的數字排成一排,就是這張臉的密碼。把密碼抄給朋友,他就捏得出同一張臉。
你猜猜看:每個滑桿只有 5 格(−2 到 2),4 個滑桿可以捏出幾種臉?
5 × 5 × 5 × 5 = 625。原書用 100 個數字,每個還可以是小數,組合多到數不完。
一排數字叫 vector(向量):先想成「一組數字」,或地圖上的一支箭頭。用亂數抽出來的那一組,叫 noise vector(雜訊向量)。
每個數字從 −2、−1、0、1、2 裡抽一個。
④ 跟這章的關係原書系統的輸入就是一組 noise vector。使用者只按「生成」,亂數由系統自己抽(第 6 頁)。
原書Frame the Problem as an ML Task · Figure 2
把問題變成 ML 任務:輸入一組雜訊,輸出一張臉
這一步要解決使用者什麼都沒給,模型要拿什麼當輸入?輸出又是什麼?
📖 原書 Input:使用者通常不給特定輸入,只是說「給我一張新臉」。ML 模型需要數字當起點,所以多數影像生成模型從一個隨機的 noise vector 開始,再把它轉成逼真的影像。
📖 原書 如果系統支援屬性控制,使用者也可以把想要的屬性(年齡、性別、髮型)當輸入,引導生成。
📖 原書 Output:一張逼真的人臉影像;有指定屬性時,要反映那些屬性。
換成我們的例子:按下按鈕 → 系統抽出 z = (1, 0, 2, −1) → 模型把它變成一張愛笑的圓臉。輸入只有幾個數字,輸出卻是一整張圖。差多少?下一頁算給你看。
延伸基礎第 2 階 · 數字方格 · 懂的人可以跳到第 8 頁
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
對電腦來說,一張圖是什麼?
十字繡遠看是一張臉,近看是一格一格的色塊。對電腦來說,每一格只是一個數字:越暗,數字越小。
你猜猜看:原書要 1024×1024 的圖,每格有紅、綠、藍 3 個數字。一張圖總共幾個數字?
1024 × 1024 ≈ 105 萬格,再 × 3 ≈ 315 萬個數字。輸入只有 100 個數字,輸出要 300 多萬個。
每一格叫 pixel(像素)。一邊有幾格,叫 resolution(解析度)。格子越多,越細緻,也越難畫。
④ 跟這章的關係原書把每格的 0–255 縮成 −1 到 1(第 19 頁)。generator 要從 100 個數字長出整張方格(第 21 頁)。
延伸基礎第 3 階 · 鐘形曲線 · 懂的人可以跳到第 9 頁
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
亂數要怎麼抽?每個數字都一樣常見嗎?
全班量身高,大部分人在中間,非常高、非常矮的很少。畫成長條圖,中間高、兩邊低,像一口鐘。
你猜猜看:擲兩顆骰子加起來,哪個數字最常出現?
36 種擲法裡,有 6 種加起來是 7;2 和 12 各只有 1 種。中間多、兩邊少。
中間多、兩邊少的形狀叫 Gaussian distribution(高斯分布、常態分布)。中心在 0、寬度是 1 的那個,叫 standard Gaussian。
骰子越多顆加總,形狀越像一口鐘。
④ 跟這章的關係原書的 noise vector,每個數字都從 standard Gaussian 抽:大約 2/3 落在 −1 到 1,超過 ±3 的很少(第 36 頁會用到)。
原書Choosing a suitable ML approach
一組亂數,怎麼變成一張臉?原書列了四條路
這一步要解決輸入是一組亂數,輸出是一張臉。中間這台機器,要怎麼做?
📖 原書 影像生成有很多做法,原書只看業界最常用的四種,逐一講優缺點,再挑最適合人臉的那一個:
Variational autoencoder(VAE)
壓縮再還原(第 11 頁)
Generative adversarial network(GAN)
偽鈔犯與警察(第 14 頁)
Autoregressive model
一塊一塊接龍(第 15 頁)
Diffusion model
把雜訊一步步擦掉(第 16 頁)
四個名字聽起來很嚇人。先別管,後面每一個都會先講直覺。
「另外一個世界線最想要處理的問題是,這個世界並沒有標準答案。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 9 講
「我們從這個 Normal Distribution 裡面去做一個 Sample,Sample 出一個點,把這個點丟進生成模型裡面,經過一個很複雜的類神經網路的轉換,它會變成另外一個向量。」🎓 李宏毅課堂 同上
「VAE、GAN、Diffusion、Flow-based Model,你覺得它們看起來很不一樣,其實它們要解決的問題是同一個問題。」🎓 李宏毅課堂 同上
延伸基礎第 4 階 · 壓縮還原 · 懂的人可以跳到第 11 頁
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
用四個數字描述一張臉,再畫回來,會變怎樣?
你打電話跟畫師描述朋友:「圓臉、普通眼睛、很愛笑、短髮」。四句話,畫師就畫得出來。描述是壓縮,畫出來是還原。
你猜猜看:同一句「愛笑的圓臉」,有時對到短髮照片、有時對到長髮照片。畫師學會畫「兩張的平均」,會畫出什麼?
兩種答案都對,平均起來反而哪一個都不是:頭髮變成半透明的一團。右邊拉「答案有幾種」試試看。
負責壓縮的叫 encoder,負責還原的叫 decoder。中間那幾個數字,就是第 1 階的 vector。
「本來輸出綠色的你可以畫一隻狗,輸出紅色的可以畫另外一隻狗,輸出綠色跟紅色混合的,你可能就畫一個雙頭狗。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 9 講
④ 跟這章的關係原書第一個方法 VAE,就是 encoder 加 decoder。它最大的缺點「模糊」,直覺上就是這個平均(第 11 頁)。
原書Variational autoencoder · Figure 3
VAE:先學會壓縮還原,再拿亂數直接還原
這一步要解決壓縮還原只會還原「看過的臉」。怎麼拿它來生出新的臉?
📖 原書 VAE 要學的是資料的分布,學會後從分布裡抽點,就能生成新資料。Encoder 把圖映射到低維的 latent space(壓縮後那幾個數字所在的空間),輸出 latent vector;decoder 把它還原成一樣大小的圖。訓練時:壓縮再還原原圖。訓練後:從學到的 multivariate Gaussian(多個數字一起抽的鐘形曲線)抽點,只用 decoder 畫圖。靠 reparameterization trick(原書請讀者看參考文獻 [2]),latent space 可以平滑內插,適合影像變形、做變體。
Pros
- Simple architecture:encoder、decoder 都好實作
- Fast generation:抽一個點、decoder 畫一次
- Stable training:通常簡單又穩
- Compression capability:很會把圖壓成低維表示
Cons
- Less realistic:抓不到高頻細節(頭髮、毛孔這種細小變化)
- Blurriness:容易模糊、不銳利
- Limited novelty:難生出跟訓練資料差很多的圖
- Limited control:不支援文字描述、屬性控制這類額外輸入
📖 原書 結論:VAE 不適合生成高品質、細節多的圖。它的強項是把圖壓成精簡的表示;第 11 章會用這個壓縮能力做影片生成。
小結第 1–4 階:臉從哪裡來
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
到這裡你已經會了
- 一張臉的起點,就是一排亂數noise vector:每個數字從鐘形曲線抽,大多在中間(第 5、8 頁)
- 圖片就是數字方格pixel:1024×1024 的彩色圖有 300 多萬個數字(第 7 頁)
- 壓縮還原會糊encoder、decoder:答案有好幾種時,畫平均就糊了;VAE 快又穩,但不夠銳利(第 10、11 頁)
z 這組密碼,現在走到哪裡
- 抽籤z = (1, 0, 2, −1)
- 它是一個 vector,數字都在鐘形曲線的中間
- 要變成一張 1024×1024×3 的數字方格
- VAEdecoder 畫得出來,但頭髮糊糊的
下一階要解決:糊,是因為沒有人告訴畫師「這張一看就是假的」。如果找一個專門挑毛病的人來呢?
延伸基礎第 5 階 · 偽鈔與警察 · 懂的人可以跳到第 14 頁
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
沒有標準答案,那就找一個人專門挑毛病
偽鈔犯印鈔票,警察負責驗。警察抓到一張,偽鈔犯就改進;偽鈔變好,警察只好練眼力。兩個人一起變強。
你猜猜看:如果有一天偽鈔做到跟真鈔一模一樣,警察猜對的機率剩多少?
看不出差別,只好用猜的,像丟銅板。這個 50% 在第 34 頁會變成一個麻煩。
偽鈔犯叫 generator:把亂數變成圖。警察叫 discriminator:看一張圖,判斷是真的還是生成的。
「那如果這個 Discriminator 沒辦法分辨,就代表說原來的聲音訊號跟還原的聲音訊號非常像。」🎓 李宏毅課堂 導論 2025 · 第 9 講(課堂用聲音當例子)
只練警察,或只練偽鈔犯,會怎樣?
④ 跟這章的關係這就是原書最後選的 GAN(第 14 頁)。訓練完,警察就下班了:生成時只用 generator。
原書Generative adversarial network · Figure 4
GAN:兩個網路玩一場持續的遊戲
這一步要解決怎麼讓生成的圖夠銳利、夠逼真,而且生成要快?
📖 原書 GAN 由兩個網路組成:generator 把隨機雜訊變成圖;discriminator 判斷一張圖是真的還是生成的。訓練時兩邊持續比賽:生成的圖被正確判成「生成的」,generator 就被罰。一直比到 discriminator 分不出真假為止。
「你也可以輸入文字,但輸入文字只能夠指定眼睛跟頭髮的顏色,你在輸入更多模型是不會理你的。」🎓 李宏毅課堂 導論 2025 · 第 9 講(回顧 2017 年的二次元人物生成作業)
Pros
- High-quality generation:以高品質出名
- Fast generation:通常比 VAE 慢,但 generator 一次 forward pass(輸入從頭走到尾一次)就生出一張
- Attribute control:改架構就能控制年齡、表情,例如「快樂又年長」的臉
Cons
- Training instability:難訓練,常見 mode collapse(只會畫少數幾種)和 non-convergence(練不穩)
- Limited control:屬性可以,再多就難,例如用文字描述生圖
- Limited novelty:擅長某一類圖的變化,難生出跟訓練資料差很多的圖
📖 原書 結論:GAN 難訓練、控制有限;但細節好、支援臉部屬性控制,適合人臉生成與影像編輯。
原書Autoregressive model · Figure 5
Autoregressive:把圖切成一串,像文字接龍一樣接出來
這一步要解決文字接龍那麼強,圖片能不能也一塊一塊接?
📖 原書 把影像生成當成序列生成:圖的每一部分依序生成。因為是序列,可以用 Transformer(專門做接龍的模型架構,見 Smart Compose 那份),利用它抓遠距離關係的能力。
「所以用像素接龍可以產生圖片,是在寒武紀就已經知道的事情。」🎓 李宏毅課堂 導論 2025 · 第 9 講(「寒武紀」指 2016 年)
📖 原書 結論:慢,但細節多又新穎。OpenAI 的 DALL-E 和 Google 的 Muse 都是 autoregressive;第 8 章細講。
Pros
- High detail and realism:細節多、銳利
- Stable training:比 GAN 穩
- Control over generation:可加文字 prompt;Transformer 的輸入序列可以放任意多個輸入
- Multimodal conditioning:只要變成一串數字向量,聲音也能當條件,例如給一段慶祝的音樂,生出相符的圖
- Novelty:沒看過「火星上椅子上的酪梨」也畫得出來
Cons
- Slow generation:一次一個 token(一小塊),比 VAE、GAN 慢
- Resource-intensive:常有數十億個參數,訓練很貴
- Limited image manipulation:沒有結構化的 latent space,難做臉部屬性控制
原書Diffusion model · Figure 6 · 動手玩
Diffusion:先學會把雜訊擦掉,再從一片雜訊擦出一張臉
這一步要解決一次畫好太難,那可不可以分很多步,每步只改一點點?
📖 原書 把生成當成反覆的過程。訓練時,在圖上一點一點加雜訊,訓練網路去預測加了什麼雜訊。生成時,從隨機雜訊開始,用網路反覆去雜訊,在固定步數內,每步補上一點細節,變成一張有意義的圖。
📖 原書 結論:慢,但細節、多樣性和想像力都很強。多數最先進的生圖模型(例如 DALL·E 3)是 diffusion;第 9 章細講。
Pros
- High detail and realism:品質和逼真度卓越
- Stable training:比 GAN 穩
- Control over generation:跟 autoregressive 一樣,可以用文字等輸入控制
- Novelty and creativity:新穎、有想像力
- Robustness to noisy images:本來就在去雜訊,適合影像去噪
Cons
- Slow generation:要去雜訊很多步,比其他方法慢
- Resource-intensive:常有數十億參數,訓練貴
- Limited image manipulation:沒有結構化的 latent space
原書Table 1 · 四種方法比一比 · 動手玩
四種方法放在一起比,人臉該選誰?
這一步要解決四種方法各有長短,要用這一題的需求來挑。
📖 原書 Table 1 影像生成方法的比較
| Characteristics | VAE | GAN | Autoregressive | Diffusion |
|---|---|---|---|---|
| Quality 品質 | Low | Moderate | High | Exceptional |
| Speed 速度 | Fast | Fast | Slow | Slow |
| Training stability 訓練穩定 | Stable | Unstable | Stable | Stable |
| Control over generation 生成控制 | Limited | Limited | Flexible | Moderate |
| Facial manipulation 臉部操控 | No | Yes | No | No |
| Novelty 新穎性 | Limited | Limited | High | High |
| Resource intensity 資源 | Moderate | Moderate | High | High |
勾選需求,看哪一欄還留著:
你猜猜看:需求是「不到 1 秒」加上「之後要能改臉部屬性」。四個方法剩誰?
Fast 的只有 VAE 和 GAN;能做 Facial manipulation 的只有 GAN。左邊勾選驗證看看。再勾「訓練要穩」,就一個都不剩了:天下沒有白吃的午餐。
你會發現,沒有一個方法每一列都贏。選方法其實就是:先講清楚你最在乎哪幾列,再看誰剩下來而已。
原書選擇 GAN · Figure 7 · 動手玩
原書選 GAN:因為它有一排可以拉的滑桿
這一步要解決為什麼「能改臉部屬性」這麼重要,重要到可以忍受難訓練?
📖 原書 為了逼真的人臉生成,選 GAN 當主要方法。GAN 特別有效,因為它可以透過結構化的 latent space(每個方向都有意思的那排數字)操控臉部屬性,而這是本章的選配需求。
結構化是什麼意思?就像我們的捏臉滑桿:第 4 個數字往下拉,頭髮就變少,其他地方不動。同一個人,只改一件事。
開場的捏臉,其實就是「結構化 latent space」的玩具版而已。真的 GAN 的方向不是人設計的,是訓練出來、再被找出來的(原書引用 [10])。
原書Data Preparation · 動手玩
70,000 張臉,訓練前要先整理四件事
這一步要解決模型只會學你給它看的東西。給它模糊的、偏一邊的照片,它就學模糊的、偏一邊的臉。
📖 原書 ① 移除低品質、低解析度的圖
低解析度的直接拿掉;再用 ML 模型過濾模糊、品質差的。確保模型只從高品質的圖學。
📖 原書 ② Augment(擴增)
翻轉、旋轉、調色,人工增加訓練資料。模型看到更多變化,之後泛化得更好(學到的本事能用在沒看過的臉上)。
📖 原書 ③ Normalize 與 resize
全部調成標準尺寸,例如 1024×1024;數值縮到標準範圍,通常是 −1 到 1。
📖 原書 ④ 提升多樣性
用 ML 分類器幫每張圖標性別、年齡等屬性,再調整資料集,讓不同群體比例平衡。這一步對防止生成的臉有偏差至關重要。
看一張照片走過四步
延伸基礎第 6 階 · 放大鏡 · 懂的人可以跳到第 21 頁
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
小方格怎麼變成大方格?大方格怎麼縮回小方格?
找照片裡的眼睛:拿一個小放大鏡,從左上角一格一格掃過去。反過來想把小圖變大:拿一顆印章,小圖的每一格,在大紙上蓋一個圖案。
你猜猜看:從 4×4 的小方格開始,每過一關邊長變 2 倍。要過幾關才會變成 64×64?
4 → 8 → 16 → 32 → 64,剛好 4 關。原書 Figure 8 的 generator 就是這樣長大的。
放大鏡掃圖叫 convolution(卷積)。印章式的放大叫 transposed convolution(轉置卷積)。放大鏡和印章上的數字,都是模型要學的。
④ 跟這章的關係generator 用印章一路放大(第 21 頁);discriminator 用放大鏡一路縮小,最後只剩一個數字(第 26 頁)。
原書Architecture · Generator · Figure 8、9
Generator:一關一關放大,從 100 個數字長成一張圖
這一步要解決100 個數字,怎麼變成 64×64×3 的一張圖?
📖 原書 Generator 吃隨機雜訊、吐出一張圖。架構是一串 upsampling block(放大關卡),每關把高、寬變大,把低維的 noise vector 慢慢變成目標大小的 2D 圖。每關有三個零件:
① Transposed convolution
又叫 deconvolution、upsampling convolution,增加空間解析度,做的是一般 convolution 的反向。常用在影像生成、semantic segmentation(幫每個像素分類)、super-resolution(把圖變清楚)。做法:先在輸入的像素之間插零撐大,再用 filter 掃;調整 stride(每次移幾格)和 padding(外圍補幾圈)得到想要的大小。
📖 原書 例子:1×1×100 用 1024 個 1×1、stride 1 的 filter → 4×4×1024;再用 512 個 3×3、stride 1 的 filter → 8×8×512。這就是 Figure 8 的前兩關。PyTorch 裡通常用 ConvTranspose2d。
② Normalization layer、③ Non-linear activation:第 23、25 頁。
延伸基礎第 7 階 · 統一尺度 · 懂的人可以跳到第 23 頁
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
兩班考試,A 班 50 分和 B 班 95 分,誰比較厲害?
A 班老師出得難,全班平均 40;B 班出得簡單,平均 90。小明在 A 班考 50,小華在 B 班考 95。光看分數,小華贏。
你猜猜看:誰比自己班的平均,高得比較多?
小明 50 − 40 = +10,小華 95 − 90 = +5。先扣掉各班平均,才比得出誰真的強。
把一堆數字移到「平均 0、寬度差不多」,叫 normalization。拿同一批(batch)一起算平均,叫 batch normalization。
「這些 normalization 做的事情是把每一個 layer 的輸出限制在某一個範圍內。」🎓 李宏毅課堂 導論 2025 · 第 6 講
④ 跟這章的關係generator 每一關蓋完章,就做一次 normalization。GAN 兩邊在拔河,數字一忽大忽小就容易練壞(第 23 頁)。
原書Normalization layer · Figure 10 · 動手玩
第二個零件:normalization,四種差在「誰跟誰一起算平均」
這一步要解決GAN 是兩個網路在拔河,很容易練到一半就亂掉。怎麼讓它穩一點?
📖 原書 Normalization layer 把輸入縮放到一致的分布,提升訓練穩定性。GAN 不穩,因為兩個網路互相競爭,可能 mode collapse 或震盪(兩邊一直無法收斂)。Normalization 縮放每一層的 activation(每層算出來的數字),降低 gradient 消失或爆炸的風險(第 31 頁的坡度變得太平或太陡),讓兩邊勢均力敵;優化更穩,就能用更高的 learning rate(下山步伐),訓練更快、更早收斂。
Batch Norm(BN)
在 batch 維度上,替每個 feature 算平均和變異數,再用可學的參數縮放、平移。好處:穩定、可用較高 learning rate、加速;也有 regularization(防背答案)效果。常用:深度網路,包括 CNN 和 GAN generator。
Layer Norm(LN)
不跨 batch,而是在每一個樣本自己的所有 feature 上算平均和變異數。好處:batch 小或大小會變時也有效,如 RNN、Transformer。常用:序列模型,和要求每個樣本行為一致的場景。
Instance Norm(IN)
每個樣本的每一張 feature map 各自正規化。好處:樣本外觀差很多時,讓網路專注內容而不是風格。常用:風格轉換、影像生成。
Group Norm(GN)
把 feature 分成好幾組,組內正規化,介於 BN 和 LN 之間。好處:batch 很小、BN 失效時有用。常用:BN 因 batch 太小而失效,或需要跨特徵組一致時。
延伸基礎第 8 階 · 彎一下 · 懂的人可以跳到第 25 頁
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
只會走直線的人,走一百段還是直線
只會直走的人,走兩段、走一百段,路線還是一條直線。想繞過柱子、畫出臉的弧線,就得會轉彎。
你猜猜看:一個數字先「× 2」,再「× 3」,等於什麼?
2 × 3 = 6。直線接直線,只是比較陡的直線。疊 100 層也一樣,所以中間要加會轉彎的東西。
每一層後面加的「轉彎開關」叫 non-linear activation。最常用的 ReLU:負的變 0,正的照舊,就這樣而已。
④ 跟這章的關係generator 每關用 ReLU,最後一關用 Tanh 壓到 −1 到 1(剛好是像素的範圍);discriminator 最後用 sigmoid 壓到 0 到 1,當機率(第 25、26 頁)。
原書Non-linear activation · Generator architecture · Figure 11
三個零件組起來:印章 → 統一尺度 → 轉彎,最後一關改用 Tanh
這一步要解決零件都有了,generator 整台長什麼樣?最後吐出來的數字範圍對不對?
📖 原書 Non-linear activation,例如 ReLU,替模型加入非線性,讓它學得會複雜的模式。沒有非線性,網路再深也只是線性轉換,學不會影像、語音這種複雜的資料分布。
📖 原書 Generator 由 upsampling block(ConvTranspose2D)組成,每關後接 normalization(BatchNorm2D)和 activation(ReLU)。最後一關用 Tanh 取代 ReLU,讓輸出落在 −1 到 1,對上資料準備後的像素範圍。
你發現了嗎?第 19 頁把照片縮到 −1 到 1,就是為了這一刻:generator 畫出來的,跟真照片要在同一個尺度上,警察才比得了。
原書Discriminator · Figure 12、13
Discriminator:一關一關縮小,最後只說一個機率
這一步要解決警察看一整張 64×64×3 的圖,要怎麼濃縮成一句「這是真的機率 80%」?
📖 原書 Discriminator 是 binary classifier(二選一的分類器):輸入一張圖,輸出它是真的的機率。由一串 downsampling block 加一個 classification head 組成。
Downsampling block
好幾個 convolution,逐步縮小空間維度、同時抽特徵。PyTorch 通常用 stride 2 的 Conv2D 把高寬減半。跟 generator 一樣,中間夾 BatchNorm2D 和 ReLU,提升穩定與效能。
Classification head
一到兩層 fully connected layer(每個輸入都連到每個輸出,最後匯成一個數),接 sigmoid,把輸出壓在 0 到 1,才能解讀成機率。
📖 原書 GAN 有很多版本。例如 StyleGAN 改了 generator 架構,可以控制年齡、髮色、表情(原書請讀者看 [18])。
小結第 5–8 階:偽鈔犯與警察怎麼蓋
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
到這裡你已經會了
- GAN 是偽鈔犯加警察generator 畫、discriminator 挑毛病;原書因為「快」和「能改屬性」選它(第 13、17 頁)
- 印章放大、放大鏡縮小transposed convolution 與 convolution(第 20 頁)
- 每關先統一尺度、再轉個彎BatchNorm 與 ReLU;最後 Tanh 給像素、sigmoid 給機率(第 22、24 頁)
z 這組密碼,現在走到哪裡
- 輸入z(原書是 100 個數字)
- generator1×1 → 4×4 → 8×8 → … → 64×64×3
- 最後一關Tanh:每格都在 −1 到 1
- discriminator64×64 → 32 → 16 → 8 → 4 → 一個數
- sigmoid「是真的機率 0.3」(示意)
下一階要解決:兩台機器都蓋好了,但裡面的數字都是亂的。兩個人要怎麼一起練?警察說錯了,要罰多重?
原書Training · Adversarial training · Figure 14
對抗訓練:你練一下、我練一下,不能一邊壓著另一邊打
這一步要解決兩個網路要同時變強。可是一起練,誰先誰後?
📖 原書 用一種特別的過程叫 adversarial training(對抗訓練):generator 和 discriminator 在像遊戲的情境裡同時訓練。generator 想產生看起來真的圖;discriminator 加強分辨真假的能力。一直比到 discriminator 抓不出假的為止。
📖 原書 要確保兩邊一起進步,避免一方壓倒另一方;經驗上這個平衡是成功的關鍵。常見做法是交替:
- 凍結 generator(數字先不動),訓練 discriminator 幾次
- 凍結 discriminator,訓練 generator 幾次
「這種訓練一下 Tokenizer、Detokenizer,再去訓練一下 Discriminator,這個往復往復這樣的行為,其實就跟一個叫做 Generative Adversarial Network (GAN) 的模型做的事情是一樣的。」🎓 李宏毅課堂 導論 2025 · 第 9 講(課堂裡扮演偽鈔犯的是聲音的 Tokenizer、Detokenizer)
延伸基礎第 9 階 · 驚訝分數 · 懂的人可以跳到第 30 頁
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
警察說錯了,要罰多重?
警察看一張真鈔說「是真的機率 90%」,結果真是真鈔,沒什麼好意外。他說「只有 1%」,結果是真鈔,那就很糗。越有把握卻說錯,越該重罰。
你猜猜看:警察對一張真的臉說「是真的機率只有 1/100」。驚訝分數大約多少?(提示:1/10 是 2.3 分)
每多一個零,就多 2.3 分:1/10 是 2.3,1/100 是 4.6。這就是 log 在做的事,只看數量級。
驚訝分數叫 loss:離正確答案多遠,越小越好。答案只有「真」「假」兩種時的驚訝算法,叫 binary cross-entropy。
④ 跟這章的關係警察的 loss 就是兩種驚訝加起來:看真臉的、看生成臉的(第 30 頁)。
原書ML objective and loss function · 動手玩
同一條算式,警察想讓它變大,偽鈔犯想讓它變小
這一步要解決兩個人目標相反。怎麼各自算分數,又怎麼寫成一條式子?
📖 原書 Discriminator:用 binary cross-entropy
LD = 真臉的平均驚訝−log D(真臉),取 m 張的平均 + 生成臉的平均驚訝−log(1 − D(生成臉)),取 n 張的平均
D(…) 是警察說「是真的」的機率。目標:讓 LD 越小越好。
📖 原書 Generator:讓警察把假臉說成真的
LG = 平均 log(1 − D(生成臉))
理想上警察對生成臉要說接近 1。目標:最大化 log D(生成臉),等價於讓 LG 越小越好。
📖 原書 GAN 的 minimax loss
V = 平均 log D(真臉) + 平均 log(1 − D(生成臉))
原始 GAN 論文用的。警察要 V 最大、偽鈔犯要 V 最小,寫成「min over G、max over D」。為了訓練更穩,後來還有很多其他 loss(原書請讀者看 [20])。
拔河看看
延伸基礎第 10 階 · 蒙眼下山 · 懂的人可以跳到第 32 頁
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
知道罰多重了,要往哪邊改?腳下是平地怎麼辦?
你蒙著眼睛站在山坡上,想走到谷底。用腳摸坡度,往低處跨一步;坡越陡,跨越大。如果腳下是一大片平地呢?
你猜猜看:腳下完全平坦、摸不到坡度,你會怎樣?
坡度告訴你方向和力道。坡度接近 0,每一步也接近 0。右邊選「從平原出發」走走看。
坡度叫 gradient。照著坡度一步步往 loss 低的地方走,叫 gradient descent。
「切線斜率越大,也就是這個山坡越陡,我們就踏越大步,如果很平滑就踏小步一點。」「這邊的這個 gradient 已經非常小了,所以走的非常的慢。」🎓 李宏毅課堂 導論 2025 · 第 5 講
④ 跟這章的關係警察和偽鈔犯都靠下山調數字。警察太強時,偽鈔犯腳下變成平地,原書叫 vanishing gradient(第 32 頁)。
原書Common training challenges · ① Vanishing gradients · 動手玩
難題一:警察太強,偽鈔犯反而學不到東西
這一步要解決GAN 比其他生成模型難訓練。原書說面試時談這些挑戰很加分,三大難題的第一個是什麼?
📖 原書 三大挑戰:vanishing gradients、mode collapse、failure to converge。第一個主要傷 generator:discriminator 太會分真假時,給 generator 的 gradient 非常小,generator 學得很慢,甚至停住。
解法 ① Modified minimax loss
📖 原書 原始 GAN 論文就指出:照原本的目標練,可能卡住。建議把 generator 的目標改成最大化 log D(生成臉)。換個角度:不是「讓假臉被說成假的機率變小」,而是「讓假臉被說成真的機率變大」。
解法 ② Wasserstein loss(WGAN)
📖 原書 WGAN 的 discriminator 叫 critic(評審):不分類真假,而是給「真實度」分數。Critic loss = D(真) − D(生成),critic 要讓它最大;generator 要讓 D(生成)最大。
看偽鈔犯腳下的坡度
警察的機率是 sigmoid 壓出來的(第 24 頁)。壓扁的那一段就是平地:原本的目標在警察很有把握時幾乎是平的,改過的目標還很陡。
原書② Mode collapse · 動手玩
難題二:偽鈔犯找到一張必過的,就只印那一張
這一步要解決換不同的亂數,本來應該得到不同的臉。為什麼有時候全部長得一樣?
你猜猜看:偽鈔犯發現有一款假鈔,警察每次都放行。他接下來最可能怎麼做?
只要能騙過警察就好,何必冒險?generator 也一樣:找到一張最能騙過 discriminator 的臉,就一直畫它。
📖 原書 理想上,不同的隨機輸入要產生不同的圖。Mode collapse 是 generator 只產生少數幾種圖:訓練中它可能找到一張在 discriminator 眼中最可信的圖,然後一直產生它,永遠學不會畫別的。
📖 原書 兩個常見解法
- Wasserstein loss(上一頁的 critic 打分數)
- Unrolled GAN:細節原書請讀者看 [22]、[4]
八組不同的亂數,畫出幾種臉?
原書③ Failure to converge · 動手玩
難題三:偽鈔太像,警察只能丟銅板,回饋變成雜訊
這一步要解決不是練越久越好嗎?為什麼練過頭,品質反而會垮?
📖 原書 GAN 訓練常常不穩,因為 failure to converge(練不到穩定點)。generator 進步時,discriminator 越來越難分,表現下降。如果 generator 完美模仿真資料,discriminator 準確率掉到 50%,等於丟銅板。這時它的回饋對 generator 越來越沒用;練過某個點後,generator 開始拿沒用的回饋在練,品質可能因此崩掉。
📖 原書 改善穩定與收斂的四招
- Normalization:例如 batch normalization,讓各層分布一致(第 23 頁)
- Different learning rates:兩邊用不同的步伐,平衡彼此進度
- Regularization:例如 weight decay(懲罰太大的數字),防止背答案、維持穩定
- Adding noise to discriminator inputs:在給警察的圖上加雜訊,免得它太早變太強
細節原書請讀者看 [21]、[23]。
練多久才停?
原書Sampling · Latent space · Figure 15 · 動手玩
訓練好了:每一個點,都是一張臉
這一步要解決GAN 練好了,要怎麼從它身上「取」出新的臉?
📖 原書 Sampling 就是從訓練好的 GAN 生成新圖。訓練時,generator 學會把各種 noise vector 變成圖,這形成一個 latent space:一個多維空間,每一個點代表一個可能的 noise vector。它對 GAN 有意義,因為 generator 能把每個點對應到一張圖。
📖 原書 要生成一張臉,就從這個空間取一個點,叫 latent vector;generator 再把它變成圖。取點的方法有兩種:random sampling 和 truncated sampling(下一頁)。
我們的捏臉滑桿就是一個 4 維的 latent space。原書的是 100 維:沒辦法畫,但道理一樣。
原書Random vs truncated sampling · Figure 16 · 動手玩
全部範圍隨便抽,還是只抽中間那一塊?
這一步要解決鐘形曲線偶爾會抽到很邊邊的數字,那張臉就怪怪的。要不要管它?
Random sampling
📖 原書 用 standard Gaussian 從整個 latent space 抽。確保 latent vector 多樣,生成的圖也多樣。
Truncated sampling
📖 原書 把 latent vector 限制在比較小、機率比較高的區域。截斷分布,減少生出 outlier(離群的怪東西)的機會,品質更高。主要目標是高度逼真時有用(細節見 [24])。
📖 原書 總結:random 探索整個空間、確保多樣;truncated 聚焦高機率區、提升逼真。人臉生成選 random sampling:多樣,而且實務上通常效果不錯。
小結第 9–10 階:兩個人怎麼一起長大
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
到這裡你已經會了
- 警察說錯就罰,同一條式子兩邊拔河binary cross-entropy 與 minimax;輪流凍結、輪流練(第 29、30、28 頁)
- 下山要有坡度gradient descent;警察太強時偽鈔犯腳下是平地(vanishing gradient)(第 31、32 頁)
- 只會一招、練過頭會垮;取樣要抽全範圍mode collapse、failure to converge;random vs truncated(第 33、34、36 頁)
z 這組密碼,現在走到哪裡
- 畫generator 把 z 畫成一張臉
- 警察「是真的機率 0.01」→ 偽鈔犯腳下太平
- 改目標改成最大化 log D,坡度回來了
- 練完警察下班;z 只是 latent space 裡的一個點
機率都是示意。
下一階要解決:練完了,畫得到底好不好?總不能每次都請人來看幾千張臉吧?
延伸基礎第 11 階 · 有把握又多樣 · 懂的人可以跳到第 39 頁
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
請一位認圖專家來看:每張都認得出來,而且種類夠多嗎?
請專家看你畫的圖。每張他都說「這是狗,九成五確定」,代表畫得清楚。整疊看完,狗、貓、車都有,代表畫得多樣。
你猜猜看:你畫 3 種東西,每張都清楚,三種剛好各佔 1/3。這個「清楚又多樣」分數最高大概是?
分數最多等於「有幾種」:每張都確定、種類又平均時剛好是 3。只畫一種,或每張都看不清楚,就只剩 1。
「一張的判斷」跟「整疊平均」差多遠,用 KL divergence 量。整套算法叫 Inception score:專家是一個叫 Inception 的認圖模型。
④ 跟這章的關係原書的第一個自動評分就是它,越高越好(第 39 頁)。
原書Offline evaluation · Inception score · Figure 17
自動評分 ①:Inception score,五個步驟
這一步要解決怎麼不靠人,自動檢查生成的圖「品質」和「多樣性」?
📖 原書 評估影像生成要同時看品質和多樣性。指標有 Inception score、FID、KID(Kernel Inception distance),最常用的是前兩個;人工評估仍然必要。面試官要看的是直覺和實務理解,不是公式,但大致懂幾個指標有幫助。
- Generating images:用要評估的模型生成大量圖
- Computing class probabilities:預訓練的分類模型(例如 Inception v3)替每張圖給出 1,000 類的機率;高品質的圖會有一個尖峰
- Calculating the marginal distribution:所有圖的機率取平均;圖越多樣,這個平均越平
- Computing KL divergence:量每張圖的分布離平均多遠;高品質的圖離得遠
- Calculating the Inception score:KL divergence 的平均,再取指數。分數高 = 每張都被自信地分到、而且分到很多不同類
多樣性
整疊平均接近均勻(各類差不多多),代表分布在很多類。
品質
每張分布尖,代表清楚地被認成某一類;跟平均比就看得出來。
延伸基礎第 12 階 · 兩堆點像不像 · 懂的人可以跳到第 41 頁
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
兩班身高平均都是 165,這兩班就「像」嗎?
A 班從 150 到 180 公分都有,B 班每個人都剛好 165。兩班平均一樣,但站成一排一看就知道不一樣。
你猜猜看:一個 GAN 每次都畫同一張很真的臉(mode collapse)。只比「平均長相」,抓得到它嗎?
同一張臉剛好站在平均附近時,平均一樣;但它完全沒有分散。所以要同時比「中心在哪」和「散得多開」。
好幾個方向一起看的「分散程度」,叫 covariance。把「中心差多少」和「分散差多少」合成一個距離,就是 FID:越低越像。
「縱軸是一個叫 FID 的東西,我們這邊就不細講 FID 是什麼,它代表的是圖片生成的品質……總之這個數值越小,代表你的圖片生成是越好的。」🎓 李宏毅課堂 導論 2025 · 第 9 講
④ 跟這章的關係FID 不問「每張像什麼」,而是比整堆生成臉和整堆真臉的特徵(第 41 頁)。
原書Fréchet inception distance (FID) · Figure 18
自動評分 ②:FID,比較整堆假臉和整堆真臉的特徵
這一步要解決Inception score 只看生成的圖。能不能直接拿去跟真照片比?
📖 原書 FID 評估生成圖的分布跟真圖的分布有多像。它不用類別機率,而是用預訓練模型(如 Inception v3)抽出的特徵統計。選 Inception 是因為它在大型、多樣的 ImageNet 上訓練過,抽得出代表內容和風格的特徵。
- Generating images:生成大量圖,準備跟一組真圖比
- Extracting features:生成圖和真圖都進 Inception v3,從接近最後的某一層取出特徵(activation):形狀、紋理、物體這種高階資訊
- Calculating mean and covariance:兩組各算特徵的平均和 covariance
- Computing Fréchet distance:兩組的平均與 covariance 之間的距離,就是 FID。越低,越真實也越多樣
📖 原書 多樣性:看 covariance,生成的散得跟真的一樣開才好。品質:平均和 covariance 都接近真的,就很可能是高品質。限制:FID 和 IS 依賴 ImageNet 的類別,會帶進偏差,不一定跟人的判斷一致;[30] 建議改用 CLIP 這類非 ImageNet 訓練的模型。但 CLIP 指標也還取代不了人的回饋。
原書Human evaluation · Online metrics · Figure 19 · 動手玩
最後還是要請人來看,上線後再看使用者
這一步要解決「美不美」「像不像真人」,自動指標常常抓不到。怎麼辦?
📖 原書 人工評估很重要,因為自動指標會漏掉美感這類主觀品質。一種做法([31]):給評估者看兩個模型各生成一張的圖,問「哪一張看起來更像照片」。這樣比較模型,更貼近人的判斷。
「兩個模型各自有一個輸出,怎麼知道誰比較好,找一堆人來評斷。」「當你給人類的指示不一樣的時候,這個評比出來的結果,是會有不一樣的差距的。」🎓 李宏毅課堂 導論 2025 · 第 4 講
📖 原書 Online evaluation metrics
- User feedback:直接反映使用者的意見,用問卷、評分、留言收集
- Latency:從送出請求到圖完整生成、送到使用者手上的時間。互動式應用尤其要快;監控它可以找出效能瓶頸,確保符合期望(需求是不到 1 秒)
小結第 11–12 階:怎麼打分數
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
到這裡你已經會了
- 每張清楚、整疊多樣:Inception score每張的判斷很尖、整疊平均很平,越高越好(第 38、39 頁)
- 整堆假臉跟整堆真臉比:FID中心和分散程度都要像,越低越好;mode collapse 也抓得到(第 40、41 頁)
- 最後請人看,上線再看使用者成對比較;user feedback 和 latency(第 42 頁)
評估一台 GAN 的三關
- Inception生成的臉:清楚嗎?夠多種嗎?
- FID跟 70,000 張真臉比:整堆像嗎?
- 人新舊模型各一張,哪張像照片?
- 上線使用者喜歡嗎?有沒有在 1 秒內?
下一步要解決:零件、訓練、評估都有了。怎麼把它們接成一個會自己變好的系統?
原書Overall ML System Design · Figure 20
整個系統:一條生成的路,加一條自己變好的迴圈
這一步要解決使用者按一下要拿到臉;模型還要定期重練、檢查、換上線。誰負責哪一段?
Face generator
📖 原書 核心元件:接使用者請求,跟訓練好的 GAN 互動,取樣出高品質的圖。使用者可以選擇指定年齡、性別、髮型、表情;服務利用 StyleGAN 的特性,依屬性調整 latent space 裡的 noise vector。屬性控制的架構細節面試通常不談,有興趣看 [32][33]。
Training service
📖 原書 定期用使用者認可的生成圖和新的訓練資料重新訓練 GAN,持續改進。
Evaluation service
📖 原書 自動評估新訓練的模型,用預先定好的指標;結果決定新模型是否達標、該不該取代現有的。
Deployment service
📖 原書 把改進的模型部署到正式環境,更新時平順切換、停機時間最少;也監控上線模型的表現。
原書Other Talking Points
面試還有時間,可能會被問到這些
📖 原書 進階主題
- 各種 GAN 架構:DCGAN、WGAN、StyleGAN,以及各自的取捨 [34][35][18]
- 穩定 GAN 訓練、避免 mode collapse 與收斂問題的技巧:Wasserstein loss、gradient penalty,和其他穩健的訓練方法 [36]
- 用 conditional GAN(cGAN)依特定條件或輸入生成人臉 [37]
- 條件一致性的評估指標 [38][39]
- 人臉生成裡的 style-mixing [18]
每一題回到今天的哪一頁
- DCGAN → 第 21、26 頁:印章放大、放大鏡縮小的 GAN,就是這種卷積式 GAN 的樣子
- WGAN、gradient penalty → 第 32 頁的 critic;gradient penalty 是限制 critic 的坡度別太陡
- cGAN → 第 6 頁:把想要的屬性跟亂數一起當輸入
- 條件一致性 → 第 39–42 頁之外,還要問「叫它笑,它有沒有笑」
- Style-mixing → 第 18 頁的滑桿:一張臉取 A 的臉型、B 的髮型
📅 2026 補充方法怎麼演進
原書之後:主角換人了,但偽鈔犯和警察的想法還在
這一步要解決原書之後,生成人臉的方法往哪裡走?
生圖的主流是 diffusion 與 flow matching
原書 Table 1 已經寫 diffusion 品質最高。之後通用的生圖模型多半走 diffusion,或它的近親 flow matching。GAN 仍用在需要「一次就畫好、要很快」的場合。
「比如說 Stable Diffusion,它第三代的模型,是用 Flow Matching,所以它名字裡面有 Diffusion,但它居然不是 Diffusion Model。」🎓 李宏毅課堂 導論 2025 · 第 9 講
警察沒有失業:adversarial loss
把圖壓縮再還原的模型(tokenizer、decoder),常加一個 discriminator 一起練,讓還原的圖不糊;把幾十步的 diffusion 壓成一到四步時,也常加對抗訓練(例如 2023 年的 Adversarial Diffusion Distillation)。
「這個叫做 Adversarial 的 Loss。」「它們會拿 Adversarial 的 Loss 當作它的目標來進行訓練。」🎓 李宏毅課堂 導論 2025 · 第 9 講
評分的專家也在換
原書已提醒 FID 依賴 ImageNet 類別。之後也有研究把同樣的距離改用其他模型(例如 DINOv2)抽的特徵來算,並持續拿人的評比校準。
速度差距在縮小
原書要不到 1 秒,GAN 一次 forward pass 是優勢。少步數的 diffusion 出現後,這個差距縮小了;但「能拉滑桿改屬性」仍是 GAN latent space 的強項。
📅 2026 補充方法的限制與安全
越逼真,越要回答:這張臉從哪裡來?
這一步要解決假臉做得跟照片一樣,就可能被拿去冒充、騙人。方法本身有哪些限制、可以怎麼補?
你猜猜看:有人做了一個很準的「假臉偵測器」。對訓練 GAN 的人來說,它最可能變成什麼?
偵測器其實就是一個 discriminator 而已。GAN 的訓練本來就在「騙過警察」,所以只靠偵測,永遠是貓抓老鼠。
偵測不能是唯一的防線
所以實務上還會在產生的那一刻就留下記號:在圖裡嵌入肉眼看不到的 watermark(浮水印),或在檔案附上來源資訊(例如 C2PA 的 Content Credentials 標準),讓別人查得到「這是 AI 生成的」。
資料與隱私
原書要求授權資料、符合隱私法規。另一個限制:研究發現生成模型有時會把訓練圖「背出來」(第 34 頁的過頭)。上線前可以拿生成的臉去比對訓練集裡最像的那張,太像就擋下。
偏差
模型只會畫它看過的臉。原書的「提升多樣性」(第 19 頁)要持續做;評估時也要分群體看,不只看整體 FID。
回饋迴圈
Training service 會拿使用者認可的生成圖重訓(第 44 頁)。生成的圖一直餵回去,偏差和怪臉可能被放大,要留意比例並保留真實資料。
原書Summary 心智圖
原書這一章的總結圖
回顧12 階全部爬完
- 一組亂數
- 數字方格
- 鐘形曲線
- 壓縮還原
- 偽鈔與警察
- 放大鏡
- 統一尺度
- 彎一下
- 驚訝分數
- 蒙眼下山
- 有把握又多樣
- 兩堆點像不像
人臉生成,其實就是偽鈔犯跟警察一起長大而已。
臉從哪裡來
從鐘形曲線抽一排亂數(noise vector),generator 用印章一關一關放大,變成一張數字方格。
為什麼選 GAN
VAE 會糊、autoregressive 和 diffusion 太慢;GAN 快,而且 latent space 有滑桿可以改屬性。
怎麼一起長大
警察罰錯(binary cross-entropy),兩邊輪流下山;小心平地、只會一招、練過頭。
怎麼打分數
Inception score 看清楚又多樣,FID 看整堆像不像,最後請人看,上線看使用者和延遲。
抽一組亂數,畫一張臉,給警察看。然後呢?然後就結束了。
名詞小卡課後複習用 · 每個詞一行白話
本章名詞小卡
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| vector | 一組數字,或地圖上的一支箭頭 | 第 5 頁 |
| noise / latent vector | 抽出來的那排亂數,就是一張臉的捏臉密碼 | 第 5、35 頁 |
| pixel / resolution | 圖片的一格/一邊有幾格 | 第 7 頁 |
| Gaussian distribution | 中間多、兩邊少的鐘形曲線 | 第 8 頁 |
| encoder / decoder | 負責壓縮的/負責還原的 | 第 10 頁 |
| VAE | 壓縮還原學會後,拿亂數直接還原;快但會糊 | 第 11 頁 |
| autoregressive | 把圖切成一串,一塊一塊接龍 | 第 15 頁 |
| diffusion | 從一片雜訊,一步步擦出一張圖 | 第 16 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| GAN | 偽鈔犯加警察,一起練 | 第 14 頁 |
| generator | 偽鈔犯:把亂數畫成圖 | 第 13 頁 |
| discriminator | 警察:說一張圖是真的的機率 | 第 13 頁 |
| convolution | 拿小放大鏡掃圖,越掃越小 | 第 20 頁 |
| transposed convolution | 拿印章在大紙上蓋,越蓋越大 | 第 20 頁 |
| normalization | 先統一尺度:扣平均、除以分散 | 第 22 頁 |
| ReLU / Tanh / sigmoid | 轉彎開關:負的變 0/壓到 −1~1/壓到 0~1 | 第 24 頁 |
| latent space(結構化) | 一排有意思的滑桿,拉一個只改一件事 | 第 18 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| adversarial training | 輪流凍結一邊、練另一邊 | 第 28 頁 |
| loss | 猜錯有多驚訝;越小越好 | 第 29 頁 |
| binary cross-entropy | 只有真、假兩種答案時的驚訝算法 | 第 29 頁 |
| minimax | 同一條式子,警察要大、偽鈔犯要小 | 第 30 頁 |
| gradient descent | 蒙眼下山,照坡度往 loss 低的地方走 | 第 31 頁 |
| vanishing gradient | 腳下變平地,走不動 | 第 32 頁 |
| mode collapse | 只會畫那一張必過的臉 | 第 33 頁 |
| random / truncated sampling | 全範圍抽/只抽中間那塊 | 第 36 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| Inception score | 每張清楚、整疊多樣;越高越好 | 第 38 頁 |
| KL divergence | 把 A 當成 B 時多驚訝:兩個分布差多遠 | 第 38 頁 |
| FID | 整堆假臉和真臉的中心、分散差多少;越低越好 | 第 40 頁 |
| covariance | 好幾個方向一起看的分散程度 | 第 40 頁 |
| human evaluation | 兩張並排,請人選哪張更像照片 | 第 42 頁 |
| latency | 按下去到拿到臉要多久;目標不到 1 秒 | 第 42 頁 |
| training / evaluation / deployment service | 重練/自動考試/換上線 | 第 44 頁 |
忘了哪個詞,就回到右邊那一頁,四步再走一次。
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Generative AI System Design Interview · Realistic Face Generation 章。Introduction 與 Figure 1(第 2 頁,照片不重繪)、Clarifying Requirements(4)、Input/Output 與 Figure 2(6)、四種方法(9)、VAE 與 Figure 3(11)、GAN 與 Figure 4(14)、Autoregressive 與 Figure 5(15)、Diffusion 與 Figure 6(16)、Table 1(17)、選擇 GAN 與 Figure 7(18)、Data Preparation(19)、Generator、transposed convolution、Figure 8–9(21)、Normalization 與 Figure 10(23)、activation、Figure 11(25)、Discriminator、Figure 12–13、StyleGAN(26)、adversarial training 與 Figure 14(28)、loss 與 minimax(30)、vanishing gradients、modified minimax、WGAN(32)、mode collapse(33)、failure to converge(34)、latent space 與 Figure 15(35)、random / truncated sampling 與 Figure 16(36)、Inception score 與 Figure 17(39)、FID、CLIP 與 Figure 18(41)、human evaluation、Figure 19、online metrics(42)、Overall design 與 Figure 20(44)、Other Talking Points(45)、心智圖 Figure 21(48)。圖都依圖說與描述重繪,不是原圖;Figure 1 是照片不重繪;Figure 6、7、15、19 的照片或空白方框改用卡通臉
本簡報加的頁面:階梯(3)、12 個延伸基礎(5、7、8、10、13、20、22、24、29、31、38、40)、小結(12、27、37、43)、2026 補充(46、47)、名詞小卡(50)。貫穿例子 z = (1, 0, 2, −1) 與卡通臉是示意,原書是 100 維 noise vector;70,000 張、1024×1024、不到 1 秒、Figure 8 的維度出自原書
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 9 講(
ccqCDD9LqCA.md)— 沒有標準答案、從 Normal Distribution 取樣再轉換、VAE/GAN/Diffusion/Flow 是同一個問題、雙頭狗、Discriminator 分辨不出就代表像、往復訓練就是 GAN、Adversarial Loss、2017 年二次元作業只能指定眼睛頭髮顏色、像素接龍、FID 越小越好、SD3 用 Flow Matching - 同 · 第 6 講(
mPWvAN4hzzY.md)— normalization 把每層輸出限制在某範圍 - 同 · 第 5 講(
Taj1eHmZyWw.md)— 斜率越陡踏越大步、gradient 很小就走很慢 - 同 · 第 4 講(
dWQVY_h0YXU.md)— 找人評斷兩個輸出、指示不同結果不同
來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。偽鈔犯與警察、捏臉、兩班考試等比喻是本簡報的,不是課堂原話
公式(主文用文字講過)
- LD = −(1/m)Σ log D(x(i)) − (1/n)Σ log(1 − D(G(z(j))))
- LG = (1/n)Σ log(1 − D(G(z(j))));modified:max (1/n)Σ log D(G(z(j)))
- minimax:minG maxD [(1/m)Σ log D(x) + (1/n)Σ log(1 − D(G(z)))]
- WGAN:critic 最大化 D(x) − D(G(z));generator 最大化 D(G(z))
- IS = exp(Ex KL(p(y|x) ‖ p(y)))
- FID = ‖μr − μg‖² + Tr(Σr + Σg − 2(ΣrΣg)1/2)
- 像素正規化:x / 127.5 − 1
📅 依據
- Flow matching、adversarial loss:課堂逐字稿
- Adversarial Diffusion Distillation(2023)、以 DINOv2 特徵算 Fréchet distance 的研究、C2PA Content Credentials:公開論文與標準
- Triton:這章沒有可用的 materials/core 資料,不放客座卡