GenAI System Design · 第 8 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無
High-Resolution Image Synthesis
其實就是貼紙接龍而已
原書要你設計一個「按一下,五秒內生出一張 1024×1024 風景照」的系統。圖片要怎麼接龍?我們不先講 VQ-VAE,先玩一個用電話傳圖的遊戲。
今天的路線
一邊爬 12 階基礎(第 3 頁的地圖),一邊對照原書:需求 → 選方法 → 把圖變成貼紙編號(tokenizer)→ 貼紙接龍(generator)→ 兩階段訓練 → 生圖 → 評估 → 三個服務 → 2026 補充。全程只用同一張湖邊山景。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 延伸基礎
頁首標「延伸基礎」的頁只用高中數學講 ML 基本功,懂的人可以直接跳過。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。本章原書沒有 infra 的段落,所以沒有 Triton 客座卡。
先講跟你有關的動手玩
用電話,把一張風景照「傳」給朋友畫
你可能會想說,一格一格報顏色最準啊。對,畫出來一模一樣。可是你算算看,要講多久?
換個講法:你跟朋友手上有同一本貼紙簿。你只要說「第一排貼 1 號、2 號、1 號……」,九個數字就講完了。代價是:貼紙是標準款,畫出來跟原圖有一點點不一樣。
今天整堂課就是這兩件事的取捨:講得快(切塊、換編號),還是畫得準(每格都報)。原書的答案是前者,然後再想辦法把「不一樣」降到最低。
學習地圖今天要爬的 12 階 · 每一階只用前面學過的東西
一階一階往上爬,不跳階
- 1像素一張圖是什麼?
- 2像素接龍一格一格畫
- 3切塊一塊一塊畫
- 4箭頭距離兩塊有多像?
- 5貼紙簿一塊換一個編號
- 6小放大鏡怎麼壓、怎麼還原
- 7差多少還原得準不準
- 8三種像什麼叫「像」
- 9猜下一張接龍怎麼學
- 10擲骰子怎麼接出新圖
- 11比兩堆畫得好不好
- 12放大1024 變 2048
第 1–3 階 · 圖片怎麼接龍
要回答:為什麼不能一格一格畫?
第 4–6 階 · 圖怎麼變貼紙
要回答:一塊圖怎麼換成一個編號?
第 7–8 階 · 貼紙簿怎麼練
要回答:怎麼讓還原的圖夠像?
第 9–10 階 · 接出新圖
要回答:怎麼接出一張沒看過的圖?
第 11–12 階 · 打分數與放大
要回答:好不好、怎麼變 2048?
全程只用一張圖:湖邊山景(12×12 玩具版)
切成 3×3 = 9 塊,每塊換成一個貼紙編號:1 2 1 / 4 3 4 / 5 5 6。每爬 3 階,有一頁「到這裡你已經會了」:第 11、19、28、34 頁,最後是名詞小卡(第 44 頁)。
原書Introduction · Clarifying Requirements
原書的題目:幾秒鐘生出一張高解析度的風景照
這一步要解決的問題先問清楚要生什麼圖、有多少資料、要多大、要多快。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 一開始要聚焦在特定類別的圖嗎? | 先做自然場景和都市景觀,其他類別之後再說 |
| 有自然場景的訓練資料嗎?多大? | 大約 500 萬張高解析度的自然場景與風景照 |
| 要支援額外條件嗎?例如用文字描述想要的圖? | 好問題。先做沒有輸入條件的生成,但系統要有彈性,之後能支援 prompt |
| 解析度要多少? | 依使用者要求,1024×1024 或 2048×2048 像素 |
| 要即時生成嗎?可以等嗎? | 不用即時,但時間要合理:目標每張 5 秒 |
📖 原書 Figure 1 是一張由 VQGAN 生成的圖。原書 HTML 裡這張圖只剩「removed」的佔位字,沒有任何內容描述,而且原圖是生成的照片,不適合用線條重繪,所以這裡不畫。
整理成需求清單
- 生什麼:自然場景、都市景觀;先不吃文字(unconditional,無條件生成)
- 資料:約 500 萬張高解析度照片
- 大小:1024×1024 或 2048×2048
- 速度:每張約 5 秒,不用即時
- 彈性:之後要能加上文字 prompt
你想想看,1024×1024 是多少格?大約 100 萬格。2048×2048 呢?400 萬格。「5 秒畫完 100 萬格」,這個數字等一下會一直回來找我們(第 7、38 頁)。
延伸基礎第 1 階 · 像素 · 懂的人可以跳到第 6 頁
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
放大一張照片,你會看到什麼?一格一格的數字
① 先想像
你玩過拼豆或十字繡嗎?整張圖是一格一格的色塊。電腦存照片也一樣,每一格記三個數字:紅、綠、藍各有多少,從 0 到 255。
你猜猜看:1024×1024 的照片有幾格?
1024 × 1024 = 1,048,576,大約 100 萬格。每格還有 3 個數字,所以是 300 多萬個數字。
③ 這叫做 pixel(像素)
pixel:圖片裡的一格。記著紅綠藍三個 0 到 255 的數字。
「構成影像的單位其實是像素……每一個子像素它的數值是 0 到 255 之間」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 9 講
④ 跟這章的關係
原書整理資料時,會把 0–255 除以 255 變成 0 到 1(normalization),訓練比較穩。「1024×1024」就是一邊 1024 格。
② 動手玩:點任何一格,看它的三個數字
原書Frame the Problem as an ML Task · 輸入與輸出
把問題變成 ML 任務:按一下,吐出一張圖
這一步要解決的問題系統的輸入是什麼、輸出是什麼?
📖 原書 使用者只是「要一張新圖」,沒有其他輸入。輸出是一張高解析度的圖。
所以這不是「看圖說話」,也不是「照著文字畫」。它比較像一位畫家:你說「畫一張」,他就畫一張他覺得像風景照的圖。每次都要不一樣,又要像真的。
📖 原書 第 7 章講過四種生圖方法:VAE、GAN、autoregressive(接龍式)、diffusion(擴散)。這一節要選出最適合「高解析度、5 秒」的那一種(第 8–10 頁)。
User 送出 Requesting…,經過 Image Generation…,得到 Generated…(原圖上的文字就截斷在這裡)。
延伸基礎第 2 階 · 像素接龍 · 懂的人可以跳到第 8 頁
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
一格一格猜下一格的顏色,畫得完嗎?
① 先想像
照著順序放拼豆:由左到右、由上到下。每放一顆,先看看前面放了什麼,再決定這顆放什麼顏色。就像文字接龍,只是一次接一格。
你猜猜看:從 1024×1024 換成 2048×2048,要接的步數變幾倍?
寬變 2 倍、高也變 2 倍,格子變 2 × 2 = 4 倍。一格一步,步數也是 4 倍。
③ 這叫做 autoregressive(自回歸)
autoregressive:每一步都看著前面已經畫好的,接下一格。
「產生這麼大的圖片需要做100萬次的像素接龍……《紅樓夢》還沒有到100萬個Token呢」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講
④ 跟這章的關係
原書說:一格一步,N×N 的圖要 N² 步(寫作 O(N²)),而且後一格要等前一格,很難同時畫。
② 動手玩:一格一格畫,數數看幾步
原書Choosing a suitable ML approach · VAE、GAN
四種方法,先淘汰兩種:VAE 和 GAN 畫不大
這一步要解決的問題VAE、GAN、autoregressive、diffusion,哪一種適合 1024×1024?
📖 原書 大多數 VAE 和 GAN 的變體,很難生出 512×512 以上的圖。它們會遇到 posterior collapse(後驗崩潰)。
- 解析度越高,要補的細節越多,所以需要能力更強的 decoder(把「想法」畫成圖的那一半)。
- 訓練時 decoder 強到不看輸入的 latent(給它的那組「想法」數字),自己就畫得出來。
- latent 變得可有可無,對生成幾乎沒貢獻,圖的多樣性就降低了。
比喻:餐廳的大廚太厲害,根本不看你的點菜單,每桌都端出他最拿手的那道。好吃是好吃,但你點什麼都一樣。點菜單就是 latent。
你猜猜看:大廚不看點菜單,客人會抱怨什麼?
菜還是好吃,問題是「沒變化」。對生圖來說,就是每張圖都差不多,多樣性降低。
剩下兩種
📖 原書 autoregressive 和 diffusion 都能生高解析度的圖,差別在複雜度和資源。下一階先學「切塊」,再回來比快慢(第 10 頁)。
📅 2026 補充 嚴格說,posterior collapse 是 VAE 的現象;GAN 沒有這種要對齊的 latent,它常見的毛病叫 mode collapse:只會畫少數幾種圖。結果一樣是多樣性不夠。
延伸基礎第 3 階 · 切塊 · 懂的人可以跳到第 10 頁
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
一格一格太慢,那一次放一塊呢?
① 先想像
拼豆一顆一顆放很慢。拼圖就快多了:一次放一整片。把圖切成一塊一塊,每次接龍接的是「一塊」,不是「一格」。
你猜猜看:1024×1024 的圖,切成 64×64 一塊,總共幾塊?
一邊 1024 ÷ 64 = 16 塊,16 × 16 = 256 塊。100 萬步變 256 步。
③ 這叫做影像的 token
token:一小塊區域,用一個編號代表。接龍一次接一個 token。
「每一個 Token 其實就是對應到影像裡面的一小塊」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 9 講
④ 跟這章的關係
原書:autoregressive 模型改成一塊一塊生。1024×1024 用 64×64 的塊,只要 256 步。
② 動手玩:塊切大一點,步數少多少?
原書Choosing a suitable ML approach · autoregressive vs diffusion
剩下兩種比快慢:切塊接龍 vs 擴散
這一步要解決的問題5 秒內要生出 1024×1024,哪一種做得到?
長條是「後面有幾個零」(數量級),每多一格就是多 10 倍。T 和數字都是示意,用的是原書給的複雜度。
📖 原書 Autoregressive:一格依賴前一格,時間跟格數成正比,N×N 是 O(N²),很難平行。解法是切塊:1024×1024 用 64×64 的塊,只要 256 步。
📖 原書 Diffusion(從一張雜訊開始,一步一步擦乾淨,第 9 章細講):複雜度 O(TN²),T 是擦幾次。圖越大,通常要擦越多次,計算量又更大。
📖 原書 實務上,標準 diffusion 生一張高解析度圖可能要幾分鐘;以 Transformer 為基礎、切塊生成的 autoregressive 模型幾秒就能完成。所以本章選 autoregressive(教學用途),diffusion 留到第 9 章。
📖 原書註腳 有一些優化(例如 latent diffusion,先壓小再擦)能讓 diffusion 快很多,第 10、11 章會講。第 41 頁再回來看 2026 年的狀況。
到這裡你已經會了小結 1 / 4
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
到這裡你已經會了:為什麼要「一塊一塊」接
- 一張圖是一格一格的數字(pixel),每格紅綠藍各 0–255。
- 像素接龍一格一步:1024×1024 要 100 萬步,比寫一部《紅樓夢》還多。
- 切成 64×64 一塊、一塊一個編號(token),就只要 256 步。原書因此選切塊接龍。
下一階要解決的問題
一塊 64×64 的圖,要怎麼變成「一個編號」?編號又怎麼變回圖?
原書Autoregressive 的兩個元件 · Figure 3、6
切塊接龍要兩個零件:一個換編號,一個接龍
這一步要解決的問題把「生圖」變成「生一串編號」,需要哪些零件?
📖 原書 autoregressive 模型把生圖當成「生一串序列」,靠兩個主要元件:
① Image tokenizer(換編號的)
把圖換成一串編號,也能把編號換回圖。像我們的貼紙簿。第 15 頁。
② Image generator(接龍的)
一個 decoder-only Transformer,一個一個接出編號。像照著貼紙簿玩接龍的人。第 16 頁。
📖 原書 總結:先由 image generator 生出一串編號,再由 image tokenizer 把編號解回最後的圖。兩者的架構、訓練、取樣,在 model development 一一細講。
延伸基礎第 4 階 · 箭頭距離 · 懂的人可以跳到第 14 頁
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
兩塊圖「有多像」,怎麼用數字說?
① 先想像
幫每塊圖打兩個分數:「多亮」和「多綠」,各 0 到 10。打完,每塊圖就是地圖上的一個點。兩點離得近,就是兩塊很像。
你猜猜看:[7, 1] 和 [10, 5] 兩點離多遠?
往右 3、往上 4。畢氏定理:3² + 4² = 25,開根號是 5。右邊按「放到 [7,1] 和 [10,5]」驗證。
③ 這叫做 vector 和 Euclidean distance
vector(向量):一組數字,可以畫成地圖上的點或箭頭。Euclidean distance:兩點的直線距離。
④ 跟這章的關係
原書的 encoder 把每一塊變成一組數字(連續的向量)。真正的向量有幾百個數字,但量距離的方法一樣。
② 動手玩:拖 A、B 兩點,看距離
延伸基礎第 5 階 · 貼紙簿 · 懂的人可以跳到第 15 頁
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
一塊圖,換成貼紙簿裡「最像的那一張」的編號
① 先想像
你和朋友有同一本貼紙簿,每張貼紙有編號。描述一塊圖,只要找出最像的那張貼紙,報它的編號。
你猜猜看:貼紙簿裡沒有太陽,太陽那塊會變成什麼?
它一定挑一張「最近的」。太陽最近的是天空,所以太陽就消失了。右邊把 2 號關掉試試。
③ 這叫做 codebook 和 quantization
codebook:一本「標準樣子」的貼紙簿,編號 1 到 k。換成最近那張的動作叫 quantization(量化)。
「也許我們就把這樣子的眼睛 直接把它命名為 Token 256」🎓 李宏毅課堂 導論 2025 · 第 9 講(貓的兩隻眼睛)
④ 跟這章的關係
原書的 quantizer 就做這件事。貼紙越多越細,但接龍時要選的選項也越多。
② 動手玩:開關貼紙,看每塊被換成幾號
原書Image tokenizer · Figure 4
第一個零件:image tokenizer,圖 ⇄ 編號
這一步要解決的問題接龍需要「一串離散的編號」。誰負責把圖換成編號、再換回來?
📖 原書 Image tokenization:用一串 discrete tokens(離散的編號,像 6、11、381,只能是整數,不能是 6.3)代表一張圖。自回歸模型一塊一塊依序生圖,所以這一步非常關鍵。
獨立的模型、獨立訓練
📖 原書 tokenizer 是一個單獨的模型,自己訓練。兩個功能:把圖 encode 成一串編號;把一串編號 decode 回圖。
原書用 VQ-VAE
📖 原書 專門做圖片切塊編號的常見架構是 VQ-VAE(Vector-Quantized VAE,第 7 章 VAE 的變體),三個元件:Encoder、Quantizer、Decoder。第 20–22 頁一個一個拆。
「這需要用一個特殊的技術 叫做 VQ-VAE 來訓練」🎓 李宏毅課堂 導論 2025 · 第 9 講
原書Image generator · Figure 5
第二個零件:image generator,用 Transformer 玩貼紙接龍
這一步要解決的問題有了編號,誰來一個一個接?原書選 decoder-only Transformer,兩個理由。
理由一:什麼都能接
📖 原書 架構很有彈性,能處理不同模態(文字、圖片這些資料種類)。聊天機器人:文字進、文字出。Image captioning:圖片進、文字出。生圖:輸出一串圖片編號,再解回圖。所以之後要加文字 prompt,也很好接。
理由二:會回頭看很遠的地方
📖 原書 靠 attention(每一步自己決定要回頭看前面哪幾塊)捕捉長距離的關聯,圖才會連貫。比如說,畫右下角湖面時,回頭看左上角有沒有太陽,倒影才對得起來。
Transformer 和 attention 在 第 2 章 Smart Compose 的簡報有完整的延伸基礎頁。這裡只要記得:它就是一台很會「看前面、猜下一個」的接龍機器。
「那個接龍模型其實就跟原來的語言模型其實沒什麼不同 只是 Token 的定義變了而已」🎓 李宏毅課堂 導論 2025 · 第 9 講
原書Data Preparation · Figure 7
教材準備:先洗照片,再把照片全部換成編號
這一步要解決的問題500 萬張照片大小不一、品質不一,而且 generator 只吃編號。
📖 原書 ① Image cleaning and normalization
- 移除低品質的圖:解析度太低、雜訊太多、內容不相關。也要確保風格、主題、構圖夠多樣,模型才生得出多樣又高品質的圖。
- Normalize:把像素值縮到固定範圍,通常 0 到 1(第 5 頁的除以 255),讓訓練穩定。
- Resize:照片大小、長寬比都不同,依面試官的要求統一成 1024×1024。
📖 原書 ② Image tokenization
generator 要的是一串離散的編號。所以先把 tokenizer 訓練好,再用它把訓練資料裡的每張圖都換成編號。
注意:這一步是替 generator 準備的,不是替 tokenizer。tokenizer 自己訓練時吃的是原始照片。
套回我們的例子
湖邊山景洗乾淨、縮成統一大小,再交給 tokenizer,存成一行:ID 001 · 1 2 1 4 3 4 5 5 6。500 萬張就是 500 萬行。原書說,這兩步確保資料品質高、格式一致、而且是數字。
延伸基礎第 6 階 · 小放大鏡 · 懂的人可以跳到第 20 頁
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
不用看整張圖,拿小放大鏡一塊一塊掃
① 先想像
拿放大鏡掃一張圖,每次只看一小塊,問:「這塊多亮?多綠?有沒有山的邊?」要認出一個花樣,看一小塊就夠了。
你猜猜看:12×12 的圖,用 4×4 的放大鏡,一次移 4 格,掃完得到幾個結果?
橫的走 3 次、直的走 3 次,3 × 3 = 9。圖從 144 格被「壓」成 9 個結果。
③ 這叫做 CNN
CNN:一層層小放大鏡掃過圖片,抓局部的花樣。反過來把小格放大回去的,叫 transposed convolution。
「你其實只需要看這麼小的範圍 就知道它是鳥嘴了」🎓 李宏毅課堂 導論 2025 · 第 6 講
④ 跟這章的關係
原書的 encoder 是 CNN,把圖壓成一小格一小格的數字;decoder 用 transposed convolution 一層層放大回原尺寸。
② 動手玩:壓縮(encoder)和還原(decoder)
按「開始」。
到這裡你已經會了小結 2 / 4
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
到這裡你已經會了:一塊圖怎麼變成一個編號
- 每塊圖可以變成一組數字(vector);兩塊像不像,看兩點的直線距離(Euclidean distance)。
- 貼紙簿(codebook)裡挑最近的那張,報它的編號(quantization)。貼紙是標準款,所以還原會有一點失真。
- 小放大鏡(CNN)掃過圖,把 12×12 壓成 3×3;反過來放大,就能還原。
下一步要解決的問題
原書的 tokenizer 正好就是這三件事接起來:Encoder(放大鏡壓縮)→ Quantizer(貼紙簿換編號)→ Decoder(放大還原)。一個一個看。
原書Architecture · Image tokenizer · Encoder · Figure 8
Encoder:用好幾層放大鏡,把圖壓成一小格一小格的數字
這一步要解決的問題一張圖有 100 萬格,要先把重要的特徵濃縮成少少幾格。
📖 原書 Encoder 把輸入圖片對應到比較低維的 latent space(「濃縮過的數字空間」),把圖的重要特徵編碼成 encoded representation。
📖 原書 架構是很深的 CNN:好幾層 convolution,每層後面接一個 ReLU,處理圖片、抽出視覺特徵。
ReLU 白話:「負的變 0,正的不動」。就這麼簡單,但沒有它,疊再多層也只等於一層。
套回例子:12×12 的湖邊山景 → 3×3 = 9 個特徵,每個特徵不是兩個分數,而是 c 個數字(c 個 channel,第 13 頁的向量變長版)。
原書Architecture · Image tokenizer · Quantizer · Figure 9
Quantizer:把每組數字換成最近那張貼紙的編號
這一步要解決的問題encoder 給的是連續的小數,接龍要的是整數編號。為什麼一定要換?
📖 原書 理由一:避免 posterior collapse
一般 VAE 的 decoder 不靠 latent 也能畫得很準,latent 就被忽略了(第 8 頁的大廚)。把 latent 變成離散的編號,逼模型在還原時一定要用它,decoder 就不會蓋過 latent。
📖 原書 理由二:縮小要學的空間
連續的向量有無限多種可能、差異又很小,很難一個一個預測。換成編號,Transformer 只要從少數選項裡挑。
你猜猜看:Transformer 要猜下一塊,哪一種比較好猜?
選擇題比填充題好猜。猜小數,差 0.001 也算錯,而且可能性無限多。
📖 原書 quantizer 內部有一本 codebook,裡面是可學習的 embedding(會在訓練中慢慢調整的標準樣子),每張代表一種花樣,編號 1 到 k。它用 Euclidean distance 把每個連續向量換成最近的那張。
📖 原書 重點:quantizer 就是一張 embedding table,唯一的參數就是 codebook。它唯一的工作是「找最近的」,所以輸出是一組 token ID。
原書Architecture · Image tokenizer · Decoder · Figure 10
Decoder:查貼紙簿,再一層層放大回原圖
這一步要解決的問題3×3 個編號,要怎麼變回一張完整大小的圖?
① 查表
📖 原書 圖 3×3 的編號(1、27、8、43、6、33、7、96、81)進 Embedding Lookup:每個編號去 codebook 拿出它那組 c 個數字,變成一塊 3×3×c 的積木。
② 一層層放大
📖 原書 decoder 通常是很深的 CNN,用 transposed convolution(ConvTranspose2d)逐步把表示放大回原圖大小。圖上是三層 Transposed conv + ReLU,積木越長越大。
③ 得到圖
📖 原書 最後一層輸出完整大小的 Image。想深入 convolution 和 transposed convolution,原書推薦參考資料 [5]。
套回例子:1 2 1 / 4 3 4 / 5 5 6 → 第 18 頁「還原:放大」的動畫。
原書Architecture · Image generator · Figure 11
Image generator 的五個零件:拿號碼進去,吐出下一號的百分比
這一步要解決的問題一串編號進來,怎麼變成「下一張貼紙是幾號」的猜測?
- Embedding lookup每個編號換成 codebook 裡它那組數字(同一本貼紙簿)。
- Projection把那組數字換算成 Transformer 內部要的長度。像換成同一種尺寸的紙。
- Positional encoding加上位置資訊:這張貼紙在第幾排第幾格。不然「天空在上」和「天空在下」分不出來。
- Transformer處理整串輸入,輸出更新過的一串向量。裡面是 Multi-head attention、Normalization、Feed Forward、Normalization,疊 N 次。
- Prediction head用更新過的向量,預測下一個編號:每張貼紙各有幾 % 的機會。
延伸基礎第 7 階 · 差多少 · 懂的人可以跳到第 25 頁
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
還原得準不準?一格一格比差多少
① 先想像
朋友照編號貼完,把他的圖疊在原圖上,一格一格比亮度差多少。差距加起來越小,還原得越好。
你猜猜看:一格多了 3、另一格少了 3。直接把差距平均,會得到多少?
+3 和 −3 互相抵消,看起來像全對。所以先平方(都變 9),再平均。
③ 這叫做 reconstruction loss(MSE)
loss:離正確答案多遠,越小越好。這裡用「差距平方的平均」,叫 MSE。
「計算它們之間的差距 把它們的差距全部平均起來 就是我們的 Loss」🎓 李宏毅課堂 導論 2025 · 第 9 講(表面上的像)
④ 跟這章的關係
原書訓練 tokenizer 的第一個 loss 就是它:原圖和還原圖每個像素的差距平方,平均起來。
② 動手玩:調整還原的四格,看 loss
延伸基礎第 8 階 · 三種像 · 懂的人可以跳到第 26 頁
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
「一格一格比」最小的,就是最像的嗎?
① 先想像
把整張照片往右挪一格。你看得出差別嗎?看不出來。可是一格一格比,每一條邊都對不上。反過來,糊成一團的圖,分數可能還比較好。
你猜猜看:整張往右挪一格,「一格一格比」的分數會?
人眼看起來一樣,但每條邊都錯開一格。右邊切到「往右挪一格」和「糊成一團」比比看。
③ 這叫做 perceptual loss 和 adversarial loss
perceptual loss:請一個看過很多圖的模型比「特徵」像不像。adversarial loss:請一個判別器猜真假,騙過它就算像。
「第一個像叫做表面上的像……第二種像就是感知上的像……還有第三種像叫做 模型難以分辨的像」🎓 李宏毅課堂 導論 2025 · 第 9 講
④ 跟這章的關係
原書:高解析度只用 MSE 會有 artifacts(不自然的痕跡),所以再加上這兩種。要用哪一種?課堂說:「大人就是全都要」。
② 動手玩:三張「還原圖」,三種分數
表面分數是真的算出來的(紅綠藍差距平方平均 × 1000);另外兩個是示意。
原書Training · Stage I:訓練 image tokenizer · Figure 12
第一階段:先把貼紙簿和兩個放大鏡練好
這一步要解決的問題encoder、decoder、codebook 要一起調,讓還原的圖跟原圖一樣。
📖 原書 自回歸生圖有兩個訓練階段:Stage I 訓練 tokenizer、Stage II 訓練 generator(第 30 頁)。Stage I 的三步:
- Encoder 把圖變成連續的表示
- Quantizer 用 codebook 把它換成離散編號
- Decoder 用這些編號還原原圖
📖 原書 查表這一步,修正訊號過不去
訓練要靠 loss 傳回來的修正訊號(gradient,「往哪邊調會更好」)。可是「找最近的貼紙」像四捨五入,輕輕推一下結果不變,訊號傳不過去。VQ-VAE 論文的辦法:把 decoder 輸入收到的修正,直接抄給 encoder 輸出。所以只有被選中的貼紙會收到修正,沒被選中的收不到。
📖 原書 訓練資料
用那 500 萬張。因為是 self-supervised(自己當自己的答案,不用標籤),還加入公開資料集 LAION-400M(4 億張),讓 codebook 更豐富、學到更多樣的花樣。
「修正訊號怎麼調旋鈕」在 第 6 章 RAG 簡報的「蒙眼下山」延伸基礎頁。
原書Stage I · ML objective and loss function
四個 loss 加起來:原書版的「大人全都要」
這一步要解決的問題目標是「從編號準確還原原圖」。用什麼分數來量「準確」?
| Loss | 在量什麼(原書) | 白話 |
|---|---|---|
| Reconstruction | 原圖和還原圖的差距,用 MSE,n 是像素數 | 一格一格比(表面上的像) |
| Quantization | encoder 輸出和最近 codebook embedding 的距離;兩項各用 stop-gradient(sg)擋住一邊 | 一項把貼紙拉向 encoder,一項叫 encoder 別離貼紙太遠 |
| Perceptual | 預訓練的 VGG 某幾層抽出的特徵,原圖和還原圖差多少 | 請看過很多圖的模型比內容和風格(感知上的像) |
| Adversarial | 來自 GAN:還原圖騙過 discriminator 的程度,−log D(還原圖) | 判別器分不出真假才算像 |
📖 原書 實務上,前兩個 loss 對低解析度很夠用;高解析度還會出現 artifacts,所以加上後兩個。VQGAN 論文提出 patch-based(一小塊一小塊判斷真假)的版本,減少不自然的痕跡、更逼真。
📖 原書 Overall loss = 四個 loss 的加權總和
權重 λ 是 hyperparameter(訓練前人來定的旋鈕),要依目標和實驗去調。動手調調看:兩張候選還原圖,模型會偏好哪一張?
到這裡你已經會了小結 3 / 4
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
到這裡你已經會了:貼紙簿是怎麼練出來的
- 還原準不準,最簡單是一格一格比,差距平方再平均(MSE,表面上的像)。
- 表面上的像不等於人眼的像,所以再加感知上的像(perceptual)和判別器分不出的像(adversarial)。
- Stage I:encoder、quantizer、decoder 一起練,四個 loss 加權相加;練完把 500 萬張圖全部換成編號存起來。
下一階要解決的問題
貼紙簿練好了,教材(500 萬串編號)也準備好了。接下來:怎麼教 Transformer 玩貼紙接龍?
延伸基礎第 9 階 · 猜下一張 · 懂的人可以跳到第 30 頁
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
看前面三張貼紙,猜第四張。猜錯要罰多重?
① 先想像
前三張是「天空、太陽、天空」,第四張是第二排的開頭。你心裡有一張百分比表:山坡最有可能,湖水不太可能。正確答案揭曉時,你給它的百分比越低,你就越驚訝。
你猜猜看:正確答案是山坡。哪一個模型該被罰得比較輕?
給正確答案的百分比越高,越不驚訝,罰越輕。原書 Figure 13 的例子就是 80%。
③ 這叫做 next-token prediction 和 cross-entropy
next-token prediction:考題就是「猜下一個編號」。cross-entropy:只看正確答案拿到幾 %,越低越驚訝,罰越重。
④ 跟這章的關係
原書 Stage II:generator 的目標是 next-token prediction,loss 是 cross-entropy。教材就是 500 萬串編號。
② 動手玩:模型越練越準,驚訝分數怎麼變?
原書Training · Stage II:訓練 image generator · Figure 13
第二階段:拿 500 萬串編號,練習猜下一個
這一步要解決的問題Transformer 要怎麼學會「看前面的貼紙,猜下一張」?
📖 原書 訓練 generator(decoder-only Transformer)跟前面幾章一樣。訓練資料是離散編號的序列,模型學著依序預測這些編號。
📖 原書 ML objective 是 next-token prediction,loss 是 cross-entropy:量模型預測的機率,跟正確的「視覺 token」差多少。
讀 Figure 13:輸入 1、27、8、16 進 Image Generator,它對下一個位置吐出一排機率 0.1、0、0.8、0.1;正確答案是 0、0、1、0(第三個)。正確的那個拿到 0.8,loss 就小;只拿到 0.1,loss 就大。
套回例子:教材的一行是 1 2 1 4 3 4 5 5 6。這一行就藏了 8 題考題:看「1」猜「2」、看「1 2」猜「1」、看「1 2 1」猜「4」……答案本來就在序列裡。
延伸基礎第 10 階 · 擲骰子 · 懂的人可以跳到第 32 頁
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
每次都選第一名,每張圖都會長一樣。那怎麼辦?
① 先想像
如果接龍每次都挑百分比最高的那張,同一個開頭永遠接出同一張圖。我們要的是「每次不一樣、但又合理」。所以照百分比擲骰子,但太離譜的先拿掉。
你猜猜看:把右邊的「溫度」調高,會發生什麼事?
溫度越高,百分比被「攤平」,少見的貼紙機會變大;溫度越低,越集中在第一名。
③ 這叫做 top-p sampling 和 temperature
top-p:從第一名往下加,加到 p 就畫線,線以下不准擲。temperature:擲之前先把百分比攤平或拉尖。
「如果這個大 T 呢數字越大,那做完 softmax 以後,就會機率分布就會越平均」🎓 李宏毅課堂 導論 2025 · 第 3 講
④ 跟這章的關係
原書取樣時用 top-p 選下一個編號;other talking points 提到用 temperature scaling 平衡多樣性(diversity)和真實度(fidelity)。
② 動手玩:天空、太陽、天空之後,擲出下一張
原書Sampling · 1. Generating a sequence of discrete tokens · Figure 14
生圖第一步:隨機抽一張當種子,然後一張一張接
這一步要解決的問題訓練好了。怎麼接出一串「沒看過的」編號?
按「隨機抽第一張」開始。取樣用 top-p = 0.9、溫度 1。
📖 原書 生新圖分兩步:① 生一串離散編號 ② 把編號解回圖(下一頁)。自回歸的特性讓每個編號都依賴前面的編號,圖才連貫。
- 從 codebook 隨機選一個 token 當第一個,當作後面生成的種子(seed)。
- 一個一個接:
- 把目前的序列交給 generator,得到 codebook 上每一號的機率分布
- 用 top-p 這類取樣方法選下一個
- 把選到的接在序列後面
- 重複到整張圖生完。次數看解析度:1024×1024、每個 token 代表 64×64,就要 256 個 token。
原書Sampling · 2. Decoding discrete tokens into an image · Figure 15
生圖第二步:把一排編號排成方陣,交給 decoder
這一步要解決的問題generator 吐出的是一排一維的編號,圖是二維的。
📖 原書 這一步用 image tokenizer 的 decoding 功能,把編號序列變成圖。圖上:從 6 開始,generator 接出 27、8、40、…、72,Reshape 成 3×3(6、27、8/40、97、41/26、39、72),再進 tokenizer,得到 Generated… 的圖。
你猜猜看:生圖的時候,tokenizer 的 encoder 用得到嗎?
生圖時沒有原圖可以 encode,編號是 generator 接出來的。encoder 只在訓練時用(第 39 頁)。
套回例子:把你剛剛接出來的 9 張貼紙解回去
到這裡你已經會了小結 4 / 4
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
到這裡你已經會了:怎麼接出一張新圖
- Stage II:拿 500 萬串編號練「猜下一個」(next-token prediction),猜錯越離譜罰越重(cross-entropy)。
- 生圖時照百分比擲骰子(top-p),溫度決定多保守、多冒險。
- 隨機抽一張當種子 → 接滿 256 個 → 排成 16×16 → decoder 解回 1024×1024 的圖。
下一階要解決的問題
圖生出來了。它到底好不好?使用者要 2048×2048 怎麼辦?整個系統怎麼上線?
延伸基礎第 11 階 · 比兩堆 · 懂的人可以跳到第 36 頁
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
沒有標準答案的圖,怎麼打分數?比「整堆」
① 先想像
美術老師拿到兩堆圖:一堆是真的風景照,一堆是學生畫的。她不是一張一張比,而是看「整堆的感覺」:平均起來像不像、變化夠不夠多。
你猜猜看:學生每張都畫同一張超完美的照片。整堆像不像真照片?
真照片有亮有暗、有綠有藍。全部一樣,「分散程度」就對不上。右邊按「只會畫同一張」看分數。
③ 這叫做 FID 和 Inception score
FID:比兩堆圖特徵的平均和分散,越小越好。Inception score:每張都認得出是什麼、種類又多,越大越好。
④ 跟這章的關係
原書離線評估用 Inception score 和 FID,兩個都用預訓練的 Inception v3 模型抽特徵。
② 動手玩:調整學生那堆,看玩具版 FID
原書Evaluation · Offline · Online
評估:圖好不好、多快多貴、使用者買不買單
這一步要解決的問題上線前怎麼量品質和多樣性?上線後看什麼?原書說指標跟第 7 章類似,只簡單回顧。
📖 原書 Offline:品質與多樣性
| 指標 | 在量什麼 |
|---|---|
| Inception score | 用預訓練的 Inception v3,量生成圖有多像真實世界的物體 |
| FID | 用 Inception v3 的特徵,比生成圖和真圖的分布統計有多像(第 35 頁) |
| Human evaluation | 給評審看成對的圖,判斷逼真度和美感;投票結果統計出哪個模型比較逼真 |
📖 原書 Offline:速度與成本
| 指標 | 在量什麼 |
|---|---|
| Time to generate an image | 生一張圖要多久。使用者通常期待很快,要持續監控(需求是 5 秒) |
| Cost per generation | 生一張圖的成本,看模型複雜度、解析度、基礎設施費用;影響營收,一定要監控 |
📖 原書 Online:上線之後
| 指標 | 在量什麼 |
|---|---|
| User feedback | 使用者對生成圖的直接意見 |
| Periodic surveys | 定期問卷:品質和相關性 |
| Subscription rate | 多少人訂閱生圖相關的服務或功能 |
| Churn rate | 多少人不再使用(流失率) |
延伸基礎第 12 階 · 放大 · 懂的人可以跳到第 38 頁
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
1024 要變 2048:直接放大,細節從哪裡來?
① 先想像
把一張小照片印成海報。直接把每格複製成四格,會變馬賽克;跟鄰居平均,會變糊。要清楚,就得「猜」出原本沒有的細節:草的紋路、湖面的波光。
你猜猜看:1024×1024 放大成 2048×2048,格子變幾倍?
寬和高都變 2 倍,2 × 2 = 4 倍。大約 100 萬格變 400 萬格,多出來的 300 萬格要靠猜。
③ 這叫做 super-resolution(超解析度)
super-resolution:用模型把小圖放大,補出看起來合理的細節。放大幾倍叫 upscale factor。
④ 跟這章的關係
原書:generator 只生 1024×1024,使用者要 2048×2048 時,再接一個 upscale factor 2x 的 super-resolution 模型。
② 動手玩:三種放大方法
原書Overall ML System Design · Figure 16
全部接起來:三個服務,五秒交卷
這一步要解決的問題兩個模型都練好了,要怎麼接成一個真的能上線的系統?
動手算:五秒內做得完嗎?
📖 原書 對 generator 和 tokenizer 的表現滿意之後,把它們整合成系統。主要元件:
- Generation service:接使用者的請求,跟 generator 互動,生出一串視覺編號
- Decoding service:跟 tokenizer 互動,把編號變成圖
- Super-resolution service:需要時把圖放大
原書:了解每個元件的目的和互動,才有整個系統的全貌。下一頁一個一個看。
原書Generation · Decoding · Super-resolution service
為什麼要拆成三個服務?
這一步要解決的問題一個服務全部做完不行嗎?
📖 原書 Generation service
處理使用者的請求,跟訓練好的 image generator 互動,產生一串視覺編號。256 步接龍都在這裡,是最花時間的一段。
📖 原書 Decoding service
跟 image tokenizer 互動,把編號序列變成圖。部署時不需要 tokenizer 的 encoder,它只在訓練時用。
📖 原書 Super-resolution service
用預訓練的模型提升解析度。要 2048×2048 而 generator 只產 1024×1024 時,用 2x 的 super-resolution 模型。對醫療影像這類要細節、要逼真的應用很關鍵。
📖 原書 拆開的理由
generator 和 tokenizer 是不同的模型,計算需求和延遲都不一樣。分開,每個服務就能各自擴展、有效率地管理資源。
你猜猜看:突然湧進 10 倍的請求,最需要加機器的是哪個服務?
接龍要一步一步做 256 次,最吃時間。拆開之後,可以只替它多開機器,decoding 不用跟著加。
📖 原書 Super-resolution 的現成方案
- CNN 為基礎:RCAN(Very Deep Residual Channel Attention Networks)[11]
- 用 GAN 改進:ESRGAN [12]
- 近期方法整理:NTIRE 2024 Image Super-Resolution (×4) Challenge [13]
「有很多成熟的方案」,所以原書直接用預訓練好的,不自己從頭練。
原書Other Talking Points
面試還有時間,可能會被問到這些
① 支援文字生圖 [14][15]
把 autoregressive 模型擴充成吃文字。白話:在貼紙接龍前面先接一段文字,就是第 16 頁「什麼都能接」的理由。原書引 Muse、VQGAN-CLIP。
② 補圖、放大 [16]
支援 image completion(補完缺的部分)和 super-resolution 這類應用。原書引 LAR-SR:用局部的自回歸模型做超解析度。
③ 多樣性 vs 真實度 [17]
取樣時用 temperature scaling 等技巧平衡 diversity 和 fidelity,就是第 31 頁的溫度滑桿。
④ 訓練穩定 [18][19]
用 adversarial training、gradient clipping(修正訊號太大就剪掉)、learning rate scheduling(步伐大小隨訓練調整)提升穩定性。
⑤ 由粗到細 [20]
用 progressive growing(先練小圖、再慢慢長大)和 multi-scale 架構,提升品質和細節。
⑥ 讓使用者一起改圖 [21]
做互動系統,讓使用者細修、客製化生成的圖。原書引 CogView2。
📅 2026 補充方法怎麼演進
原書之後:貼紙接龍沒有消失,而是換了接法
Diffusion 也變快了
原書註腳提到的 latent diffusion(先壓小再擦),加上少步數的取樣,已經是主流做法;生一張 1024×1024 通常也是秒級,不再是「幾分鐘」。所以「選 autoregressive 是因為快」這個理由,到 2026 年要再量一次。
接龍派也追上來了
課堂介紹的論文標題就寫著 Autoregressive Model Beats Diffusion:「它的模型單純就是 Llama 的架構 Train 下去就沒有然後了」。另一篇的關鍵句是 Tokenizer is key to visual generation:貼紙簿做得好,接龍才畫得好。
🎓 李宏毅課堂 · 導論 2025 · 第 9 講
不一定要一張一張、由左到右
「人在畫圖的時候 也不是按照 Raster Order 在畫的」。MaskGIT(原書引的 Muse 也是這一類)先蓋住全部,每輪一次猜很多張、只留最有把握的,幾輪就畫完;也有一次猜一整層「由粗到細」的做法。
🎓 李宏毅課堂 · 導論 2025 · 第 9 講
一張圖,不一定要 256 張貼紙
有論文叫 An image is worth 32 tokens:32 個編號不對應固定位置,比較像「這張圖裡有什麼」。代價是細節會變:課堂展示的例子裡,水花不見了、熊臉的角度變了。
🎓 李宏毅課堂 · 導論 2025 · 第 9 講
「你輸入的圖片透過圖像的encoder 變成一連串的token……把圖片的token文字的token串在一起 然後丟給語言模型」🎓 李宏毅課堂 導論 2025 · 第 1 講(課堂說這是聊天機器人生圖「可能」的運作方式)
原書Summary 心智圖
原書這一章的總結圖
回顧12 階全部爬完
- 像素
- 像素接龍
- 切塊
- 箭頭距離
- 貼紙簿
- 小放大鏡
- 差多少
- 三種像
- 猜下一張
- 擲骰子
- 比兩堆
- 放大
高解析度生圖,其實就是貼紙接龍而已。
為什麼要貼紙
一格一格接,1024×1024 要 100 萬步。切成 64×64 一塊,只要 256 步。VAE、GAN 畫不大;diffusion 在原書的設定下比較慢。
貼紙簿怎麼來(Stage I)
Encoder 用小放大鏡壓縮 → Quantizer 換成最近的貼紙編號 → Decoder 放大還原。四種 loss 一起練:表面上的像、量化、感知上的像、判別器分不出的像。
怎麼接(Stage II + 取樣)
Transformer 練猜下一個編號(cross-entropy)。生圖時隨機起頭、top-p 擲骰子接滿 256 個,排成方陣交給 decoder。
怎麼上線
Generation、Decoding、Super-resolution 三個服務各自擴展,五秒交卷。用 IS、FID、人評、時間、成本,和上線後的回饋、訂閱、流失率打分數。
切塊、換編號、接龍、貼回去。然後呢?然後就結束了。
本章名詞小卡課後複習用 · 每個名詞一句白話
今天出現的名詞,一句話講完
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Generative AI System Design Interview · High-Resolution Image Synthesis 章。Introduction、Figure 1 說明、Clarifying Requirements(第 4 頁)、輸入輸出與 Figure 2(6)、選方法:VAE/GAN 與 posterior collapse(8)、autoregressive vs diffusion、256 步、註腳(10)、兩個元件與 Figure 3、6(12)、image tokenizer 與 Figure 4(15)、image generator 兩個理由與 Figure 5(16)、Data Preparation 與 Figure 7(17)、Encoder 與 Figure 8(20)、Quantizer 與 Figure 9(21)、Decoder 與 Figure 10(22)、generator 五個元件與 Figure 11(23)、Stage I、gradient 複製、訓練資料與 Figure 12(26)、四個 loss 與 overall loss(27)、Stage II 與 Figure 13(30)、取樣步驟與 Figure 14(32)、解碼與 Figure 15(33)、Evaluation(36)、整體設計與 Figure 16(38)、三個服務與 SR 參考文獻(39)、Other Talking Points(40)、Summary 心智圖(42)。Figure 2–16 與心智圖依原書圖說與描述重繪,不是原圖;Figure 1 是生成的照片且原檔只剩佔位字,不重繪
本簡報加的頁面:概念階梯(3)、12 個延伸基礎(5、7、9、13、14、18、24、25、29、31、35、37)、小結(11、19、28、34)、名詞小卡(44)。湖邊山景、貼紙簿、所有特徵分數、機率、毫秒數都是示意
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 1 講(TigfpYPJk1s)— 像素接龍、1024×1024 = 100 萬次、《紅樓夢》、圖像 encoder 把 16×16 變成一個符號、ChatGPT 生圖可能的原理
- 同 · 第 3 講(8iFvM7WUUs8)— temperature
- 同 · 第 6 講(mPWvAN4hzzY)— CNN 鳥嘴、filter、Cross-Entropy 與 Softmax
- 同 · 第 9 講(ccqCDD9LqCA)— 像素與 RGB 0–255、PixelRNN/PixelCNN、token = 一小塊、貓眼 Token 256、tokenization 會失真、VQ-VAE、DALL-E 8×8 / 8192、三種像與「大人就是全都要」、raster order、MaskGIT、LlamaGen、MAGVIT-v2、TiTok 32 tokens
來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人);Triton:本章覆蓋度無,沒有引用
公式(主文用文字講過)
- Euclidean:‖a − b‖ = √Σ(aᵢ − bᵢ)²;quantize:z_q = e_k,k = argmin_j ‖E(x) − e_j‖
- Reconstruction(MSE)= (1/n) Σ (xᵢ − x̂ᵢ)²
- Quantization = ‖sg[E(x)] − z_q‖² + ‖sg[z_q] − E(x)‖²
- Perceptual = Σ_l ‖φ_l(x) − φ_l(x̂)‖²(VGG);Adversarial = −log D(x̂)
- Overall = λ_rec·rec + λ_quant·quant + λ_perc·perc + λ_adv·adv
- Cross-entropy = −Σ yᵢ log pᵢ(one-hot 時 = −log p正確)
- Temperature:softmax(z / T);top-p:累計機率 ≥ p 的最小集合再正規化
- FID = ‖μ_r − μ_g‖² + Tr(Σ_r + Σ_g − 2(Σ_rΣ_g)^½);IS = exp(E_x KL(p(y|x) ‖ p(y)))
- 複雜度(原書):pixel AR O(N²)、diffusion O(TN²);1024² / 64² = 256 tokens
📅 2026 補充的依據
- posterior collapse(VAE)與 mode collapse(GAN)的區分是標準用語
- latent diffusion 為主流、秒級生成:原書註腳所指方向
- LlamaGen、MAGVIT-v2、MaskGIT、TiTok:課堂第 9 講;next-scale(VAR)不出自課堂