GenAI System Design · 第 8 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無

High-Resolution Image Synthesis
其實就是貼紙接龍而已

原書要你設計一個「按一下,五秒內生出一張 1024×1024 風景照」的系統。圖片要怎麼接龍?我們不先講 VQ-VAE,先玩一個用電話傳圖的遊戲。

今天的路線

一邊爬 12 階基礎(第 3 頁的地圖),一邊對照原書:需求 → 選方法 → 把圖變成貼紙編號(tokenizer)→ 貼紙接龍(generator)→ 兩階段訓練 → 生圖 → 評估 → 三個服務 → 2026 補充。全程只用同一張湖邊山景。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 延伸基礎

頁首標「延伸基礎」的頁只用高中數學講 ML 基本功,懂的人可以直接跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。本章原書沒有 infra 的段落,所以沒有 Triton 客座卡。

先講跟你有關的動手玩

用電話,把一張風景照「傳」給朋友畫

0講了幾個數字—換成 1024×1024 要講幾個—和原圖一模一樣的格子

你可能會想說,一格一格報顏色最準啊。對,畫出來一模一樣。可是你算算看,要講多久?

換個講法:你跟朋友手上有同一本貼紙簿。你只要說「第一排貼 1 號、2 號、1 號……」,九個數字就講完了。代價是:貼紙是標準款,畫出來跟原圖有一點點不一樣。

今天整堂課就是這兩件事的取捨:講得快(切塊、換編號),還是畫得準(每格都報)。原書的答案是前者,然後再想辦法把「不一樣」降到最低。

學習地圖今天要爬的 12 階 · 每一階只用前面學過的東西

一階一階往上爬,不跳階

  1. 1像素一張圖是什麼?
  2. 2像素接龍一格一格畫
  3. 3切塊一塊一塊畫
  4. 4箭頭距離兩塊有多像?
  5. 5貼紙簿一塊換一個編號
  6. 6小放大鏡怎麼壓、怎麼還原
  7. 7差多少還原得準不準
  8. 8三種像什麼叫「像」
  9. 9猜下一張接龍怎麼學
  10. 10擲骰子怎麼接出新圖
  11. 11比兩堆畫得好不好
  12. 12放大1024 變 2048

第 1–3 階 · 圖片怎麼接龍

要回答:為什麼不能一格一格畫?

第 4–6 階 · 圖怎麼變貼紙

要回答:一塊圖怎麼換成一個編號?

第 7–8 階 · 貼紙簿怎麼練

要回答:怎麼讓還原的圖夠像?

第 9–10 階 · 接出新圖

要回答:怎麼接出一張沒看過的圖?

第 11–12 階 · 打分數與放大

要回答:好不好、怎麼變 2048?

全程只用一張圖:湖邊山景(12×12 玩具版)

切成 3×3 = 9 塊,每塊換成一個貼紙編號:1 2 1 / 4 3 4 / 5 5 6。每爬 3 階,有一頁「到這裡你已經會了」:第 11、19、28、34 頁,最後是名詞小卡(第 44 頁)。

原書Introduction · Clarifying Requirements

原書的題目:幾秒鐘生出一張高解析度的風景照

這一步要解決的問題先問清楚要生什麼圖、有多少資料、要多大、要多快。

📖 原書 應徵者 × 面試官

應徵者問面試官答
一開始要聚焦在特定類別的圖嗎?先做自然場景和都市景觀,其他類別之後再說
有自然場景的訓練資料嗎?多大?大約 500 萬張高解析度的自然場景與風景照
要支援額外條件嗎?例如用文字描述想要的圖?好問題。先做沒有輸入條件的生成,但系統要有彈性,之後能支援 prompt
解析度要多少?依使用者要求,1024×1024 或 2048×2048 像素
要即時生成嗎?可以等嗎?不用即時,但時間要合理:目標每張 5 秒

📖 原書 Figure 1 是一張由 VQGAN 生成的圖。原書 HTML 裡這張圖只剩「removed」的佔位字,沒有任何內容描述,而且原圖是生成的照片,不適合用線條重繪,所以這裡不畫。

整理成需求清單

  • 生什麼:自然場景、都市景觀;先不吃文字(unconditional,無條件生成)
  • 資料:約 500 萬張高解析度照片
  • 大小:1024×1024 或 2048×2048
  • 速度:每張約 5 秒,不用即時
  • 彈性:之後要能加上文字 prompt

你想想看,1024×1024 是多少格?大約 100 萬格。2048×2048 呢?400 萬格。「5 秒畫完 100 萬格」,這個數字等一下會一直回來找我們(第 7、38 頁)。

延伸基礎第 1 階 · 像素 · 懂的人可以跳到第 6 頁

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

放大一張照片,你會看到什麼?一格一格的數字

① 先想像

你玩過拼豆或十字繡嗎?整張圖是一格一格的色塊。電腦存照片也一樣,每一格記三個數字:紅、綠、藍各有多少,從 0 到 255。

你猜猜看:1024×1024 的照片有幾格?

③ 這叫做 pixel(像素)

pixel:圖片裡的一格。記著紅綠藍三個 0 到 255 的數字。

「構成影像的單位其實是像素……每一個子像素它的數值是 0 到 255 之間」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 9 講

④ 跟這章的關係

原書整理資料時,會把 0–255 除以 255 變成 0 到 1(normalization),訓練比較穩。「1024×1024」就是一邊 1024 格。

② 動手玩:點任何一格,看它的三個數字

—紅、綠、藍(0–255)—除以 255 之後(0–1)

原書Frame the Problem as an ML Task · 輸入與輸出

把問題變成 ML 任務:按一下,吐出一張圖

這一步要解決的問題系統的輸入是什麼、輸出是什麼?

📖 原書 使用者只是「要一張新圖」,沒有其他輸入。輸出是一張高解析度的圖。

所以這不是「看圖說話」,也不是「照著文字畫」。它比較像一位畫家:你說「畫一張」,他就畫一張他覺得像風景照的圖。每次都要不一樣,又要像真的。

📖 原書 第 7 章講過四種生圖方法:VAE、GAN、autoregressive(接龍式)、diffusion(擴散)。這一節要選出最適合「高解析度、5 秒」的那一種(第 8–10 頁)。

📖 原書 Figure 2圖像生成系統的 input 和 output(依原書內容重繪)

User 送出 Requesting…,經過 Image Generation…,得到 Generated…(原圖上的文字就截斷在這裡)。

延伸基礎第 2 階 · 像素接龍 · 懂的人可以跳到第 8 頁

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

一格一格猜下一格的顏色,畫得完嗎?

① 先想像

照著順序放拼豆:由左到右、由上到下。每放一顆,先看看前面放了什麼,再決定這顆放什麼顏色。就像文字接龍,只是一次接一格。

你猜猜看:從 1024×1024 換成 2048×2048,要接的步數變幾倍?

③ 這叫做 autoregressive(自回歸)

autoregressive:每一步都看著前面已經畫好的,接下一格。

「產生這麼大的圖片需要做100萬次的像素接龍……《紅樓夢》還沒有到100萬個Token呢」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講

④ 跟這章的關係

原書說:一格一步,N×N 的圖要 N² 步(寫作 O(N²)),而且後一格要等前一格,很難同時畫。

② 動手玩:一格一格畫,數數看幾步

換成真的大小:
—要接幾步—一步 1 毫秒的話(示意)

原書Choosing a suitable ML approach · VAE、GAN

四種方法,先淘汰兩種:VAE 和 GAN 畫不大

這一步要解決的問題VAE、GAN、autoregressive、diffusion,哪一種適合 1024×1024?

📖 原書 大多數 VAE 和 GAN 的變體,很難生出 512×512 以上的圖。它們會遇到 posterior collapse(後驗崩潰)。

  1. 解析度越高,要補的細節越多,所以需要能力更強的 decoder(把「想法」畫成圖的那一半)。
  2. 訓練時 decoder 強到不看輸入的 latent(給它的那組「想法」數字),自己就畫得出來。
  3. latent 變得可有可無,對生成幾乎沒貢獻,圖的多樣性就降低了。

比喻:餐廳的大廚太厲害,根本不看你的點菜單,每桌都端出他最拿手的那道。好吃是好吃,但你點什麼都一樣。點菜單就是 latent。

你猜猜看:大廚不看點菜單,客人會抱怨什麼?

剩下兩種

📖 原書 autoregressive 和 diffusion 都能生高解析度的圖,差別在複雜度和資源。下一階先學「切塊」,再回來比快慢(第 10 頁)。

📅 2026 補充 嚴格說,posterior collapse 是 VAE 的現象;GAN 沒有這種要對齊的 latent,它常見的毛病叫 mode collapse:只會畫少數幾種圖。結果一樣是多樣性不夠。

延伸基礎第 3 階 · 切塊 · 懂的人可以跳到第 10 頁

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

一格一格太慢,那一次放一塊呢?

① 先想像

拼豆一顆一顆放很慢。拼圖就快多了:一次放一整片。把圖切成一塊一塊,每次接龍接的是「一塊」,不是「一格」。

你猜猜看:1024×1024 的圖,切成 64×64 一塊,總共幾塊?

③ 這叫做影像的 token

token:一小塊區域,用一個編號代表。接龍一次接一個 token。

「每一個 Token 其實就是對應到影像裡面的一小塊」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 9 講

④ 跟這章的關係

原書:autoregressive 模型改成一塊一塊生。1024×1024 用 64×64 的塊,只要 256 步。

② 動手玩:塊切大一點,步數少多少?

玩具圖一塊幾格:
1024×1024 一塊幾格:
—玩具圖要接幾塊—1024×1024 要接幾塊

原書Choosing a suitable ML approach · autoregressive vs diffusion

剩下兩種比快慢:切塊接龍 vs 擴散

這一步要解決的問題5 秒內要生出 1024×1024,哪一種做得到?

解析度:

長條是「後面有幾個零」(數量級),每多一格就是多 10 倍。T 和數字都是示意,用的是原書給的複雜度。

📖 原書 Autoregressive:一格依賴前一格,時間跟格數成正比,N×N 是 O(N²),很難平行。解法是切塊:1024×1024 用 64×64 的塊,只要 256 步。

📖 原書 Diffusion(從一張雜訊開始,一步一步擦乾淨,第 9 章細講):複雜度 O(TN²),T 是擦幾次。圖越大,通常要擦越多次,計算量又更大。

📖 原書 實務上,標準 diffusion 生一張高解析度圖可能要幾分鐘;以 Transformer 為基礎、切塊生成的 autoregressive 模型幾秒就能完成。所以本章選 autoregressive(教學用途),diffusion 留到第 9 章。

📖 原書註腳 有一些優化(例如 latent diffusion,先壓小再擦)能讓 diffusion 快很多,第 10、11 章會講。第 41 頁再回來看 2026 年的狀況。

到這裡你已經會了小結 1 / 4

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

到這裡你已經會了:為什麼要「一塊一塊」接

下一階要解決的問題

一塊 64×64 的圖,要怎麼變成「一個編號」?編號又怎麼變回圖?

原書Autoregressive 的兩個元件 · Figure 3、6

切塊接龍要兩個零件:一個換編號,一個接龍

這一步要解決的問題把「生圖」變成「生一串編號」,需要哪些零件?

📖 原書 Figure 3Autoregressive image generation(依原書內容重繪)

📖 原書 autoregressive 模型把生圖當成「生一串序列」,靠兩個主要元件:

① Image tokenizer(換編號的)

把圖換成一串編號,也能把編號換回圖。像我們的貼紙簿。第 15 頁。

② Image generator(接龍的)

一個 decoder-only Transformer,一個一個接出編號。像照著貼紙簿玩接龍的人。第 16 頁。

📖 原書 總結:先由 image generator 生出一串編號,再由 image tokenizer 把編號解回最後的圖。兩者的架構、訓練、取樣,在 model development 一一細講。

延伸基礎第 4 階 · 箭頭距離 · 懂的人可以跳到第 14 頁

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

兩塊圖「有多像」,怎麼用數字說?

① 先想像

幫每塊圖打兩個分數:「多亮」和「多綠」,各 0 到 10。打完,每塊圖就是地圖上的一個點。兩點離得近,就是兩塊很像。

你猜猜看:[7, 1] 和 [10, 5] 兩點離多遠?

③ 這叫做 vector 和 Euclidean distance

vector(向量):一組數字,可以畫成地圖上的點或箭頭。Euclidean distance:兩點的直線距離。

④ 跟這章的關係

原書的 encoder 把每一塊變成一組數字(連續的向量)。真正的向量有幾百個數字,但量距離的方法一樣。

② 動手玩:拖 A、B 兩點,看距離

延伸基礎第 5 階 · 貼紙簿 · 懂的人可以跳到第 15 頁

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

一塊圖,換成貼紙簿裡「最像的那一張」的編號

① 先想像

你和朋友有同一本貼紙簿,每張貼紙有編號。描述一塊圖,只要找出最像的那張貼紙,報它的編號。

你猜猜看:貼紙簿裡沒有太陽,太陽那塊會變成什麼?

③ 這叫做 codebook 和 quantization

codebook:一本「標準樣子」的貼紙簿,編號 1 到 k。換成最近那張的動作叫 quantization(量化)。

「也許我們就把這樣子的眼睛 直接把它命名為 Token 256」🎓 李宏毅課堂 導論 2025 · 第 9 講(貓的兩隻眼睛)

④ 跟這章的關係

原書的 quantizer 就做這件事。貼紙越多越細,但接龍時要選的選項也越多。

② 動手玩:開關貼紙,看每塊被換成幾號

—9 個編號(由左到右、由上到下)—和原圖不一樣的格子

原書Image tokenizer · Figure 4

第一個零件:image tokenizer,圖 ⇄ 編號

這一步要解決的問題接龍需要「一串離散的編號」。誰負責把圖換成編號、再換回來?

📖 原書 Figure 4Image tokenizer 的 encoding 和 decoding;灰色是這個方向用不到的元件(依原書內容重繪)

📖 原書 Image tokenization:用一串 discrete tokens(離散的編號,像 6、11、381,只能是整數,不能是 6.3)代表一張圖。自回歸模型一塊一塊依序生圖,所以這一步非常關鍵。

獨立的模型、獨立訓練

📖 原書 tokenizer 是一個單獨的模型,自己訓練。兩個功能:把圖 encode 成一串編號;把一串編號 decode 回圖。

原書用 VQ-VAE

📖 原書 專門做圖片切塊編號的常見架構是 VQ-VAE(Vector-Quantized VAE,第 7 章 VAE 的變體),三個元件:Encoder、Quantizer、Decoder。第 20–22 頁一個一個拆。

「這需要用一個特殊的技術 叫做 VQ-VAE 來訓練」🎓 李宏毅課堂 導論 2025 · 第 9 講

原書Image generator · Figure 5

第二個零件:image generator,用 Transformer 玩貼紙接龍

這一步要解決的問題有了編號,誰來一個一個接?原書選 decoder-only Transformer,兩個理由。

📖 原書 Figure 5Decoder-only Transformer 處理不同模態的彈性(依原書內容重繪)

理由一:什麼都能接

📖 原書 架構很有彈性,能處理不同模態(文字、圖片這些資料種類)。聊天機器人:文字進、文字出。Image captioning:圖片進、文字出。生圖:輸出一串圖片編號,再解回圖。所以之後要加文字 prompt,也很好接。

理由二:會回頭看很遠的地方

📖 原書 靠 attention(每一步自己決定要回頭看前面哪幾塊)捕捉長距離的關聯,圖才會連貫。比如說,畫右下角湖面時,回頭看左上角有沒有太陽,倒影才對得起來。

Transformer 和 attention 在 第 2 章 Smart Compose 的簡報有完整的延伸基礎頁。這裡只要記得:它就是一台很會「看前面、猜下一個」的接龍機器。

「那個接龍模型其實就跟原來的語言模型其實沒什麼不同 只是 Token 的定義變了而已」🎓 李宏毅課堂 導論 2025 · 第 9 講

原書Data Preparation · Figure 7

教材準備:先洗照片,再把照片全部換成編號

這一步要解決的問題500 萬張照片大小不一、品質不一,而且 generator 只吃編號。

📖 原書 Figure 7資料準備流程(依原書內容重繪)

📖 原書 ① Image cleaning and normalization

  • 移除低品質的圖:解析度太低、雜訊太多、內容不相關。也要確保風格、主題、構圖夠多樣,模型才生得出多樣又高品質的圖。
  • Normalize:把像素值縮到固定範圍,通常 0 到 1(第 5 頁的除以 255),讓訓練穩定。
  • Resize:照片大小、長寬比都不同,依面試官的要求統一成 1024×1024。

📖 原書 ② Image tokenization

generator 要的是一串離散的編號。所以先把 tokenizer 訓練好,再用它把訓練資料裡的每張圖都換成編號。

注意:這一步是替 generator 準備的,不是替 tokenizer。tokenizer 自己訓練時吃的是原始照片。

套回我們的例子

湖邊山景洗乾淨、縮成統一大小,再交給 tokenizer,存成一行:ID 001 · 1 2 1 4 3 4 5 5 6。500 萬張就是 500 萬行。原書說,這兩步確保資料品質高、格式一致、而且是數字。

延伸基礎第 6 階 · 小放大鏡 · 懂的人可以跳到第 20 頁

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

不用看整張圖,拿小放大鏡一塊一塊掃

① 先想像

拿放大鏡掃一張圖,每次只看一小塊,問:「這塊多亮?多綠?有沒有山的邊?」要認出一個花樣,看一小塊就夠了。

你猜猜看:12×12 的圖,用 4×4 的放大鏡,一次移 4 格,掃完得到幾個結果?

③ 這叫做 CNN

CNN:一層層小放大鏡掃過圖片,抓局部的花樣。反過來把小格放大回去的,叫 transposed convolution。

「你其實只需要看這麼小的範圍 就知道它是鳥嘴了」🎓 李宏毅課堂 導論 2025 · 第 6 講

④ 跟這章的關係

原書的 encoder 是 CNN,把圖壓成一小格一小格的數字;decoder 用 transposed convolution 一層層放大回原尺寸。

② 動手玩:壓縮(encoder)和還原(decoder)

按「開始」。

到這裡你已經會了小結 2 / 4

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

到這裡你已經會了:一塊圖怎麼變成一個編號

下一步要解決的問題

原書的 tokenizer 正好就是這三件事接起來:Encoder(放大鏡壓縮)→ Quantizer(貼紙簿換編號)→ Decoder(放大還原)。一個一個看。

原書Architecture · Image tokenizer · Encoder · Figure 8

Encoder:用好幾層放大鏡,把圖壓成一小格一小格的數字

這一步要解決的問題一張圖有 100 萬格,要先把重要的特徵濃縮成少少幾格。

📖 原書 Figure 8Encoder 把輸入圖片轉成有 9 個特徵、每個特徵有 c 個 channel 的 encoded representation(依原書內容重繪)

📖 原書 Encoder 把輸入圖片對應到比較低維的 latent space(「濃縮過的數字空間」),把圖的重要特徵編碼成 encoded representation。

📖 原書 架構是很深的 CNN:好幾層 convolution,每層後面接一個 ReLU,處理圖片、抽出視覺特徵。

ReLU 白話:「負的變 0,正的不動」。就這麼簡單,但沒有它,疊再多層也只等於一層。

套回例子:12×12 的湖邊山景 → 3×3 = 9 個特徵,每個特徵不是兩個分數,而是 c 個數字(c 個 channel,第 13 頁的向量變長版)。

原書Architecture · Image tokenizer · Quantizer · Figure 9

Quantizer:把每組數字換成最近那張貼紙的編號

這一步要解決的問題encoder 給的是連續的小數,接龍要的是整數編號。為什麼一定要換?

📖 原書 理由一:避免 posterior collapse

一般 VAE 的 decoder 不靠 latent 也能畫得很準,latent 就被忽略了(第 8 頁的大廚)。把 latent 變成離散的編號,逼模型在還原時一定要用它,decoder 就不會蓋過 latent。

📖 原書 理由二:縮小要學的空間

連續的向量有無限多種可能、差異又很小,很難一個一個預測。換成編號,Transformer 只要從少數選項裡挑。

你猜猜看:Transformer 要猜下一塊,哪一種比較好猜?

📖 原書 Figure 9Quantization process(依原書內容重繪)

📖 原書 quantizer 內部有一本 codebook,裡面是可學習的 embedding(會在訓練中慢慢調整的標準樣子),每張代表一種花樣,編號 1 到 k。它用 Euclidean distance 把每個連續向量換成最近的那張。

📖 原書 重點:quantizer 就是一張 embedding table,唯一的參數就是 codebook。它唯一的工作是「找最近的」,所以輸出是一組 token ID。

原書Architecture · Image tokenizer · Decoder · Figure 10

Decoder:查貼紙簿,再一層層放大回原圖

這一步要解決的問題3×3 個編號,要怎麼變回一張完整大小的圖?

📖 原書 Figure 10Decoding process(依原書內容重繪)

① 查表

📖 原書 圖 3×3 的編號(1、27、8、43、6、33、7、96、81)進 Embedding Lookup:每個編號去 codebook 拿出它那組 c 個數字,變成一塊 3×3×c 的積木。

② 一層層放大

📖 原書 decoder 通常是很深的 CNN,用 transposed convolution(ConvTranspose2d)逐步把表示放大回原圖大小。圖上是三層 Transposed conv + ReLU,積木越長越大。

③ 得到圖

📖 原書 最後一層輸出完整大小的 Image。想深入 convolution 和 transposed convolution,原書推薦參考資料 [5]。

套回例子:1 2 1 / 4 3 4 / 5 5 6 → 第 18 頁「還原:放大」的動畫。

原書Architecture · Image generator · Figure 11

Image generator 的五個零件:拿號碼進去,吐出下一號的百分比

這一步要解決的問題一串編號進來,怎麼變成「下一張貼紙是幾號」的猜測?

📖 原書 Figure 11Decoder-only Transformer 的元件(依原書內容重繪)
  1. Embedding lookup每個編號換成 codebook 裡它那組數字(同一本貼紙簿)。
  2. Projection把那組數字換算成 Transformer 內部要的長度。像換成同一種尺寸的紙。
  3. Positional encoding加上位置資訊:這張貼紙在第幾排第幾格。不然「天空在上」和「天空在下」分不出來。
  4. Transformer處理整串輸入,輸出更新過的一串向量。裡面是 Multi-head attention、Normalization、Feed Forward、Normalization,疊 N 次。
  5. Prediction head用更新過的向量,預測下一個編號:每張貼紙各有幾 % 的機會。

延伸基礎第 7 階 · 差多少 · 懂的人可以跳到第 25 頁

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

還原得準不準?一格一格比差多少

① 先想像

朋友照編號貼完,把他的圖疊在原圖上,一格一格比亮度差多少。差距加起來越小,還原得越好。

你猜猜看:一格多了 3、另一格少了 3。直接把差距平均,會得到多少?

③ 這叫做 reconstruction loss(MSE)

loss:離正確答案多遠,越小越好。這裡用「差距平方的平均」,叫 MSE。

「計算它們之間的差距 把它們的差距全部平均起來 就是我們的 Loss」🎓 李宏毅課堂 導論 2025 · 第 9 講(表面上的像)

④ 跟這章的關係

原書訓練 tokenizer 的第一個 loss 就是它:原圖和還原圖每個像素的差距平方,平均起來。

② 動手玩:調整還原的四格,看 loss

延伸基礎第 8 階 · 三種像 · 懂的人可以跳到第 26 頁

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

「一格一格比」最小的,就是最像的嗎?

① 先想像

把整張照片往右挪一格。你看得出差別嗎?看不出來。可是一格一格比,每一條邊都對不上。反過來,糊成一團的圖,分數可能還比較好。

你猜猜看:整張往右挪一格,「一格一格比」的分數會?

③ 這叫做 perceptual loss 和 adversarial loss

perceptual loss:請一個看過很多圖的模型比「特徵」像不像。adversarial loss:請一個判別器猜真假,騙過它就算像。

「第一個像叫做表面上的像……第二種像就是感知上的像……還有第三種像叫做 模型難以分辨的像」🎓 李宏毅課堂 導論 2025 · 第 9 講

④ 跟這章的關係

原書:高解析度只用 MSE 會有 artifacts(不自然的痕跡),所以再加上這兩種。要用哪一種?課堂說:「大人就是全都要」。

② 動手玩:三張「還原圖」,三種分數

表面分數是真的算出來的(紅綠藍差距平方平均 × 1000);另外兩個是示意。

原書Training · Stage I:訓練 image tokenizer · Figure 12

第一階段:先把貼紙簿和兩個放大鏡練好

這一步要解決的問題encoder、decoder、codebook 要一起調,讓還原的圖跟原圖一樣。

📖 原書 Figure 12Image tokenizer 的訓練過程(依原書內容重繪)

📖 原書 自回歸生圖有兩個訓練階段:Stage I 訓練 tokenizer、Stage II 訓練 generator(第 30 頁)。Stage I 的三步:

  1. Encoder 把圖變成連續的表示
  2. Quantizer 用 codebook 把它換成離散編號
  3. Decoder 用這些編號還原原圖

📖 原書 查表這一步,修正訊號過不去

訓練要靠 loss 傳回來的修正訊號(gradient,「往哪邊調會更好」)。可是「找最近的貼紙」像四捨五入,輕輕推一下結果不變,訊號傳不過去。VQ-VAE 論文的辦法:把 decoder 輸入收到的修正,直接抄給 encoder 輸出。所以只有被選中的貼紙會收到修正,沒被選中的收不到。

📖 原書 訓練資料

用那 500 萬張。因為是 self-supervised(自己當自己的答案,不用標籤),還加入公開資料集 LAION-400M(4 億張),讓 codebook 更豐富、學到更多樣的花樣。

「修正訊號怎麼調旋鈕」在 第 6 章 RAG 簡報的「蒙眼下山」延伸基礎頁。

原書Stage I · ML objective and loss function

四個 loss 加起來:原書版的「大人全都要」

這一步要解決的問題目標是「從編號準確還原原圖」。用什麼分數來量「準確」?

Loss在量什麼(原書)白話
Reconstruction原圖和還原圖的差距,用 MSE,n 是像素數一格一格比(表面上的像)
Quantizationencoder 輸出和最近 codebook embedding 的距離;兩項各用 stop-gradient(sg)擋住一邊一項把貼紙拉向 encoder,一項叫 encoder 別離貼紙太遠
Perceptual預訓練的 VGG 某幾層抽出的特徵,原圖和還原圖差多少請看過很多圖的模型比內容和風格(感知上的像)
Adversarial來自 GAN:還原圖騙過 discriminator 的程度,−log D(還原圖)判別器分不出真假才算像

📖 原書 實務上,前兩個 loss 對低解析度很夠用;高解析度還會出現 artifacts,所以加上後兩個。VQGAN 論文提出 patch-based(一小塊一小塊判斷真假)的版本,減少不自然的痕跡、更逼真。

📖 原書 Overall loss = 四個 loss 的加權總和

權重 λ 是 hyperparameter(訓練前人來定的旋鈕),要依目標和實驗去調。動手調調看:兩張候選還原圖,模型會偏好哪一張?

到這裡你已經會了小結 3 / 4

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

到這裡你已經會了:貼紙簿是怎麼練出來的

下一階要解決的問題

貼紙簿練好了,教材(500 萬串編號)也準備好了。接下來:怎麼教 Transformer 玩貼紙接龍?

延伸基礎第 9 階 · 猜下一張 · 懂的人可以跳到第 30 頁

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

看前面三張貼紙,猜第四張。猜錯要罰多重?

① 先想像

前三張是「天空、太陽、天空」,第四張是第二排的開頭。你心裡有一張百分比表:山坡最有可能,湖水不太可能。正確答案揭曉時,你給它的百分比越低,你就越驚訝。

你猜猜看:正確答案是山坡。哪一個模型該被罰得比較輕?

③ 這叫做 next-token prediction 和 cross-entropy

next-token prediction:考題就是「猜下一個編號」。cross-entropy:只看正確答案拿到幾 %,越低越驚訝,罰越重。

④ 跟這章的關係

原書 Stage II:generator 的目標是 next-token prediction,loss 是 cross-entropy。教材就是 500 萬串編號。

② 動手玩:模型越練越準,驚訝分數怎麼變?

已經接了:
—正確答案(山坡)拿到—驚訝分數(要對半砍幾次)

原書Training · Stage II:訓練 image generator · Figure 13

第二階段:拿 500 萬串編號,練習猜下一個

這一步要解決的問題Transformer 要怎麼學會「看前面的貼紙,猜下一張」?

📖 原書 Figure 13Image generator 的 loss 計算(依原書內容重繪)

📖 原書 訓練 generator(decoder-only Transformer)跟前面幾章一樣。訓練資料是離散編號的序列,模型學著依序預測這些編號。

📖 原書 ML objective 是 next-token prediction,loss 是 cross-entropy:量模型預測的機率,跟正確的「視覺 token」差多少。

讀 Figure 13:輸入 1、27、8、16 進 Image Generator,它對下一個位置吐出一排機率 0.1、0、0.8、0.1;正確答案是 0、0、1、0(第三個)。正確的那個拿到 0.8,loss 就小;只拿到 0.1,loss 就大。

套回例子:教材的一行是 1 2 1 4 3 4 5 5 6。這一行就藏了 8 題考題:看「1」猜「2」、看「1 2」猜「1」、看「1 2 1」猜「4」……答案本來就在序列裡。

延伸基礎第 10 階 · 擲骰子 · 懂的人可以跳到第 32 頁

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

每次都選第一名,每張圖都會長一樣。那怎麼辦?

① 先想像

如果接龍每次都挑百分比最高的那張,同一個開頭永遠接出同一張圖。我們要的是「每次不一樣、但又合理」。所以照百分比擲骰子,但太離譜的先拿掉。

你猜猜看:把右邊的「溫度」調高,會發生什麼事?

③ 這叫做 top-p sampling 和 temperature

top-p:從第一名往下加,加到 p 就畫線,線以下不准擲。temperature:擲之前先把百分比攤平或拉尖。

「如果這個大 T 呢數字越大,那做完 softmax 以後,就會機率分布就會越平均」🎓 李宏毅課堂 導論 2025 · 第 3 講

④ 跟這章的關係

原書取樣時用 top-p 選下一個編號;other talking points 提到用 temperature scaling 平衡多樣性(diversity)和真實度(fidelity)。

② 動手玩:天空、太陽、天空之後,擲出下一張

原書Sampling · 1. Generating a sequence of discrete tokens · Figure 14

生圖第一步:隨機抽一張當種子,然後一張一張接

這一步要解決的問題訓練好了。怎麼接出一串「沒看過的」編號?

按「隨機抽第一張」開始。取樣用 top-p = 0.9、溫度 1。

📖 原書 生新圖分兩步:① 生一串離散編號 ② 把編號解回圖(下一頁)。自回歸的特性讓每個編號都依賴前面的編號,圖才連貫。

  1. 從 codebook 隨機選一個 token 當第一個,當作後面生成的種子(seed)。
  2. 一個一個接:
    • 把目前的序列交給 generator,得到 codebook 上每一號的機率分布
    • 用 top-p 這類取樣方法選下一個
    • 把選到的接在序列後面
  3. 重複到整張圖生完。次數看解析度:1024×1024、每個 token 代表 64×64,就要 256 個 token。

原書Sampling · 2. Decoding discrete tokens into an image · Figure 15

生圖第二步:把一排編號排成方陣,交給 decoder

這一步要解決的問題generator 吐出的是一排一維的編號,圖是二維的。

📖 原書 Figure 15把 tokens 解碼成圖(依原書內容重繪)

📖 原書 這一步用 image tokenizer 的 decoding 功能,把編號序列變成圖。圖上:從 6 開始,generator 接出 27、8、40、…、72,Reshape 成 3×3(6、27、8/40、97、41/26、39、72),再進 tokenizer,得到 Generated… 的圖。

你猜猜看:生圖的時候,tokenizer 的 encoder 用得到嗎?

套回例子:把你剛剛接出來的 9 張貼紙解回去

到這裡你已經會了小結 4 / 4

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

到這裡你已經會了:怎麼接出一張新圖

下一階要解決的問題

圖生出來了。它到底好不好?使用者要 2048×2048 怎麼辦?整個系統怎麼上線?

延伸基礎第 11 階 · 比兩堆 · 懂的人可以跳到第 36 頁

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

沒有標準答案的圖,怎麼打分數?比「整堆」

① 先想像

美術老師拿到兩堆圖:一堆是真的風景照,一堆是學生畫的。她不是一張一張比,而是看「整堆的感覺」:平均起來像不像、變化夠不夠多。

你猜猜看:學生每張都畫同一張超完美的照片。整堆像不像真照片?

③ 這叫做 FID 和 Inception score

FID:比兩堆圖特徵的平均和分散,越小越好。Inception score:每張都認得出是什麼、種類又多,越大越好。

④ 跟這章的關係

原書離線評估用 Inception score 和 FID,兩個都用預訓練的 Inception v3 模型抽特徵。

② 動手玩:調整學生那堆,看玩具版 FID

—平均差—分散差—玩具 FID = 平均差² + 分散差²

原書Evaluation · Offline · Online

評估:圖好不好、多快多貴、使用者買不買單

這一步要解決的問題上線前怎麼量品質和多樣性?上線後看什麼?原書說指標跟第 7 章類似,只簡單回顧。

📖 原書 Offline:品質與多樣性

指標在量什麼
Inception score用預訓練的 Inception v3,量生成圖有多像真實世界的物體
FID用 Inception v3 的特徵,比生成圖和真圖的分布統計有多像(第 35 頁)
Human evaluation給評審看成對的圖,判斷逼真度和美感;投票結果統計出哪個模型比較逼真

📖 原書 Offline:速度與成本

指標在量什麼
Time to generate an image生一張圖要多久。使用者通常期待很快,要持續監控(需求是 5 秒)
Cost per generation生一張圖的成本,看模型複雜度、解析度、基礎設施費用;影響營收,一定要監控

📖 原書 Online:上線之後

指標在量什麼
User feedback使用者對生成圖的直接意見
Periodic surveys定期問卷:品質和相關性
Subscription rate多少人訂閱生圖相關的服務或功能
Churn rate多少人不再使用(流失率)

延伸基礎第 12 階 · 放大 · 懂的人可以跳到第 38 頁

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

1024 要變 2048:直接放大,細節從哪裡來?

① 先想像

把一張小照片印成海報。直接把每格複製成四格,會變馬賽克;跟鄰居平均,會變糊。要清楚,就得「猜」出原本沒有的細節:草的紋路、湖面的波光。

你猜猜看:1024×1024 放大成 2048×2048,格子變幾倍?

③ 這叫做 super-resolution(超解析度)

super-resolution:用模型把小圖放大,補出看起來合理的細節。放大幾倍叫 upscale factor。

④ 跟這章的關係

原書:generator 只生 1024×1024,使用者要 2048×2048 時,再接一個 upscale factor 2x 的 super-resolution 模型。

② 動手玩:三種放大方法

144 → 576玩具圖的格子數(×4)

原書Overall ML System Design · Figure 16

全部接起來:三個服務,五秒交卷

這一步要解決的問題兩個模型都練好了,要怎麼接成一個真的能上線的系統?

📖 原書 Figure 16High-resolution image synthesis 的 ML 設計(依原書內容重繪)

動手算:五秒內做得完嗎?

📖 原書 對 generator 和 tokenizer 的表現滿意之後,把它們整合成系統。主要元件:

  • Generation service:接使用者的請求,跟 generator 互動,生出一串視覺編號
  • Decoding service:跟 tokenizer 互動,把編號變成圖
  • Super-resolution service:需要時把圖放大

原書:了解每個元件的目的和互動,才有整個系統的全貌。下一頁一個一個看。

原書Generation · Decoding · Super-resolution service

為什麼要拆成三個服務?

這一步要解決的問題一個服務全部做完不行嗎?

📖 原書 Generation service

處理使用者的請求,跟訓練好的 image generator 互動,產生一串視覺編號。256 步接龍都在這裡,是最花時間的一段。

📖 原書 Decoding service

跟 image tokenizer 互動,把編號序列變成圖。部署時不需要 tokenizer 的 encoder,它只在訓練時用。

📖 原書 Super-resolution service

用預訓練的模型提升解析度。要 2048×2048 而 generator 只產 1024×1024 時,用 2x 的 super-resolution 模型。對醫療影像這類要細節、要逼真的應用很關鍵。

📖 原書 拆開的理由

generator 和 tokenizer 是不同的模型,計算需求和延遲都不一樣。分開,每個服務就能各自擴展、有效率地管理資源。

你猜猜看:突然湧進 10 倍的請求,最需要加機器的是哪個服務?

📖 原書 Super-resolution 的現成方案

  • CNN 為基礎:RCAN(Very Deep Residual Channel Attention Networks)[11]
  • 用 GAN 改進:ESRGAN [12]
  • 近期方法整理:NTIRE 2024 Image Super-Resolution (×4) Challenge [13]

「有很多成熟的方案」,所以原書直接用預訓練好的,不自己從頭練。

原書Other Talking Points

面試還有時間,可能會被問到這些

① 支援文字生圖 [14][15]

把 autoregressive 模型擴充成吃文字。白話:在貼紙接龍前面先接一段文字,就是第 16 頁「什麼都能接」的理由。原書引 Muse、VQGAN-CLIP。

② 補圖、放大 [16]

支援 image completion(補完缺的部分)和 super-resolution 這類應用。原書引 LAR-SR:用局部的自回歸模型做超解析度。

③ 多樣性 vs 真實度 [17]

取樣時用 temperature scaling 等技巧平衡 diversity 和 fidelity,就是第 31 頁的溫度滑桿。

④ 訓練穩定 [18][19]

用 adversarial training、gradient clipping(修正訊號太大就剪掉)、learning rate scheduling(步伐大小隨訓練調整)提升穩定性。

⑤ 由粗到細 [20]

用 progressive growing(先練小圖、再慢慢長大)和 multi-scale 架構,提升品質和細節。

⑥ 讓使用者一起改圖 [21]

做互動系統,讓使用者細修、客製化生成的圖。原書引 CogView2。

📅 2026 補充方法怎麼演進

原書之後:貼紙接龍沒有消失,而是換了接法

Diffusion 也變快了

原書註腳提到的 latent diffusion(先壓小再擦),加上少步數的取樣,已經是主流做法;生一張 1024×1024 通常也是秒級,不再是「幾分鐘」。所以「選 autoregressive 是因為快」這個理由,到 2026 年要再量一次。

接龍派也追上來了

課堂介紹的論文標題就寫著 Autoregressive Model Beats Diffusion:「它的模型單純就是 Llama 的架構 Train 下去就沒有然後了」。另一篇的關鍵句是 Tokenizer is key to visual generation:貼紙簿做得好,接龍才畫得好。

🎓 李宏毅課堂 · 導論 2025 · 第 9 講

不一定要一張一張、由左到右

「人在畫圖的時候 也不是按照 Raster Order 在畫的」。MaskGIT(原書引的 Muse 也是這一類)先蓋住全部,每輪一次猜很多張、只留最有把握的,幾輪就畫完;也有一次猜一整層「由粗到細」的做法。

🎓 李宏毅課堂 · 導論 2025 · 第 9 講

一張圖,不一定要 256 張貼紙

有論文叫 An image is worth 32 tokens:32 個編號不對應固定位置,比較像「這張圖裡有什麼」。代價是細節會變:課堂展示的例子裡,水花不見了、熊臉的角度變了。

🎓 李宏毅課堂 · 導論 2025 · 第 9 講

「你輸入的圖片透過圖像的encoder 變成一連串的token……把圖片的token文字的token串在一起 然後丟給語言模型」🎓 李宏毅課堂 導論 2025 · 第 1 講(課堂說這是聊天機器人生圖「可能」的運作方式)

原書Summary 心智圖

原書這一章的總結圖

📖 原書章末心智圖依原書描述的分支重繪(依原書內容重繪)

回顧12 階全部爬完

  1. 像素
  2. 像素接龍
  3. 切塊
  4. 箭頭距離
  5. 貼紙簿
  6. 小放大鏡
  7. 差多少
  8. 三種像
  9. 猜下一張
  10. 擲骰子
  11. 比兩堆
  12. 放大

高解析度生圖,其實就是貼紙接龍而已。

為什麼要貼紙

一格一格接,1024×1024 要 100 萬步。切成 64×64 一塊,只要 256 步。VAE、GAN 畫不大;diffusion 在原書的設定下比較慢。

貼紙簿怎麼來(Stage I)

Encoder 用小放大鏡壓縮 → Quantizer 換成最近的貼紙編號 → Decoder 放大還原。四種 loss 一起練:表面上的像、量化、感知上的像、判別器分不出的像。

怎麼接(Stage II + 取樣)

Transformer 練猜下一個編號(cross-entropy)。生圖時隨機起頭、top-p 擲骰子接滿 256 個,排成方陣交給 decoder。

怎麼上線

Generation、Decoding、Super-resolution 三個服務各自擴展,五秒交卷。用 IS、FID、人評、時間、成本,和上線後的回饋、訂閱、流失率打分數。

切塊、換編號、接龍、貼回去。然後呢?然後就結束了。

本章名詞小卡課後複習用 · 每個名詞一句白話

今天出現的名詞,一句話講完

pixel 像素圖片裡的一格,紅綠藍各 0–255(第 5 頁)
normalization把 0–255 縮成 0–1,讓訓練穩定
resolution 解析度一邊幾格,1024×1024 約 100 萬格
autoregressive看著前面畫好的,接下一個(第 7 頁)
O(N²)邊長變 2 倍、工作變 4 倍
token(影像)一小塊區域,用一個編號代表(第 9 頁)
VAE / GAN第 7 章的兩種生圖方法,原書說畫不大
posterior collapsedecoder 太強、不理 latent,圖變得不夠多樣
latent給 decoder 的那組「想法」數字,像點菜單
diffusion從雜訊一步步擦乾淨;T 是擦幾次

給工程師的重點出處、公式與頁碼對照

本章引用的來源

原書

Generative AI System Design Interview · High-Resolution Image Synthesis 章。Introduction、Figure 1 說明、Clarifying Requirements(第 4 頁)、輸入輸出與 Figure 2(6)、選方法:VAE/GAN 與 posterior collapse(8)、autoregressive vs diffusion、256 步、註腳(10)、兩個元件與 Figure 3、6(12)、image tokenizer 與 Figure 4(15)、image generator 兩個理由與 Figure 5(16)、Data Preparation 與 Figure 7(17)、Encoder 與 Figure 8(20)、Quantizer 與 Figure 9(21)、Decoder 與 Figure 10(22)、generator 五個元件與 Figure 11(23)、Stage I、gradient 複製、訓練資料與 Figure 12(26)、四個 loss 與 overall loss(27)、Stage II 與 Figure 13(30)、取樣步驟與 Figure 14(32)、解碼與 Figure 15(33)、Evaluation(36)、整體設計與 Figure 16(38)、三個服務與 SR 參考文獻(39)、Other Talking Points(40)、Summary 心智圖(42)。Figure 2–16 與心智圖依原書圖說與描述重繪,不是原圖;Figure 1 是生成的照片且原檔只剩佔位字,不重繪

本簡報加的頁面:概念階梯(3)、12 個延伸基礎(5、7、9、13、14、18、24、25、29、31、35、37)、小結(11、19、28、34)、名詞小卡(44)。湖邊山景、貼紙簿、所有特徵分數、機率、毫秒數都是示意

🎓 李宏毅課堂(逐字稿)

  • 生成式人工智慧與機器學習導論 2025 · 第 1 講(TigfpYPJk1s)— 像素接龍、1024×1024 = 100 萬次、《紅樓夢》、圖像 encoder 把 16×16 變成一個符號、ChatGPT 生圖可能的原理
  • 同 · 第 3 講(8iFvM7WUUs8)— temperature
  • 同 · 第 6 講(mPWvAN4hzzY)— CNN 鳥嘴、filter、Cross-Entropy 與 Softmax
  • 同 · 第 9 講(ccqCDD9LqCA)— 像素與 RGB 0–255、PixelRNN/PixelCNN、token = 一小塊、貓眼 Token 256、tokenization 會失真、VQ-VAE、DALL-E 8×8 / 8192、三種像與「大人就是全都要」、raster order、MaskGIT、LlamaGen、MAGVIT-v2、TiTok 32 tokens

來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人);Triton:本章覆蓋度無,沒有引用

公式(主文用文字講過)

  • Euclidean:‖a − b‖ = √Σ(aᵢ − bᵢ)²;quantize:z_q = e_k,k = argmin_j ‖E(x) − e_j‖
  • Reconstruction(MSE)= (1/n) Σ (xᵢ − x̂ᵢ)²
  • Quantization = ‖sg[E(x)] − z_q‖² + ‖sg[z_q] − E(x)‖²
  • Perceptual = Σ_l ‖φ_l(x) − φ_l(x̂)‖²(VGG);Adversarial = −log D(x̂)
  • Overall = λ_rec·rec + λ_quant·quant + λ_perc·perc + λ_adv·adv
  • Cross-entropy = −Σ yᵢ log pᵢ(one-hot 時 = −log p正確)
  • Temperature:softmax(z / T);top-p:累計機率 ≥ p 的最小集合再正規化
  • FID = ‖μ_r − μ_g‖² + Tr(Σ_r + Σ_g − 2(Σ_rΣ_g)^½);IS = exp(E_x KL(p(y|x) ‖ p(y)))
  • 複雜度(原書):pixel AR O(N²)、diffusion O(TN²);1024² / 64² = 256 tokens

📅 2026 補充的依據

  • posterior collapse(VAE)與 mode collapse(GAN)的區分是標準用語
  • latent diffusion 為主流、秒級生成:原書註腳所指方向
  • LlamaGen、MAGVIT-v2、MaskGIT、TiTok:課堂第 9 講;next-scale(VAR)不出自課堂
← → 翻頁 · S 講者備註 · D 深/淺色
1 / 1目錄