GenAI System Design · 第 9 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(只有 infra 客座卡)

Text-to-Image Generation
其實就是照著一句話,把雜訊一步一步擦掉而已

你打「A boat on an ocean」,十秒後出現一張海上帆船的圖。原書要你把這個系統從頭設計一遍:資料怎麼整理、模型怎麼長、怎麼訓練、怎麼生、怎麼打分數、整條線上流程怎麼串。

今天的路線

需求 → 一邊爬 11 階基礎(第 3 頁的階梯)、一邊對照原書:圖從哪裡來 → 文字怎麼跟圖對上 → 擦雜訊的模型怎麼長、怎麼練 → 怎麼擦得又快又準 → 評估與整個系統 → Triton 客座講評 → 2026 年的變化。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論

頁首標 延伸基礎 的頁只用高中數學講 ML 基本功,懂的人可以跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。

先講跟你有關的動手玩

你打一句話,它從一片雜訊裡「擦」出一張圖

選一句 prompt:
0 / 10擦了幾下

先擦兩下,再換一句 prompt,接著擦。

24×24 的玩具圖,擦法是示意。真正的模型要「自己猜」雜訊在哪,這頁先偷看答案。

你可能會想說,AI 是不是像畫家一樣,先打草稿、再一筆一筆上色?

其實不是。它從一團亂七八糟的雜點開始,每一步擦掉一點點。你給的那句話,決定它往哪個方向擦。

你試試看:同一團雜訊,擦到一半換一句話,擦出來就是另一張圖。怎麼辦到的?這就是今天要拆開的東西。

📖 原書 Figure 1 開場的例子(不重繪)

Prompt: An illustration of an avocado sitting in a therapist's cha…(DALL-E 3 畫的:酪梨坐在諮商沙發上說「I JUST FEEL SO EMPTY INSIDE」)。這張是模型的作品本身,我們重畫就不是模型畫的了,所以只寫出 prompt 和內容。

學習地圖本章的概念階梯

今天爬 11 階。每一階,只用前面講過的東西。

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

第 1–3 階 · 圖從哪裡來

要回答:為什麼要從一團雜訊開始畫?

第 4–5 階 · 文字怎麼跟圖對上

要回答:怎麼知道一張圖和一句話配不配?

第 6–8 階 · 擦雜訊的模型

要回答:模型長什麼樣、怎麼學會擦?

第 9–11 階 · 又快又準

要回答:怎麼在 10 秒內、照著 prompt 畫完?

全程只用一句 prompt:「A boat on an ocean」

這是原書每一張圖用的例子。我們的玩具版是 24×24 格,原書目標是 1024×1024。每爬 2–3 階,有一頁「到這裡你已經會了」:第 11、16、27、34 頁,最後是名詞小卡(第 47 頁)。

原書Clarifying Requirements

原書的題目:做一個文字生圖的服務

這一步要解決的問題面試官只丟一句「做一個 text-to-image 系統」,先把規格問清楚。

📖 原書 應徵者 × 面試官

應徵者問面試官答
生成的圖要多大(resolution,解析度)?高解析度,1024×1024 像素
輸入要支援多語言,還是只要英文?先做英文,但架構要能擴充到其他語言
訓練資料有多少?約 5 億張使用者素材裡的圖,大多有說明文字(caption)
prompt 可以多長、多複雜?要能處理詳細的 prompt,最長 128 個英文字
生成速度要多快?接近即時,目標每張 10 秒
要生哪一類的圖?只做風景嗎?各種都要:寫實風景、人像、抽象或概念藝術
圖不能因年齡、種族、性別有偏見。先處理這三個屬性?好觀點,公平很重要。先從這三個開始
倫理很重要,要有過濾和檢查,避免冒犯、不當、有害的圖。對嗎?對

記住四個數字

1024²輸出解析度5 億圖文配對128 字prompt 上限10 秒每張

「10 秒」這條最兇。等一下你會看到,擦雜訊要擦很多步,每一步都要跑一次幾十億參數的模型。第 29 頁會回來算這筆帳。

「5 億張、大多有 caption」代表有些沒有,也有些寫得很爛。第 15 頁原書會處理它。

延伸基礎第 1 階 · 像素懂的人可以跳過

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

放大一張照片,你會看到什麼?一格一格的數字

① 先想像

拼豆、十字繡:整張圖是一格一格的色塊。電腦存照片也一樣,每格記三個數字:紅、綠、藍各多少,從 0 到 255。

你猜猜看:原書要的 1024×1024 圖,有幾格?

③ 這叫做 pixel(像素)

pixel:圖裡的一格,記著紅綠藍三個數字。

「構成影像的單位其實是像素……每一個子像素它的數值是 0 到 255 之間」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 9 講

④ 跟這章的關係

原書整理資料時,把 0–255 換成 −1 到 1(normalization),訓練比較穩。等一下撒的「雜訊」,就是加在這些數字上。

② 動手玩:點任何一格,看它的三個數字

—紅、綠、藍(0–255)—換成 −1 到 1 之後

換算:(數字 ÷ 255) × 2 − 1。所以 0 → −1、255 → 1、差不多一半的 128 → 0。

原書Frame the Problem as an ML Task · Figure 2

輸入一句話,輸出一張照著那句話的圖

這一步要解決的問題把「做一個生圖服務」翻譯成 ML 的輸入和輸出。

📖 原書 Figure 2Text-to-image 系統的輸入與輸出;原圖右邊是帆船照片,這裡用像素帆船代替(依原書內容重繪)

📖 原書 Input:使用者寫的 text prompt,描述想要的圖,通常包含場景、物體、顏色、風格、情緒。

📖 原書 Output:一張細節豐富、符合 prompt 的圖。例如「A boat on an ocean」產生一張海上帆船。

📖 原書 這是 multimodal(多模態,同時處理兩種資料)任務:要讀懂文字,也要生成對應的圖。主要兩條路:autoregressive 和 diffusion。

兩條路都要先懂一件事:一張圖就是一大堆數字。那「生成一張圖」,就是生出一大堆數字。問題是,要從哪裡開始生?

延伸基礎第 2 階 · 撒雜訊 · Gaussian noise懂的人可以跳過

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

在照片上撒一把胡椒鹽:每一格加一個亂數

① 先想像

老電視收訊不好,畫面上全是沙沙的雜點。每一格的數字,被隨機地多加了一點、或少了一點。

你猜猜看:撒下去的那些亂數,大部分長怎樣?

③ 這叫做 Gaussian noise

Gaussian noise(高斯雜訊):每格加一個「中間多、兩邊少」的亂數。雜訊撒到最滿,原圖就完全看不到了。

④ 跟這章的關係

Diffusion 的起點就是一張「全是雜訊」的圖。每次撒的亂數不一樣,最後畫出來的圖也不一樣。

② 動手玩:拉雜訊的量,看帆船怎麼被蓋掉

延伸基礎第 3 階 · 一步步擦 · diffusion懂的人可以跳過

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

弄髒很簡單,擦乾淨很難。那就分很多步擦

① 先想像

浴室鏡子起霧,你一抹,臉就出來一點。一次要從全霧變全清楚很難;每次只擦一點點,就容易多了。

你猜猜看:把一張照片「一步步加雜訊」,需要 AI 嗎?

③ 這叫做 diffusion

diffusion:先學會「一步步把雜訊擦掉」,再從一張全是雜訊的圖,一步步擦出新圖。

「其實Diffusion Model也可以視為是另外一種生成的策略」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講

④ 跟這章的關係

原書把加雜訊叫 forward process、擦雜訊叫 backward process(第 23 頁)。這一章選的就是 diffusion。

② 動手玩:往右是弄髒,往左是擦乾淨

原書Choosing a suitable ML approach · Figure 3、4

兩條路:一塊一塊接龍,或從雜訊一步步擦

這一步要解決的問題文字變成圖,有兩種主流做法。先看它們各自怎麼做。

Autoregressive(接龍)

📖 原書 Figure 3Autoregressive 文字生圖:text tokens → decoder-only Transformer → image tokens → 圖(依原書內容重繪)

📖 原書 把生圖當成「生一串東西」。decoder-only Transformer 吃一串文字 token,吐出一串代表圖的 visual token,再由 image tokenizer 把 token 還原成圖。例:DALL-E、Muse。

「每一個 Token 其實就是對應到影像裡面的一小塊 比如說在 OpenAI 的 DALL-E 這個模型裡面 每一個 Token 對應到 8x8 這樣子的小範圍」🎓 李宏毅課堂 導論 2025 · 第 9 講

Diffusion(擦雜訊)

📖 原書 Figure 4Diffusion 文字生圖:從雜訊開始,每一步都參考 text encoder 的輸出(依原書內容重繪)

📖 原書 2019 年提出,約三年後成為主流。從隨機雜訊開始,照著 prompt 逐步變清楚。通常有一個 text encoder(把一句話變成一組數字的模型),例如 OpenAI 的 CLIP 或 Google 的 T5,它的輸出引導每一步。例:Imagen 3、DALL-E 2、Stable Diffusion。

原書Diffusion versus autoregressive models · Figure 5

兩條路的共同點與三個差別

📖 原書 Figure 5Diffusion 與 autoregressive 的特性;圓裡的字照原圖截斷(依原書內容重繪)

📖 原書 共同點:都能畫出逼真的圖、都生得慢、通常有數十億個參數、訓練都要大量運算。

你猜猜看:原書說「要優先追求最好的畫質」,它會選哪一條?

① Implementation complexity(實作難度)

📖 原書 Autoregressive 訓練和推論都比較簡單。訓練時「statistically efficient」:一次前向、反向計算,就從每一步都拿到有用的學習訊號。Diffusion 每筆訓練資料要抽不同的雜訊程度,效率較低;推論時要擦很多步,實作更複雜。

② Image quality(畫質)

📖 原書 Diffusion 畫高細節、逼真的圖表現較好:一輪一輪反覆修,細節越修越好。

③ Flexibility in sampling(生成時的彈性)

📖 原書 Diffusion 可以直接調「擦幾步」:步數多通常比較好看但比較慢。Autoregressive 訓練好之後不容易這樣調。

原書的選擇:diffusion,優先追求畫質。Model development 會依序講架構、訓練、取樣。

到這裡你已經會了小結 1 / 4

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

到這裡你已經會了:圖從哪裡來

下一階要解決的問題

擦的時候要照著 prompt 擦。可是電腦怎麼知道「A boat on an ocean」和一張圖配不配?要先把文字也變成數字。

原書Data Preparation · Image preparation · Figure 6

5 億張圖不能直接拿來練:先篩掉,再統一尺寸

這一步要解決的問題大量資料裡很多圖沒用、甚至有害;剩下的大小也都不一樣。

選一張原圖:
📖 原書 Figure 6Image preparation:Resize → Center Crop → Normalize(依原書內容重繪,尺寸數字是互動示範)

📖 原書 篩掉不適合的圖

  • Remove small images:小於門檻(例如 64×64)的丟掉,通常品質差
  • Deduplicate(去重複):一樣或看起來很像的只留一張,免得模型偏愛常出現的圖
  • Remove inappropriate images:用 harm detection 和 NSFW(不適合在辦公室看)偵測模型擋掉暴力、裸露
  • Remove low-aesthetic images:用專門的模型去掉不好看的圖,讓模型多看高品質的

📖 原書 統一尺寸與數值

Adjust dimensions:模型要固定大小的輸入。例如要 128×128,先等比例縮放到「短邊 = 128」,再從中間裁成 128×128。Normalize:像素值換到 [0, 1] 或 [−1, 1],訓練更穩(第 5 頁)。

延伸基礎第 4 階 · 文字變箭頭 · embedding懂的人可以跳過

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

電腦怎麼「讀懂」一句話?幫它打幾個分數

① 先想像

幫每句話打兩個分數:「跟水多有關」、「跟交通工具多有關」,各 0 到 5 分。「A boat on an ocean」就是 [4, 3]。

你猜猜看:中文的「海上的一艘船」該打幾分?

③ 這叫做 embedding

embedding:代表一段話意思的一組數字,也可以畫成一支箭頭。負責算這組數字的模型叫 text encoder。

「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 導論 2025 · 第 3 講:解剖大型語言模型

④ 跟這章的關係

擦雜訊的模型看不懂英文,只看得懂數字。prompt 要先經過 text encoder(原書用 CLIP 或 T5)變成 embedding,才能引導每一步。

② 動手玩:點一句話,把它放上地圖

延伸基礎第 5 階 · 比夾角 · CLIP懂的人可以跳過

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

圖和字放上同一張地圖,比兩支箭頭的夾角

① 先想像

兩個人幫你指路,手指的方向越接近,要去的地方越像。如果「照片」也能變成一支箭頭,就能跟「句子」的箭頭比方向。

你猜猜看:右邊這張帆船照,跟哪一句的夾角最小?

③ 這叫做 CLIP

CLIP:一個 text encoder 加一個 image encoder,把字和圖放上同一張地圖。比方向用 cosine similarity:夾角 0° 是 1,90° 是 0。

④ 跟這章的關係

原書用 CLIP 做三件事:幫 prompt 變 embedding、篩掉配錯的圖文(下一頁)、評估生成的圖符不符合 prompt(CLIPScore,第 35 頁)。

② 動手玩:CLIP 練之前和練之後

原書Data Preparation · Caption preparation · 動手玩

圖的說明文字常常沒寫、寫錯、不是英文:補、換、刪

這一步要解決的問題模型是從「圖 + 那句話」學會照著 prompt 畫的。那句話爛掉,它就學歪了。

📖 原書 ① Missing or non-English

沒有 caption 或不是英文的,用 image captioning 模型(例如 BLIP-3)自動寫一句。想從頭做 captioning,見原書第 5 章。

📖 原書 ② Enhance captions

用 CLIP 幫每一對圖文打相關分數(第 14 頁的夾角)。低於門檻的,原本的 caption 換成 BLIP-3 寫的。

📖 原書 ③ Remove poorly matched pairs

換完之後,CLIP 分數還是低於門檻的,整對刪掉。模型只看 caption 真的描述得出圖的配對。

到這裡你已經會了小結 2 / 4

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

到這裡你已經會了:文字怎麼跟圖對上

下一階要解決的問題

資料準備好了。接下來是主角:那個「看著 prompt、一步一步擦雜訊」的模型,長什麼樣子?

原書Model Development · Architecture · Figure 7

擦一步,模型到底在做什麼?猜「雜訊長怎樣」

這一步要解決的問題每一步,模型拿到一張有雜訊的圖,要決定擦掉什麼。

📖 原書 Figure 7Diffusion model 單一步的輸入與輸出(依原書內容重繪)

📖 原書 每一步,模型輸入一張 noisy image(有雜訊的圖),加上 text encoder 對「A boat on…」的輸出,輸出「預測的雜訊」。把它從圖上扣掉(noise removal),就得到比較清楚的 refined image。

📖 原書註腳 實務上還會多給一個條件:現在是第幾步(timestep)。第 25 頁訓練時會講。

📖 原書 負責「猜雜訊」的兩種常見架構

  • U-Net:先縮小再放大的 CNN(第 19 頁)。原書這章用它
  • Diffusion Transformer(DiT):把圖切塊交給 Transformer(第 22 頁)

你可能會想說,為什麼不直接猜「乾淨的圖」,而是猜雜訊?原書後面會回答:研究發現猜雜訊比較好學(第 25 頁)。

延伸基礎第 6 階 · 先縮再放 · downsampling / upsampling懂的人可以跳過

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

要擦對地方,得先看懂整張圖。那就先縮小看全貌

① 先想像

用 Google 地圖找路:先拉遠,才知道「這是台灣」;再拉近,才看得到「這條巷子」。只看一格,你不知道它是船還是海。

你猜猜看:64×64 的圖,長、寬各縮一半,格子剩幾分之幾?

③ 這叫做 downsampling / upsampling

downsampling:把圖縮小,每格代表一大塊,看全貌。upsampling:再放大回原尺寸,把細節補回來。

④ 跟這章的關係

先縮再放,畫出來像一個 U 字,所以叫 U-Net。縮的時候格子變少,但每格記的數字(channel)變多。

② 動手玩:一層一層縮下去,再放回來

原書U-Net · Figure 8、9、10

U-Net:左半邊縮小找全貌,右半邊放大補細節

這一步要解決的問題輸入一張 3×64×64 的有雜訊的圖,輸出同樣大小的「預測雜訊」。

📖 原書 Figure 8U-Net 的 downsampling 與 upsampling blocks;上排尺寸前兩個照原圖,其餘依「寬高變小、深度變大」補齊(依原書內容重繪)

📖 原書 U-Net 是一種 CNN 架構,原本是為了生醫影像分割(在醫學影像上圈出器官)發明的。

Downsampling blocks(縮小)

寬高越來越小、深度(channel 數)越來越大,得到壓縮過的表示。每塊通常有:Convolution(小放大鏡找特徵)→ Batch normalization(把數字拉回同一個尺度,訓練較穩)→ Non-linear activation(彎一下,才學得會複雜的形狀)→ Max-pooling(縮小)→ Cross-attention(看一眼 prompt,第 20 頁)。

Upsampling blocks(放大)

對稱地把寬高放大、深度變小,最後輸出跟輸入一樣大:就是預測的雜訊。每塊有:Transposed convolution(例如 PyTorch 的 ConvTranspose2D,把圖放大)→ Batch normalization → Non-linear activation → Cross-attention(放大時也繼續受 prompt 影響)。

📖 原書 U-Net 有很多變形,不同實作的層不一樣。面試懂關鍵元件和結構通常就夠了。

延伸基礎第 7 階 · 查小抄 · cross-attention懂的人可以跳過

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

畫到每一塊,都回頭看一眼訂單上的哪個字最相關

① 先想像

你在畫一面壁畫,客人的訂單寫著「A boat on an ocean」。畫到下半部,你瞄一眼訂單上的「ocean」;畫到中間那塊白色,你看的是「boat」。

你猜猜看:畫到「船帆」那一塊,最該看訂單上哪個字?

③ 這叫做 cross-attention

cross-attention:圖的每一塊去「查」文字的每一個字,算出該看誰多一點,再把那些字的意思混進來。

「就是「果」這個 Token 它專注於看「青」這個 Token, 它專注於看「蘋」這個 Token。」🎓 李宏毅課堂 導論 2025 · 第 3 講(講的是同一句話裡的 attention)

④ 跟這章的關係

U-Net 每個區塊最後都有一層 cross-attention。沒有它,prompt 就影響不了預測的雜訊,模型就不會照著那句話擦。

② 動手玩:點圖的一塊,看它最注意哪個字

百分比是示意。每一塊的五個百分比加起來是 100%。

原書Cross-attention 的細節

圖負責發問(query),文字負責被查(key、value)

這一步要解決的問題prompt 和圖是兩種完全不同的資料,要怎麼「對齊」再融合?

示意圖(原書這段沒有附圖)
  1. 📖 原書 prompt 先經過 text encoder(例如 Transformer 架構的模型),變成一串連續的 embedding,每個字一個,抓住文字的意思。
  2. 📖 原書 每一個去雜訊的步驟,有雜訊的圖先經過 Conv2D、BatchNorm2D 這些層,抽出圖的特徵。
  3. 📖 原書 在 cross-attention 層:queries 來自圖的特徵,keys 和 values 來自文字 embedding。這讓模型能把文字的資訊對齊、整合進圖的特徵。

白話:query 是「這一塊在問:我該畫什麼?」,key 是每個字掛的「我是關於什麼的」標籤,value 是每個字真正要提供的內容。query 和 key 越對得上,那個字的 value 就混進來越多。

原書DiT · Figure 11

另一種做法:把圖切成小塊,整串交給 Transformer

這一步要解決的問題不用「先縮再放」,能不能直接用處理文字很成功的 Transformer 來猜雜訊?

📖 原書 Figure 11DiT 的元件;左邊是切塊的互動示意(依原書內容重繪)

📖 原書 DiT 主要受 Vision Transformer(ViT,原書第 5 章)啟發。四個元件:

  • Patchify:把圖切成一塊一塊(patch),每塊變成一個 embedding,排成一串
  • Positional encoding:每塊貼上「我原本在第幾列第幾行」的位置資訊
  • Transformer:處理這串 embedding,加上 prompt 等條件(Conditions),預測每一塊的雜訊
  • Unpatchify:把每塊的預測雜訊拼回跟原圖一樣大的圖

📖 原書 兩種架構實務上都好用。U-Net 先被用在 Google 的 Imagen、Stability AI 的 Stable Diffusion;最近 DiT 很有潛力。為了教學,這章用 U-Net;第 11 章細講 DiT。

原書Training · Forward process · Backward process · Figure 12、13

訓練用的兩個方向:弄髒(不用學)和擦乾淨(要學)

這一步要解決的問題模型要學「擦」,那練習題從哪裡來?自己把乾淨的圖弄髒就有了。

📖 原書 Figure 12Forward diffusion process;原圖下標截斷,這裡依內文標成 x₀ … x_t(依原書內容重繪)

📖 原書 Forward process(又叫 noising process):分很多步(timestep,記成 t)慢慢加雜訊,直到圖完全變成雜訊。t 通常從 1 到 1,000 之間隨機選。這一邊不用任何 ML 模型,也不更新參數。

📖 原書 Figure 13Backward diffusion process;原圖描述的箭頭方向不清楚,依內文畫成由雜訊往清楚(依原書內容重繪)

📖 原書 Backward process(又叫 denoising process):ML 模型學著把 forward 倒過來。每一步預測圖裡的雜訊,用它把雜訊減少一點,重複到圖變清楚。

延伸基礎第 8 階 · 猜雜訊 · loss懂的人可以跳過

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

考題:老師在乾淨的考卷上灑了墨點,請你猜他灑了哪些

① 先想像

老師拿一張乾淨的考卷,偷偷灑墨點,再叫你猜「我灑了什麼」。猜得越準,把你猜的扣掉,考卷就越乾淨。老師手上有答案,所以可以馬上對答案。

你猜猜看:真正的雜訊是 [3, −1, 2, −4]。哪個猜法「差距平方的平均」最小?

③ 這叫做 loss(這裡用 MSE)

loss:猜得多不準。這裡把每格差距平方再平均,叫 MSE(mean squared error),越小越好。

「就選 Mean Square Error 也就是計算 z1 跟 z1_hat 之間的 Norm 來當作 Loss」🎓 李宏毅課堂 導論 2025 · 第 9 講

④ 跟這章的關係

原書的訓練目標就是這個:真的雜訊和模型猜的雜訊,算 MSE。訓練=轉模型的旋鈕(參數),讓 loss 變小。

② 動手玩:拉四個滑桿當模型,猜雜訊

—loss(差距平方的平均)

表格最下一列:有墨點的考卷 − 你猜的雜訊。猜對時,它會等於乾淨的考卷。數字是示意。

原書Diffusion training process · Figure 14 · 動手玩

訓練一次的四個步驟:弄髒、給條件、猜雜訊、對答案

這一步要解決的問題把「弄髒」和「猜雜訊」接起來,變成可以重複幾億次的練習。

📖 原書 Figure 14Diffusion 訓練中的一次 iteration,圖上的 t = 800 照原圖(依原書內容重繪)

1. Noise addition

模擬 forward process:隨機抽一個 t,在原圖加上第 t 步那麼多的 Gaussian noise。

2. Preparation of conditioning signals

模型還要兩個條件:圖的 caption,和抽到的 t(代表雜訊有多重)。各用一個 encoder 變成 embedding。

3. Noise prediction

輸入有雜訊的 x_t 和 t,模型預測加進去的雜訊 ε。研究發現直接預測原圖 x₀ 效果沒那麼好,預測雜訊比較簡單、表現較好。

4. ML objective and loss

目標:讓真的雜訊和預測的雜訊差距最小,loss 用 MSE(第 24 頁)。算出 loss 就更新模型參數,換下一題。

原書Noise schedule · 一步跳到第 t 步

雜訊要加多快?前面加少一點,後面加多一點

這一步要解決的問題一題要加到第 800 步,難道真的要撒 800 次?

—這一步撒多少(β_t)—原圖還剩幾成—雜訊佔幾成

兩個比例是「平方後加起來等於 1」(例如 0.63² + 0.78² ≈ 1),所以直接相加不會剛好 100%。

你猜猜看:第 500 步時,原圖大約還剩幾成?

📖 原書 Noise schedule

每一步加多少雜訊,由一組 β₁, β₂, …, β_T 決定(T 是總步數),每個 β 介於 0 和 1。通常越來越大:β₁ < β₂ < … < β_T。前面少加,保留較多原圖;後面多加,加快變成雜訊。

📖 原書 一步跳到第 t 步

一步一步加很花時間。原書推導出:第 t 步的圖可以直接從原圖 x₀ 算:

第 t 步的圖 = 原圖 × 保留比例 + 雜訊 × 雜訊比例

兩個比例都只跟 t 有關。所以訓練時「抽一個 t、直接算出 x_t」就好。

📖 原書 這段數學有興趣再看,細節不影響 ML 系統設計;可解均值的推導、loss 的簡化都省略了。

到這裡你已經會了小結 3 / 4

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

到這裡你已經會了:擦雜訊的模型怎麼長、怎麼練

下一階要解決的問題

模型練好了。真正生一張新圖的時候要擦幾步?原書說標準是 1,000 步,可是需求只給 10 秒。怎麼辦?

原書Sampling · Figure 15

生一張新圖:從純雜訊開始,猜雜訊、扣掉,重複

這一步要解決的問題訓練好的模型,要怎麼真的「生」出一張沒看過的圖?

📖 原書 Figure 15Sampling process;第二張圖的下標原圖截斷(依原書內容重繪)

📖 原書 Sampling 就是用訓練好的模型生成新圖。起點是一張隨機像素的圖,通常從 Gaussian 抽。每一步,模型預測目前這張圖裡的雜訊,用它把圖往對的方向調一點。一步一步,直到清楚、細節豐富。

缺點一:常常不照 prompt 畫

基本的取樣,生出來的圖常常和文字對不太上。→ 解法:classifier-free guidance(第 30 頁)

缺點二:很慢

每生一張都要反覆跑很多步。→ 解法:減少步數,例如 DDIM(第 29 頁)

延伸基礎第 9 階 · 走幾步 · sampling steps懂的人可以跳過

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

擦幾步才夠?步數多比較準,但比較慢

① 先想像

濃霧裡開車回家。一口氣衝過去,八成撞牆;每開一小段就停下來看一次路,比較準,但比較慢。

你猜猜看:每一步 0.5 秒(示意),要在 10 秒內生完,最多擦幾步?

③ 這叫做 sampling steps

sampling steps:生一張圖要跑幾次模型。只擦一步時,模型只能猜「所有帆船的平均」,就變成兩艘半透明的船。

「這個步數啊 你真的不能設太少 比如如果設一步……你會發現 完全做不了啊」🎓 李宏毅課堂 導論 2025 · 第 9 講(講 Flow Matching 時)

④ 跟這章的關係

原書的 DDIM 把步數從 1,000 降到約 20,畫質還維持得住。剛好塞進 10 秒的需求。

② 動手玩:拉步數,看圖和時間

—步數—花幾秒(每步 0.5 秒,示意)

紅線是需求的 10 秒

延伸基礎第 10 階 · 加碼 · classifier-free guidance懂的人可以跳過

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

不照 prompt 畫怎麼辦?比一比「有看」和「沒看」,再加碼

① 先想像

你問朋友「這張要多藍?」他沒看訂單時說 2 分,看了訂單說 5 分。差的那 3 分,就是「訂單的影響」。想更聽訂單的話,就把這 3 分放大。

你猜猜看:沒看 2 分、看了 5 分,把「訂單的影響」加碼 2 倍,是幾分?

③ 這叫做 classifier-free guidance(CFG)

CFG:同一個模型猜兩次雜訊,一次有 prompt、一次沒有,把兩者的差距放大 w 倍。w 叫 guidance scale。

④ 跟這章的關係

原書用 CFG 解決「不照 prompt 畫」。加碼太少,圖不像帆船;加碼太多,顏色會衝過頭。

② 動手玩:拉加碼倍數 w

沒看 prompt
有看 prompt
加碼後(w 倍)

原書Sampling 的兩個改良:CFG、DDIM

照 prompt 畫:CFG。畫得快:把 1,000 步縮成 20 步

📖 原書 Classifier-free guidance(CFG)

  • 訓練時:模型學會兩種生法,有 text prompt 的、和沒有 text prompt 的
  • 取樣時:調整兩種模式的比重,加強有 prompt(conditioned)的影響、減少沒 prompt(unconditioned)的影響
  • 結果:生出來的圖更貼近 prompt

白話:上一頁的「比一比再加碼」。訓練時偶爾把 caption 換成空白,模型就學會了「沒看 prompt」的猜法。

📖 原書 Reduction of diffusion steps

取樣演算法如 DDIM,把步數從標準的 1,000 減到最少約 20,大幅加速,畫質還維持得住。

1,000 步× 0.5 秒 = 500 秒(示意)20 步× 0.5 秒 = 10 秒(示意)

面試要講到什麼程度?

📖 原書 大多數 ML system design 面試重視高階概念和元件怎麼一起運作,不是細節。想深入的,原書推薦 Lilian Weng 的 diffusion 入門文、CFG 和 DDIM 的論文。

延伸基礎第 11 階 · 壓小再畫 · latent space懂的人可以跳過

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

300 萬個數字太多了。先壓小、在小圖上擦、最後再還原

① 先想像

搬家時先把棉被真空壓縮,搬的時候輕鬆很多,到新家再打開。只要壓得好、打開後還是原本那條棉被就好。

你猜猜看:長、寬各縮成 1/8,格子變成幾分之一?

③ 這叫做 latent space

latent space:壓縮後那個「小而密」的空間。在這裡擦雜訊的叫 latent diffusion。

「人們知道說直接產生一張圖片 直接產生這個 pixel 有點困難 也許我們還是可以把 pixel 簡化一下」🎓 李宏毅課堂 導論 2025 · 第 9 講

④ 跟這章的關係

原書把 latent diffusion 列為「訓練太吃資源」的解法:在比像素小的空間運作,訓練和生成都快很多。第 11 章細講。

② 動手玩:選解析度,算要擦多少個數字

原圖(像素)
latent(示意)
還原的圖
—直接在像素上擦(長 × 寬 × 3)—在 latent 上擦(長/8 × 寬/8 × 4)—少幾倍

原書Challenges in text-to-image diffusion models · 動手算

模型太大:練不動,也生得慢。原書各給三招

這一步要解決的問題DALL-E 2 有 35 億個參數。它要學很多概念、形狀、風格,所以必須大;大就有代價。

動手算:一張 GPU 放得下嗎?(示意)

—每張 GPU 要放(GB)—一張 40 GB 的 GPU(示意)

你猜猜看:35 億個參數、每個 4 bytes(32-bit),光參數要幾 GB?

📖 原書 訓練太吃資源

  • Mixed precision training:16-bit 和 32-bit 混用,省記憶體、算得快
  • Model and data parallelism:把訓練分到多台裝置,框架如 FSDP、DeepSpeed
  • Latent diffusion:在比像素小的空間運作(第 32 頁)

📖 原書 生成太慢

兩個原因:取樣要一步接一步、每一步都要跑數十億參數。

  • Parallel sampling:取樣時平行處理,縮短時間
  • Model distillation:蒸餾成小模型,保留原模型的行為和表現
  • Model quantization:降低權重精度(例如 32-bit 變 8-bit),省記憶體、生得快

到這裡你已經會了小結 4 / 4

  1. 像素
  2. 撒雜訊
  3. 一步步擦
  4. 文字變箭頭
  5. 比夾角
  6. 先縮再放
  7. 查小抄
  8. 猜雜訊
  9. 走幾步
  10. 加碼
  11. 壓小再畫

到這裡你已經會了:怎麼擦得又快又準

接下來

11 階都爬完了。剩下兩件事:怎麼知道模型畫得好不好(評估)?整個系統上線,從使用者打字到看到圖,中間經過哪些關卡?

原書Offline evaluation · DrawBench · CLIP · CLIPScore · Figure 16、17

畫得好不好?品質、多樣性,還有「有沒有照著 prompt」

這一步要解決的問題模型改了一版,要有一套固定、可靠的題目和分數,才知道是變好還是變壞。

📖 原書 題庫 DrawBench、品質與多樣性 IS/FID

DrawBench:一組精選的 prompt,從簡單到複雜,測物體組合、互動、脈絡理解;原書因為它夠全面而採用。要量三件事:image quality(品質)、image diversity(多樣性)、image–text alignment(圖文對齊)。

品質和多樣性用前幾章講過的 Inception score(IS)和 Fréchet Inception distance(FID)。白話:FID 比較「生成的一堆圖」和「真的一堆圖」像不像,越低越好(Face Generation 那份有延伸基礎頁)。這一節原書主要講圖文對齊。

📖 原書 圖文對齊:CLIPScore

把 prompt 和生成的圖各丟進 CLIP 的 encoder,算兩個 embedding 的 cosine similarity(第 14 頁的夾角)。分數越高,圖越符合文字。

你猜猜看:同一句 prompt,圖 A 的 CLIPScore 0.31、圖 B 0.18,哪張比較照著 prompt?

📖 原書 Figure 16CLIP encoders:文字和圖片各一個 encoder,各輸出一串數字(依原書內容重繪)

📖 原書 CLIP 是 OpenAI 的模型,訓練來配對圖和描述。訓練時把相關的圖文 embedding 拉近、不相關的推遠,形成一個共享的 embedding space。練完後,相似的描述彼此靠近,圖會落在它相關的描述旁邊。

原書Human evaluation · Online metrics

自動分數之外:請人來評,還有上線之後看使用者

📖 原書 人工評估 · 動手算

Image quality:把生成圖和參考圖並排,問評審哪張比較像真的照片;品質=生成圖被選中的百分比。Text alignment:給評審看圖和 caption,問「Does the caption accurately describe the above image?」

四位評審的回答(點一下切換):
—平均分(yes 100、somewhat 50、no 0)

生成圖和參考圖要分開平均,再拿來比。

📖 原書 Online metrics(上線後看的)

指標白話
Click-through rate (CTR)點了生成圖的使用者比例;高代表覺得有用
Time spent on page平均停留多久;越久越投入
User feedback使用者直接給的回饋;正面代表滿意品質與對齊
Conversion rate看完圖後做了我們希望的事(購買、註冊)的比例
Latency從 prompt 到圖要多久;越低越好(需求是 10 秒)
Throughput每秒能處理幾張;越高服務越多人
Resource utilizationCPU、GPU、記憶體用得多有效率;關係到成本
Average cost per user per month不滿意的人會用同一句 prompt、換 seed(不同的起始雜訊)一直重生,成本就上去了

原書Overall ML System Design · Figure 18、19

模型只是核心。整個系統有四條 pipeline

這一步要解決的問題模型要能持續變好、上線要快、要安全。這些都不是 diffusion model 自己會做的。

📖 原書 Figure 18Data pipeline:上排處理圖,下排處理 caption(依原書內容重繪,方塊文字照原圖截斷)

Data pipeline

去掉不當的圖、統一尺寸並儲存;確保 caption 存在且相關;用 pretrained 的 T5 預先算好 caption 的 embedding 存起來(cache),訓練時少算很多。也會收集使用者的 prompt、生成的圖和回饋,加進未來的訓練集。

Training pipeline

用 data pipeline 收集的最新資料訓練模型,讓模型跟上最近的 prompt,並用品質更高的生成圖來練。

Evaluation pipeline

用預先定好的自動指標評估新模型,決定它夠不夠格上線。

Model optimization pipeline

提升效率:model compression(quantization、pruning 剪掉不重要的參數)、model distillation(蒸餾成小模型)、optimized algorithms(換更快的取樣演算法)。做完就替換上線中的模型。

原書Inference pipeline · Figure 20 · 動手玩

使用者按下 Generate 之後:兩道安全關卡夾著一個模型

這一步要解決的問題線上每一個請求都要:好用、安全、品質高。

📖 原書 Figure 20Inference pipeline,圓括號是原圖的步驟編號(依原書內容重繪)

(1)(2) 打字、送出

打字時有 prompt auto-complete 幫忙補完(第 39 頁)。

(3) Prompt safety

安全就 (3a) 往下走;違規就 (3b) 拒絕。

(4)–(6) 加強、生圖

Prompt enhancement 把 prompt 寫得更完整;Image generation 用 Text encoder (5a) 和 Diffusion model (5b) 生圖。

(6)–(8) 檢查、放大

Harm detection 檢查圖;安全就 (7a) 進 Super-resolution 放大;有害就 (7b) 擋下。

原書Prompt auto-complete · Prompt safety · Prompt enhancement · Figure 21、22

模型之前的三個關卡:補完、擋下、寫得更好

📖 原書 Prompt auto-complete

用專門的模型,在使用者打字時即時建議下一個字或片語,提升體驗。

    📖 原書 Figure 21auto-complete 建議的片語;原圖是介面示意,這裡做成可以打字的版本(依原書內容重繪)

    📖 原書 Prompt safety service

    用 text classification(文字分類)模型處理 prompt,拒絕違反使用政策的請求,例如暴力、仇恨圖像、裸露。確保系統遵守安全標準,不生成不當的圖。

    為什麼要在模型之前擋?因為生一張圖要跑幾十億參數 20 步。違規的請求在門口擋掉,一張 GPU 都不用動。

    📖 原書 Prompt enhancement

    把使用者的 prompt 改寫得更清楚、連貫、有細節。先進的圖片和影片生成系統(例如 Sora)廣泛使用,給模型更詳細的 prompt,圖的品質更好。

    📖 原書 Figure 22Prompt enhancement 的例子,輸出照原圖截斷(依原書內容重繪)

    原書Image generation · Harm detection · Super-resolution · Figure 23

    模型之後:再擋一次,再放大兩次

    📖 原書 Image generation

    推論流程的核心。和 T5 text encoder 合作,把加強後的 prompt 編成一串 token(embedding),交給 diffusion model,每個 prompt 生一張或多張圖。

    📖 原書 Harm detection

    確保生成的圖對使用者安全。即使前面已經防過,圖還是有暴力或裸露時,標記並擋下,不顯示給使用者。

    📖 原書 Super-resolution service

    提高解析度,讓輸出好看並符合 1024×1024 的需求。diffusion model 通常沒辦法直接生高解析度,所以在低解析度訓練,再用專門的 super-resolution 模型放大。

    📖 原書 Figure 23Super-resolution 模型串接(cascade);尺寸數字照內文的例子(依原書內容重繪)
    64² → 256² → 1024²4,096 → 65,536 → 1,048,576 格,每一關多 16 倍

    📖 原書 總結:各條 pipeline 一起讓系統可靠、高品質、安全。data pipeline 是持續改進的基礎;training 和 optimization pipeline 提升模型;inference pipeline 確保安全、有效率、高品質的生成。

    客座講評Triton 怎麼看這套 infra · 1 / 2

    生一張圖 10 秒,GPU 還要排隊:HTTP 連線要一直開著等嗎?

    你猜猜看:尖峰時段 GPU 排隊要兩分鐘。使用者的 HTTP request 一直開著等,最可能出什麼事?

    「202(Accepted) – 伺服器收到請求,並且確定請求是沒問題的 – 不過,這請求需要很多時間來工作,為了避免客戶端白白等待。即使工作還沒完成也好,先回答客戶端:「工作收到了」 – 沒事別亂用」🗣️ Triton 本人說 027-RESTful API Design-tw-2.1.pdf.md

    🔭 依 Triton 原則推論 「沒事別亂用」:平常 10 秒、使用者就盯著畫面等,直接回結果可能就夠了;只有排隊會拖到幾十秒以上,才值得改成「202 + 任務編號,做完再通知」。先量排隊時間再決定。

    動手算:要不要改成 202?(示意)

    每台 10 秒一張 → 每分鐘 6 張。尖峰持續 5 分鐘。

    —每分鐘做得完—尖峰結束時排隊的張數—最後一位要等

    客座講評Triton 怎麼看這套 infra · 2 / 2

    長時間的工作:待辦放哪裡、進度怎麼推、圖怎麼傳

    待辦清單別放 Redis

    「換一家有支持Callback的服務供應商便好。」🗣️ Triton 本人說 020-MQ解法.md

    「建立一個outstanding_tasks的table(不使用redis的原因是怕redis當掉後data loss有工作變成孤兒)」「結論:message queue可以讓你做出優雅而且高穩定性系統。」🗣️ 020-MQ解法.md

    🔭 推論 如果生圖是呼叫外部的 API,先挑有 callback(做完主動通知你)的;還沒做完的任務記在 RDBMS 的 outstanding_tasks,不要只放在 Redis。

    生圖是 Message,進度條是 Signal

    「Message – 可以排隊一個一個工作慢慢來~ – 絕對不能丟失」「Signal – 要高度即時性 – 丟失沒太大差」🗣️ Triton 本人說 078-mq-intro.pdf.md

    「所以正常的MQ Server – 會把收到的Message先存到HDD,然後才回應成功」🗣️ 078

    🔭 推論 「幫我生這張圖」一定要做完一次,是 Message,走真正的 MQ;「已經擦到第 12 步」掉了沒差,是 Signal,用 Redis Pub/Sub 推就好。

    圖檔用 stream 傳

    「即使你看完總共23GB的影片也好,你也只用上了固定的很小塊Memory。」「如果一份data只會用一次的,你應該用streaming的手段來處理。」🗣️ Triton 本人說 130-喵談 io streaming.md

    🔭 推論 super-resolution 之後的 1024×1024 圖檔要上傳儲存、再傳給使用者。用 Reader/Writer 串起來,不要整張讀進記憶體再處理:同時處理 100 張也只用固定的小 buffer。

    原書Other Talking Points

    面試最後還有時間的話,原書建議再聊這些

    更快

    • Consistency models:更快的生成,目標是幾步、甚至一步就生好
    • Scheduling techniques:不同 noise schedule 的細節
    • DDPM 與 DDIM:兩種取樣方法的理論基礎

    更好、更貼近 prompt

    • RLHF:用人類回饋做強化學習來提升品質
    • Re-captioning model:怎麼開發一個重新寫 caption 的模型
    • Guidance:用 guidance 改善多樣性和忠實度的取捨(第 30 頁的 w)

    更多功能、更多控制

    • Inpainting / outpainting:補圖中的一塊、往圖外延伸
    • Personalization:學會某個特定概念(原書第 10 章)
    • Patch n' Pack:支援多種長寬比和解析度
    • ControlNet:更進階的控制,例如照著草圖或姿勢畫
    • Style:控制生成的風格

    📅 2026 補充方法怎麼演進

    原書之後:還是在擦雜訊,只是擦法、擦的人、擦的步數都變了

    從 diffusion 到 flow matching

    很多新模型改用 flow matching:從雜訊「沿著一條路走」到圖,概念上非常接近。

    「比如說 Stable Diffusion 它第三代的模型 是用 Flow Matching 所以它名字裡面有 Diffusion 但它居然不是 Diffusion Model」「但其實 Flow Matching 跟 Diffusion 其實非常的像 你甚至可以說是一體兩面」🎓 李宏毅課堂 導論 2025 · 第 9 講

    U-Net → Transformer

    原書說「最近 DiT 很有潛力」。後來 Stable Diffusion 3、Flux 這類模型都改用 Transformer 當主幹。原書這章用 U-Net 是為了教學,第 11 章就講 DiT。

    步數越來越少

    原書 Other Talking Points 的 consistency models 和 distillation,後來發展出只要 1–4 步的模型(例如 LCM、SDXL Turbo)。「10 秒」的需求,現在常常一兩秒就達到。

    caption 和 text encoder 更受重視

    DALL-E 3 的關鍵改進就是用模型重寫訓練資料的 caption,並在推論時改寫 prompt:正好是原書的 caption enhancement 和 prompt enhancement。生成的圖也開始加上來源標記(例如 C2PA 中繼資料、SynthID 浮水印),作為 harm detection 之外的一層。

    原書Summary 心智圖

    原書這一章的總結圖

    📖 原書章末心智圖依原書描述的分支重繪(依原書內容重繪)

    回顧

    Text-to-image 其實就是:照著一句話,把雜訊一步一步擦掉而已。

    1. 像素
    2. 撒雜訊
    3. 一步步擦
    4. 文字變箭頭
    5. 比夾角
    6. 先縮再放
    7. 查小抄
    8. 猜雜訊
    9. 走幾步
    10. 加碼
    11. 壓小再畫

    從哪裡開始

    一張全是雜訊的圖。每次撒的雜訊不同,擦出來的圖就不同。

    誰在擦

    U-Net 或 DiT 猜雜訊、扣掉;cross-attention 讓每一塊去查 prompt。

    怎麼練

    把乾淨的圖弄髒到第 t 步,叫模型猜雜訊,用 MSE 對答案。

    怎麼又快又準

    DDIM 少走幾步、CFG 加碼、latent 壓小再擦;前後兩道安全關卡、最後放大兩次。

    模型不畫圖,模型猜雜訊。猜完、扣掉、再猜。然後呢?然後就結束了。

    本章名詞小卡課後複習用 · 每個名詞一句白話

    今天出現的名詞,一句話講完

    pixel圖裡的一格,記紅綠藍三個 0–255 的數字
    normalization把 0–255 換成 −1 到 1,訓練較穩
    Gaussian noise每格加一個「中間多、兩邊少」的亂數
    seed決定撒哪一把雜訊;換 seed 就換一張圖
    diffusion學會一步步擦雜訊,從雜訊擦出新圖
    autoregressive把圖切成 token,一塊一塊接龍
    multimodal同時處理兩種資料,例如文字和圖
    embedding代表意思的一組數字(一支箭頭)
    text encoder把一句話變成 embedding 的模型(CLIP、T5)
    CLIP把字和圖放上同一張地圖的兩個 encoder
    cosine similarity看兩支箭頭的夾角,越接近 1 越像
    BLIP-3看圖寫 caption 的模型,用來補、換標題

    給工程師的重點出處、公式與頁碼對照

    本章引用的來源

    原書

    Generative AI System Design Interview · Text-to-Image Generation 章。Introduction 與 Figure 1(第 2 頁,不重繪)、Clarifying Requirements(4)、input/output 與 Figure 2(6)、autoregressive 與 diffusion、Figure 3–4(9)、比較與 Figure 5(10)、image preparation 與 Figure 6(12)、caption preparation(15)、architecture 與 Figure 7(17)、U-Net 與 Figure 8–10(19)、cross-attention(21)、DiT 與 Figure 11(22)、forward/backward 與 Figure 12–13(23)、四步訓練與 Figure 14(25)、noise schedule 與公式(26)、sampling 與 Figure 15(28)、CFG 與 DDIM(31)、challenges(33)、offline 評估、CLIP、CLIPScore 與 Figure 16–17(35)、human evaluation 與 online metrics(36)、四條 pipeline 與 Figure 18–19(37)、inference pipeline 與 Figure 20(38)、auto-complete、safety、enhancement 與 Figure 21–22(39)、image generation、harm detection、super-resolution 與 Figure 23(40)、Other Talking Points(43)、心智圖(45)。Figure 2–24 共 23 張依圖說與描述重繪,不是原圖;照片一律改成像素帆船。

    本簡報加的頁面:概念階梯(3)、11 個延伸基礎(5、7、8、13、14、18、20、24、29、30、32)、小結(11、16、27、34)、客座講評(41–42)、2026 補充(44)、名詞小卡(47)。

    🎓 李宏毅課堂(逐字稿)

    • 生成式人工智慧與機器學習導論 2025 · 第 9 講:影像和聲音上的生成策略 — 像素、DALL-E 的 8×8 token、千千萬萬的可能與雙頭狗、MSE、時間的輸入、步數不能太少、知難行易、latent diffusion、Stable Diffusion 3 與 Flow Matching
    • 同 · 第 1 講 — Diffusion 是另一種生成策略
    • 同 · 第 3 講 — Token Embedding、「果」專注於看「青」

    來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。CFG、CLIP、U-Net、DiT 沒有對應逐字稿,依原書與標準定義。

    🗣️ Triton(materials/core)

    • 027-RESTful API Design-tw-2.1.pdf.md — 202 Accepted「沒事別亂用」
    • 020-MQ解法.md — callback 優先、outstanding_tasks、不用 Redis
    • 078-mq-intro.pdf.md — Message vs Signal、MQ 先寫 HDD
    • 130-喵談 io streaming.md — 固定小 buffer 的 streaming

    公式(主文用文字講過)

    • forward:x_t = √(1−β_t)·x_{t−1} + √β_t·ε,ε ~ N(0, I)
    • 一步跳:α_t = 1−β_t,α′_t = ∏ᵢ αᵢ,x_t = √α′_t·x₀ + √(1−α′_t)·ε
    • loss:L = E_{t,x₀,ε} ‖ε − ε_θ(x_t, t)‖²
    • 互動用的 schedule:β 從 1e-4 線性到 0.02,T = 1000
    • CFG:ε̂ = ε_θ(x_t, ∅) + w·(ε_θ(x_t, c) − ε_θ(x_t, ∅))
    • cross-attention:softmax(QKᵀ/√d)V,Q 來自圖、K/V 來自文字
    • CLIPScore:cos(E_image, E_text)(論文另乘 2.5、取 max(·, 0))

    📅 依據

    • SD3 用 rectified flow + MMDiT;Flux 為 transformer
    • LCM、SDXL Turbo:1–4 步
    • DALL-E 3:Improving Image Generation with Better Captions;C2PA、SynthID
    ← → 翻頁 · S 講者備註 · D 深/淺色
    1 / 1目錄