GenAI System Design · 第 9 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(只有 infra 客座卡)
Text-to-Image Generation
其實就是照著一句話,把雜訊一步一步擦掉而已
你打「A boat on an ocean」,十秒後出現一張海上帆船的圖。原書要你把這個系統從頭設計一遍:資料怎麼整理、模型怎麼長、怎麼訓練、怎麼生、怎麼打分數、整條線上流程怎麼串。
今天的路線
需求 → 一邊爬 11 階基礎(第 3 頁的階梯)、一邊對照原書:圖從哪裡來 → 文字怎麼跟圖對上 → 擦雜訊的模型怎麼長、怎麼練 → 怎麼擦得又快又準 → 評估與整個系統 → Triton 客座講評 → 2026 年的變化。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論
頁首標 延伸基礎 的頁只用高中數學講 ML 基本功,懂的人可以跳過。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。
先講跟你有關的動手玩
你打一句話,它從一片雜訊裡「擦」出一張圖
先擦兩下,再換一句 prompt,接著擦。
24×24 的玩具圖,擦法是示意。真正的模型要「自己猜」雜訊在哪,這頁先偷看答案。
你可能會想說,AI 是不是像畫家一樣,先打草稿、再一筆一筆上色?
其實不是。它從一團亂七八糟的雜點開始,每一步擦掉一點點。你給的那句話,決定它往哪個方向擦。
你試試看:同一團雜訊,擦到一半換一句話,擦出來就是另一張圖。怎麼辦到的?這就是今天要拆開的東西。
📖 原書 Figure 1 開場的例子(不重繪)
Prompt: An illustration of an avocado sitting in a therapist's cha…(DALL-E 3 畫的:酪梨坐在諮商沙發上說「I JUST FEEL SO EMPTY INSIDE」)。這張是模型的作品本身,我們重畫就不是模型畫的了,所以只寫出 prompt 和內容。
學習地圖本章的概念階梯
今天爬 11 階。每一階,只用前面講過的東西。
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
第 1–3 階 · 圖從哪裡來
要回答:為什麼要從一團雜訊開始畫?
第 4–5 階 · 文字怎麼跟圖對上
要回答:怎麼知道一張圖和一句話配不配?
第 6–8 階 · 擦雜訊的模型
要回答:模型長什麼樣、怎麼學會擦?
第 9–11 階 · 又快又準
要回答:怎麼在 10 秒內、照著 prompt 畫完?
全程只用一句 prompt:「A boat on an ocean」
這是原書每一張圖用的例子。我們的玩具版是 24×24 格,原書目標是 1024×1024。每爬 2–3 階,有一頁「到這裡你已經會了」:第 11、16、27、34 頁,最後是名詞小卡(第 47 頁)。
原書Clarifying Requirements
原書的題目:做一個文字生圖的服務
這一步要解決的問題面試官只丟一句「做一個 text-to-image 系統」,先把規格問清楚。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 生成的圖要多大(resolution,解析度)? | 高解析度,1024×1024 像素 |
| 輸入要支援多語言,還是只要英文? | 先做英文,但架構要能擴充到其他語言 |
| 訓練資料有多少? | 約 5 億張使用者素材裡的圖,大多有說明文字(caption) |
| prompt 可以多長、多複雜? | 要能處理詳細的 prompt,最長 128 個英文字 |
| 生成速度要多快? | 接近即時,目標每張 10 秒 |
| 要生哪一類的圖?只做風景嗎? | 各種都要:寫實風景、人像、抽象或概念藝術 |
| 圖不能因年齡、種族、性別有偏見。先處理這三個屬性? | 好觀點,公平很重要。先從這三個開始 |
| 倫理很重要,要有過濾和檢查,避免冒犯、不當、有害的圖。對嗎? | 對 |
記住四個數字
「10 秒」這條最兇。等一下你會看到,擦雜訊要擦很多步,每一步都要跑一次幾十億參數的模型。第 29 頁會回來算這筆帳。
「5 億張、大多有 caption」代表有些沒有,也有些寫得很爛。第 15 頁原書會處理它。
延伸基礎第 1 階 · 像素懂的人可以跳過
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
放大一張照片,你會看到什麼?一格一格的數字
① 先想像
拼豆、十字繡:整張圖是一格一格的色塊。電腦存照片也一樣,每格記三個數字:紅、綠、藍各多少,從 0 到 255。
你猜猜看:原書要的 1024×1024 圖,有幾格?
1024 × 1024 ≈ 100 萬格,每格 3 個數字,就是 300 多萬個數字。模型每一步都要處理這麼多數字。
③ 這叫做 pixel(像素)
pixel:圖裡的一格,記著紅綠藍三個數字。
「構成影像的單位其實是像素……每一個子像素它的數值是 0 到 255 之間」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 9 講
④ 跟這章的關係
原書整理資料時,把 0–255 換成 −1 到 1(normalization),訓練比較穩。等一下撒的「雜訊」,就是加在這些數字上。
② 動手玩:點任何一格,看它的三個數字
換算:(數字 ÷ 255) × 2 − 1。所以 0 → −1、255 → 1、差不多一半的 128 → 0。
原書Frame the Problem as an ML Task · Figure 2
輸入一句話,輸出一張照著那句話的圖
這一步要解決的問題把「做一個生圖服務」翻譯成 ML 的輸入和輸出。
📖 原書 Input:使用者寫的 text prompt,描述想要的圖,通常包含場景、物體、顏色、風格、情緒。
📖 原書 Output:一張細節豐富、符合 prompt 的圖。例如「A boat on an ocean」產生一張海上帆船。
📖 原書 這是 multimodal(多模態,同時處理兩種資料)任務:要讀懂文字,也要生成對應的圖。主要兩條路:autoregressive 和 diffusion。
兩條路都要先懂一件事:一張圖就是一大堆數字。那「生成一張圖」,就是生出一大堆數字。問題是,要從哪裡開始生?
延伸基礎第 2 階 · 撒雜訊 · Gaussian noise懂的人可以跳過
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
在照片上撒一把胡椒鹽:每一格加一個亂數
① 先想像
老電視收訊不好,畫面上全是沙沙的雜點。每一格的數字,被隨機地多加了一點、或少了一點。
你猜猜看:撒下去的那些亂數,大部分長怎樣?
看右邊的長條圖:中間高、兩邊低,像一口鐘。大部分只動一點點,偶爾動很多。
③ 這叫做 Gaussian noise
Gaussian noise(高斯雜訊):每格加一個「中間多、兩邊少」的亂數。雜訊撒到最滿,原圖就完全看不到了。
④ 跟這章的關係
Diffusion 的起點就是一張「全是雜訊」的圖。每次撒的亂數不一樣,最後畫出來的圖也不一樣。
② 動手玩:拉雜訊的量,看帆船怎麼被蓋掉
延伸基礎第 3 階 · 一步步擦 · diffusion懂的人可以跳過
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
弄髒很簡單,擦乾淨很難。那就分很多步擦
① 先想像
浴室鏡子起霧,你一抹,臉就出來一點。一次要從全霧變全清楚很難;每次只擦一點點,就容易多了。
你猜猜看:把一張照片「一步步加雜訊」,需要 AI 嗎?
弄髒只要撒亂數,小學生都會。難的是反過來:從雜點猜回原圖。AI 只負責「擦」那一邊。
③ 這叫做 diffusion
diffusion:先學會「一步步把雜訊擦掉」,再從一張全是雜訊的圖,一步步擦出新圖。
「其實Diffusion Model也可以視為是另外一種生成的策略」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講
④ 跟這章的關係
原書把加雜訊叫 forward process、擦雜訊叫 backward process(第 23 頁)。這一章選的就是 diffusion。
② 動手玩:往右是弄髒,往左是擦乾淨
原書Choosing a suitable ML approach · Figure 3、4
兩條路:一塊一塊接龍,或從雜訊一步步擦
這一步要解決的問題文字變成圖,有兩種主流做法。先看它們各自怎麼做。
Autoregressive(接龍)
📖 原書 把生圖當成「生一串東西」。decoder-only Transformer 吃一串文字 token,吐出一串代表圖的 visual token,再由 image tokenizer 把 token 還原成圖。例:DALL-E、Muse。
「每一個 Token 其實就是對應到影像裡面的一小塊 比如說在 OpenAI 的 DALL-E 這個模型裡面 每一個 Token 對應到 8x8 這樣子的小範圍」🎓 李宏毅課堂 導論 2025 · 第 9 講
Diffusion(擦雜訊)
📖 原書 2019 年提出,約三年後成為主流。從隨機雜訊開始,照著 prompt 逐步變清楚。通常有一個 text encoder(把一句話變成一組數字的模型),例如 OpenAI 的 CLIP 或 Google 的 T5,它的輸出引導每一步。例:Imagen 3、DALL-E 2、Stable Diffusion。
原書Diffusion versus autoregressive models · Figure 5
兩條路的共同點與三個差別
📖 原書 共同點:都能畫出逼真的圖、都生得慢、通常有數十億個參數、訓練都要大量運算。
你猜猜看:原書說「要優先追求最好的畫質」,它會選哪一條?
原書選 diffusion:它可以一輪一輪地修細節。代價是實作比較複雜,後面幾頁都在處理這個代價。
① Implementation complexity(實作難度)
📖 原書 Autoregressive 訓練和推論都比較簡單。訓練時「statistically efficient」:一次前向、反向計算,就從每一步都拿到有用的學習訊號。Diffusion 每筆訓練資料要抽不同的雜訊程度,效率較低;推論時要擦很多步,實作更複雜。
② Image quality(畫質)
📖 原書 Diffusion 畫高細節、逼真的圖表現較好:一輪一輪反覆修,細節越修越好。
③ Flexibility in sampling(生成時的彈性)
📖 原書 Diffusion 可以直接調「擦幾步」:步數多通常比較好看但比較慢。Autoregressive 訓練好之後不容易這樣調。
原書的選擇:diffusion,優先追求畫質。Model development 會依序講架構、訓練、取樣。
到這裡你已經會了小結 1 / 4
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
到這裡你已經會了:圖從哪裡來
- 一張圖是一大堆數字(pixel),1024×1024 就有 300 多萬個。
- 撒雜訊(Gaussian noise)很簡單,撒滿就看不到原圖;每次撒的都不一樣。
- Diffusion:學會一步一步把雜訊擦掉,就能從一張全是雜訊的圖擦出新圖。原書選它,因為畫質最好。
下一階要解決的問題
擦的時候要照著 prompt 擦。可是電腦怎麼知道「A boat on an ocean」和一張圖配不配?要先把文字也變成數字。
原書Data Preparation · Image preparation · Figure 6
5 億張圖不能直接拿來練:先篩掉,再統一尺寸
這一步要解決的問題大量資料裡很多圖沒用、甚至有害;剩下的大小也都不一樣。
📖 原書 篩掉不適合的圖
- Remove small images:小於門檻(例如 64×64)的丟掉,通常品質差
- Deduplicate(去重複):一樣或看起來很像的只留一張,免得模型偏愛常出現的圖
- Remove inappropriate images:用 harm detection 和 NSFW(不適合在辦公室看)偵測模型擋掉暴力、裸露
- Remove low-aesthetic images:用專門的模型去掉不好看的圖,讓模型多看高品質的
📖 原書 統一尺寸與數值
Adjust dimensions:模型要固定大小的輸入。例如要 128×128,先等比例縮放到「短邊 = 128」,再從中間裁成 128×128。Normalize:像素值換到 [0, 1] 或 [−1, 1],訓練更穩(第 5 頁)。
延伸基礎第 4 階 · 文字變箭頭 · embedding懂的人可以跳過
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
電腦怎麼「讀懂」一句話?幫它打幾個分數
① 先想像
幫每句話打兩個分數:「跟水多有關」、「跟交通工具多有關」,各 0 到 5 分。「A boat on an ocean」就是 [4, 3]。
你猜猜看:中文的「海上的一艘船」該打幾分?
分數看的是意思,不是字。意思一樣,就落在同一個點。這也是原書說「之後要能擴充到其他語言」的基礎。
③ 這叫做 embedding
embedding:代表一段話意思的一組數字,也可以畫成一支箭頭。負責算這組數字的模型叫 text encoder。
「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 導論 2025 · 第 3 講:解剖大型語言模型
④ 跟這章的關係
擦雜訊的模型看不懂英文,只看得懂數字。prompt 要先經過 text encoder(原書用 CLIP 或 T5)變成 embedding,才能引導每一步。
② 動手玩:點一句話,把它放上地圖
延伸基礎第 5 階 · 比夾角 · CLIP懂的人可以跳過
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
圖和字放上同一張地圖,比兩支箭頭的夾角
① 先想像
兩個人幫你指路,手指的方向越接近,要去的地方越像。如果「照片」也能變成一支箭頭,就能跟「句子」的箭頭比方向。
你猜猜看:右邊這張帆船照,跟哪一句的夾角最小?
同樣有船、同樣是海,方向幾乎一樣。「湖」差一點點,「火車」差最多。
③ 這叫做 CLIP
CLIP:一個 text encoder 加一個 image encoder,把字和圖放上同一張地圖。比方向用 cosine similarity:夾角 0° 是 1,90° 是 0。
④ 跟這章的關係
原書用 CLIP 做三件事:幫 prompt 變 embedding、篩掉配錯的圖文(下一頁)、評估生成的圖符不符合 prompt(CLIPScore,第 35 頁)。
② 動手玩:CLIP 練之前和練之後
原書Data Preparation · Caption preparation · 動手玩
圖的說明文字常常沒寫、寫錯、不是英文:補、換、刪
這一步要解決的問題模型是從「圖 + 那句話」學會照著 prompt 畫的。那句話爛掉,它就學歪了。
📖 原書 ① Missing or non-English
沒有 caption 或不是英文的,用 image captioning 模型(例如 BLIP-3)自動寫一句。想從頭做 captioning,見原書第 5 章。
📖 原書 ② Enhance captions
用 CLIP 幫每一對圖文打相關分數(第 14 頁的夾角)。低於門檻的,原本的 caption 換成 BLIP-3 寫的。
📖 原書 ③ Remove poorly matched pairs
換完之後,CLIP 分數還是低於門檻的,整對刪掉。模型只看 caption 真的描述得出圖的配對。
到這裡你已經會了小結 2 / 4
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
到這裡你已經會了:文字怎麼跟圖對上
- embedding:一句話變成一組數字(一支箭頭),意思像,箭頭就像。算它的模型叫 text encoder。
- CLIP:字和圖放上同一張地圖,比夾角(cosine similarity),就知道配不配。
- 原書的資料準備:圖先篩掉小的、重複的、有害的、不美的,再統一成固定大小;caption 用 BLIP-3 補、換,用 CLIP 刪掉配不上的。
下一階要解決的問題
資料準備好了。接下來是主角:那個「看著 prompt、一步一步擦雜訊」的模型,長什麼樣子?
原書Model Development · Architecture · Figure 7
擦一步,模型到底在做什麼?猜「雜訊長怎樣」
這一步要解決的問題每一步,模型拿到一張有雜訊的圖,要決定擦掉什麼。
📖 原書 每一步,模型輸入一張 noisy image(有雜訊的圖),加上 text encoder 對「A boat on…」的輸出,輸出「預測的雜訊」。把它從圖上扣掉(noise removal),就得到比較清楚的 refined image。
📖 原書註腳 實務上還會多給一個條件:現在是第幾步(timestep)。第 25 頁訓練時會講。
📖 原書 負責「猜雜訊」的兩種常見架構
- U-Net:先縮小再放大的 CNN(第 19 頁)。原書這章用它
- Diffusion Transformer(DiT):把圖切塊交給 Transformer(第 22 頁)
你可能會想說,為什麼不直接猜「乾淨的圖」,而是猜雜訊?原書後面會回答:研究發現猜雜訊比較好學(第 25 頁)。
延伸基礎第 6 階 · 先縮再放 · downsampling / upsampling懂的人可以跳過
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
要擦對地方,得先看懂整張圖。那就先縮小看全貌
① 先想像
用 Google 地圖找路:先拉遠,才知道「這是台灣」;再拉近,才看得到「這條巷子」。只看一格,你不知道它是船還是海。
你猜猜看:64×64 的圖,長、寬各縮一半,格子剩幾分之幾?
64×64 = 4,096 格;32×32 = 1,024 格。長寬各一半,格子變 1/4。
③ 這叫做 downsampling / upsampling
downsampling:把圖縮小,每格代表一大塊,看全貌。upsampling:再放大回原尺寸,把細節補回來。
④ 跟這章的關係
先縮再放,畫出來像一個 U 字,所以叫 U-Net。縮的時候格子變少,但每格記的數字(channel)變多。
② 動手玩:一層一層縮下去,再放回來
原書U-Net · Figure 8、9、10
U-Net:左半邊縮小找全貌,右半邊放大補細節
這一步要解決的問題輸入一張 3×64×64 的有雜訊的圖,輸出同樣大小的「預測雜訊」。
📖 原書 U-Net 是一種 CNN 架構,原本是為了生醫影像分割(在醫學影像上圈出器官)發明的。
Downsampling blocks(縮小)
寬高越來越小、深度(channel 數)越來越大,得到壓縮過的表示。每塊通常有:Convolution(小放大鏡找特徵)→ Batch normalization(把數字拉回同一個尺度,訓練較穩)→ Non-linear activation(彎一下,才學得會複雜的形狀)→ Max-pooling(縮小)→ Cross-attention(看一眼 prompt,第 20 頁)。
Upsampling blocks(放大)
對稱地把寬高放大、深度變小,最後輸出跟輸入一樣大:就是預測的雜訊。每塊有:Transposed convolution(例如 PyTorch 的 ConvTranspose2D,把圖放大)→ Batch normalization → Non-linear activation → Cross-attention(放大時也繼續受 prompt 影響)。
📖 原書 U-Net 有很多變形,不同實作的層不一樣。面試懂關鍵元件和結構通常就夠了。
延伸基礎第 7 階 · 查小抄 · cross-attention懂的人可以跳過
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
畫到每一塊,都回頭看一眼訂單上的哪個字最相關
① 先想像
你在畫一面壁畫,客人的訂單寫著「A boat on an ocean」。畫到下半部,你瞄一眼訂單上的「ocean」;畫到中間那塊白色,你看的是「boat」。
你猜猜看:畫到「船帆」那一塊,最該看訂單上哪個字?
船帆屬於船。右邊點「船帆」,boat 那條最長。「an」這種字幾乎沒人看。
③ 這叫做 cross-attention
cross-attention:圖的每一塊去「查」文字的每一個字,算出該看誰多一點,再把那些字的意思混進來。
「就是「果」這個 Token 它專注於看「青」這個 Token, 它專注於看「蘋」這個 Token。」🎓 李宏毅課堂 導論 2025 · 第 3 講(講的是同一句話裡的 attention)
④ 跟這章的關係
U-Net 每個區塊最後都有一層 cross-attention。沒有它,prompt 就影響不了預測的雜訊,模型就不會照著那句話擦。
② 動手玩:點圖的一塊,看它最注意哪個字
百分比是示意。每一塊的五個百分比加起來是 100%。
原書Cross-attention 的細節
圖負責發問(query),文字負責被查(key、value)
這一步要解決的問題prompt 和圖是兩種完全不同的資料,要怎麼「對齊」再融合?
- 📖 原書 prompt 先經過 text encoder(例如 Transformer 架構的模型),變成一串連續的 embedding,每個字一個,抓住文字的意思。
- 📖 原書 每一個去雜訊的步驟,有雜訊的圖先經過 Conv2D、BatchNorm2D 這些層,抽出圖的特徵。
- 📖 原書 在 cross-attention 層:queries 來自圖的特徵,keys 和 values 來自文字 embedding。這讓模型能把文字的資訊對齊、整合進圖的特徵。
白話:query 是「這一塊在問:我該畫什麼?」,key 是每個字掛的「我是關於什麼的」標籤,value 是每個字真正要提供的內容。query 和 key 越對得上,那個字的 value 就混進來越多。
原書DiT · Figure 11
另一種做法:把圖切成小塊,整串交給 Transformer
這一步要解決的問題不用「先縮再放」,能不能直接用處理文字很成功的 Transformer 來猜雜訊?
📖 原書 DiT 主要受 Vision Transformer(ViT,原書第 5 章)啟發。四個元件:
- Patchify:把圖切成一塊一塊(patch),每塊變成一個 embedding,排成一串
- Positional encoding:每塊貼上「我原本在第幾列第幾行」的位置資訊
- Transformer:處理這串 embedding,加上 prompt 等條件(Conditions),預測每一塊的雜訊
- Unpatchify:把每塊的預測雜訊拼回跟原圖一樣大的圖
📖 原書 兩種架構實務上都好用。U-Net 先被用在 Google 的 Imagen、Stability AI 的 Stable Diffusion;最近 DiT 很有潛力。為了教學,這章用 U-Net;第 11 章細講 DiT。
原書Training · Forward process · Backward process · Figure 12、13
訓練用的兩個方向:弄髒(不用學)和擦乾淨(要學)
這一步要解決的問題模型要學「擦」,那練習題從哪裡來?自己把乾淨的圖弄髒就有了。
📖 原書 Forward process(又叫 noising process):分很多步(timestep,記成 t)慢慢加雜訊,直到圖完全變成雜訊。t 通常從 1 到 1,000 之間隨機選。這一邊不用任何 ML 模型,也不更新參數。
📖 原書 Backward process(又叫 denoising process):ML 模型學著把 forward 倒過來。每一步預測圖裡的雜訊,用它把雜訊減少一點,重複到圖變清楚。
延伸基礎第 8 階 · 猜雜訊 · loss懂的人可以跳過
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
考題:老師在乾淨的考卷上灑了墨點,請你猜他灑了哪些
① 先想像
老師拿一張乾淨的考卷,偷偷灑墨點,再叫你猜「我灑了什麼」。猜得越準,把你猜的扣掉,考卷就越乾淨。老師手上有答案,所以可以馬上對答案。
你猜猜看:真正的雜訊是 [3, −1, 2, −4]。哪個猜法「差距平方的平均」最小?
A 只差一格 1,平方後 1 ÷ 4 = 0.25;B 差三格各 1,3 ÷ 4 = 0.75;C 是 (9+1+4+16) ÷ 4 = 7.5。
③ 這叫做 loss(這裡用 MSE)
loss:猜得多不準。這裡把每格差距平方再平均,叫 MSE(mean squared error),越小越好。
「就選 Mean Square Error 也就是計算 z1 跟 z1_hat 之間的 Norm 來當作 Loss」🎓 李宏毅課堂 導論 2025 · 第 9 講
④ 跟這章的關係
原書的訓練目標就是這個:真的雜訊和模型猜的雜訊,算 MSE。訓練=轉模型的旋鈕(參數),讓 loss 變小。
② 動手玩:拉四個滑桿當模型,猜雜訊
表格最下一列:有墨點的考卷 − 你猜的雜訊。猜對時,它會等於乾淨的考卷。數字是示意。
原書Diffusion training process · Figure 14 · 動手玩
訓練一次的四個步驟:弄髒、給條件、猜雜訊、對答案
這一步要解決的問題把「弄髒」和「猜雜訊」接起來,變成可以重複幾億次的練習。
1. Noise addition
模擬 forward process:隨機抽一個 t,在原圖加上第 t 步那麼多的 Gaussian noise。
2. Preparation of conditioning signals
模型還要兩個條件:圖的 caption,和抽到的 t(代表雜訊有多重)。各用一個 encoder 變成 embedding。
3. Noise prediction
輸入有雜訊的 x_t 和 t,模型預測加進去的雜訊 ε。研究發現直接預測原圖 x₀ 效果沒那麼好,預測雜訊比較簡單、表現較好。
4. ML objective and loss
目標:讓真的雜訊和預測的雜訊差距最小,loss 用 MSE(第 24 頁)。算出 loss 就更新模型參數,換下一題。
原書Noise schedule · 一步跳到第 t 步
雜訊要加多快?前面加少一點,後面加多一點
這一步要解決的問題一題要加到第 800 步,難道真的要撒 800 次?
兩個比例是「平方後加起來等於 1」(例如 0.63² + 0.78² ≈ 1),所以直接相加不會剛好 100%。
你猜猜看:第 500 步時,原圖大約還剩幾成?
把滑桿拉到 500:約剩 28%。前面每步撒得少,所以一開始掉得慢;後面撒得多,到 800 步只剩約 4%。
📖 原書 Noise schedule
每一步加多少雜訊,由一組 β₁, β₂, …, β_T 決定(T 是總步數),每個 β 介於 0 和 1。通常越來越大:β₁ < β₂ < … < β_T。前面少加,保留較多原圖;後面多加,加快變成雜訊。
📖 原書 一步跳到第 t 步
一步一步加很花時間。原書推導出:第 t 步的圖可以直接從原圖 x₀ 算:
第 t 步的圖 = 原圖 × 保留比例 + 雜訊 × 雜訊比例
兩個比例都只跟 t 有關。所以訓練時「抽一個 t、直接算出 x_t」就好。
📖 原書 這段數學有興趣再看,細節不影響 ML 系統設計;可解均值的推導、loss 的簡化都省略了。
到這裡你已經會了小結 3 / 4
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
到這裡你已經會了:擦雜訊的模型怎麼長、怎麼練
- U-Net 先縮小看全貌、再放大補細節;DiT 把圖切塊交給 Transformer。兩種都在做同一件事:猜雜訊。
- cross-attention:圖的每一塊去查 prompt 的每一個字(query 來自圖,key、value 來自文字),prompt 才影響得了擦法。
- 訓練:抽一個 t、把原圖直接弄髒到第 t 步、讓模型猜雜訊、用 MSE 對答案。
下一階要解決的問題
模型練好了。真正生一張新圖的時候要擦幾步?原書說標準是 1,000 步,可是需求只給 10 秒。怎麼辦?
原書Sampling · Figure 15
生一張新圖:從純雜訊開始,猜雜訊、扣掉,重複
這一步要解決的問題訓練好的模型,要怎麼真的「生」出一張沒看過的圖?
📖 原書 Sampling 就是用訓練好的模型生成新圖。起點是一張隨機像素的圖,通常從 Gaussian 抽。每一步,模型預測目前這張圖裡的雜訊,用它把圖往對的方向調一點。一步一步,直到清楚、細節豐富。
缺點一:常常不照 prompt 畫
基本的取樣,生出來的圖常常和文字對不太上。→ 解法:classifier-free guidance(第 30 頁)
缺點二:很慢
每生一張都要反覆跑很多步。→ 解法:減少步數,例如 DDIM(第 29 頁)
延伸基礎第 9 階 · 走幾步 · sampling steps懂的人可以跳過
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
擦幾步才夠?步數多比較準,但比較慢
① 先想像
濃霧裡開車回家。一口氣衝過去,八成撞牆;每開一小段就停下來看一次路,比較準,但比較慢。
你猜猜看:每一步 0.5 秒(示意),要在 10 秒內生完,最多擦幾步?
10 ÷ 0.5 = 20 步。標準的 1,000 步要 500 秒,差了 50 倍。
③ 這叫做 sampling steps
sampling steps:生一張圖要跑幾次模型。只擦一步時,模型只能猜「所有帆船的平均」,就變成兩艘半透明的船。
「這個步數啊 你真的不能設太少 比如如果設一步……你會發現 完全做不了啊」🎓 李宏毅課堂 導論 2025 · 第 9 講(講 Flow Matching 時)
④ 跟這章的關係
原書的 DDIM 把步數從 1,000 降到約 20,畫質還維持得住。剛好塞進 10 秒的需求。
② 動手玩:拉步數,看圖和時間
紅線是需求的 10 秒
延伸基礎第 10 階 · 加碼 · classifier-free guidance懂的人可以跳過
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
不照 prompt 畫怎麼辦?比一比「有看」和「沒看」,再加碼
① 先想像
你問朋友「這張要多藍?」他沒看訂單時說 2 分,看了訂單說 5 分。差的那 3 分,就是「訂單的影響」。想更聽訂單的話,就把這 3 分放大。
你猜猜看:沒看 2 分、看了 5 分,把「訂單的影響」加碼 2 倍,是幾分?
2 + 2 × (5 − 2) = 2 + 6 = 8。加碼 1 倍就是 5,等於沒加碼;加碼 0 倍是 2,等於沒看訂單。
③ 這叫做 classifier-free guidance(CFG)
CFG:同一個模型猜兩次雜訊,一次有 prompt、一次沒有,把兩者的差距放大 w 倍。w 叫 guidance scale。
④ 跟這章的關係
原書用 CFG 解決「不照 prompt 畫」。加碼太少,圖不像帆船;加碼太多,顏色會衝過頭。
② 動手玩:拉加碼倍數 w
原書Sampling 的兩個改良:CFG、DDIM
照 prompt 畫:CFG。畫得快:把 1,000 步縮成 20 步
📖 原書 Classifier-free guidance(CFG)
- 訓練時:模型學會兩種生法,有 text prompt 的、和沒有 text prompt 的
- 取樣時:調整兩種模式的比重,加強有 prompt(conditioned)的影響、減少沒 prompt(unconditioned)的影響
- 結果:生出來的圖更貼近 prompt
白話:上一頁的「比一比再加碼」。訓練時偶爾把 caption 換成空白,模型就學會了「沒看 prompt」的猜法。
📖 原書 Reduction of diffusion steps
取樣演算法如 DDIM,把步數從標準的 1,000 減到最少約 20,大幅加速,畫質還維持得住。
面試要講到什麼程度?
📖 原書 大多數 ML system design 面試重視高階概念和元件怎麼一起運作,不是細節。想深入的,原書推薦 Lilian Weng 的 diffusion 入門文、CFG 和 DDIM 的論文。
延伸基礎第 11 階 · 壓小再畫 · latent space懂的人可以跳過
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
300 萬個數字太多了。先壓小、在小圖上擦、最後再還原
① 先想像
搬家時先把棉被真空壓縮,搬的時候輕鬆很多,到新家再打開。只要壓得好、打開後還是原本那條棉被就好。
你猜猜看:長、寬各縮成 1/8,格子變成幾分之一?
1/8 × 1/8 = 1/64。1024×1024 變成 128×128。每格多記幾個數字,整體還是小很多。
③ 這叫做 latent space
latent space:壓縮後那個「小而密」的空間。在這裡擦雜訊的叫 latent diffusion。
「人們知道說直接產生一張圖片 直接產生這個 pixel 有點困難 也許我們還是可以把 pixel 簡化一下」🎓 李宏毅課堂 導論 2025 · 第 9 講
④ 跟這章的關係
原書把 latent diffusion 列為「訓練太吃資源」的解法:在比像素小的空間運作,訓練和生成都快很多。第 11 章細講。
② 動手玩:選解析度,算要擦多少個數字
原書Challenges in text-to-image diffusion models · 動手算
模型太大:練不動,也生得慢。原書各給三招
這一步要解決的問題DALL-E 2 有 35 億個參數。它要學很多概念、形狀、風格,所以必須大;大就有代價。
動手算:一張 GPU 放得下嗎?(示意)
你猜猜看:35 億個參數、每個 4 bytes(32-bit),光參數要幾 GB?
35 億 × 4 = 140 億 bytes = 14 GB。訓練時還要存梯度、優化器狀態和中間結果,所以遠不只 14 GB。
📖 原書 訓練太吃資源
- Mixed precision training:16-bit 和 32-bit 混用,省記憶體、算得快
- Model and data parallelism:把訓練分到多台裝置,框架如 FSDP、DeepSpeed
- Latent diffusion:在比像素小的空間運作(第 32 頁)
📖 原書 生成太慢
兩個原因:取樣要一步接一步、每一步都要跑數十億參數。
- Parallel sampling:取樣時平行處理,縮短時間
- Model distillation:蒸餾成小模型,保留原模型的行為和表現
- Model quantization:降低權重精度(例如 32-bit 變 8-bit),省記憶體、生得快
到這裡你已經會了小結 4 / 4
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
到這裡你已經會了:怎麼擦得又快又準
- 走幾步(sampling steps):步數多比較準但慢;DDIM 把 1,000 步縮到約 20 步,塞進 10 秒。
- 加碼(CFG):有看 prompt 和沒看 prompt 各猜一次,把差距放大,圖就更照著 prompt。
- 壓小再畫(latent diffusion):在小 48 倍的空間擦雜訊,練得動也生得快。另外還有混合精度、平行訓練、蒸餾、量化。
接下來
11 階都爬完了。剩下兩件事:怎麼知道模型畫得好不好(評估)?整個系統上線,從使用者打字到看到圖,中間經過哪些關卡?
原書Offline evaluation · DrawBench · CLIP · CLIPScore · Figure 16、17
畫得好不好?品質、多樣性,還有「有沒有照著 prompt」
這一步要解決的問題模型改了一版,要有一套固定、可靠的題目和分數,才知道是變好還是變壞。
📖 原書 題庫 DrawBench、品質與多樣性 IS/FID
DrawBench:一組精選的 prompt,從簡單到複雜,測物體組合、互動、脈絡理解;原書因為它夠全面而採用。要量三件事:image quality(品質)、image diversity(多樣性)、image–text alignment(圖文對齊)。
品質和多樣性用前幾章講過的 Inception score(IS)和 Fréchet Inception distance(FID)。白話:FID 比較「生成的一堆圖」和「真的一堆圖」像不像,越低越好(Face Generation 那份有延伸基礎頁)。這一節原書主要講圖文對齊。
📖 原書 圖文對齊:CLIPScore
把 prompt 和生成的圖各丟進 CLIP 的 encoder,算兩個 embedding 的 cosine similarity(第 14 頁的夾角)。分數越高,圖越符合文字。
你猜猜看:同一句 prompt,圖 A 的 CLIPScore 0.31、圖 B 0.18,哪張比較照著 prompt?
分數越高越對齊,A 比較照著畫(數字示意)。但 CLIPScore 不管好不好看,所以還要搭配 FID 和人工評估。
📖 原書 CLIP 是 OpenAI 的模型,訓練來配對圖和描述。訓練時把相關的圖文 embedding 拉近、不相關的推遠,形成一個共享的 embedding space。練完後,相似的描述彼此靠近,圖會落在它相關的描述旁邊。
原書Human evaluation · Online metrics
自動分數之外:請人來評,還有上線之後看使用者
📖 原書 人工評估 · 動手算
Image quality:把生成圖和參考圖並排,問評審哪張比較像真的照片;品質=生成圖被選中的百分比。Text alignment:給評審看圖和 caption,問「Does the caption accurately describe the above image?」
生成圖和參考圖要分開平均,再拿來比。
📖 原書 Online metrics(上線後看的)
| 指標 | 白話 |
|---|---|
| Click-through rate (CTR) | 點了生成圖的使用者比例;高代表覺得有用 |
| Time spent on page | 平均停留多久;越久越投入 |
| User feedback | 使用者直接給的回饋;正面代表滿意品質與對齊 |
| Conversion rate | 看完圖後做了我們希望的事(購買、註冊)的比例 |
| Latency | 從 prompt 到圖要多久;越低越好(需求是 10 秒) |
| Throughput | 每秒能處理幾張;越高服務越多人 |
| Resource utilization | CPU、GPU、記憶體用得多有效率;關係到成本 |
| Average cost per user per month | 不滿意的人會用同一句 prompt、換 seed(不同的起始雜訊)一直重生,成本就上去了 |
原書Overall ML System Design · Figure 18、19
模型只是核心。整個系統有四條 pipeline
這一步要解決的問題模型要能持續變好、上線要快、要安全。這些都不是 diffusion model 自己會做的。
Data pipeline
去掉不當的圖、統一尺寸並儲存;確保 caption 存在且相關;用 pretrained 的 T5 預先算好 caption 的 embedding 存起來(cache),訓練時少算很多。也會收集使用者的 prompt、生成的圖和回饋,加進未來的訓練集。
Training pipeline
用 data pipeline 收集的最新資料訓練模型,讓模型跟上最近的 prompt,並用品質更高的生成圖來練。
Evaluation pipeline
用預先定好的自動指標評估新模型,決定它夠不夠格上線。
Model optimization pipeline
提升效率:model compression(quantization、pruning 剪掉不重要的參數)、model distillation(蒸餾成小模型)、optimized algorithms(換更快的取樣演算法)。做完就替換上線中的模型。
原書Inference pipeline · Figure 20 · 動手玩
使用者按下 Generate 之後:兩道安全關卡夾著一個模型
這一步要解決的問題線上每一個請求都要:好用、安全、品質高。
(1)(2) 打字、送出
打字時有 prompt auto-complete 幫忙補完(第 39 頁)。
(3) Prompt safety
安全就 (3a) 往下走;違規就 (3b) 拒絕。
(4)–(6) 加強、生圖
Prompt enhancement 把 prompt 寫得更完整;Image generation 用 Text encoder (5a) 和 Diffusion model (5b) 生圖。
(6)–(8) 檢查、放大
Harm detection 檢查圖;安全就 (7a) 進 Super-resolution 放大;有害就 (7b) 擋下。
原書Prompt auto-complete · Prompt safety · Prompt enhancement · Figure 21、22
模型之前的三個關卡:補完、擋下、寫得更好
📖 原書 Prompt auto-complete
用專門的模型,在使用者打字時即時建議下一個字或片語,提升體驗。
📖 原書 Prompt safety service
用 text classification(文字分類)模型處理 prompt,拒絕違反使用政策的請求,例如暴力、仇恨圖像、裸露。確保系統遵守安全標準,不生成不當的圖。
為什麼要在模型之前擋?因為生一張圖要跑幾十億參數 20 步。違規的請求在門口擋掉,一張 GPU 都不用動。
📖 原書 Prompt enhancement
把使用者的 prompt 改寫得更清楚、連貫、有細節。先進的圖片和影片生成系統(例如 Sora)廣泛使用,給模型更詳細的 prompt,圖的品質更好。
原書Image generation · Harm detection · Super-resolution · Figure 23
模型之後:再擋一次,再放大兩次
📖 原書 Image generation
推論流程的核心。和 T5 text encoder 合作,把加強後的 prompt 編成一串 token(embedding),交給 diffusion model,每個 prompt 生一張或多張圖。
📖 原書 Harm detection
確保生成的圖對使用者安全。即使前面已經防過,圖還是有暴力或裸露時,標記並擋下,不顯示給使用者。
📖 原書 Super-resolution service
提高解析度,讓輸出好看並符合 1024×1024 的需求。diffusion model 通常沒辦法直接生高解析度,所以在低解析度訓練,再用專門的 super-resolution 模型放大。
📖 原書 總結:各條 pipeline 一起讓系統可靠、高品質、安全。data pipeline 是持續改進的基礎;training 和 optimization pipeline 提升模型;inference pipeline 確保安全、有效率、高品質的生成。
客座講評Triton 怎麼看這套 infra · 1 / 2
生一張圖 10 秒,GPU 還要排隊:HTTP 連線要一直開著等嗎?
你猜猜看:尖峰時段 GPU 排隊要兩分鐘。使用者的 HTTP request 一直開著等,最可能出什麼事?
這題的答案是 🔭 推論,不是 Triton 的原話。原書只要求 10 秒,沒有談排隊;排隊一長,「一直開著等」就很脆弱。下面是 Triton 對「很花時間的請求」怎麼回應的原話。
「202(Accepted) – 伺服器收到請求,並且確定請求是沒問題的 – 不過,這請求需要很多時間來工作,為了避免客戶端白白等待。即使工作還沒完成也好,先回答客戶端:「工作收到了」 – 沒事別亂用」🗣️ Triton 本人說 027-RESTful API Design-tw-2.1.pdf.md
🔭 依 Triton 原則推論 「沒事別亂用」:平常 10 秒、使用者就盯著畫面等,直接回結果可能就夠了;只有排隊會拖到幾十秒以上,才值得改成「202 + 任務編號,做完再通知」。先量排隊時間再決定。
動手算:要不要改成 202?(示意)
每台 10 秒一張 → 每分鐘 6 張。尖峰持續 5 分鐘。
客座講評Triton 怎麼看這套 infra · 2 / 2
長時間的工作:待辦放哪裡、進度怎麼推、圖怎麼傳
待辦清單別放 Redis
「換一家有支持Callback的服務供應商便好。」🗣️ Triton 本人說 020-MQ解法.md
「建立一個outstanding_tasks的table(不使用redis的原因是怕redis當掉後data loss有工作變成孤兒)」「結論:message queue可以讓你做出優雅而且高穩定性系統。」🗣️ 020-MQ解法.md
🔭 推論 如果生圖是呼叫外部的 API,先挑有 callback(做完主動通知你)的;還沒做完的任務記在 RDBMS 的 outstanding_tasks,不要只放在 Redis。
生圖是 Message,進度條是 Signal
「Message – 可以排隊一個一個工作慢慢來~ – 絕對不能丟失」「Signal – 要高度即時性 – 丟失沒太大差」🗣️ Triton 本人說 078-mq-intro.pdf.md
「所以正常的MQ Server – 會把收到的Message先存到HDD,然後才回應成功」🗣️ 078
🔭 推論 「幫我生這張圖」一定要做完一次,是 Message,走真正的 MQ;「已經擦到第 12 步」掉了沒差,是 Signal,用 Redis Pub/Sub 推就好。
圖檔用 stream 傳
「即使你看完總共23GB的影片也好,你也只用上了固定的很小塊Memory。」「如果一份data只會用一次的,你應該用streaming的手段來處理。」🗣️ Triton 本人說 130-喵談 io streaming.md
🔭 推論 super-resolution 之後的 1024×1024 圖檔要上傳儲存、再傳給使用者。用 Reader/Writer 串起來,不要整張讀進記憶體再處理:同時處理 100 張也只用固定的小 buffer。
原書Other Talking Points
面試最後還有時間的話,原書建議再聊這些
更快
- Consistency models:更快的生成,目標是幾步、甚至一步就生好
- Scheduling techniques:不同 noise schedule 的細節
- DDPM 與 DDIM:兩種取樣方法的理論基礎
更好、更貼近 prompt
- RLHF:用人類回饋做強化學習來提升品質
- Re-captioning model:怎麼開發一個重新寫 caption 的模型
- Guidance:用 guidance 改善多樣性和忠實度的取捨(第 30 頁的 w)
更多功能、更多控制
- Inpainting / outpainting:補圖中的一塊、往圖外延伸
- Personalization:學會某個特定概念(原書第 10 章)
- Patch n' Pack:支援多種長寬比和解析度
- ControlNet:更進階的控制,例如照著草圖或姿勢畫
- Style:控制生成的風格
📅 2026 補充方法怎麼演進
原書之後:還是在擦雜訊,只是擦法、擦的人、擦的步數都變了
從 diffusion 到 flow matching
很多新模型改用 flow matching:從雜訊「沿著一條路走」到圖,概念上非常接近。
「比如說 Stable Diffusion 它第三代的模型 是用 Flow Matching 所以它名字裡面有 Diffusion 但它居然不是 Diffusion Model」「但其實 Flow Matching 跟 Diffusion 其實非常的像 你甚至可以說是一體兩面」🎓 李宏毅課堂 導論 2025 · 第 9 講
U-Net → Transformer
原書說「最近 DiT 很有潛力」。後來 Stable Diffusion 3、Flux 這類模型都改用 Transformer 當主幹。原書這章用 U-Net 是為了教學,第 11 章就講 DiT。
步數越來越少
原書 Other Talking Points 的 consistency models 和 distillation,後來發展出只要 1–4 步的模型(例如 LCM、SDXL Turbo)。「10 秒」的需求,現在常常一兩秒就達到。
caption 和 text encoder 更受重視
DALL-E 3 的關鍵改進就是用模型重寫訓練資料的 caption,並在推論時改寫 prompt:正好是原書的 caption enhancement 和 prompt enhancement。生成的圖也開始加上來源標記(例如 C2PA 中繼資料、SynthID 浮水印),作為 harm detection 之外的一層。
原書Summary 心智圖
原書這一章的總結圖
回顧
Text-to-image 其實就是:照著一句話,把雜訊一步一步擦掉而已。
- 像素
- 撒雜訊
- 一步步擦
- 文字變箭頭
- 比夾角
- 先縮再放
- 查小抄
- 猜雜訊
- 走幾步
- 加碼
- 壓小再畫
從哪裡開始
一張全是雜訊的圖。每次撒的雜訊不同,擦出來的圖就不同。
誰在擦
U-Net 或 DiT 猜雜訊、扣掉;cross-attention 讓每一塊去查 prompt。
怎麼練
把乾淨的圖弄髒到第 t 步,叫模型猜雜訊,用 MSE 對答案。
怎麼又快又準
DDIM 少走幾步、CFG 加碼、latent 壓小再擦;前後兩道安全關卡、最後放大兩次。
模型不畫圖,模型猜雜訊。猜完、扣掉、再猜。然後呢?然後就結束了。
本章名詞小卡課後複習用 · 每個名詞一句白話
今天出現的名詞,一句話講完
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Generative AI System Design Interview · Text-to-Image Generation 章。Introduction 與 Figure 1(第 2 頁,不重繪)、Clarifying Requirements(4)、input/output 與 Figure 2(6)、autoregressive 與 diffusion、Figure 3–4(9)、比較與 Figure 5(10)、image preparation 與 Figure 6(12)、caption preparation(15)、architecture 與 Figure 7(17)、U-Net 與 Figure 8–10(19)、cross-attention(21)、DiT 與 Figure 11(22)、forward/backward 與 Figure 12–13(23)、四步訓練與 Figure 14(25)、noise schedule 與公式(26)、sampling 與 Figure 15(28)、CFG 與 DDIM(31)、challenges(33)、offline 評估、CLIP、CLIPScore 與 Figure 16–17(35)、human evaluation 與 online metrics(36)、四條 pipeline 與 Figure 18–19(37)、inference pipeline 與 Figure 20(38)、auto-complete、safety、enhancement 與 Figure 21–22(39)、image generation、harm detection、super-resolution 與 Figure 23(40)、Other Talking Points(43)、心智圖(45)。Figure 2–24 共 23 張依圖說與描述重繪,不是原圖;照片一律改成像素帆船。
本簡報加的頁面:概念階梯(3)、11 個延伸基礎(5、7、8、13、14、18、20、24、29、30、32)、小結(11、16、27、34)、客座講評(41–42)、2026 補充(44)、名詞小卡(47)。
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 9 講:影像和聲音上的生成策略 — 像素、DALL-E 的 8×8 token、千千萬萬的可能與雙頭狗、MSE、時間的輸入、步數不能太少、知難行易、latent diffusion、Stable Diffusion 3 與 Flow Matching
- 同 · 第 1 講 — Diffusion 是另一種生成策略
- 同 · 第 3 講 — Token Embedding、「果」專注於看「青」
來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)。CFG、CLIP、U-Net、DiT 沒有對應逐字稿,依原書與標準定義。
🗣️ Triton(materials/core)
- 027-RESTful API Design-tw-2.1.pdf.md — 202 Accepted「沒事別亂用」
- 020-MQ解法.md — callback 優先、outstanding_tasks、不用 Redis
- 078-mq-intro.pdf.md — Message vs Signal、MQ 先寫 HDD
- 130-喵談 io streaming.md — 固定小 buffer 的 streaming
公式(主文用文字講過)
- forward:x_t = √(1−β_t)·x_{t−1} + √β_t·ε,ε ~ N(0, I)
- 一步跳:α_t = 1−β_t,α′_t = ∏ᵢ αᵢ,x_t = √α′_t·x₀ + √(1−α′_t)·ε
- loss:L = E_{t,x₀,ε} ‖ε − ε_θ(x_t, t)‖²
- 互動用的 schedule:β 從 1e-4 線性到 0.02,T = 1000
- CFG:ε̂ = ε_θ(x_t, ∅) + w·(ε_θ(x_t, c) − ε_θ(x_t, ∅))
- cross-attention:softmax(QKᵀ/√d)V,Q 來自圖、K/V 來自文字
- CLIPScore:cos(E_image, E_text)(論文另乘 2.5、取 max(·, 0))
📅 依據
- SD3 用 rectified flow + MMDiT;Flux 為 transformer
- LCM、SDXL Turbo:1–4 步
- DALL-E 3:Improving Image Generation with Better Captions;C2PA、SynthID