GenAI System Design · 第 10 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(只有 infra)

Personalized Headshot Generation
其實就是教畫家認識你而已

原書的題目:使用者上傳 10–20 張自拍,一小時內收到 50 張專業大頭照。一個沒見過你的生圖模型,要怎麼在 15 分鐘內「認識」你?

今天的路線

先爬 11 階基礎概念(第 3 頁有地圖),再拆原書:三種「教模型認人」的方法 → 資料、訓練、出圖 → 怎麼打分數 → 三條 pipeline。最後是 2026 補充和 Triton 客座講評。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論

頁首標 延伸基礎 的頁是補基礎,只用高中數學,懂的人可以跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨,不評論任何公司或作者。簡報裡的臉全部是卡通,不是任何真人。

先講跟你有關的動手玩

請一位很會畫、但沒見過你的畫家,畫你的大頭照

描述:「小晴坐在椅子上讀書」

我們今天的貫穿例子:虛構的上班族小晴,要換 LinkedIn 大頭貼。她的特徵:圓框眼鏡、齊瀏海、左臉頰一顆痣。

畫家很厲害,「坐在椅子上讀書」畫得很好。可是「小晴」是誰?他沒見過,只好隨便畫一個人。你點左邊兩個按鈕對照看看。

生圖模型英文叫 text-to-image model(簡稱 T2I,看一句描述畫一張圖)。它就是這位畫家。

怎麼辦呢?讓它先看你幾張照片。但「看照片」對模型來說,到底是在改什麼?這就是今天要講的。

學習地圖本章的概念階梯

今天爬 11 階。每一階,只用前面講過的東西。

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

第 1–3 階 · 畫家怎麼學畫

要回答:模型怎麼從雜訊畫出一張臉?「看你幾張照片」在改什麼?

第 4–5 階 · 幫小晴取代號

要回答:描述裡要寫什麼字,模型才知道是在講小晴?

第 6–8 階 · 練過頭怎麼辦

要回答:練到認得小晴,為什麼反而會忘記怎麼畫別人?

第 9 階 · 兩個目標一起顧

要回答:「像小晴」和「還會畫別人」,怎麼合成一個分數?

第 10–11 階 · 怎麼知道像不像

要回答:電腦怎麼判斷「這張還是小晴」?

全程只用一個例子:小晴的 10 張自拍 → 50 張大頭照

她上傳 12 張,品質檢查刪掉 2 張,剩 10 張。系統訓練約 15 分鐘,用 50 句描述各畫一張,一小時內寄 email 給她。

每爬 3–4 階,有一頁「到這裡你已經會了」。

原書Introduction · Figure 1

原書的開場:個人化的生圖模型

這一步要解決的問題一般的生圖模型畫得出「一個人」,畫不出「你」。

📖 原書 Figure 1個人化 T2I 模型生成同一個人的各種變化(依原書結構重繪;原圖是真人照片,這裡改用卡通的小晴)

📖 原書 Personalized text-to-image 是生成式 AI 的新興應用。叫模型畫「John 坐在椅子上讀書」,它會畫一個坐著讀書的人,但大概不是 John。要畫出 John,就要讓模型先學會這個主角(subject of interest)。

📖 原書 本章要做的:一個能為特定的人生成專業品質大頭照的個人化 T2I 模型。

原圖左邊是一位真人的參考照片,右邊 2×2 是同一個人變成冰雕、太空人、美式足球員、海盜船長(取自原書引用 [1])。照片不重繪,也不畫成任何真人;這裡只照它的結構畫:一張參考照 → 四種新姿勢和風格。

原書Clarifying Requirements

面試一開始:先把要做什麼問清楚

📖 原書 應徵者 × 面試官

應徵者問面試官答
大頭照主要用在 LinkedIn 這類商務檔案嗎?對
使用者會上傳幾張不同姿勢、角度、看得到臉的照片?要幾張?對,10 到 20 張
有些照片不合適(太暗、看不到臉)怎麼辦?要偵測出來,通知使用者換更好的照片
使用者能指定髮型這類特徵嗎?為了簡單,不需要控制屬性
解析度要多少?要支援 1024×1024
可以從一個 pretrained 的通用 T2I 模型開始嗎?可以
使用者能自己打描述(prompt)來控制嗎?保持簡單,使用者不打 prompt
要生成幾張?50 張
延遲要求?使用者上傳後,圖好了用 email 通知;整個過程少於一小時

把答案變成五個數字和兩句話

10–20上傳張數50交出張數1024²解析度< 1 小時email 通知
  • 壞照片要擋下來,請使用者重傳
  • 使用者不打 prompt、不指定髮型:描述由系統自己寫

記住兩件事:「從 pretrained 模型開始」和「一小時、email 通知」。前一條決定我們用「微調」,後一條決定這是一個背景長時間工作(第 40 頁 Triton 客座卡會回來)。

延伸基礎第 1 階 · 擦雜訊 · diffusion懂的人可以跳過

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

生圖模型怎麼畫畫?從一片雜訊,一步一步擦出來

① 先想像

一面起霧的鏡子,你用手一次擦一小塊。擦十次,臉就出來了。畫家不是一筆畫完,而是「每次只擦掉一點霧」。

你猜猜看:描述寫「一個戴圓框眼鏡的人」,從同一片霧擦出來,每次都是同一張臉嗎?

③ 這叫做 diffusion model

diffusion model:從雜訊開始,每一步預測「該擦掉哪些雜訊」,擦很多步得到一張圖。

「其實Diffusion Model也可以視為是另外一種生成的策略」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講

④ 跟本章的關係

原書的大頭照就是用 diffusion 畫的。問題是:描述裡寫「小晴」,模型根本不知道該往哪張臉擦。

② 動手玩:按「擦一步」,看霧後面是誰

10還剩幾步

原書Frame the Problem as an ML Task · Figure 2

把問題變成 ML 任務:personalization

這一步要解決的問題輸入、輸出是什麼?要用哪一種模型開始?

📖 原書 Figure 2頭像生成系統的 input 和 output(依原書內容重繪)

📖 原書 這一章用大頭照當案例,講生圖的一個重要面向:personalization(個人化),也就是讓一個 pretrained 的 T2I 模型學會一個新的主角:使用者的臉。

📖 原書 Input:使用者臉部的幾張照片,不同角度、不同姿勢。Output:這個人的專業大頭照,要高品質、有變化,而且保留這個人的身分(identity)。

📖 原書 方法:diffusion model 很會畫細節豐富、逼真的圖。常見做法是拿一個在大量各式圖片上 pretrained 的 T2I 模型當 base model(底子)。

輸出的三個要求:高品質、有變化、像本人。等一下評估(第 33 頁)就是分別量這三件事。

延伸基礎第 2 階 · 旋鈕 · parameter懂的人可以跳過

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

「學會畫小晴」在改什麼?先看三顆旋鈕

① 先想像

你有一台畫臉的機器,上面有三顆旋鈕:臉多寬、眼鏡多大、瀏海多長。想讓它畫出小晴,就是一顆一顆轉,轉到畫出來的臉跟照片一樣。

你猜猜看:一個真正的生圖模型,大概有幾顆旋鈕?

③ 這叫做參數

參數(parameter):模型裡面還不知道、要去找的數字。想成旋鈕。

「在一個函式裡面數值我們不知道的這一些東西啊 我們就叫它參數」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講

④ 跟本章的關係

原書的三種方法,差別就在准你轉哪幾顆旋鈕:只轉一顆、全部都轉、或外掛一小組新的。

② 動手玩:轉三顆旋鈕,讓右邊的臉變成小晴

—跟照片差幾格

延伸基礎第 3 階 · 微調 · fine-tuning懂的人可以跳過

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

只有 10 張照片,要從頭學畫畫,還是找一個已經會畫的?

① 先想像

要請人畫小晴。A:找一個從沒拿過筆的人,只給他看 10 張照片。B:找一個畫過幾億張人像的老師傅,給他看同樣 10 張。

你猜猜看:A 練完會怎樣?

③ 這叫做 fine-tuning

pretrained model:別人先用大量資料練好的模型。fine-tuning(微調):從它的旋鈕開始,用少量新資料再轉一點點。

「那些參數更新前的通用模型 我們叫它 Foundation Model……然後我們會為了特定的任務去微調這個模型 那微調之後的模型叫做 Fine-Tuned Model」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 8 講

④ 跟本章的關係

面試官說「可以從 pretrained 模型開始」。所以每個使用者都是一次微調:老師傅看小晴 10 張照片,練 15 分鐘。

② 動手玩:同樣 10 張照片,兩個起點

原書Choosing a suitable ML approach · Figure 3、4

兩條路:每個人各微調一次,還是訓練一次、大家共用?

這一步要解決的問題每來一個新使用者,都要重新微調嗎?

📖 原書 Figure 3Tuning-based:每個使用者各有一份個人化的模型(依原書內容重繪)

Tuning-based 原書選這個

拿每個人的參考照片各微調一次 T2I 模型,把這個人「整合進模型」。優點:細節抓得比較多;很通用,不只人臉,背包、小狗也行。

Tuning-free

把 pretrained T2I 模型和一個 visual encoder(把照片變成一組數字的模型)一起訓練一次。之後 encoder 從新照片抽特徵、注入模型,不用為每個人改內部參數。例:Meta 的 Imagine Yourself [1]。

優點:只訓練一次、參數比較少;只部署一個模型;只要一張參考照。缺點:一張照片抓不到各角度、各表情的細節;要為主角特別調整([1] 用了特製的 encoder 和合成配對資料的技巧)。

📖 原書 本章接下來只講 tuning-based,常見三種:Textual inversion、DreamBooth、LoRA。tuning-free 可參考 [1][2][3]。

到這裡你已經會了小結 1 / 4

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

到這裡你已經會了:畫家怎麼學畫

下一階要解決的問題

描述裡要寫「小晴」,可是模型的字典裡沒有「小晴」。要用什麼字代表她?

延伸基礎第 4 階 · 字卡字典 · token、embedding懂的人可以跳過

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

模型怎麼讀描述?先切成字卡,再去字典查一排數字

① 先想像

模型讀描述,是把句子切成一張一張字卡,每張字卡去一本大字典查,查到一排數字。它看到的其實是數字,不是字。

你猜猜看:字典裡沒有「Xiaoqing」這個字,模型會怎麼辦?

③ 這叫做 token 和 embedding

token:模型讀字用的字卡。embedding:字卡在字典裡查到的那一排數字。

「每一個 ID 都會被轉成一個 Token Embedding 也就是轉成一個向量」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

④ 跟本章的關係

原書第一種方法 textual inversion,就是在字典裡新增一頁「S*」,只改這一頁的數字。

② 動手玩:打一句描述,看它查到哪幾頁字典

換一句:

切法、編號、數字都是示意。真的字典有幾萬頁,每頁幾百個數字。

原書Textual inversion · Figure 5、6 · 動手玩

方法一:只改字典裡「S*」那一頁

這一步要解決的問題最省的做法:模型完全不動,只教它一個新字。

📖 原書 Figure 5Textual inversion 只更新特殊 token 的 embedding,其他都上鎖(依原書內容重繪)
0回合

📖 原書 Textual inversion [4]:加一個代表主角的特殊 token(S*),學它的 embedding。微調時只更新 S* 的 embedding;diffusion model、text encoder、其他 token 的 embedding 全部不動。練完之後,描述裡寫 S*,就畫得出主角。

Pros

  • Efficiency:只學一個 embedding,又輕又快
  • 保留原本能力:diffusion model 的參數沒變
  • Minimal storage:每個人只要存 S* 那一排數字

Cons

  • 學不好細節:主角只靠一個 token embedding 表示,容量有限,細節常常學不準

📖 原書 小結:很有效率,但常常抓不住、留不住主角的所有細節。

延伸基礎第 5 階 · 綁代號 · identifier懂的人可以跳過

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

不想新增字典頁?那借一個現成的字當小晴的代號

① 先想像

班上轉來一位新同學,要幫她取綽號。取「特別」?大家一聽到「特別」就想到別的事。取「ㄒㄒㄧ5ㄙ」?太難記,每個人各記一段。最好是一個很少人用、但唸起來是一整個的詞。

你猜猜看:哪一個最適合當小晴的代號?

③ 這叫做 identifier

identifier:在描述裡代表主角的那個字。原書寫成 [V],例如「A photo of [V] person」。

「那同樣的 Token 就會有同樣的 Token Embedding」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

④ 跟本章的關係

DreamBooth 就是這樣做:借一個罕見的 token,再轉整個模型的旋鈕,讓它把這個字和小晴綁在一起。

② 動手玩:點一個代號,看它被切成幾張、原本的意思有多強

—切成幾張字卡—原本的意思有多強—適不適合

原書DreamBooth · Figure 7

方法二:DreamBooth,整個 diffusion model 都一起轉

這一步要解決的問題只改一頁字典裝不下細節,那就准模型轉更多旋鈕。

📖 原書 Figure 7DreamBooth 更新整個 diffusion model(依原書內容重繪;alt 描述的鎖畫在 Diffusion Model 上,與內文「更新所有參數」不一致,依內文把鎖畫在 text encoder)

📖 原書 DreamBooth [5] 是 Google 在 2023 年提出的熱門個人化方法:用主角的照片微調 pretrained diffusion model。跟 textual inversion 不同,它更新 diffusion model 的所有參數,所以更能抓到主角的細節。

📖 原書 DreamBooth 成功靠兩個技巧

  1. Rare-token identifier:用罕見的 token 當主角的代號(下一頁)
  2. Class-specific prior preservation loss:防止模型練過頭、忘了「一般人」長怎樣(第 20 頁)

對照第 13 頁:textual inversion 是「字典換一頁」,DreamBooth 是「整個畫家重新練一次」。訓練資料的描述一律寫「A photo of [V] person」。

原書DreamBooth · Rare-token identifier

代號怎麼挑?原書說:常見字不行、亂碼也不行

這一步要解決的問題DreamBooth 不新增字典頁,要從現有的字典裡挑一個字當 [V]。

✗ 常見字:「unique」、「special」

這個字本來就有很強、很廣的意思。描述寫「a special person sitting」,模型要先把 special 跟原本的意思分開,再學一個指向主角的新意思。很難。

✗ 隨機亂碼:「xxy5syt00」

tokenizer 可能把它拆成一個一個字元,每個字元都有很強的既有聯想。生成的圖會被這些碎片的意思影響,而不是把它當成一個完整、獨特的東西。

✓ 罕見 token

在訓練資料裡很少出現的 token。夠特別,沒有強烈的既有聯想;又夠完整,tokenizer 會把它當一整張字卡。

📖 原書 做出 identifier 的三步

  1. 找出幾個罕見 token:字典裡每個 token 有一個 ID,看 token 出現頻率的分布,挑出現次數很少的
  2. 產生一串罕見 token:從挑出來的裡面,組成一個序列
  3. 變回文字:tokenizer 把這串 token ID 轉回文字,就是代號。例:「XyZ」、「SKS」、「[V]」
示意的字典頻率(點一列,看它適不適合):

到這裡你已經會了小結 2 / 4

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

到這裡你已經會了:怎麼幫小晴取代號

下一階要解決的問題

整個模型都轉,而且只看小晴 10 張照片。練太久會發生什麼事?

延伸基礎第 6 階 · 背過頭 · overfitting懂的人可以跳過

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

只看 10 張照片一直練,練到最後會怎樣?

① 先想像

畫家只看小晴 10 張自拍,一直練、一直練。練到後來,他畫的每一張都是同一個角度、同一件衣服、同一面牆。他不是學會了小晴,是把 10 張照片背起來了。

你猜猜看:練越久,「新姿勢、新背景」的大頭照會越畫越好嗎?

③ 這叫做 overfitting

overfitting:把練習的資料背起來,換新題目就不會了。

「當你發現說啊 你 training 的 loss 跟 validation 的 loss 有巨大差距的時候 這個現象叫做 overfitting」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講

④ 跟本章的關係

原書:DreamBooth 調整所有層,品質提升,但可能 overfitting,輸出失去多樣性。50 張大頭照長得都一樣,小晴不會付錢。

② 動手玩:拉「練習回合」

—像小晴—新姿勢畫得好

延伸基礎第 7 階 · 忘了別人 · catastrophic forgetting懂的人可以跳過

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

練完小晴之後,叫它畫「一個人」,結果每個人都是小晴

① 先想像

老師傅閉關一個月只畫小晴。出關後你請他畫「一個路人」,他畫出來的路人,全部戴圓框眼鏡、有一顆痣。他把「人」這個字,跟小晴綁死了。

你猜猜看:怎麼讓他記得「一般人」長怎樣?

③ 這叫做 catastrophic forgetting

catastrophic forgetting:學了新東西,大片大片忘掉原本會的。

「如果我們說後訓練是給人工智慧的大腦動手術 那 Catastrophic Forgetting 就是手術成功了 但是病人卻死了」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 8 講

④ 跟本章的關係

原書的解法有兩個零件:資料準備時加入一般人臉(第 26 頁),訓練時加一項 prior preservation loss(下一頁)。

② 動手玩:練完之後,請它畫「a photo of a person」

—六張裡有幾張變成小晴

原書DreamBooth · Class-specific prior preservation · 優缺點

DreamBooth 的第二招:練小晴的同時,複習「一般人」

這一步要解決的問題全部參數都在轉,模型會 overfitting、會忘了一般人長怎樣。

📖 原書 DreamBooth 微調 diffusion model 的所有層。品質提升,但可能 overfitting,失去多樣性。例:用某一隻狗的照片訓練,模型可能就很難畫其他的狗。

📖 原書 所以 DreamBooth 用 class-specific prior preservation loss 維持「這一類」(class,這裡是「人」)的一般特徵,防止模型 overfit 到特定的例子、失去畫出各式各樣「人」的能力。詳細的 loss 在第 29 頁。

「因為只要保留有一些過去你訓練模型的資料 保留一些不用太多一點點就好 你就有辦法在接下來的訓練裡面 防止模型遺忘就有的技能」🎓 李宏毅課堂 生成式AI時代下的機器學習 2025 · 第六講:後訓練與遺忘問題

Pros

  • 學細節很有效:更新更多參數,主角的細節學得更準
  • 需要的照片比較少:整個模型都在更新,少量照片就夠

Cons

  • 儲存需求高:每個主角都要存一整份 diffusion model,每人幾個 GB,貴而且不 scalable
  • 很吃資源:訓練時要更多 GPU 記憶體

📖 原書 小結:DreamBooth 細節學得好,但訓練和儲存都貴;textual inversion 又省又小,但效果差。下一個 LoRA 是折衷。

延伸基礎第 8 階 · 外掛小旋鈕 · low-rank懂的人可以跳過

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

一張很大的表,可以只用兩條細長的數字「乘出來」

① 先想像

九九乘法表有 81 格,可是你不用背 81 個數字。只要記左邊一排 1–9、上面一排 1–9,每一格都是「列 × 欄」乘出來的。

你猜猜看:一張 1,000 × 1,000 的表有 100 萬格。用兩條各 1,000 個數字的長條乘出來,要記幾個數字?

③ 這叫做 LoRA(low-rank adaptation)

原本的大表格不動,外掛一張「用細長條乘出來」的修正表。細長條有幾條,叫 rank(r)。

「在 LoRA 裡面 你不會微調整個模型的參數……你只會微調 LoRA 裡面 非常少量的參數」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 8 講

④ 跟本章的關係

模型裡的旋鈕就是排成很多張大表。LoRA 只訓練外掛的細長條,所以每個人只要存幾 MB。

② 動手玩:改左邊和上面的數字,整張表一起變

點左邊或上面的數字可以 +1
—整張表要記—只記細長條—只要原本的

原書LoRA · The mathematics of LoRA · Figure 8、9

方法三:LoRA,原本的旋鈕全部上鎖,外掛一小組新的

這一步要解決的問題大模型的參數全部微調,太花時間、太貴。

📖 原書 Figure 8一個 fully connected 的神經網路層:x 經過 W 變成 y(依原書內容重繪)

📖 原書 LoRA 由 Microsoft 提出 [6],原本用來讓大型語言模型適應特定任務,後來也用在 T2I 個人化。動機:像 GPT-3 [7] 這種大模型,全部參數微調又慢又貴;LoRA 只加一小組新參數、只更新它們。

📖 原書 一層神經網路裡,權重表 W(dout × din)把輸入 x(din 個數字)變成輸出 y(dout 個數字)。LoRA 不直接改 W,而是加一個修正 ΔW = AB:A 是 dout × r,B 是 r × din,r 是很小的整數(rank)。

W:dout × din 個參數 LoRA:r × (din + dout) 個

—W 的參數—LoRA 的參數—LoRA ÷ W

原書LoRA for T2I personalization · Figure 10 · 優缺點

LoRA 用在大頭照:在 diffusion model 裡注入可訓練的小零件

📖 原書 Figure 10LoRA 在 diffusion model 中注入並學習新參數(依原書內容重繪)

📖 原書 把可訓練參數注入 diffusion model,微調時只更新它們來學新身分。只訓練一小部分參數,快很多,也省記憶體。

Pros

  • 保留原本能力:原模型參數凍結
  • 省記憶體、省運算:只更新一小部分,比 DreamBooth 有效率
  • 省儲存:只存 LoRA 層,通常每人幾 MB,便宜又 scalable

Cons

  • 學得比較少:只微調少量參數,學新主角的能力不如 DreamBooth
  • 推論稍慢一點:多了參數和計算,但通常跟省下的儲存、更快的適應比起來可以忽略

「它說 LoRA learns less and forgets less 所以這是一個雙面刃 你用 LoRA 你 Forget 的比較少 但是你學到的東西其實也比較少」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 8 講

原書Table 1 · Which method is more suitable?

三種方法放在一起比:大頭照選誰?

📖 原書 Table 1 三種 tuning-based 方法

Textual InversionLoRADreamBooth
Learning effectiveness(學得多好)LowModerateHigh
Required storage(每人要存多少)LowModerateHigh
Required training resources(訓練多貴)LowModerateHigh
Maintaining the original model's capabilities(保留原本能力)YesYesNo

綠色是對這一列比較有利,紅色是比較不利(顏色是簡報加的)。

你猜猜看:如果有 100 萬個使用者,每人的模型都要永久保存,DreamBooth(每人約 4 GB)要多少空間?

📖 原書 適合哪一種,要看 use case 和需求。大頭照選 DreamBooth,三個理由:

① 身分保留最好

DreamBooth 最能保留主角的細節,大頭照最怕「不像本人」。

② 訓練時間可以接受

依 [5],用 DreamBooth 微調約 15 分鐘。需求是一小時內交件,來得及。

③ 不用儲存

大頭照生成完,個人化模型就不用留了,所以 DreamBooth 的儲存缺點不成問題。

「它不能太小 如果太小的話 你就沒有包含到好的函式 不能太大 如果太大的話 就會 Overfitting」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講(講「劃定範圍」)

到這裡你已經會了小結 3 / 4

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

到這裡你已經會了:練過頭怎麼辦

下一階要解決的問題

方法選好了。小晴的照片要怎麼整理?「像小晴」和「還會畫別人」兩個目標,要怎麼合成一個分數來訓練?

原書Data Preparation · Figure 11 · 動手玩

小晴的照片,訓練前要先整理三件事

這一步要解決的問題上傳的照片大小不一、張數太少,而且只有她一個人。

📖 原書 Figure 11準備訓練資料(依原書內容重繪)

📖 原書 需要的張數看方法:tuning-free 通常一張就好,DreamBooth 這類 tuning-based 要 10–20 張。照片的解析度、長寬比可能都不一樣。

① Image resizing

diffusion model 要固定大小的輸入,全部調成一樣的尺寸。

③ Generic face data addition

只用小晴的照片會 overfit、忘了舊知識。所以混入大批一般人臉:用 pretrained diffusion model 以「an image of a person」生成。

② Image augmentation · 動手玩

T2I 模型要很多圖才學得會一個概念,但個人化通常沒有大資料集。用鏡像、輕微旋轉、縮放人工擴充,張數少的時候這步很重要。

—小晴的 10 張變成幾張

原書Model Development · Architecture · Training · Training data

模型不用改架構;訓練流程跟從零訓練 diffusion 一模一樣

這一步要解決的問題微調要用什麼模型、怎麼練、餵什麼資料?

📖 原書 Architecture

DreamBooth 微調一個 pretrained diffusion model。用 U-Net 架構、pretrained 成輸出 1024×1024,跟第 9 章類似。架構不變:一串 downsampling 區塊(把圖一層層縮小、抓重點),接一串 upsampling 區塊(再一層層放大回原尺寸)。

📖 原書 Training:三步

  1. Noise addition:隨機挑一個 timestep(第幾步),依它在圖上加雜訊
  2. Conditioning signals preparation:用不同的 encoder 把圖說和 timestep 準備成條件訊號
  3. Noise prediction:模型根據條件訊號,預測要從雜訊圖裡擦掉的雜訊

白話:就是第 6 頁的「擦一步」反過來練:先故意弄髒,再考它「髒在哪裡」。

📖 原書 Training data · 動手看

使用者上傳的照片 + 資料準備加入的一般人臉。兩種照片的圖說不一樣:

延伸基礎第 9 階 · 加權平均 · weighted sum懂的人可以跳過

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

兩個目標要一起顧,就把兩個分數「加權」合在一起

① 先想像

學期成績 = 期中 × 0.4 + 期末 × 0.6。老師用兩個數字決定「哪一次考試比較重要」。

你猜猜看:「複習一般人」那一項的權重調成 0,會發生什麼事?

③ 這叫做加權和

總分 = α × 分數一 + β × 分數二。α、β 是人自己決定的數字,叫 hyperparameter(訓練前就要先設好的設定)。

④ 跟本章的關係

原書的 overall loss 就是這樣:α × 「像不像小晴」+ β × 「一般人臉有沒有走樣」。loss 是「離正確答案多遠」,越小越好。

② 動手玩:調兩個權重,看練出來的模型偏向哪邊

—「[V] person」像小晴—「a person」還是路人

原書ML objective and loss function · Figure 12

兩個 loss:一個管「像小晴」,一個管「別忘了一般人」

這一步要解決的問題個人化的關鍵挑戰:模型要畫得出一般類別(人臉),也要畫得出類別裡的特定個體(小晴)。

📖 原書 Figure 12Overall loss 的計算(依原書內容重繪)

Reconstruction loss

量「重建出來的圖」和主角的真實照片差多少。幫模型保留主角的身分。

Class-specific prior preservation loss

量「生成的圖」和一般人臉的真實圖差多少。確保模型維持「人」這一類的特徵,不 overfit 到特定身分。

Overall loss

Overall loss = α × reconstruction loss
    + β × class-specific prior preservation loss

α、β 是 hyperparameter,控制「維持特定身分」和「保留人類特徵」的取捨。ML objective:讓 overall loss 最小,模型就能畫出獨特的身分,又保有畫一般人臉的能力。

原書Sampling · Figure 13 · 動手玩

使用者不打 prompt,那 50 張要畫什麼?系統自己寫 50 句

這一步要解決的問題第 9 章是使用者給描述;這裡使用者不給,描述要從哪來?

📖 原書 取樣跟第 9 章的 T2I 類似,都是 diffusion。差別在 prompt:我們準備一組人工設計的 prompt(hand-engineered),代表各種專業場合,並放進訓練時用的代號 [V]。點一句看看:

📖 原書 每一句 prompt 取樣一張圖。標準 diffusion 取樣步驟:① 產生初始的隨機雜訊 ② 反覆去雜訊很多步,每一步用 Classifier-free guidance(CFG [8],讓圖更聽描述的話)減少雜訊、補細節。

📖 原書 Figure 13取樣一張大頭照:x999… 雜訊 → 多步 Diffusion → x0(依原書內容重繪)
一句一張,50 張就要 50 句。

延伸基礎第 10 階 · 臉的座標 · image embedding懂的人可以跳過

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

電腦怎麼知道兩張臉像不像?先幫每張臉打分數

① 先想像

同一個人換了衣服、換了光線,每一格像素都不一樣,人還是認得出來。電腦也要學會只看重點:幫每張臉打兩個分數,「圓框眼鏡多明顯」和「有沒有那顆痣」。

你猜猜看:小晴穿西裝的照片,和她穿 T 恤的自拍,分數會差很多嗎?

③ 這叫做 image embedding

第 4 階的字卡有一排數字,圖片也可以有:image encoder(把圖變成一排數字的模型)算出來的那一排,就是圖的 embedding。

「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

④ 跟本章的關係

原書評估「像不像」用三種 encoder:CLIP、DINO、人臉辨識模型。差別是它們各自「打哪些分數」。

② 動手玩:點一張臉,把它放上地圖

延伸基礎第 11 階 · 箭頭夾角 · cosine similarity懂的人可以跳過

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

兩支箭頭「多像」怎麼量?看夾角

① 先想像

兩個人幫你指路,指的方向越接近,要去的地方就越像。手臂長短不重要,方向才重要。

你猜猜看:系統怎麼決定「這張生成的照片還是小晴」?

③ 這叫做 cosine similarity

cosine similarity:看夾角。0° 是 1(最像),90° 是 0(完全不相關)。

「cosine similarity 算出來就是 1, 最大就是 1。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

④ 跟本章的關係

原書的 CLIP score、DINO score、facial similarity,都是兩個 embedding 算 cosine similarity;品質檢查也用它決定要不要重畫。

② 動手玩:拖動「生成照」的箭頭尖端

—夾角—cosine similarity—判斷

原書Offline evaluation metrics · Figure 14

離線評估:三件事分開量

這一步要解決的問題要確定個人化模型生成的圖保留了使用者的身分,而且好看、照描述畫。

① Text alignment

生成的圖跟 prompt 多吻合。常用 CLIPScore [9]:確保圖不只好看,也跟描述相關。

例:prompt 寫「穿西裝、白色背景」,圖裡真的有西裝、白牆嗎?

② Image quality

跟前面幾章一樣,用 FID [10] 和 Inception score [11] 量生成圖的品質。

FID:整堆生成圖和整堆真圖的特徵像不像。第 7、8 章簡報有延伸基礎。

③ Image alignment

個人化特有的:生成的圖跟主角在視覺上多像。例:要生成某個特定背包,就量生成的背包跟那個背包多像。三種量法:CLIP score、DINO score、facial similarity score。

📖 原書 Figure 14用 CLIP 計算 image alignment(依原書內容重繪)

📖 原書 CLIP [12] 有兩個 encoder,一個讀圖、一個讀文字,訓練到「相關的圖文配對」在 embedding 空間裡很近。量 image alignment 時,丟掉 text encoder,只用 image encoder 算生成圖和真實照的 embedding,再算 cosine similarity。分數越高,生成的圖越像真實照片。

原書DINO score · DINO vs CLIP · Facial similarity · Figure 15 · 動手玩

三把尺,各看不同的地方

📖 原書 Figure 15用 DINOv2 [15] 計算 image alignment(依原書內容重繪)

📖 原書 DINO [13] 是 Meta 的 self-supervised 方法:不用標註資料就學圖的表示。它用 contrastive learning [14]:讓相似的圖在 embedding 空間靠近、不相似的推遠。DINO 和 DINOv2 被訓練去辨認細微差異,很適合量 image alignment。

📖 原書 DINO vs CLIP:比圖跟圖用 DINO,因為它抓細節。黃外套和紅外套的兩張圖,DINO 分數可能很低;CLIP 擅長圖文配對,兩張都是「穿外套的人」,CLIP 分數可能很高。

📖 原書 Facial similarity:CLIP 和 DINO 不是設計來量身分的,兩個不同的人可能拿到高分。所以用人臉辨識模型比較生成圖和真實照。三個分數一起看,才是完整的 image alignment。

動手玩:同一組照片,三把尺怎麼打分

原書Online evaluation metrics · 動手算

上線之後:小晴滿不滿意,付不付錢

這一步要解決的問題使用者付錢買服務,滿意度直接影響營收,要直接量。

📖 原書 User feedback

收到大頭照後,使用者用 1 到 5 分評滿意度。分數高代表符合或超出期待;分數低代表要改進。

—五位使用者的平均分數(點星星改分數)

📖 原書 Conversion rate to paid service

從「有興趣」變成「新付費客戶」的比例 = 新付費客戶數 ÷ 一段時間內接觸服務的總人數(逛網站、註冊試用、詢問)。

—conversion rate

為什麼離線分數高還不夠?離線的三把尺量的是「像不像、好不好看」;可是小晴付錢買的是「我敢不敢把這張放上 LinkedIn」。這只有她本人能回答。

到這裡你已經會了小結 4 / 4

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

到這裡你已經會了:怎麼知道像不像

下一階要解決的問題

11 階都走完了。最後把全部接起來:從小晴按下「上傳」,到她收到 email,系統裡跑了哪些 pipeline?

原書Overall ML System Design · 動手算

全部接起來:三條 pipeline,一小時內交件

這一步要解決的問題大頭照不只需要一個 diffusion model。從上傳到收到 email,中間有哪些關卡?

① Data pipeline

兩件事:準備有主角的照片(品質檢查、整理);準備一般人臉。第 38 頁。

② Training pipeline

把 pretrained diffusion model 個人化,練出小晴專屬的模型。第 39 頁 Figure 17。

③ Inference pipeline

Image generator → Quality assessment service → Uploader service。第 39 頁 Figure 18。

小晴的一小時,夠不夠用?

—總共幾分鐘

原書Data pipeline · Figure 16 · 動手玩

Data pipeline:壞照片擋下來,不夠就請小晴再傳

📖 原書 Figure 16Data pipeline 的元件(依原書內容重繪)

📖 原書 準備有主角的照片

檢查上傳的照片符合預先定好的標準:有變化,而且只有一個主角:使用者的臉。用各種 heuristics(經驗規則)和 ML 模型檢查清晰度、角度多樣、表情、有沒有使用者的臉。不合格的照片被拒絕,請使用者多傳幾張。只有高品質的照片拿去微調。

Figure 16 裡的 quality assessors:face detection、face recognition、facial expression、blur、quality。

📖 原書 準備一般人臉

防止模型 overfit 到主角。用 pretrained T2I 模型以「a person sitting on a chair」這類 prompt 生成。

原書Training pipeline · Inference pipeline · Figure 17、18 · 動手玩

練好模型,畫 50 張,不像本人的就換一片霧重畫

📖 原書 Figure 18Inference pipeline 的元件(依原書內容重繪;alt 寫「用不同的 diffusion model 重畫」,內文是「同一句 prompt、不同的初始雜訊」,依內文)
—第一輪沒過—總共畫了幾張

📖 原書 Training pipeline:負責把 pretrained diffusion model 個人化。Prepared images(主角+一般人臉)和 pretrained 模型一起進 Model Trainer,產出個人化模型。

① Image generator

用個人化的 T2I 模型和人工設計的 prompt,一句 prompt 畫一張。

② Quality assessment service

確保生成的圖保留身分。用 pretrained 人臉辨識模型比對生成照和使用者真實照片。不像本人就拒絕,請 image generator 用同一句 prompt、不同的初始雜訊重畫。

③ Uploader service

負責把圖交給使用者:上傳到 cloud storage,讓使用者下載。

客座講評Triton 怎麼看這個一小時的工作

小晴按下「上傳」,伺服器要等一小時才回嗎?

你猜猜看:照片上傳成功,但個人化要跑十幾分鐘以上。伺服器該怎麼回應?

「202(Accepted) 伺服器收到請求,並且確定請求是沒問題的 不過,這請求需要很多時間來工作,為了避免客戶端白白等待。即使工作還沒完成也好,先回答客戶端:『工作收到了』 沒事別亂用」🗣️ Triton 本人說 027-RESTful API Design-tw-2.1.pdf.md

「換一家有支持Callback的服務供應商便好。」🗣️ Triton 本人說 020-MQ解法.md(回答「第三方 async task 不支援 callback,只能一直 GET 問」)

🔭 依 Triton 原則推論 Triton 沒有談過 AI 大頭照。這頁是把他的 HTTP 和 async 原則套進原書。大頭照正好是 202 的「有事」:確實要很久。上傳 API 檢查完照片就回 202,真正的工作交給背景;做完以 email(給人的 callback)通知,而不是讓 app 一直 polling(一直問「好了沒」)。

一直問「好了沒」,要問幾次?

—一小時內白問的 request—每秒多出來的 request

改成做完才通知:每個人只要一封 email。

客座講評工作做到一半,機器掛了怎麼辦

GPU 練到第 10 分鐘當機,小晴的工作還在嗎?

你猜猜看:「還沒做完的工作清單」放哪裡,機器當掉也不會弄丟?

「建立一個outstanding_tasks的table(不使用redis的原因是怕redis當掉後data loss有工作變成孤兒)」「做完的就刪掉對應的outstanding_tasks,還有做後續的工作。」🗣️ Triton 本人說 020-MQ解法.md

「所謂的Message 就是帶著工作內容的的訊息 相對上能等一下才完成的工作 一定要跑完一次」「會把收到的Message先存到HDD,然後才回應成功 會等待收件者回傳「工作完成」,才真的把訊息刪掉」🗣️ Triton 本人說 078-mq-intro.pdf.md

動手玩:練到一半當機

🔭 依 Triton 原則推論 小晴的個人化工作「能等一下才完成」但「一定要跑完一次」,正是 078 說的 Message。上傳時在 outstanding_tasks 寫一列、丟一則 message 給 GPU worker;做完、寄完 email 才刪那一列。worker 當機,MQ 沒收到「工作完成」,就交給別台重做。

客座講評20 張照片進來、50 張照片出去

照片只會用一次,就別整包塞進記憶體

你猜猜看:一台伺服器同時收 200 個人上傳,每人 20 張、每張 5 MB。全部先讀進記憶體再處理,要多少記憶體?

「即使你看完總共23GB的影片也好,你也只用上了固定的很小塊Memory。」🗣️ Triton 本人說 130-喵談 io streaming.md(原文說了 5 次)

「如果一份data只會用一次的,你應該用streaming的手段來處理。」🗣️ Triton 本人說 130-喵談 io streaming.md

動手算:整包讀 vs streaming

streaming 那條假設每個連線一個 1 MB 的 buffer(示意)。

🔭 依 Triton 原則推論 套到原書:上傳 API 把照片一邊收一邊寫進 object storage;原書的 uploader service 把 50 張大頭照上傳到 cloud storage 時,也是一邊讀一邊寫。品質檢查和訓練才從 storage 讀它們要的那幾張。

原書Other Talking Points

面試還有時間,可能會被問到這些

① 防止 catastrophic forgetting [16]

微調時避免忘掉舊能力,就是第 19 頁的「畫誰都像小晴」。

② 罕見 token 的細節 [5]

怎麼挑代號、為什麼重要(第 16 頁)。

③ Prior preservation loss 的細節 [5]

第 20、29 頁的 β 那一項。

④ 微調後多樣性下降 [5]

第 18 頁:50 張長得都一樣。

⑤ 多種尺寸和長寬比 [17]

輸出不只 1024×1024 的正方形。原書引 SDXL。

⑥ Tuning-free 的細節 [1]

例如 Meta 的 Imagine Yourself(第 10 頁)。

⑦ Deepfake 的風險與偵測 [18]

降低深偽生成的風險和倫理問題,以及怎麼偵測(第 45 頁)。

⑧ 安全處理個人可識別資訊 [19][20]

用 ML 技術安全處理 PII(personally identifiable information),確保資料隱私。

📅 2026 補充方法怎麼演進

原書之後:三條路沒有消失,而是開始混著用

Tuning-free 追上來了

原書引用的 InstantID [3],標題就寫「Zero-shot … in Seconds」:不用每人微調,看一張照片就能生。取捨變成「等 15 分鐘換更像」或「幾秒鐘換方便」,原書第 10 頁的優缺點表依然是比較的框架。

DreamBooth 的兩招 × LoRA

三種方法不互斥。罕見代號和 prior preservation 是「怎麼教」,LoRA 是「准轉哪些旋鈕」。開源工具(例如 diffusers 的 DreamBooth LoRA 訓練腳本)常把兩者合起來:照 DreamBooth 的方法教,只存幾 MB 的 LoRA。

底子換了:flow matching、Transformer

新一代的 base model 很多改用 Transformer 取代 U-Net,並用 flow matching 訓練。個人化的想法不變:還是「從 pretrained 開始、只教一個新主角」。

「比如說 Stable Diffusion 它第三代的模型 是用 Flow Matching 所以它名字裡面有 Diffusion 但它居然不是 Diffusion Model」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 9 講

📅 2026 補充方法的限制:同意、隱私、深偽

模型認得小晴之後,誰可以叫它畫小晴?

這一步要解決的問題這套方法只要 10 張照片就能學會一張臉。方法本身有哪些限制、可以怎麼補?

你猜猜看:50 張寄出去之後,小晴的個人化模型該怎麼處理?

上傳的人,就是照片裡的人嗎?

Data pipeline 檢查「只有一張臉、夠清楚」,但檢查不了同意:任何人都可能上傳別人的 10 張照片。可以補的做法:要求上傳者即時自拍一張,跟上傳的照片做 facial similarity 比對。

模型會「背」出訓練照

第 18 頁的 overfitting 到極端,模型可能幾乎原樣畫出某張自拍。原書引 [20] 討論微調會不會洩漏個人資料。不留模型、不把使用者照片混進其他訓練,是最直接的防線。

深偽與標示

生成的大頭照跟真照片一樣逼真。在產生時就留下記號:肉眼看不到的 watermark,或附上來源資訊(例如 C2PA 的 Content Credentials 標準),讓別人查得到「這是 AI 生成的」。

評分的尺也有偏差

品質檢查用的人臉辨識模型,對不同族群的準確度可能不一樣,有些使用者會比較常被「誤退」。門檻要分群體驗證,不只看整體。

原書Summary 心智圖

原書這一章的總結圖

📖 原書章末心智圖依原書的分支重繪。alt 描述把 Textual Inversion 歸在 tuning-free、把 image alignment 歸在 online,與內文不一致,依內文擺放

回顧

大頭照生成,其實就是教畫家認識你而已。

  1. 擦雜訊
  2. 旋鈕
  3. 微調
  4. 字卡字典
  5. 綁代號
  6. 背過頭
  7. 忘了別人
  8. 外掛小旋鈕
  9. 加權平均
  10. 臉的座標
  11. 箭頭夾角

問題

生圖模型很會畫「一個人」,但它沒見過小晴。

三種教法

只改字典一頁(textual inversion)、整個模型都轉(DreamBooth)、外掛細長條(LoRA)。大頭照要最像、又不用存模型,選 DreamBooth。

別練過頭

罕見代號 [V],加上「順便複習一般人」的 prior preservation loss。

出貨前檢查

50 句 prompt 各畫一張,人臉相似度不夠就換一片霧重畫,上傳後寄 email。

取一個罕見的代號,練 15 分鐘,畫 50 張,挑像的寄出去。然後呢?然後就結束了。

本章名詞小卡課後複習用 · 每個名詞一句白話

今天出現的名詞,一句話講完

T2I model看一句描述畫一張圖的模型
prompt給模型的那句描述
diffusion model從雜訊一步步擦出一張圖
參數 parameter模型裡的旋鈕
pretrained model別人先用大量資料練好的模型
fine-tuning從練好的旋鈕開始,用少量資料再轉一點
personalization讓模型多認識一個主角
U-Net先一層層縮小、再一層層放大的架構
timestep加雜訊、擦雜訊的第幾步
CFG讓每一步更聽描述的話

給工程師的重點出處與標籤

本章引用的來源

原書

Generative AI System Design Interview · Personalized Headshot Generation 章。Introduction 與 Figure 1(第 4 頁,真人照片改用卡通重繪結構)、Clarifying Requirements(5)、Input/Output 與 Figure 2(7)、tuning-based vs tuning-free 與 Figure 3–4(10)、Textual inversion 與 Figure 5–6(13)、DreamBooth 與 Figure 7(15)、rare-token identifier(16)、prior preservation 與 DreamBooth 優缺點(20)、LoRA 數學與 Figure 8–9(22)、LoRA for T2I、Figure 10 與優缺點(23)、Table 1 與選擇 DreamBooth(24)、Data Preparation 與 Figure 11(26)、Architecture、Training、Training data(27)、loss 與 Figure 12(29)、Sampling 與 Figure 13(30)、offline 評估與 Figure 14(33)、DINO、DINO vs CLIP、facial similarity 與 Figure 15(34)、online 評估(35)、Overall design(37)、data pipeline 與 Figure 16(38)、training/inference pipeline 與 Figure 17–18(39)、Other Talking Points(43)、心智圖(46)。19 張圖都依圖說與描述重繪,不是原圖;alt 與內文不一致處(Figure 5、7、9、18、心智圖)依內文並在圖說註明

本簡報加的頁面:階梯(3)、11 個延伸基礎(6、8、9、12、14、18、19、21、28、31、32)、小結(11、17、25、36)、客座(40–42)、2026 補充(44、45)、名詞小卡(48)。小晴、她的照片與所有分數、頻率、秒數是示意;10–20 張、50 張、1024×1024、15 分鐘、一小時、幾 GB/幾 MB 出自原書

🎓 李宏毅課堂(逐字稿)

  • 導論 2025 第 1 講(TigfpYPJk1s)— diffusion 是另一種生成策略
  • 導論 2025 第 3 講(8iFvM7WUUs8)— token embedding、同樣的 token、相近的 embedding、cosine similarity
  • 導論 2025 第 5 講(Taj1eHmZyWw)— 參數、overfitting、範圍不能太小也不能太大
  • 導論 2025 第 8 講(EnWz5XuOnIQ)— Foundation/Fine-Tuned Model、catastrophic forgetting、LoRA、learns less and forgets less
  • 導論 2025 第 9 講(ccqCDD9LqCA)— SD3 是 flow matching
  • 生成式AI時代下的機器學習 2025 第六講(Z6b5-77EfGk)— experience replay、LoRA 的 rank

來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)

🗣️ Triton(materials/core)

  • 027-RESTful API Design-tw-2.1.pdf.md — 202 Accepted、沒事別亂用
  • 020-MQ解法.md — 換有 callback 的供應商、outstanding_tasks table、不用 Redis
  • 078-mq-intro.pdf.md — Message 一定要跑完一次、先存 HDD 再回應
  • 130-喵談 io streaming.md — 固定的小 buffer、只用一次就 streaming

套用到本章的部分都標 🔭,不是 Triton 對 AI 大頭照的看法。

← → 翻頁 · S 講者備註 · D 深/淺色
1 / 1目錄