GenAI System Design · 第 11 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(只有 infra)
Text-to-Video Generation
影片其實就是一疊翻頁圖而已
你打一句「一隻狗在晴天的公園裡玩接飛盤」,大約七分鐘後(原書的估算),出來一段五秒的影片。難的不是畫一張圖,是要畫 120 張,而且每一張都要跟前後接得上。
今天的路線
一邊爬 13 階基礎(第 3 頁的地圖),一邊拆原書:影片有多大 → 怎麼變小 → 怎麼讓前後接得上 → 怎麼訓練、怎麼打分數 → 整個系統。最後是 2026 補充和 Triton 客座講評。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論
頁首標 延伸基礎 的頁是補基礎,只用高中數學,懂的人可以跳過。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。
先講跟你有關的動手玩
小時候課本角落畫的翻頁動畫,就是影片
你可能會想說,生影片不就是生很多張圖嗎?差不多。但你按左邊畫面下的「每張各畫各的」試試看。
每一張單獨看都沒問題:有狗、有草地、有飛盤。可是一翻起來,狗一下棕一下黑、飛盤忽有忽無。這就是原書一直在講的 temporal consistency(前後接得上)。
今天整堂課只回答兩個問題:120 張圖怎麼算得完?(變小)120 張圖怎麼接得上?(前後對照)
📖 原書 Figure 1 OpenAI Sora 生成的影片截圖:夜晚霓虹燈下,一位穿黑色皮衣、酒紅長裙的女子走在雨後的東京街頭。上方寫著 prompt「A stylish woman walks down a Tokyo street filled with warm glowing neon a...」。這是產品的影片截圖,不重繪,只描述內容。
學習地圖本章的概念階梯
今天爬 13 階。每一階,只用前面講過的東西。
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
第 1–3 階 · 影片有多大
要回答:生一段五秒影片,為什麼要七分鐘?
第 4–6 階 · 怎麼生、怎麼變小
要回答:怎麼把資料量縮小 512 倍,還聽得懂文字?
第 7–10 階 · 前後接得上
要回答:第 2 張的狗,怎麼知道第 1 張的狗長什麼樣?
第 11–13 階 · 訓練、加速、打分數
要回答:怎麼教、怎麼更快、怎麼知道好不好?
全程只用一個例子:一句 prompt → 一段五秒小影片
A dog playing fetch in a park on a sunny day.(原書的例句:一隻狗在晴天的公園裡玩接飛盤)
五秒、每秒 24 張、720p。數字都小到可以心算:5 × 24 = 120 張。每爬 3–4 階,有一頁「到這裡你已經會了」。
原書Clarifying Requirements
原書的題目:輸入一句話,輸出一段五秒影片
這一步要解決的問題「做一個文字生影片系統」太模糊。多長、多清楚、多快、用什麼資料?先問清楚。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 影片要多長? | 五秒 |
| 解析度? | 高畫質,適合現代各種平台和裝置:720p |
| 每秒 24 張(24 FPS)可以嗎? | 可以 |
| 生一段要多久? | 運算很貴。一開始幾分鐘可以接受,之後再優化 |
| 要專注某一類影片嗎? | 不用,各種類型和主題都要能生 |
| 輸入要支援多語言嗎? | 先從英文開始 |
| 要有聲音嗎? | 先做無聲影片。聲音是之後的加強項目 |
| 訓練資料多大? | 約 1 億支有字幕的影片;有些字幕有雜訊或不是英文 |
| 常見做法是把預訓練的文字生圖模型擴充成影片。我們有嗎? | 有,可以這樣假設 |
| 運算預算? | 超過 6000 張 H100 GPU 可以拿來訓練 |
| 要有安全機制,擋掉冒犯或有害的影片嗎? | 很好的問題。要,系統必須對使用者安全 |
整理成需求清單
- 輸出:5 秒 × 24 FPS = 120 張,每張 1280×720,無聲
- 速度:幾分鐘可以接受(離線工作,不是即時聊天)
- 資料:1 億組(影片, 字幕),字幕要整理
- 起點:已經有文字生圖模型,不用從零開始
- 資源:6000+ 張 H100(H100 是 NVIDIA 的高階 AI 運算卡)
- 安全:輸入和輸出都要把關
你想想看,「幾分鐘可以接受」這句話很關鍵。使用者按下送出,網頁要開著等七分鐘嗎?這個問題第 46 頁的 Triton 客座講評會回來找我們。
延伸基礎第 1 階 · 翻頁圖 · frame懂的人可以跳到第 7 頁
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
影片到底是什麼?一張一張的圖,翻得很快而已
① 先想像
電影院銀幕上的狗在跑。你湊近看,銀幕上其實沒有東西在「動」:只是很多張靜止的照片,一張接一張換。
你猜猜看:狗從左跑到右,相鄰兩張圖差多少?
相鄰兩張幾乎一樣,狗只往右挪一點。右邊拖滑桿,一張一張翻看看。
③ 這叫做 frame
frame(幀、影格):影片裡的每一張圖。影片 = 一疊 frame。
「其實影片就是一連串的圖片……所以你還要考慮第三個維度 也就是時間……在影片裡面的每一張圖片 有一個專有名詞叫做 Frame」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 9 講
④ 跟這章的關係
生圖只要管寬和高;生影片多一個方向:時間。原書說的 temporal(時間上的),就是指這個方向。
② 動手玩:把影片拆開,一張一張翻
延伸基礎第 2 階 · 幀率 · FPS懂的人可以跳到第 7 頁
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
一秒翻幾張?翻太少就卡卡的
① 先想像
課本角落的翻頁動畫,一秒只翻兩三張,看起來一頓一頓的。翻得越快、張數越多,就越順。
你猜猜看:原書要 5 秒、每秒 24 張,總共幾張?
5 × 24 = 120。不是加起來,是乘起來。右邊拉到 5 秒、24 張驗證。
③ 這叫做 FPS
FPS(frames per second,幀率):一秒有幾張 frame。電影常用 24 FPS。
④ 跟這章的關係
原書的需求:24 FPS、5 秒,也就是 120 張。後面有一招,是先生 12 FPS,再補中間的格(第 34 頁)。
② 動手玩:改幀率,看順不順
原書Frame the Problem as an ML Task · Figure 2
把問題變成 ML 任務:文字進去,五秒 720p 影片出來
這一步要解決的問題輸入、輸出各是什麼?用哪一種生成方法?
📖 原書 Input:描述場景、動作或故事的一段文字。Output:一段五秒、720p(1280×720)的影片,畫面上和時間上都要跟文字相符。
例子:「A dog playing fetch in a park on a sunny day」,影片要拍出狗的動作、公園的環境、晴天的氣氛。原書說這一章是在第 9 章文字生圖的基礎上,補上影片才需要的考量。
📖 原書 選方法:diffusion
文字生影片和文字生圖本質很像:都是從文字生出畫面。生圖常用的 autoregressive(一塊一塊接龍)和 diffusion(一步一步擦掉雜訊,第 11 頁)也都適用於影片。diffusion 在細節和逼真度上表現很強,所以原書選 diffusion。
但有一個關鍵差別
影片要處理、生成的是一連串 frame,不是一張圖,運算量大很多。大多少?下一頁先學會「數零」。
接龍式生圖在 第 8 章 Image Synthesis 簡報;GAN、VAE、diffusion 的比較在 第 7 章 Face Generation 簡報。
延伸基礎第 3 階 · 數量級 · resolution懂的人可以跳到第 9 頁
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
一張圖有多少格?數一數後面有幾個零
① 先想像
把照片放大到看見一格一格的小方塊。每一格只有一個顏色。模型生圖,就是要決定每一格的顏色。格子越多,要決定的事越多。
你猜猜看:720p 一張圖,寬 1280 格、高 720 格,大約幾格?
1280 × 720 = 921,600,大約 92 萬格。再乘 120 張,就是一億一千萬格。
③ 這叫做 pixel 和 resolution
pixel(像素):一格。resolution(解析度):寬幾格 × 高幾格,例如 720p = 1280×720。
④ 跟這章的關係
運算量大約跟「總格數」成正比。下一頁就用這個比例,算出原書的「約七分鐘」。
② 動手玩:換解析度和張數,數零
原書Choosing a suitable ML approach · Figure 3
為什麼要七分鐘?張數 × 每張多大
這一步要解決的問題原書說影片的運算量大很多。到底大多少?
先猜再算:一張 512×512 約 1 秒。120 張、每張是它的 3.6 倍大,大約要多久?
120 × 3.6 × 1 秒 = 432 秒,約 7.2 分鐘。原書寫「約七分鐘」。
📖 原書 算給你看
- 五秒、24 FPS → 模型要生 120 個 frame
- 512×512 的圖,在 H100 這種高階 GPU 上約 1 秒
- 720p 的每一格,像素約是 512×512 的 3.6 倍
- 所以五秒 720p 影片,大約要 七分鐘
為了處理影片的複雜度和運算成本,原書採用很流行的 latent diffusion model(LDM):先由 Stable Diffusion 論文 [3] 帶起來,後來大多數影片模型都用,例如 OpenAI 的 Sora [1] 和 Meta 的 Movie Gen [4]。
latent 是什麼?要先學會「擦雜訊」和「壓縮包」兩階。
到這裡你已經會了小結 1 / 4
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
到這裡你已經會了:影片有多大
- 影片就是一疊圖,每一張叫 frame;比生圖多一個方向:時間。
- 一秒幾張叫 FPS。五秒 × 24 FPS = 120 張。
- 運算量跟「總格數」成正比:120 張 × 每張 92 萬格,所以要約七分鐘。
下一階要解決的問題
格子太多了。能不能先在一個「縮小版」上生影片,最後再放回原尺寸?要先知道 diffusion 是怎麼生圖的。
延伸基礎第 4 階 · 擦雜訊 · diffusion懂的人可以跳到第 13 頁
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
怎麼從無到有生出一張圖?從一片雪花,一步一步擦
① 先想像
洗完澡,浴室的鏡子全霧了。你用手一點一點抹,臉慢慢出現。模型反過來練:先把清楚的圖弄霧,再練習「猜被加了多少霧」。
你猜猜看:從一片雪花開始,怎麼擦比較容易擦對?
每一步只要猜「這一層霧長什麼樣」,比一次猜出整張圖簡單很多。右邊按「擦一步」看看。
③ 這叫做 diffusion model
diffusion model:學會預測被加進去的雜訊(noise),生成時從純雜訊開始,一步一步把雜訊擦掉。
「也許你更常聽到的生成模型叫做Diffusion Model 其實Diffusion Model也可以視為是另外一種生成的策略」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講
④ 跟這章的關係
原書選 diffusion。生影片時,要擦的不是一張圖的霧,是 120 張一起的霧。每擦一步都要算一次,所以很貴。
② 動手玩:加霧、擦霧
現在的畫面
模型要猜的:被加了什麼雪花
延伸基礎第 5 階 · 壓縮包 · latent懂的人可以跳到第 13 頁
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
格子太多?先壓成一個小包,要用時再展開
① 先想像
出國前把羽絨外套塞進真空壓縮袋,體積剩一點點;到了打開,又變回外套,只是有點皺。影片也可以這樣:寬、高、時間都壓小。
你猜猜看:寬、高、張數各縮小 8 倍,資料變小幾倍?
三個方向都縮,要乘起來:8 × 8 × 8 = 512。右邊三個都選 8 看看。
③ 這叫做 latent
latent(潛在表示):壓縮後的小包。負責壓和解壓的模型叫 VAE:encoder 壓、decoder 解。
「Token 就是把圖片做某種程度的壓縮 所以用 Token 來還原圖片的時候 你就是會有一些失真」🎓 李宏毅課堂 導論 2025 · 第 9 講
④ 跟這章的關係
在小包上擦雜訊,就叫 latent diffusion(LDM)。擦完再用 decoder 解回影片。
② 動手玩:選壓縮倍數
原始畫面
壓成小包(latent)
解壓回來
原書Latent diffusion model · Compression network · Figure 4、5
LDM:不在原始像素上擦雜訊,在小包上擦
這一步要解決的問題在 1 億多格上擦雜訊太貴。能不能換一個小很多的空間來擦?
📖 原書 LDM 的核心想法
讓 diffusion model 在較低維度的 latent space 運作,而不是直接在 pixel space(原始像素)上。它學的是把這些 latent 的雜訊擦掉,而不是訓練資料裡原始影片像素的雜訊。
📖 原書 Compression network
- 一個神經網路,把影片像素對應到 latent space:輸入原始影片,輸出壓縮的 latent
- 同時減少張數(temporal dimension,時間方向)和解析度(spatial dimensions,空間方向)
- 通常用 VAE(Variational Autoencoder)[5],和 diffusion model 分開訓練
- visual encoder 把影片轉成 latent;visual decoder 從 latent 重建原本的 frame
延伸基礎第 6 階 · 文字變箭頭 · embedding懂的人可以跳到第 15 頁
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
擦雜訊時,模型怎麼「聽得懂」那句話?先把文字變成一組數字
① 先想像
幫每句話打兩個分數:「跟狗多有關」和「跟室內多有關」。字不一樣的句子,分數可能很像。
你猜猜看:「小狗在草地上叼飛盤」和我們的 prompt,分數像不像?
兩句都很「狗」、也都不在室內,箭頭方向幾乎一樣。右邊點它看看夾角。
③ 這叫做 embedding
embedding:代表意思的一組數字,可以畫成一支箭頭。把文字變成 embedding 的模型叫 text encoder。
「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 導論 2025 · 第 3 講
④ 跟這章的關係
每擦一步,模型都會看這組數字,決定往「狗接飛盤」的方向擦。評估時也用箭頭夾角,量影片和文字合不合(第 40 頁)。
② 動手玩:點一句話,看它的箭頭
原書How does LDM address computational complexity? · Figure 6、7
壓完小 512 倍;生成時從一包雜訊開始擦,最後解壓
這一步要解決的問題LDM 到底省了多少?訓練好之後,又怎麼用它生影片?
📖 原書 算一次
- 24 FPS、5 秒、720p → 120 張 × 1280×720 = 110,592,000
- 用類似 Movie Gen [4] 的壓縮網路,時間和空間各縮 8 倍 → 15 張 × 160×90 = 216,000
- 小了 512 倍,LDM 訓練效率也提升 512 倍:生成更快、資源更省,對高解析度影片特別重要
📖 原書 訓練好以後怎麼生
在 latent space 從純雜訊開始;LDM 一步一步把它變成去雜訊後的 latent(每一步都參考 text encoder 給的文字 embedding);最後 visual decoder 轉回 pixel space,就是影片。原書因為 LDM 有效率、運算負擔小而選它;想深入可看 [6]。
到這裡你已經會了小結 2 / 4
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
到這裡你已經會了:原書的 LDM 怎麼省下 512 倍
- Diffusion:先學會猜「被加了什麼雜訊」,生成時從純雜訊一步一步擦。
- Latent:用 VAE 把影片的寬、高、張數各壓 8 倍,資料小 512 倍;擦完再解壓。
- Embedding:text encoder 把 prompt 變成一組數字,每擦一步都看它。
下一階要解決的問題
模型有了,教材呢?1 億支影片要先整理好。再來才是最難的:怎麼讓模型學會「前後接得上」。
原書Data Preparation · Video preparation
1 億支影片,先篩、再統一規格
這一步要解決的問題網路上的影片長短不一、品質不一、還有不該學的內容。模型學到什麼,就會生出什麼。
📖 原書 ① 篩掉不當影片
- 低品質或太短:照 Movie Gen [4],移除低解析度、太短、慢動作、有壓縮失真(compression artifacts,畫面上的方塊、色塊)的影片
- 重複(deduplication,去重):用 [7] 這類方法去掉一模一樣的影片,資料才多樣,模型不會特別常看到某幾支
- 有害:用 harm-detection(有害內容偵測)模型找出含明確不當內容的影片並移除。這步很關鍵,模型才不會生出有害影片
📖 原書 ② 統一規格(standardize)
- 長度:長影片切成五秒的片段,讓訓練資料長度一樣
- 幀率:幀率較高的影片重新編碼成 24 FPS
- 尺寸:縮放、裁切成標準大小,例如 1280×720
③ 第三步「預先算好 latent」在下一頁。
你猜猜看:一支 60 秒、30 FPS 的影片,統一規格後變成幾段、每段幾張?
切成五秒一段:60 ÷ 5 = 12 段。重新編碼成 24 FPS:每段 5 × 24 = 120 張。
「他們花比較多力氣的 反而是在於 Filtering……總之需要做非常大量的 Filtering 選出品質比較好的影片 才能夠訓練比較好的 文字生影片的模型」🎓 李宏毅課堂 導論 2025 · 第 9 講(講 OpenSora 用的公開影片資料)
原書Precompute video representations in the latent space · Figure 8
每次訓練都重新壓一次?不如先壓好存起來
這一步要解決的問題LDM 只吃 latent。每訓練一次都要先抽 frame、再壓縮,很慢。
📖 原書 原本每一輪訓練都要
- 從訓練影片抽出 frame
- 丟進預訓練的壓縮網路,得到 latent
- 用 latent 繼續訓練 diffusion model
每訓練一個新模型,都要替幾百萬支影片重做一次,即時計算又吃資源又花時間。所以原書預先算好所有影片的 latent,快取(cache)在儲存空間,訓練時直接讀。
📖 原書 Back-of-the-envelope:要多少空間?
| 原始影片 | latent(÷512) | |
|---|---|---|
| 每支(1,000 張) | 約 1,000 MB | 約 2 MB |
| 全部 | — | — |
先猜:200 TB 大概要幾顆 20 TB 的硬碟?
200 ÷ 20 = 10 顆。原書說以現代儲存能力來看相對可控,比起訓練省下的時間很划算。
原書Caption preparation · Figure 9
字幕也要整理:沒有的補、太短的重寫、先算好 embedding
這一步要解決的問題有些字幕缺了、不是英文、或跟影片不太相關。模型要靠字幕學「這句話對應什麼畫面」。
📖 原書 三個步驟
- 補字幕:沒有字幕或不是英文的,用 LLaMa3-Video [8] 或 LLaVA [9] 這類看得懂影片的模型,自動生成描述
- Re-captioning(重新寫字幕):用預訓練的影片描述模型,把原本的字幕改寫得更長、更詳細。Sora 團隊 [1] 說明這一步對畫質和文字對齊很重要
- 預先算好 caption embedding:訓練時需要字幕的 embedding 當條件(第 14 頁的文字變箭頭),先用 text encoder 算好存起來,加速訓練
動手玩:我們那支小影片的字幕
每一列:同一個 ID 的 video latent(一個小方塊)配上它的 caption embedding(一排直條,字幕越長條數越多)。
延伸基礎第 7 階 · 小放大鏡 · convolution懂的人可以跳到第 21 頁
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
只看一張照片,看得出狗往哪邊跑嗎?
① 先想像
拿一個小放大鏡在照片上一格一格掃:「這裡有棕色的毛」。可是一張照片是靜止的,狗是往左還是往右?放大鏡疊在連拍三張上,才看得出來。
你猜猜看:只看中間那一張,判斷得出狗在往右跑嗎?
一張照片裡,往左跑和往右跑的狗可能長得一模一樣。要看前後張的位置差多少。右邊切到 3D 試試。
③ 這叫做 convolution
convolution(卷積):用小放大鏡掃過資料。只掃一張是 2D;連前後張一起掃是 3D,就是原書的 temporal convolution。
「比如說鳥嘴 你其實只需要看這麼小的範圍 就知道它是鳥嘴了」🎓 李宏毅課堂 導論 2025 · 第 6 講
④ 跟這章的關係
原書的 U-Net 本來只有 2D 放大鏡。要做影片,就插進「跨時間」的放大鏡。
② 動手玩:移動放大鏡
原書Architecture · U-Net for videos · Figure 10、11
U-Net:本來只看一張,插進兩種「跨時間」的層
這一步要解決的問題生圖用的 U-Net 只抓同一張圖裡像素的關係。影片要的是張與張之間接得上。
📖 原書 先回顧第 9 章的 U-Net
一串 downsampling block(越縮越小,抓大範圍)接一串 upsampling block(再放大回原尺寸),排成 U 字形。每個 downsampling block 有 2D convolution(處理、更新影像特徵)和 cross-attention(去看文字 prompt,用它更新特徵)。
📖 原書 問題與解法
這些層都在單一 frame 內做空間上的運算,不跨 frame。可是影片要動作順、前後連續,temporal consistency 很關鍵。所以修改 U-Net,注入兩種常用的時間層:
- Temporal attention(第 22 頁)
- Temporal convolution(上一頁的 3D 放大鏡)
延伸基礎第 8 階 · 前後對照 · temporal attention懂的人可以跳到第 23 頁
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
拍連續劇怎麼不穿幫?有人專門翻前後幾場對照
① 先想像
劇組有一個「場記」:上一場主角戴帽子、左手拿杯子,這一場就不能沒帽子。她會翻前後幾場的紀錄來對照。
你猜猜看:第 2 張裡的狗,要跟哪裡對照才不會穿幫?
只看自己,顏色和樣子可以亂畫。要跟其他張的同一隻狗對照,才會一致。右邊按「打開前後對照」。
③ 這叫做 temporal attention
attention:決定要參考哪些地方、參考多重。跨 frame 做,就是 temporal attention。
「所以 attention 第一件做的事情 是找出輸入的 token 裡面 哪些 token 會影響現在我們要考慮的 『果』這個 token 的意思」🎓 李宏毅課堂 導論 2025 · 第 3 講(例句:兩顆青蘋果)
④ 跟這章的關係
原書 Figure 12:第 2 張的某個特徵,去看其他 frame 的特徵來更新自己。
② 動手玩:第 2 張的狗去看其他張
原書Temporal attention · Temporal convolution · Figure 12、13
兩種時間層:一個「去看別張」,一個「疊著一起掃」
這一步要解決的問題讓 U-Net 學會動作,生出前後一致的一串 frame。
📖 原書 Temporal attention
把 attention 用在 frame 和 frame 之間:每個特徵都去參考其他 frame 裡相關的特徵來更新。Figure 12 畫的是第 2 張的某個特徵,參考其他張的特徵。
📖 原書 Temporal convolution
把 convolution 用在一段 3D 的資料上(寬 × 高 × 時間),抓住時間方向的變化。Figure 13 比較 2D 和 3D 的卷積核(kernel,就是那個小放大鏡)。
📖 原書 總結:在每個 downsampling 和 upsampling block 裡交錯放 temporal convolution 和 temporal attention,U-Net 就能建模動作、生出時間上一致的 frame。怎麼交錯可參考 Lumiere [10]。
延伸基礎第 9 階 · 切方塊 · patch懂的人可以跳到第 25 頁
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
Transformer 只吃「一排字卡」。影片怎麼變成一排?切方塊
① 先想像
一塊千層蛋糕,直著切、橫著切、再一層一層分開。每一小塊裡面,有一小片面積,也有好幾層。把小塊排成一排,就能一塊一塊送進去。
你猜猜看:一張圖切成 3×3 = 9 塊。兩張疊起來一起切,幾塊?
每張 9 塊,兩張就是 9 × 2 = 18 塊,正好是原書 Figure 15 的數字。
③ 這叫做 patch
patch:切出來的一小塊。影片的 patch 有寬、有高、還有時間,又叫 spacetime patch。切塊這一步叫 patchify。
「每一個 Token 不只是代表 這個一個圖片裡面的一個小區域 它還會代表一個時間的範圍……比如說代表兩個 Frame」🎓 李宏毅課堂 導論 2025 · 第 9 講
④ 跟這章的關係
原書選的 DiT 架構,第一步就是 patchify。塊越小,排出來越長,Transformer 越貴。
② 動手玩:切我們那包 latent(15 張 × 160×90)
原書DiT for videos · Patchify · Figure 14、15
DiT:把 diffusion 的主體換成 Transformer
這一步要解決的問題U-Net 主要靠 convolution。另一條路:用 Transformer 來預測雜訊,影片要怎麼餵進去?
📖 原書 DiT 的四個元件
和主要基於 convolution 的 U-Net 不同,DiT(Diffusion Transformer)主要靠 Transformer:Patchify → Positional encoding → Transformer → Unpatchify。
📖 原書 Patchify
- 把輸入切成固定大小的小塊(patch)
- 每一塊攤平(flatten)成一串數字
- 用 projection layer(投影層)轉成 patch embedding,讓長度對上 Transformer 的 hidden size(它內部每個向量的長度)
影像和影片的做法很像:影像切成 2D patch,影片切成 3D patch。
延伸基礎第 10 階 · 座位號碼 · positional encoding懂的人可以跳到第 27 頁
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
方塊排成一排後,誰原本在哪裡?發座位號碼
① 先想像
一盒拼圖倒在桌上,背面沒有編號,你只能用猜的。電影票就不會:「3 廳 F 排 7 號」,三個數字就知道你坐哪。
你猜猜看:把方塊的順序打亂再丟給 Transformer,它分得出來嗎?
Transformer 天生不管順序,打亂了算出來一樣。所以要幫每塊貼上位置。右邊按「打亂」看看。
③ 這叫做 positional encoding
positional encoding:幫每塊加上「我在哪裡」的資訊。可以是一個流水號(1D),也可以是(第幾張, 第幾列, 第幾行)三個數字(3D)。
「因為原來的 Transformer 它是沒有辦法考慮輸入 Token 的順序的」🎓 李宏毅課堂 如何讓 Transformer 知道輸入 Token 的順序?Absolute、Relative、RoPE
④ 跟這章的關係
原書:DiT 的第二個元件就是它。原書跟著 OpenSora 用 RoPE。
② 動手玩:兩張 frame、每張 3 塊,打亂再排回去
原書Positional encoding · Figure 16、17
位置編碼:一個號碼,還是三個座標?
這一步要解決的問題Transformer 要知道每一塊在原本的影片裡是哪裡、哪個時間。
📖 原書 做什麼
替原本序列裡的每個位置產生一個 embedding,告訴 Transformer 每一塊在原始輸入的哪裡。
📖 原書 兩個選擇
- 固定還是學出來:有的方法訓練時用固定的位置編碼,有的讓位置編碼可以學(第 2 章講過)
- 怎麼編號:每塊一個數字,表示在序列裡的第幾個;或用 3D 座標(影像是 2D),表示在空間和時間裡的哪裡
📖 原書 位置編碼沒有唯一最好的方法,通常要做實驗找出最適合資料和任務的。本章跟著 OpenSora [11] 用 RoPE [12]。更多影片模型的位置編碼見 [4]。
原書Transformer · Unpatchify · Figure 18、19
Transformer 預測每一塊的雜訊,Unpatchify 再拼回原形
這一步要解決的問題一排方塊進了 Transformer,出來的是什麼?怎麼變回影片的形狀?
📖 原書 Transformer
處理 embedding 序列,加上文字 prompt 這類條件訊號(conditioning signal),預測每一塊的雜訊。條件訊號先經過 encoder,再用 cross-attention 讓每一塊去看文字。
📖 原書 Unpatchify
把預測出的雜訊向量轉回原本的輸入尺寸:LayerNorm 做正規化(把數值拉回穩定的範圍)、linear layer 調整向量長度、reshape(重新排列形狀)組成最後的輸出。影像是一張平面,影片是一個長方體。
所以 DiT 其實就是:切方塊 → 貼號碼 → 每塊互相看、也看文字,猜自己身上的雪花 → 拼回去。然後呢?然後就結束了。
到這裡你已經會了小結 3 / 4
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
到這裡你已經會了:怎麼讓前後接得上
- 小放大鏡(convolution)疊在連續幾張上掃,就看得出動作:temporal convolution。
- 前後對照(temporal attention):每一張的特徵去參考其他張,才不會穿幫。
- 切方塊(patch)+座位號碼(positional encoding):影片變成一排帶著位置的方塊,就能交給 Transformer,也就是 DiT。
下一階要解決的問題
U-Net 和 DiT 兩條路,原書選哪一條?選好了,要怎麼訓練、怎麼算得更快?
原書U-Net vs. DiT
兩條路都有效,原書跟著 Sora 選 DiT
這一步要解決的問題U-Net 和 DiT 都被證實可以做文字生影片。選哪一個?
U-Net
- 主要基於 convolution,靠插入時間層處理影片
- 歷史比較久,經過大量測試
- 代表:Stability AI 的 Stable Video Diffusion [13]、Meta 的 Emu Video [14]
DiT 原書選這個
- 主要基於 Transformer,影片直接切成 3D patch
- 比較新,潛力大、結果更好
- Transformer 可擴展:資料和算力越多,表現越好
- 架構有彈性,容易延伸到影片和其他輸入形式(modality)
- 代表:Meta 的 Movie Gen、OpenAI 的 Sora
先猜猜看:需求裡哪一句,最支持「選 DiT」?
DiT 的優勢是「資料和算力越多越強」。原書這題的資源正好很多,所以押寶在可擴展的那一邊。
延伸基礎第 11 階 · 差多少 · MSE loss懂的人可以跳到第 32 頁
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
模型猜的雪花準不準?每一格算差多少
① 先想像
猜體重遊戲:猜 52、實際 50,差 2。四個人各猜一次,把「差多少」平方再平均,就知道誰比較會猜。為什麼要平方?因為差 +2 和 −2 不能互相抵消。
你猜猜看:四格分別差 +2、−2、0、0,「差距平方的平均」是多少?
平方:4、4、0、0,加起來 8,除以 4 = 2。如果直接平均差距,+2 和 −2 抵消,會誤以為全對。
③ 這叫做 MSE loss
loss:猜得多不準,越小越好。差距平方再平均,叫 MSE(mean squared error)。
④ 跟這章的關係
原書的訓練目標:比較「模型猜的雜訊」和「真的加進去的雜訊」,算 MSE,讓它越小越好。
② 動手玩:你來當模型,猜四格雜訊
原書Training · ML objective and loss function
訓練一輪就三步:加雜訊 → 猜雜訊 → 算差多少
這一步要解決的問題原書說訓練影片 diffusion 和訓練圖片 diffusion 非常像。一輪訓練具體做什麼?
動手玩:跑一輪訓練
① 原始影片(latent)
加了雜訊
② 模型猜的雜訊
📖 原書 一輪訓練的三步
- Noise addition:隨機抽一個 timestep(第幾步),決定雜訊加多少,用它對輸入影片加雜訊(模擬 forward process,也就是「弄霧」的過程)
- Noise prediction:DiT 收到加了雜訊的影片,依照文字 prompt 和抽到的 timestep 這些條件,預測被加了什麼雜訊
- Loss calculation:比較預測的雜訊和真正的雜訊
詳細回顧見第 9 章。
📖 原書 ML objective 與 loss
主要的 loss 是 reconstruction loss,用 MSE 算預測雜訊和真實雜訊的差距。目標是讓它最小,影片就重建得準。研究者也試過加其他 loss 來提升效果,見 Movie Gen [4]。
原書Challenges · Lack of large-scale video–text data · Figure 20
挑戰一:影片配字幕的資料太少了,怎麼辦?拿圖片來湊
這一步要解決的問題大模型要大量資料。圖片配文字的資料很多,影片配文字的卻很稀少。
策略 1:圖片和影片一起訓練
📖 原書 把每張圖片當成只有一個 frame 的影片,模型就能同時用圖片-文字和影片-文字資料訓練。
策略 2:先用圖片預訓練
📖 原書 先在圖片-文字配對上預訓練,打好視覺基礎;再在影片-文字配對上 finetune(微調)來生影片。
📖 原書 兩種都能用上數億組圖片-文字資料。為了簡單,原書選策略 1:只要一個訓練階段。但兩種實務上都有效。
你猜猜看:把一張狗的照片當成影片,它的 FPS 和張數是?
原書的說法是 single-frame video:只有一張,時間方向的長度是 1。模型從它學「畫面長怎樣」,從真影片學「怎麼動」。
延伸基礎第 12 階 · 補格放大 · super-resolution懂的人可以跳到第 35 頁
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
先畫小張、畫少張,再放大、再補中間的格
① 先想像
日本動畫公司的分工:「原畫師」只畫關鍵的幾張,「中割」的人在兩張之間補上過渡的畫面。先把動作的骨架定好,再補細節,省很多力氣。
你猜猜看:12 FPS 要補成 24 FPS,每兩張之間要補幾張?
張數要變 2 倍,每兩張之間插 1 張就夠了。原書的例子:60 張補成 120 張。
③ 這叫做 super-resolution
spatial super-resolution:把每張放大、補細節。temporal super-resolution:在兩張之間補格(interpolation,插值)。
「它要產生比較高品質的 Video 但是先從低品質的 Video 升起 先產生 Frame 數比較少……比較模糊的 Video 再從模糊的 Video 逐漸產生清晰的 Video」🎓 李宏毅課堂 導論 2025 · 第 9 講
④ 跟這章的關係
原書:DiT 只負責生「小張、少張」的版本,再交給兩個另外訓練的模型放大和補格。
② 動手玩:兩種放大
原書Challenges · Computational cost of high-resolution video generation
挑戰二:高解析度太貴了。原書列了六招
這一步要解決的問題影片通常有幾百張 frame,又要 720p、1080p。怎麼讓訓練便宜一點?
① 用 LDM
不在 pixel space 訓練 DiT,先用壓縮網路轉到低維度的 latent space(第 15 頁:小 512 倍)。
砍格數
② 預先算好 latent
訓練前把 latent 算好存起來,避免訓練中重複計算(第 18 頁)。
省重算
③ Spatial super-resolution
照 Google 的 Imagen Video [15],用一個另外訓練的模型提高解析度:DiT 生 720p,再升到 1080p 或 4K。
砍格數
④ Temporal super-resolution
同樣照 [15],在 frame 之間插值提高幀率:要 5 秒 24 FPS(120 張),DiT 只生 12 FPS(60 張),再補到 24 FPS。
砍張數
⑤ 更有效率的架構
用有效率的 attention 實作 [16] 降低訓練運算;也可以用 Mixture of Experts(MoE,每次只叫一部分「專家」子網路出來算)[17] 加速。
算得巧
⑥ 分散式訓練
用 tensor parallelism(把一個模型切開放到很多張 GPU)等技術,把模型、資料或兩者分到多個裝置。高解析度的記憶體和運算需求特別大,特別有用(見第 1 章)。
多人分工
原書Figure 21 · Efficient text-to-video pipeline
串起來:latent → 解壓成小影片 → 放大 → 補格
這一步要解決的問題把「小 512 倍」和兩種 super-resolution 接成一條生產線,最後還是 1280×720×120。
① Visual decoder
latent 40×23×8 解壓成小影片。
② 小影片
Generated video 320×180×60:寬高是最終的 1/4,張數是一半。
③ Spatial SR
每張從 320×180 放大到 1280×720(寬高各 4 倍)。
④ Temporal SR
60 張補成 120 張:Final video 1280×720×120。
先猜:DiT 直接生 320×180×60,比直接生 1280×720×120 少幾倍的格子?
寬 4 倍 × 高 4 倍 × 張數 2 倍 = 32 倍。再加上 latent 本身的壓縮,DiT 要擦的東西就很小了。
原書Sampling · Figure 22
生成(sampling):從一包雜訊開始,擦幾步,就是幾次運算
這一步要解決的問題訓練好了,使用者打一句話進來,模型怎麼生出影片?
📖 原書 Sampling
diffusion 的取樣從隨機雜訊開始,模型反覆去雜訊,直到在 latent space 得到完全去雜訊的影片表示。每一步都參考 text encoder 算出的文字(例:「a dog walking...」)。詳細見第 9 章。
Figure 22 跟第 15 頁的 Figure 7 幾乎一樣,差在它停在 Denoised latent:解壓、放大、補格都是 sampling 之後的事。
你會發現:擦幾步,就要把整包 latent 丟進 DiT 幾次。步數是生成時間的另一個乘數。原書在 other talking points 提到的 progressive distillation(第 44 頁),就是在想辦法減少步數。
延伸基礎第 13 階 · 比兩堆 · FID / FVD懂的人可以跳到第 39 頁
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
沒有標準答案的影片,怎麼打分數?比「整堆」像不像
① 先想像
評審拿到兩堆影片:一堆是真的狗狗影片,一堆是模型生的。不是一支一支對答案,是看「整堆的感覺」:平均起來像不像、變化夠不夠多。
你猜猜看:每一張都很漂亮,但狗一下黑一下白。一張一張打分,會發現嗎?
一張一張看,每張都是漂亮的狗。閃爍只有連起來看才看得到。右邊選「每張漂亮但會閃」。
③ 這叫做 FID 和 FVD
FID:一張一張比兩堆圖像不像,越小越好。FVD:把整段影片一起比,連動作順不順也算進去。
「縱軸是一個叫 FID 的東西……它代表的是圖片生存〔生成〕的品質……總之這個數值越小 代表你的圖片生存〔生成〕是越好的」🎓 李宏毅課堂 導論 2025 · 第 9 講
④ 跟這章的關係
原書:frame quality 用 FID、IS;temporal consistency 用 FVD。
② 動手玩:換一個模型,看兩種分數
原書Evaluation · Offline metrics · Frame quality · Temporal consistency
離線評估:每張好不好?前後順不順?
這一步要解決的問題上線前怎麼知道模型生得好?要一套大家都用的考卷,加上看不同面向的分數。
📖 原書 共同的考卷(benchmark)
VBench [18] 和 Movie Gen Bench [19] 提供精心設計的 prompt 集合,測動作連貫、時間一致、場景複雜度等面向。用它們量模型生出的影片多逼真、多順,重點放在畫質、動作準確度和場景轉換。原書分三個面向:frame quality、temporal consistency、video–text alignment。
📖 原書 ① Frame quality:每一張的品質
各自量每個 frame,用圖片常用的 FID [20] 和 Inception score(IS)[21],再把所有 frame 的分數平均。LPIPS [22]、KID [23] 也可以用。
但它們不管前後順不順:每張都很好、轉場卻不順的影片,逐格分數還是很好,卻沒有視覺上的連貫。
📖 原書 ② Temporal consistency:FVD [24]
- 生成影片:用要評估的模型生一大批影片,準備一批真實影片
- 抽特徵:每支影片丟進預訓練的 I3D [25],取某一層的特徵。I3D 把 Inception v3 [26] 延伸到連續資料,是為動作辨識訓練的
- 算平均和 covariance(各方向分散的程度),兩批各算
- 算 Fréchet distance:兩個分布有多接近
FVD 越低越好:分布越像,影片越逼真、越連貫。
原書Video–text alignment · Human evaluation · Online metrics
影片有沒有照著文字演?逐格量箭頭夾角,再合成一個分數
這一步要解決的問題畫面好、動作順,但 prompt 說「接飛盤」,影片裡卻只有狗在睡覺,也不行。
📖 原書 CLIP similarity 的三步
- 逐格抽特徵:每個 frame 丟進預訓練的 CLIP image encoder,文字丟進 text encoder
- 算相似度:每個 frame 的特徵和文字特徵算 cosine similarity(箭頭夾角,第 14 頁)
- 合成一個分數:可以取平均、取最大值或其他統計方法
📖 原書 Human evaluation
自動指標之外,人的主觀評估仍然很重要。用兩個模型對同一批測試 prompt 各生影片,成對給評審看,依文字對齊、畫質、時間一致選比較好的那支,就知道哪個模型比較強。
「或兩個模型各自有一個輸出 怎麼知道誰比較好 找一堆人來評斷」🎓 李宏毅課堂 導論 2025 · 第 4 講
📖 原書 Online metrics
和文字生圖類似:click-through rate(點擊率)、time spent on the page(停留時間)、user feedback(使用者回饋)、conversion rate(轉換率,例如付費)。用來看上線後的參與度、滿意度和整體表現。
到這裡你已經會了小結 4 / 4
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
到這裡你已經會了:怎麼訓練、怎麼加速、怎麼打分數
- 訓練:加雜訊 → 猜雜訊 → 用 MSE 算差多少。資料不夠就把圖片當成一張的影片。
- 加速:先生小張少張,再用 spatial / temporal super-resolution 放大、補格。
- 打分數:FID 看每張、FVD 看整段、CLIP similarity 看有沒有照文字演,最後還是要找人來比。
下一步
13 階全部爬完了。最後把資料、訓練、推論三條流程接成一個系統,再看 2026 年的變化和 Triton 的 infra 講評。
原書Overall ML System Design · Data pipeline · Training pipeline · Figure 23
整個系統:資料流程、訓練流程、推論流程
這一步要解決的問題把前面每一步接起來。先看離線的兩條:資料怎麼準備、模型怎麼訓練。
📖 原書 Data pipeline
篩掉不適合的圖片和影片、統一規格、預先算好 latent 存起來;字幕則 re-captioning,再用預訓練的 text encoder 算好 caption embedding 存起來。注意 Figure 23 有圖片那條路:這就是第 33 頁「圖片當成一張的影片」的資料來源。
📖 原書 Training pipeline
用資料流程準備好的訓練資料訓練模型(第 32 頁的三步)。
下一頁:Inference pipeline
即時處理使用者的請求,從文字 prompt 生影片。它有幾個確保品質和安全的關鍵元件。
原書Inference pipeline · Figure 24
推論流程:兩道安全檢查,中間是 LDM、解壓、放大、補格
這一步要解決的問題使用者打一句話進來,從檢查 prompt 到交出影片,要經過哪些元件?
📖 原書 和第 9 章相同的元件
多數元件和文字生圖一樣:Prompt safety service(擋掉不當的 prompt)、Prompt enhancement(把 prompt 改寫得更詳細)、Video generator(text encoder + LDM)、Harm detection(檢查生出來的影片),以及 spatial super-resolution。
📖 原書 影片才有的兩個元件
- Visual decoder:LDM 的輸出在 latent space,不是 pixel space;visual decoder 用壓縮網路把它轉回像素
- Temporal super-resolution:在生成的 frame 之間插值,讓動作更流暢
原書Other Talking Points
面試還有時間的話,可以聊這些
生成的彈性
- 支援不同長度、解析度、長寬比的取樣 [1]
- 控制動作的多寡和種類(鏡頭在動 vs 物體在動)[27]
- ControlNet(用草圖、姿勢等額外條件控制生成)用在影片 [32]
- 把模型個人化到特定主角 [31]
下游應用
- 延伸到 inpainting(補畫面中缺的部分)、outpainting(往畫面外延伸)、影片風格轉換、frame interpolation、super-resolution、圖片變影片(image-to-video)[10]
省算力
- 用 progressive distillation(漸進蒸餾:讓學生模型用更少步數學會老師的結果)降低運算需求 [28]
- Stable Cascade 方法的細節 [33]
零件細節
- spatial 和 temporal super-resolution 模型的細節 [15]
- re-captioning 模型的細節 [9][8]
- visual compression network 的細節 [13]
雜訊怎麼加
- 不同的 noise scheduler(每一步加多少雜訊的時間表)[29]
- noise conditioning augmentation(給後段的放大模型故意加點雜訊,讓它更耐用)[30]
十二個討論點全部照原書,括號是一句白話。其中「不同長度」「更少步數」「圖片變影片」三個,正是下一頁 2026 補充的方向。
📅 2026 補充方法怎麼演進
從「五秒無聲」到「有聲音、更長、更快」
影片開始有聲音了
原書的需求是先做無聲影片。2025 年起,Google 的 Veo 3、OpenAI 的 Sora 2 都能直接生出同步的聲音(對白、音效)。原書說「聲音是之後的加強項目」,這個「之後」來得很快。
「那像 Sora 呢 它不只是你給它一段文字 根據文字產生影片 你還可以給它一張圖片……而且它產生的影片 都是有聲音的」🎓 李宏毅課堂 導論 2025 · 第 9 講
Diffusion 的近親:flow matching
原書把 Movie Gen 列為採用 latent diffusion 這一類做法的例子;它實際用的是 flow matching:不是「猜雜訊」,而是每一步猜「往哪個方向走」。概念上和第 11 頁很像。
「Meta 出了一個叫做 Movie Gen 的模型 可以生成影像 它用的也是 Flow Matching」「但其實 Flow Matching 跟 Diffusion 其實非常的像 你甚至可以說是一體兩面」🎓 李宏毅課堂 導論 2025 · 第 9 講
更長、更少步、能接著生
一次生的長度從五秒拉到十幾、二十幾秒,再用「接著生下一段」延長;步數靠蒸餾從幾十步壓到幾步(原書 other talking points 的方向)。另一條路是像接龍一樣一段一段往後生,課堂稱為兩條世界線的交會。
不變的是那條公式:時間 ∝ 張數 × 每張格數 × 擦幾步。2026 年的每個新招,都還是在砍這三個因子之一,或是把它們分給更多張卡。
客座講評Triton 怎麼看這套 infra
生一支要七分鐘:HTTP request 開著等嗎?
這一步要解決的問題原書說「幾分鐘可以接受」。但網頁送出之後,誰來等這七分鐘?
「202(Accepted)– 伺服器收到請求,並且確定請求是沒問題的– 不過,這請求需要很多時間來工作,為了避免客戶端白白等待。即使工作還沒完成也好,先回答客戶端:「工作收到了」– 沒事別亂用」🗣️ Triton 本人說 027-RESTful API Design-tw-2.1.pdf.md
「換一家有支持Callback的服務供應商便好。」「建立一個outstanding_tasks的table(不使用redis的原因是怕redis當掉後data loss有工作變成孤兒)」🗣️ Triton 本人說 020-MQ解法.md
🔭 依 Triton 原則推論 Triton 沒有談過影片生成。套到這一章:七分鐘的生成正是「有事」,適合回 202 加一個工作 ID;待辦清單放在不會掉資料的 RDBMS(關聯式資料庫),不只放 Redis(放在記憶體、很快但可能掉資料);做完了用 callback 或推播通知,而不是讓前端一直問。
算一算:讓前端一直問「好了沒」要多少次?
七分鐘照原書第 9 頁的估算;人數和間隔是示意。
客座講評Triton 怎麼看這套 infra(續)
「生影片」是 Message,「好了喔」是 Signal;成品用 stream 送
「所謂的Message – 就是帶著工作內容的的訊息 – 相對上能等一下才完成的工作 – 一定要跑完一次」「Signal – 要高度即時性 – 丟失沒太大差」🗣️ Triton 本人說 078-mq-intro.pdf.md
「即使你看完總共23GB的影片也好,你也只用上了固定的很小塊Memory。」「如果一份data只會用一次的,你應該用streaming的手段來處理。」🗣️ Triton 本人說 130-喵談 io streaming.md
🔭 依 Triton 原則推論
- 「幫我生這支影片」一定要跑完一次:是 Message,放進真正會先寫磁碟的 MQ,GPU worker 做完才 ack
- 「影片好了」的通知漏了也沒差:前端重新連上時 GET 一次狀態就補回來,是 Signal
- 放大成 1080p、4K 的成品很大:寫入儲存和下載都用 stream,不要整支讀進記憶體
原書Summary 心智圖
原書這一章的總結圖
回顧
影片其實就是一疊翻頁圖而已。難的是張數,和接得上。
- 翻頁圖
- 幀率
- 數量級
- 擦雜訊
- 壓縮包
- 文字變箭頭
- 小放大鏡
- 前後對照
- 切方塊
- 座位號碼
- 差多少
- 補格放大
- 比兩堆
問題
五秒 = 120 張 × 92 萬格,直接生要七分鐘,還會一閃一閃。
變小
壓成 latent(小 512 倍)、先生小張少張再放大補格。
接得上
temporal conv、temporal attention;DiT 把時間切進方塊裡。
打分數
FID 看每張、FVD 看整段、CLIP 看有沒有照文字演。
一包雜訊,看著文字一步一步擦,解壓、放大、補格。然後呢?然後就結束了。
本章名詞小卡課後複習用 · 每個名詞一句白話
今天出現的名詞,一句話講完
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Generative AI System Design Interview · Text-to-Video Generation 章。Introduction 與 Figure 1(第 2 頁,影片截圖不重繪)、Clarifying Requirements(4)、Input/Output 與 Figure 2(7)、選方法、運算量與 Figure 3(9)、LDM、compression network 與 Figure 4–5(13)、512 倍與 Figure 6–7(15)、video preparation(17)、precompute 與 Figure 8(18)、caption preparation 與 Figure 9(19)、U-Net 與 Figure 10–11(21)、temporal layers 與 Figure 12–13(23)、DiT、patchify 與 Figure 14–15(25)、positional encoding 與 Figure 16–17(27)、Transformer、unpatchify 與 Figure 18–19(28)、U-Net vs DiT(30)、training 與 loss(32)、資料不足與 Figure 20(33)、運算成本六招(35)與 Figure 21(36)、sampling 與 Figure 22(37)、evaluation(39–40)、data / training pipeline 與 Figure 23(42)、inference pipeline 與 Figure 24(43)、Other Talking Points(44)、章末心智圖(48)。Figure 2–24 與心智圖依原書的圖說與描述重繪,不是原圖。
🎓 李宏毅課堂(逐字稿)
- 導論 2025 · 第 9 講(
ccqCDD9LqCA.md)— 影片是一連串圖片與 Frame、壓縮會失真、影片 token 代表一個時間範圍、OpenSora 與 Filtering、從低品質影片逐漸生成清晰影片、FID、Sora 有聲音、Movie Gen 用 Flow Matching、和 Diffusion 一體兩面、要走幾步是 hyperparameter - 導論 2025 · 第 1 講(
TigfpYPJk1s.md)— Diffusion 是另一種生成策略 - 導論 2025 · 第 3 講(
8iFvM7WUUs8.md)— 相近的 Token Embedding、attention 找出影響「果」的 token - 導論 2025 · 第 4 講(
dWQVY_h0YXU.md)— 找一堆人來評斷 - 導論 2025 · 第 6 講(
mPWvAN4hzzY.md)— 看小範圍就知道是鳥嘴 - 如何讓 Transformer 知道輸入 Token 的順序?(
Ll-wk8x3G_g.md)— Transformer 不考慮順序、相對位置
🗣️ Triton(materials/core)
- 027-RESTful API Design-tw-2.1.pdf.md — 202 Accepted「沒事別亂用」
- 020-MQ解法.md — 先找支援 callback 的、outstanding_tasks table、不用 Redis 存待辦
- 078-mq-intro.pdf.md — Message vs Signal、MQ 先寫磁碟、斷線後 GET 補回
- 130-喵談 io streaming.md — 23GB 影片只用固定的小塊記憶體、只用一次的 data 用 streaming
公式(主文用文字講過)
- frames = 秒數 × FPS;運算 ∝ frames × W × H × steps
- latent:(T/8)(W/8)(H/8),110,592,000 → 216,000(÷512)
- patch 數 = (W/p)(H/p)(T/q)
- L = mean ‖ε − ε̂(z_t, t, c)‖²
- FID / FVD = ‖μ_r − μ_g‖² + Tr(Σ_r + Σ_g − 2(Σ_rΣ_g)^½)
- CLIP score = agg_t cos(f_img(x_t), f_txt(y))
延伸基礎(13 階)與 📅 依據
- 學習地圖(3);小結(10、16、29、41);名詞小卡(50)
- frame(5)、FPS(6)、resolution(8)、diffusion(11)、latent(12)、embedding(14)、convolution(20)、temporal attention(22)、patch(24)、positional encoding(26)、MSE(31)、super-resolution(34)、FID/FVD(38)
- 📅:Veo 3(2025-05)、Sora 2(2025-09)同步生成聲音;Movie Gen 論文使用 flow matching;長度與步數為大致範圍
- Triton 客座卡的應用(46–47)全部是 🔭 推論