GenAI System Design · 第 11 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(只有 infra)

Text-to-Video Generation
影片其實就是一疊翻頁圖而已

你打一句「一隻狗在晴天的公園裡玩接飛盤」,大約七分鐘後(原書的估算),出來一段五秒的影片。難的不是畫一張圖,是要畫 120 張,而且每一張都要跟前後接得上。

今天的路線

一邊爬 13 階基礎(第 3 頁的地圖),一邊拆原書:影片有多大 → 怎麼變小 → 怎麼讓前後接得上 → 怎麼訓練、怎麼打分數 → 整個系統。最後是 2026 補充和 Triton 客座講評。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論

頁首標 延伸基礎 的頁是補基礎,只用高中數學,懂的人可以跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。

先講跟你有關的動手玩

小時候課本角落畫的翻頁動畫,就是影片

你可能會想說,生影片不就是生很多張圖嗎?差不多。但你按左邊畫面下的「每張各畫各的」試試看。

每一張單獨看都沒問題:有狗、有草地、有飛盤。可是一翻起來,狗一下棕一下黑、飛盤忽有忽無。這就是原書一直在講的 temporal consistency(前後接得上)。

今天整堂課只回答兩個問題:120 張圖怎麼算得完?(變小)120 張圖怎麼接得上?(前後對照)

📖 原書 Figure 1 OpenAI Sora 生成的影片截圖:夜晚霓虹燈下,一位穿黑色皮衣、酒紅長裙的女子走在雨後的東京街頭。上方寫著 prompt「A stylish woman walks down a Tokyo street filled with warm glowing neon a...」。這是產品的影片截圖,不重繪,只描述內容。

學習地圖本章的概念階梯

今天爬 13 階。每一階,只用前面講過的東西。

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

第 1–3 階 · 影片有多大

要回答:生一段五秒影片,為什麼要七分鐘?

第 4–6 階 · 怎麼生、怎麼變小

要回答:怎麼把資料量縮小 512 倍,還聽得懂文字?

第 7–10 階 · 前後接得上

要回答:第 2 張的狗,怎麼知道第 1 張的狗長什麼樣?

第 11–13 階 · 訓練、加速、打分數

要回答:怎麼教、怎麼更快、怎麼知道好不好?

全程只用一個例子:一句 prompt → 一段五秒小影片

A dog playing fetch in a park on a sunny day.(原書的例句:一隻狗在晴天的公園裡玩接飛盤)

五秒、每秒 24 張、720p。數字都小到可以心算:5 × 24 = 120 張。每爬 3–4 階,有一頁「到這裡你已經會了」。

原書Clarifying Requirements

原書的題目:輸入一句話,輸出一段五秒影片

這一步要解決的問題「做一個文字生影片系統」太模糊。多長、多清楚、多快、用什麼資料?先問清楚。

📖 原書 應徵者 × 面試官

應徵者問面試官答
影片要多長?五秒
解析度?高畫質,適合現代各種平台和裝置:720p
每秒 24 張(24 FPS)可以嗎?可以
生一段要多久?運算很貴。一開始幾分鐘可以接受,之後再優化
要專注某一類影片嗎?不用,各種類型和主題都要能生
輸入要支援多語言嗎?先從英文開始
要有聲音嗎?先做無聲影片。聲音是之後的加強項目
訓練資料多大?約 1 億支有字幕的影片;有些字幕有雜訊或不是英文
常見做法是把預訓練的文字生圖模型擴充成影片。我們有嗎?有,可以這樣假設
運算預算?超過 6000 張 H100 GPU 可以拿來訓練
要有安全機制,擋掉冒犯或有害的影片嗎?很好的問題。要,系統必須對使用者安全

整理成需求清單

  • 輸出:5 秒 × 24 FPS = 120 張,每張 1280×720,無聲
  • 速度:幾分鐘可以接受(離線工作,不是即時聊天)
  • 資料:1 億組(影片, 字幕),字幕要整理
  • 起點:已經有文字生圖模型,不用從零開始
  • 資源:6000+ 張 H100(H100 是 NVIDIA 的高階 AI 運算卡)
  • 安全:輸入和輸出都要把關

你想想看,「幾分鐘可以接受」這句話很關鍵。使用者按下送出,網頁要開著等七分鐘嗎?這個問題第 46 頁的 Triton 客座講評會回來找我們。

延伸基礎第 1 階 · 翻頁圖 · frame懂的人可以跳到第 7 頁

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

影片到底是什麼?一張一張的圖,翻得很快而已

① 先想像

電影院銀幕上的狗在跑。你湊近看,銀幕上其實沒有東西在「動」:只是很多張靜止的照片,一張接一張換。

你猜猜看:狗從左跑到右,相鄰兩張圖差多少?

③ 這叫做 frame

frame(幀、影格):影片裡的每一張圖。影片 = 一疊 frame。

「其實影片就是一連串的圖片……所以你還要考慮第三個維度 也就是時間……在影片裡面的每一張圖片 有一個專有名詞叫做 Frame」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 9 講

④ 跟這章的關係

生圖只要管寬和高;生影片多一個方向:時間。原書說的 temporal(時間上的),就是指這個方向。

② 動手玩:把影片拆開,一張一張翻

延伸基礎第 2 階 · 幀率 · FPS懂的人可以跳到第 7 頁

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

一秒翻幾張?翻太少就卡卡的

① 先想像

課本角落的翻頁動畫,一秒只翻兩三張,看起來一頓一頓的。翻得越快、張數越多,就越順。

你猜猜看:原書要 5 秒、每秒 24 張,總共幾張?

③ 這叫做 FPS

FPS(frames per second,幀率):一秒有幾張 frame。電影常用 24 FPS。

④ 跟這章的關係

原書的需求:24 FPS、5 秒,也就是 120 張。後面有一招,是先生 12 FPS,再補中間的格(第 34 頁)。

② 動手玩:改幀率,看順不順

一秒幾張:
—總共要幾張 frame—每張停留多久

原書Frame the Problem as an ML Task · Figure 2

把問題變成 ML 任務:文字進去,五秒 720p 影片出來

這一步要解決的問題輸入、輸出各是什麼?用哪一種生成方法?

📖 原書 Figure 2文字生影片系統的 input 和 output(依原書內容重繪)

📖 原書 Input:描述場景、動作或故事的一段文字。Output:一段五秒、720p(1280×720)的影片,畫面上和時間上都要跟文字相符。

例子:「A dog playing fetch in a park on a sunny day」,影片要拍出狗的動作、公園的環境、晴天的氣氛。原書說這一章是在第 9 章文字生圖的基礎上,補上影片才需要的考量。

📖 原書 選方法:diffusion

文字生影片和文字生圖本質很像:都是從文字生出畫面。生圖常用的 autoregressive(一塊一塊接龍)和 diffusion(一步一步擦掉雜訊,第 11 頁)也都適用於影片。diffusion 在細節和逼真度上表現很強,所以原書選 diffusion。

但有一個關鍵差別

影片要處理、生成的是一連串 frame,不是一張圖,運算量大很多。大多少?下一頁先學會「數零」。

接龍式生圖在 第 8 章 Image Synthesis 簡報;GAN、VAE、diffusion 的比較在 第 7 章 Face Generation 簡報。

延伸基礎第 3 階 · 數量級 · resolution懂的人可以跳到第 9 頁

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

一張圖有多少格?數一數後面有幾個零

① 先想像

把照片放大到看見一格一格的小方塊。每一格只有一個顏色。模型生圖,就是要決定每一格的顏色。格子越多,要決定的事越多。

你猜猜看:720p 一張圖,寬 1280 格、高 720 格,大約幾格?

③ 這叫做 pixel 和 resolution

pixel(像素):一格。resolution(解析度):寬幾格 × 高幾格,例如 720p = 1280×720。

④ 跟這章的關係

運算量大約跟「總格數」成正比。下一頁就用這個比例,算出原書的「約七分鐘」。

② 動手玩:換解析度和張數,數零

—一張幾格—是 512×512 的幾倍—總格數

原書Choosing a suitable ML approach · Figure 3

為什麼要七分鐘?張數 × 每張多大

這一步要解決的問題原書說影片的運算量大很多。到底大多少?

📖 原書 Figure 3文字生影片要生出一連串 frame(依原書內容重繪)

先猜再算:一張 512×512 約 1 秒。120 張、每張是它的 3.6 倍大,大約要多久?

📖 原書 算給你看

  1. 五秒、24 FPS → 模型要生 120 個 frame
  2. 512×512 的圖,在 H100 這種高階 GPU 上約 1 秒
  3. 720p 的每一格,像素約是 512×512 的 3.6 倍
  4. 所以五秒 720p 影片,大約要 七分鐘

為了處理影片的複雜度和運算成本,原書採用很流行的 latent diffusion model(LDM):先由 Stable Diffusion 論文 [3] 帶起來,後來大多數影片模型都用,例如 OpenAI 的 Sora [1] 和 Meta 的 Movie Gen [4]。

latent 是什麼?要先學會「擦雜訊」和「壓縮包」兩階。

到這裡你已經會了小結 1 / 4

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

到這裡你已經會了:影片有多大

下一階要解決的問題

格子太多了。能不能先在一個「縮小版」上生影片,最後再放回原尺寸?要先知道 diffusion 是怎麼生圖的。

延伸基礎第 4 階 · 擦雜訊 · diffusion懂的人可以跳到第 13 頁

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

怎麼從無到有生出一張圖?從一片雪花,一步一步擦

① 先想像

洗完澡,浴室的鏡子全霧了。你用手一點一點抹,臉慢慢出現。模型反過來練:先把清楚的圖弄霧,再練習「猜被加了多少霧」。

你猜猜看:從一片雪花開始,怎麼擦比較容易擦對?

③ 這叫做 diffusion model

diffusion model:學會預測被加進去的雜訊(noise),生成時從純雜訊開始,一步一步把雜訊擦掉。

「也許你更常聽到的生成模型叫做Diffusion Model 其實Diffusion Model也可以視為是另外一種生成的策略」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講

④ 跟這章的關係

原書選 diffusion。生影片時,要擦的不是一張圖的霧,是 120 張一起的霧。每擦一步都要算一次,所以很貴。

② 動手玩:加霧、擦霧

現在的畫面

模型要猜的:被加了什麼雪花

延伸基礎第 5 階 · 壓縮包 · latent懂的人可以跳到第 13 頁

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

格子太多?先壓成一個小包,要用時再展開

① 先想像

出國前把羽絨外套塞進真空壓縮袋,體積剩一點點;到了打開,又變回外套,只是有點皺。影片也可以這樣:寬、高、時間都壓小。

你猜猜看:寬、高、張數各縮小 8 倍,資料變小幾倍?

③ 這叫做 latent

latent(潛在表示):壓縮後的小包。負責壓和解壓的模型叫 VAE:encoder 壓、decoder 解。

「Token 就是把圖片做某種程度的壓縮 所以用 Token 來還原圖片的時候 你就是會有一些失真」🎓 李宏毅課堂 導論 2025 · 第 9 講

④ 跟這章的關係

在小包上擦雜訊,就叫 latent diffusion(LDM)。擦完再用 decoder 解回影片。

② 動手玩:選壓縮倍數

原始畫面

壓成小包(latent)

解壓回來

寬高各縮:張數縮:
—資料變小幾倍—原書影片壓成

原書Latent diffusion model · Compression network · Figure 4、5

LDM:不在原始像素上擦雜訊,在小包上擦

這一步要解決的問題在 1 億多格上擦雜訊太貴。能不能換一個小很多的空間來擦?

📖 原書 Figure 4Diffusion model 在較低維度的 latent space 運作(依原書內容重繪)

📖 原書 LDM 的核心想法

讓 diffusion model 在較低維度的 latent space 運作,而不是直接在 pixel space(原始像素)上。它學的是把這些 latent 的雜訊擦掉,而不是訓練資料裡原始影片像素的雜訊。

📖 原書 Compression network

  • 一個神經網路,把影片像素對應到 latent space:輸入原始影片,輸出壓縮的 latent
  • 同時減少張數(temporal dimension,時間方向)和解析度(spatial dimensions,空間方向)
  • 通常用 VAE(Variational Autoencoder)[5],和 diffusion model 分開訓練
  • visual encoder 把影片轉成 latent;visual decoder 從 latent 重建原本的 frame

延伸基礎第 6 階 · 文字變箭頭 · embedding懂的人可以跳到第 15 頁

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

擦雜訊時,模型怎麼「聽得懂」那句話?先把文字變成一組數字

① 先想像

幫每句話打兩個分數:「跟狗多有關」和「跟室內多有關」。字不一樣的句子,分數可能很像。

你猜猜看:「小狗在草地上叼飛盤」和我們的 prompt,分數像不像?

③ 這叫做 embedding

embedding:代表意思的一組數字,可以畫成一支箭頭。把文字變成 embedding 的模型叫 text encoder。

「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 導論 2025 · 第 3 講

④ 跟這章的關係

每擦一步,模型都會看這組數字,決定往「狗接飛盤」的方向擦。評估時也用箭頭夾角,量影片和文字合不合(第 40 頁)。

② 動手玩:點一句話,看它的箭頭

原書How does LDM address computational complexity? · Figure 6、7

壓完小 512 倍;生成時從一包雜訊開始擦,最後解壓

這一步要解決的問題LDM 到底省了多少?訓練好之後,又怎麼用它生影片?

📖 原書 Figure 6壓縮對資料量的影響(依原書內容重繪)

📖 原書 算一次

  • 24 FPS、5 秒、720p → 120 張 × 1280×720 = 110,592,000
  • 用類似 Movie Gen [4] 的壓縮網路,時間和空間各縮 8 倍 → 15 張 × 160×90 = 216,000
  • 小了 512 倍,LDM 訓練效率也提升 512 倍:生成更快、資源更省,對高解析度影片特別重要

📖 原書 訓練好以後怎麼生

在 latent space 從純雜訊開始;LDM 一步一步把它變成去雜訊後的 latent(每一步都參考 text encoder 給的文字 embedding);最後 visual decoder 轉回 pixel space,就是影片。原書因為 LDM 有效率、運算負擔小而選它;想深入可看 [6]。

到這裡你已經會了小結 2 / 4

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

到這裡你已經會了:原書的 LDM 怎麼省下 512 倍

下一階要解決的問題

模型有了,教材呢?1 億支影片要先整理好。再來才是最難的:怎麼讓模型學會「前後接得上」。

原書Data Preparation · Video preparation

1 億支影片,先篩、再統一規格

這一步要解決的問題網路上的影片長短不一、品質不一、還有不該學的內容。模型學到什麼,就會生出什麼。

📖 原書 ① 篩掉不當影片

  • 低品質或太短:照 Movie Gen [4],移除低解析度、太短、慢動作、有壓縮失真(compression artifacts,畫面上的方塊、色塊)的影片
  • 重複(deduplication,去重):用 [7] 這類方法去掉一模一樣的影片,資料才多樣,模型不會特別常看到某幾支
  • 有害:用 harm-detection(有害內容偵測)模型找出含明確不當內容的影片並移除。這步很關鍵,模型才不會生出有害影片

📖 原書 ② 統一規格(standardize)

  • 長度:長影片切成五秒的片段,讓訓練資料長度一樣
  • 幀率:幀率較高的影片重新編碼成 24 FPS
  • 尺寸:縮放、裁切成標準大小,例如 1280×720

③ 第三步「預先算好 latent」在下一頁。

你猜猜看:一支 60 秒、30 FPS 的影片,統一規格後變成幾段、每段幾張?

「他們花比較多力氣的 反而是在於 Filtering……總之需要做非常大量的 Filtering 選出品質比較好的影片 才能夠訓練比較好的 文字生影片的模型」🎓 李宏毅課堂 導論 2025 · 第 9 講(講 OpenSora 用的公開影片資料)

原書Precompute video representations in the latent space · Figure 8

每次訓練都重新壓一次?不如先壓好存起來

這一步要解決的問題LDM 只吃 latent。每訓練一次都要先抽 frame、再壓縮,很慢。

📖 原書 Figure 8影片資料準備(依原書內容重繪)

📖 原書 原本每一輪訓練都要

  1. 從訓練影片抽出 frame
  2. 丟進預訓練的壓縮網路,得到 latent
  3. 用 latent 繼續訓練 diffusion model

每訓練一個新模型,都要替幾百萬支影片重做一次,即時計算又吃資源又花時間。所以原書預先算好所有影片的 latent,快取(cache)在儲存空間,訓練時直接讀。

📖 原書 Back-of-the-envelope:要多少空間?

原始影片latent(÷512)
每支(1,000 張)約 1,000 MB約 2 MB
全部——

先猜:200 TB 大概要幾顆 20 TB 的硬碟?

原書Caption preparation · Figure 9

字幕也要整理:沒有的補、太短的重寫、先算好 embedding

這一步要解決的問題有些字幕缺了、不是英文、或跟影片不太相關。模型要靠字幕學「這句話對應什麼畫面」。

📖 原書 三個步驟

  • 補字幕:沒有字幕或不是英文的,用 LLaMa3-Video [8] 或 LLaVA [9] 這類看得懂影片的模型,自動生成描述
  • Re-captioning(重新寫字幕):用預訓練的影片描述模型,把原本的字幕改寫得更長、更詳細。Sora 團隊 [1] 說明這一步對畫質和文字對齊很重要
  • 預先算好 caption embedding:訓練時需要字幕的 embedding 當條件(第 14 頁的文字變箭頭),先用 text encoder 算好存起來,加速訓練

動手玩:我們那支小影片的字幕

📖 原書 Figure 9準備好的影片-字幕訓練資料(依原書內容重繪)

每一列:同一個 ID 的 video latent(一個小方塊)配上它的 caption embedding(一排直條,字幕越長條數越多)。

延伸基礎第 7 階 · 小放大鏡 · convolution懂的人可以跳到第 21 頁

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

只看一張照片,看得出狗往哪邊跑嗎?

① 先想像

拿一個小放大鏡在照片上一格一格掃:「這裡有棕色的毛」。可是一張照片是靜止的,狗是往左還是往右?放大鏡疊在連拍三張上,才看得出來。

你猜猜看:只看中間那一張,判斷得出狗在往右跑嗎?

③ 這叫做 convolution

convolution(卷積):用小放大鏡掃過資料。只掃一張是 2D;連前後張一起掃是 3D,就是原書的 temporal convolution。

「比如說鳥嘴 你其實只需要看這麼小的範圍 就知道它是鳥嘴了」🎓 李宏毅課堂 導論 2025 · 第 6 講

④ 跟這章的關係

原書的 U-Net 本來只有 2D 放大鏡。要做影片,就插進「跨時間」的放大鏡。

② 動手玩:移動放大鏡

原書Architecture · U-Net for videos · Figure 10、11

U-Net:本來只看一張,插進兩種「跨時間」的層

這一步要解決的問題生圖用的 U-Net 只抓同一張圖裡像素的關係。影片要的是張與張之間接得上。

📖 原書 Figure 10生圖用的 U-Net 架構(依原書內容重繪)

📖 原書 先回顧第 9 章的 U-Net

一串 downsampling block(越縮越小,抓大範圍)接一串 upsampling block(再放大回原尺寸),排成 U 字形。每個 downsampling block 有 2D convolution(處理、更新影像特徵)和 cross-attention(去看文字 prompt,用它更新特徵)。

📖 原書 問題與解法

這些層都在單一 frame 內做空間上的運算,不跨 frame。可是影片要動作順、前後連續,temporal consistency 很關鍵。所以修改 U-Net,注入兩種常用的時間層:

  • Temporal attention(第 22 頁)
  • Temporal convolution(上一頁的 3D 放大鏡)

延伸基礎第 8 階 · 前後對照 · temporal attention懂的人可以跳到第 23 頁

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

拍連續劇怎麼不穿幫?有人專門翻前後幾場對照

① 先想像

劇組有一個「場記」:上一場主角戴帽子、左手拿杯子,這一場就不能沒帽子。她會翻前後幾場的紀錄來對照。

你猜猜看:第 2 張裡的狗,要跟哪裡對照才不會穿幫?

③ 這叫做 temporal attention

attention:決定要參考哪些地方、參考多重。跨 frame 做,就是 temporal attention。

「所以 attention 第一件做的事情 是找出輸入的 token 裡面 哪些 token 會影響現在我們要考慮的 『果』這個 token 的意思」🎓 李宏毅課堂 導論 2025 · 第 3 講(例句:兩顆青蘋果)

④ 跟這章的關係

原書 Figure 12:第 2 張的某個特徵,去看其他 frame 的特徵來更新自己。

② 動手玩:第 2 張的狗去看其他張

原書Temporal attention · Temporal convolution · Figure 12、13

兩種時間層:一個「去看別張」,一個「疊著一起掃」

這一步要解決的問題讓 U-Net 學會動作,生出前後一致的一串 frame。

📖 原書 Figure 12Temporal attention 跨 frame 更新特徵(依原書內容重繪)

📖 原書 Temporal attention

把 attention 用在 frame 和 frame 之間:每個特徵都去參考其他 frame 裡相關的特徵來更新。Figure 12 畫的是第 2 張的某個特徵,參考其他張的特徵。

📖 原書 Temporal convolution

把 convolution 用在一段 3D 的資料上(寬 × 高 × 時間),抓住時間方向的變化。Figure 13 比較 2D 和 3D 的卷積核(kernel,就是那個小放大鏡)。

📖 原書 總結:在每個 downsampling 和 upsampling block 裡交錯放 temporal convolution 和 temporal attention,U-Net 就能建模動作、生出時間上一致的 frame。怎麼交錯可參考 Lumiere [10]。

延伸基礎第 9 階 · 切方塊 · patch懂的人可以跳到第 25 頁

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

Transformer 只吃「一排字卡」。影片怎麼變成一排?切方塊

① 先想像

一塊千層蛋糕,直著切、橫著切、再一層一層分開。每一小塊裡面,有一小片面積,也有好幾層。把小塊排成一排,就能一塊一塊送進去。

你猜猜看:一張圖切成 3×3 = 9 塊。兩張疊起來一起切,幾塊?

③ 這叫做 patch

patch:切出來的一小塊。影片的 patch 有寬、有高、還有時間,又叫 spacetime patch。切塊這一步叫 patchify。

「每一個 Token 不只是代表 這個一個圖片裡面的一個小區域 它還會代表一個時間的範圍……比如說代表兩個 Frame」🎓 李宏毅課堂 導論 2025 · 第 9 講

④ 跟這章的關係

原書選的 DiT 架構,第一步就是 patchify。塊越小,排出來越長,Transformer 越貴。

② 動手玩:切我們那包 latent(15 張 × 160×90)

每塊寬高:每塊幾張:
—每張切幾塊—時間方向幾層—排成一排有幾塊

原書DiT for videos · Patchify · Figure 14、15

DiT:把 diffusion 的主體換成 Transformer

這一步要解決的問題U-Net 主要靠 convolution。另一條路:用 Transformer 來預測雜訊,影片要怎麼餵進去?

📖 原書 Figure 14DiT 的元件(依原書內容重繪)

📖 原書 DiT 的四個元件

和主要基於 convolution 的 U-Net 不同,DiT(Diffusion Transformer)主要靠 Transformer:Patchify → Positional encoding → Transformer → Unpatchify。

📖 原書 Patchify

  1. 把輸入切成固定大小的小塊(patch)
  2. 每一塊攤平(flatten)成一串數字
  3. 用 projection layer(投影層)轉成 patch embedding,讓長度對上 Transformer 的 hidden size(它內部每個向量的長度)

影像和影片的做法很像:影像切成 2D patch,影片切成 3D patch。

延伸基礎第 10 階 · 座位號碼 · positional encoding懂的人可以跳到第 27 頁

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

方塊排成一排後,誰原本在哪裡?發座位號碼

① 先想像

一盒拼圖倒在桌上,背面沒有編號,你只能用猜的。電影票就不會:「3 廳 F 排 7 號」,三個數字就知道你坐哪。

你猜猜看:把方塊的順序打亂再丟給 Transformer,它分得出來嗎?

③ 這叫做 positional encoding

positional encoding:幫每塊加上「我在哪裡」的資訊。可以是一個流水號(1D),也可以是(第幾張, 第幾列, 第幾行)三個數字(3D)。

「因為原來的 Transformer 它是沒有辦法考慮輸入 Token 的順序的」🎓 李宏毅課堂 如何讓 Transformer 知道輸入 Token 的順序?Absolute、Relative、RoPE

④ 跟這章的關係

原書:DiT 的第二個元件就是它。原書跟著 OpenSora 用 RoPE。

② 動手玩:兩張 frame、每張 3 塊,打亂再排回去

原書Positional encoding · Figure 16、17

位置編碼:一個號碼,還是三個座標?

這一步要解決的問題Transformer 要知道每一塊在原本的影片裡是哪裡、哪個時間。

📖 原書 Figure 16影像 vs 影片的 1D 位置編碼(依原書內容重繪)

📖 原書 做什麼

替原本序列裡的每個位置產生一個 embedding,告訴 Transformer 每一塊在原始輸入的哪裡。

📖 原書 兩個選擇

  • 固定還是學出來:有的方法訓練時用固定的位置編碼,有的讓位置編碼可以學(第 2 章講過)
  • 怎麼編號:每塊一個數字,表示在序列裡的第幾個;或用 3D 座標(影像是 2D),表示在空間和時間裡的哪裡

📖 原書 位置編碼沒有唯一最好的方法,通常要做實驗找出最適合資料和任務的。本章跟著 OpenSora [11] 用 RoPE [12]。更多影片模型的位置編碼見 [4]。

原書Transformer · Unpatchify · Figure 18、19

Transformer 預測每一塊的雜訊,Unpatchify 再拼回原形

這一步要解決的問題一排方塊進了 Transformer,出來的是什麼?怎麼變回影片的形狀?

📖 原書 Figure 18Transformer 元件(依原書內容重繪)

📖 原書 Transformer

處理 embedding 序列,加上文字 prompt 這類條件訊號(conditioning signal),預測每一塊的雜訊。條件訊號先經過 encoder,再用 cross-attention 讓每一塊去看文字。

📖 原書 Unpatchify

把預測出的雜訊向量轉回原本的輸入尺寸:LayerNorm 做正規化(把數值拉回穩定的範圍)、linear layer 調整向量長度、reshape(重新排列形狀)組成最後的輸出。影像是一張平面,影片是一個長方體。

所以 DiT 其實就是:切方塊 → 貼號碼 → 每塊互相看、也看文字,猜自己身上的雪花 → 拼回去。然後呢?然後就結束了。

到這裡你已經會了小結 3 / 4

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

到這裡你已經會了:怎麼讓前後接得上

下一階要解決的問題

U-Net 和 DiT 兩條路,原書選哪一條?選好了,要怎麼訓練、怎麼算得更快?

原書U-Net vs. DiT

兩條路都有效,原書跟著 Sora 選 DiT

這一步要解決的問題U-Net 和 DiT 都被證實可以做文字生影片。選哪一個?

U-Net

  • 主要基於 convolution,靠插入時間層處理影片
  • 歷史比較久,經過大量測試
  • 代表:Stability AI 的 Stable Video Diffusion [13]、Meta 的 Emu Video [14]

DiT 原書選這個

  • 主要基於 Transformer,影片直接切成 3D patch
  • 比較新,潛力大、結果更好
  • Transformer 可擴展:資料和算力越多,表現越好
  • 架構有彈性,容易延伸到影片和其他輸入形式(modality)
  • 代表:Meta 的 Movie Gen、OpenAI 的 Sora

先猜猜看:需求裡哪一句,最支持「選 DiT」?

延伸基礎第 11 階 · 差多少 · MSE loss懂的人可以跳到第 32 頁

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

模型猜的雪花準不準?每一格算差多少

① 先想像

猜體重遊戲:猜 52、實際 50,差 2。四個人各猜一次,把「差多少」平方再平均,就知道誰比較會猜。為什麼要平方?因為差 +2 和 −2 不能互相抵消。

你猜猜看:四格分別差 +2、−2、0、0,「差距平方的平均」是多少?

③ 這叫做 MSE loss

loss:猜得多不準,越小越好。差距平方再平均,叫 MSE(mean squared error)。

④ 跟這章的關係

原書的訓練目標:比較「模型猜的雜訊」和「真的加進去的雜訊」,算 MSE,讓它越小越好。

② 動手玩:你來當模型,猜四格雜訊

原書Training · ML objective and loss function

訓練一輪就三步:加雜訊 → 猜雜訊 → 算差多少

這一步要解決的問題原書說訓練影片 diffusion 和訓練圖片 diffusion 非常像。一輪訓練具體做什麼?

動手玩:跑一輪訓練

① 原始影片(latent)

加了雜訊

② 模型猜的雜訊

—抽到的 timestep—③ MSE loss

📖 原書 一輪訓練的三步

  1. Noise addition:隨機抽一個 timestep(第幾步),決定雜訊加多少,用它對輸入影片加雜訊(模擬 forward process,也就是「弄霧」的過程)
  2. Noise prediction:DiT 收到加了雜訊的影片,依照文字 prompt 和抽到的 timestep 這些條件,預測被加了什麼雜訊
  3. Loss calculation:比較預測的雜訊和真正的雜訊

詳細回顧見第 9 章。

📖 原書 ML objective 與 loss

主要的 loss 是 reconstruction loss,用 MSE 算預測雜訊和真實雜訊的差距。目標是讓它最小,影片就重建得準。研究者也試過加其他 loss 來提升效果,見 Movie Gen [4]。

原書Challenges · Lack of large-scale video–text data · Figure 20

挑戰一:影片配字幕的資料太少了,怎麼辦?拿圖片來湊

這一步要解決的問題大模型要大量資料。圖片配文字的資料很多,影片配文字的卻很稀少。

📖 原書 Figure 20利用圖片-文字訓練資料的兩種策略(依原書內容重繪)

策略 1:圖片和影片一起訓練

📖 原書 把每張圖片當成只有一個 frame 的影片,模型就能同時用圖片-文字和影片-文字資料訓練。

策略 2:先用圖片預訓練

📖 原書 先在圖片-文字配對上預訓練,打好視覺基礎;再在影片-文字配對上 finetune(微調)來生影片。

📖 原書 兩種都能用上數億組圖片-文字資料。為了簡單,原書選策略 1:只要一個訓練階段。但兩種實務上都有效。

你猜猜看:把一張狗的照片當成影片,它的 FPS 和張數是?

延伸基礎第 12 階 · 補格放大 · super-resolution懂的人可以跳到第 35 頁

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

先畫小張、畫少張,再放大、再補中間的格

① 先想像

日本動畫公司的分工:「原畫師」只畫關鍵的幾張,「中割」的人在兩張之間補上過渡的畫面。先把動作的骨架定好,再補細節,省很多力氣。

你猜猜看:12 FPS 要補成 24 FPS,每兩張之間要補幾張?

③ 這叫做 super-resolution

spatial super-resolution:把每張放大、補細節。temporal super-resolution:在兩張之間補格(interpolation,插值)。

「它要產生比較高品質的 Video 但是先從低品質的 Video 升起 先產生 Frame 數比較少……比較模糊的 Video 再從模糊的 Video 逐漸產生清晰的 Video」🎓 李宏毅課堂 導論 2025 · 第 9 講

④ 跟這章的關係

原書:DiT 只負責生「小張、少張」的版本,再交給兩個另外訓練的模型放大和補格。

② 動手玩:兩種放大

原書Challenges · Computational cost of high-resolution video generation

挑戰二:高解析度太貴了。原書列了六招

這一步要解決的問題影片通常有幾百張 frame,又要 720p、1080p。怎麼讓訓練便宜一點?

① 用 LDM

不在 pixel space 訓練 DiT,先用壓縮網路轉到低維度的 latent space(第 15 頁:小 512 倍)。

砍格數

② 預先算好 latent

訓練前把 latent 算好存起來,避免訓練中重複計算(第 18 頁)。

省重算

③ Spatial super-resolution

照 Google 的 Imagen Video [15],用一個另外訓練的模型提高解析度:DiT 生 720p,再升到 1080p 或 4K。

砍格數

④ Temporal super-resolution

同樣照 [15],在 frame 之間插值提高幀率:要 5 秒 24 FPS(120 張),DiT 只生 12 FPS(60 張),再補到 24 FPS。

砍張數

⑤ 更有效率的架構

用有效率的 attention 實作 [16] 降低訓練運算;也可以用 Mixture of Experts(MoE,每次只叫一部分「專家」子網路出來算)[17] 加速。

算得巧

⑥ 分散式訓練

用 tensor parallelism(把一個模型切開放到很多張 GPU)等技術,把模型、資料或兩者分到多個裝置。高解析度的記憶體和運算需求特別大,特別有用(見第 1 章)。

多人分工

原書Figure 21 · Efficient text-to-video pipeline

串起來:latent → 解壓成小影片 → 放大 → 補格

這一步要解決的問題把「小 512 倍」和兩種 super-resolution 接成一條生產線,最後還是 1280×720×120。

📖 原書 Figure 21高效率的文字生影片流程(依原書內容重繪;數字照原圖)

① Visual decoder

latent 40×23×8 解壓成小影片。

② 小影片

Generated video 320×180×60:寬高是最終的 1/4,張數是一半。

③ Spatial SR

每張從 320×180 放大到 1280×720(寬高各 4 倍)。

④ Temporal SR

60 張補成 120 張:Final video 1280×720×120。

先猜:DiT 直接生 320×180×60,比直接生 1280×720×120 少幾倍的格子?

原書Sampling · Figure 22

生成(sampling):從一包雜訊開始,擦幾步,就是幾次運算

這一步要解決的問題訓練好了,使用者打一句話進來,模型怎麼生出影片?

📖 原書 Figure 22從訓練好的 LDM 取樣(依原書內容重繪)
—DiT 要跑幾次

📖 原書 Sampling

diffusion 的取樣從隨機雜訊開始,模型反覆去雜訊,直到在 latent space 得到完全去雜訊的影片表示。每一步都參考 text encoder 算出的文字(例:「a dog walking...」)。詳細見第 9 章。

Figure 22 跟第 15 頁的 Figure 7 幾乎一樣,差在它停在 Denoised latent:解壓、放大、補格都是 sampling 之後的事。

你會發現:擦幾步,就要把整包 latent 丟進 DiT 幾次。步數是生成時間的另一個乘數。原書在 other talking points 提到的 progressive distillation(第 44 頁),就是在想辦法減少步數。

延伸基礎第 13 階 · 比兩堆 · FID / FVD懂的人可以跳到第 39 頁

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

沒有標準答案的影片,怎麼打分數?比「整堆」像不像

① 先想像

評審拿到兩堆影片:一堆是真的狗狗影片,一堆是模型生的。不是一支一支對答案,是看「整堆的感覺」:平均起來像不像、變化夠不夠多。

你猜猜看:每一張都很漂亮,但狗一下黑一下白。一張一張打分,會發現嗎?

③ 這叫做 FID 和 FVD

FID:一張一張比兩堆圖像不像,越小越好。FVD:把整段影片一起比,連動作順不順也算進去。

「縱軸是一個叫 FID 的東西……它代表的是圖片生存〔生成〕的品質……總之這個數值越小 代表你的圖片生存〔生成〕是越好的」🎓 李宏毅課堂 導論 2025 · 第 9 講

④ 跟這章的關係

原書:frame quality 用 FID、IS;temporal consistency 用 FVD。

② 動手玩:換一個模型,看兩種分數

—玩具 FID(只看單張畫質)—玩具 FVD(畫質 + 動作)

原書Evaluation · Offline metrics · Frame quality · Temporal consistency

離線評估:每張好不好?前後順不順?

這一步要解決的問題上線前怎麼知道模型生得好?要一套大家都用的考卷,加上看不同面向的分數。

📖 原書 共同的考卷(benchmark)

VBench [18] 和 Movie Gen Bench [19] 提供精心設計的 prompt 集合,測動作連貫、時間一致、場景複雜度等面向。用它們量模型生出的影片多逼真、多順,重點放在畫質、動作準確度和場景轉換。原書分三個面向:frame quality、temporal consistency、video–text alignment。

📖 原書 ① Frame quality:每一張的品質

各自量每個 frame,用圖片常用的 FID [20] 和 Inception score(IS)[21],再把所有 frame 的分數平均。LPIPS [22]、KID [23] 也可以用。

但它們不管前後順不順:每張都很好、轉場卻不順的影片,逐格分數還是很好,卻沒有視覺上的連貫。

📖 原書 ② Temporal consistency:FVD [24]

  1. 生成影片:用要評估的模型生一大批影片,準備一批真實影片
  2. 抽特徵:每支影片丟進預訓練的 I3D [25],取某一層的特徵。I3D 把 Inception v3 [26] 延伸到連續資料,是為動作辨識訓練的
  3. 算平均和 covariance(各方向分散的程度),兩批各算
  4. 算 Fréchet distance:兩個分布有多接近

FVD 越低越好:分布越像,影片越逼真、越連貫。

原書Video–text alignment · Human evaluation · Online metrics

影片有沒有照著文字演?逐格量箭頭夾角,再合成一個分數

這一步要解決的問題畫面好、動作順,但 prompt 說「接飛盤」,影片裡卻只有狗在睡覺,也不行。

📖 原書 CLIP similarity 的三步

  1. 逐格抽特徵:每個 frame 丟進預訓練的 CLIP image encoder,文字丟進 text encoder
  2. 算相似度:每個 frame 的特徵和文字特徵算 cosine similarity(箭頭夾角,第 14 頁)
  3. 合成一個分數:可以取平均、取最大值或其他統計方法

📖 原書 Human evaluation

自動指標之外,人的主觀評估仍然很重要。用兩個模型對同一批測試 prompt 各生影片,成對給評審看,依文字對齊、畫質、時間一致選比較好的那支,就知道哪個模型比較強。

「或兩個模型各自有一個輸出 怎麼知道誰比較好 找一堆人來評斷」🎓 李宏毅課堂 導論 2025 · 第 4 講

📖 原書 Online metrics

和文字生圖類似:click-through rate(點擊率)、time spent on the page(停留時間)、user feedback(使用者回饋)、conversion rate(轉換率,例如付費)。用來看上線後的參與度、滿意度和整體表現。

到這裡你已經會了小結 4 / 4

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

到這裡你已經會了:怎麼訓練、怎麼加速、怎麼打分數

下一步

13 階全部爬完了。最後把資料、訓練、推論三條流程接成一個系統,再看 2026 年的變化和 Triton 的 infra 講評。

原書Overall ML System Design · Data pipeline · Training pipeline · Figure 23

整個系統:資料流程、訓練流程、推論流程

這一步要解決的問題把前面每一步接起來。先看離線的兩條:資料怎麼準備、模型怎麼訓練。

📖 原書 Figure 23資料流程(依原書內容重繪)

📖 原書 Data pipeline

篩掉不適合的圖片和影片、統一規格、預先算好 latent 存起來;字幕則 re-captioning,再用預訓練的 text encoder 算好 caption embedding 存起來。注意 Figure 23 有圖片那條路:這就是第 33 頁「圖片當成一張的影片」的資料來源。

📖 原書 Training pipeline

用資料流程準備好的訓練資料訓練模型(第 32 頁的三步)。

下一頁:Inference pipeline

即時處理使用者的請求,從文字 prompt 生影片。它有幾個確保品質和安全的關鍵元件。

原書Inference pipeline · Figure 24

推論流程:兩道安全檢查,中間是 LDM、解壓、放大、補格

這一步要解決的問題使用者打一句話進來,從檢查 prompt 到交出影片,要經過哪些元件?

📖 原書 Figure 24推論流程的元件(依原書內容重繪)

📖 原書 和第 9 章相同的元件

多數元件和文字生圖一樣:Prompt safety service(擋掉不當的 prompt)、Prompt enhancement(把 prompt 改寫得更詳細)、Video generator(text encoder + LDM)、Harm detection(檢查生出來的影片),以及 spatial super-resolution。

📖 原書 影片才有的兩個元件

  • Visual decoder:LDM 的輸出在 latent space,不是 pixel space;visual decoder 用壓縮網路把它轉回像素
  • Temporal super-resolution:在生成的 frame 之間插值,讓動作更流暢

原書Other Talking Points

面試還有時間的話,可以聊這些

生成的彈性

  • 支援不同長度、解析度、長寬比的取樣 [1]
  • 控制動作的多寡和種類(鏡頭在動 vs 物體在動)[27]
  • ControlNet(用草圖、姿勢等額外條件控制生成)用在影片 [32]
  • 把模型個人化到特定主角 [31]

下游應用

  • 延伸到 inpainting(補畫面中缺的部分)、outpainting(往畫面外延伸)、影片風格轉換、frame interpolation、super-resolution、圖片變影片(image-to-video)[10]

省算力

  • 用 progressive distillation(漸進蒸餾:讓學生模型用更少步數學會老師的結果)降低運算需求 [28]
  • Stable Cascade 方法的細節 [33]

零件細節

  • spatial 和 temporal super-resolution 模型的細節 [15]
  • re-captioning 模型的細節 [9][8]
  • visual compression network 的細節 [13]

雜訊怎麼加

  • 不同的 noise scheduler(每一步加多少雜訊的時間表)[29]
  • noise conditioning augmentation(給後段的放大模型故意加點雜訊,讓它更耐用)[30]

十二個討論點全部照原書,括號是一句白話。其中「不同長度」「更少步數」「圖片變影片」三個,正是下一頁 2026 補充的方向。

📅 2026 補充方法怎麼演進

從「五秒無聲」到「有聲音、更長、更快」

影片開始有聲音了

原書的需求是先做無聲影片。2025 年起,Google 的 Veo 3、OpenAI 的 Sora 2 都能直接生出同步的聲音(對白、音效)。原書說「聲音是之後的加強項目」,這個「之後」來得很快。

「那像 Sora 呢 它不只是你給它一段文字 根據文字產生影片 你還可以給它一張圖片……而且它產生的影片 都是有聲音的」🎓 李宏毅課堂 導論 2025 · 第 9 講

Diffusion 的近親:flow matching

原書把 Movie Gen 列為採用 latent diffusion 這一類做法的例子;它實際用的是 flow matching:不是「猜雜訊」,而是每一步猜「往哪個方向走」。概念上和第 11 頁很像。

「Meta 出了一個叫做 Movie Gen 的模型 可以生成影像 它用的也是 Flow Matching」「但其實 Flow Matching 跟 Diffusion 其實非常的像 你甚至可以說是一體兩面」🎓 李宏毅課堂 導論 2025 · 第 9 講

更長、更少步、能接著生

一次生的長度從五秒拉到十幾、二十幾秒,再用「接著生下一段」延長;步數靠蒸餾從幾十步壓到幾步(原書 other talking points 的方向)。另一條路是像接龍一樣一段一段往後生,課堂稱為兩條世界線的交會。

不變的是那條公式:時間 ∝ 張數 × 每張格數 × 擦幾步。2026 年的每個新招,都還是在砍這三個因子之一,或是把它們分給更多張卡。

客座講評Triton 怎麼看這套 infra

生一支要七分鐘:HTTP request 開著等嗎?

這一步要解決的問題原書說「幾分鐘可以接受」。但網頁送出之後,誰來等這七分鐘?

「202(Accepted)– 伺服器收到請求,並且確定請求是沒問題的– 不過,這請求需要很多時間來工作,為了避免客戶端白白等待。即使工作還沒完成也好,先回答客戶端:「工作收到了」– 沒事別亂用」🗣️ Triton 本人說 027-RESTful API Design-tw-2.1.pdf.md

「換一家有支持Callback的服務供應商便好。」「建立一個outstanding_tasks的table(不使用redis的原因是怕redis當掉後data loss有工作變成孤兒)」🗣️ Triton 本人說 020-MQ解法.md

🔭 依 Triton 原則推論 Triton 沒有談過影片生成。套到這一章:七分鐘的生成正是「有事」,適合回 202 加一個工作 ID;待辦清單放在不會掉資料的 RDBMS(關聯式資料庫),不只放 Redis(放在記憶體、很快但可能掉資料);做完了用 callback 或推播通知,而不是讓前端一直問。

算一算:讓前端一直問「好了沒」要多少次?

—一支影片:polling 的請求數—全站每秒多出的請求1callback:做完通知一次

七分鐘照原書第 9 頁的估算;人數和間隔是示意。

客座講評Triton 怎麼看這套 infra(續)

「生影片」是 Message,「好了喔」是 Signal;成品用 stream 送

「所謂的Message – 就是帶著工作內容的的訊息 – 相對上能等一下才完成的工作 – 一定要跑完一次」「Signal – 要高度即時性 – 丟失沒太大差」🗣️ Triton 本人說 078-mq-intro.pdf.md

「即使你看完總共23GB的影片也好,你也只用上了固定的很小塊Memory。」「如果一份data只會用一次的,你應該用streaming的手段來處理。」🗣️ Triton 本人說 130-喵談 io streaming.md

🔭 依 Triton 原則推論

  • 「幫我生這支影片」一定要跑完一次:是 Message,放進真正會先寫磁碟的 MQ,GPU worker 做完才 ack
  • 「影片好了」的通知漏了也沒差:前端重新連上時 GET 一次狀態就補回來,是 Signal
  • 放大成 1080p、4K 的成品很大:寫入儲存和下載都用 stream,不要整支讀進記憶體
🔭 推論的架構,不是原書的圖一支影片從送出到下載

原書Summary 心智圖

原書這一章的總結圖

📖 原書章末心智圖依原書的分支重繪(原圖是圖片檔,只有描述)

回顧

影片其實就是一疊翻頁圖而已。難的是張數,和接得上。

  1. 翻頁圖
  2. 幀率
  3. 數量級
  4. 擦雜訊
  5. 壓縮包
  6. 文字變箭頭
  7. 小放大鏡
  8. 前後對照
  9. 切方塊
  10. 座位號碼
  11. 差多少
  12. 補格放大
  13. 比兩堆

問題

五秒 = 120 張 × 92 萬格,直接生要七分鐘,還會一閃一閃。

變小

壓成 latent(小 512 倍)、先生小張少張再放大補格。

接得上

temporal conv、temporal attention;DiT 把時間切進方塊裡。

打分數

FID 看每張、FVD 看整段、CLIP 看有沒有照文字演。

一包雜訊,看著文字一步一步擦,解壓、放大、補格。然後呢?然後就結束了。

本章名詞小卡課後複習用 · 每個名詞一句白話

今天出現的名詞,一句話講完

frame影片裡的一張圖(幀)
FPS一秒幾張;24 FPS × 5 秒 = 120 張
pixel圖上的一格
resolution寬幾格 × 高幾格;720p = 1280×720
temporal / spatial時間方向 / 空間(寬高)方向
temporal consistency前後接得上、不穿幫
diffusion model學會猜雜訊,從純雜訊一步步擦出畫面
noise雜訊,像霧或雪花
latent壓縮後的小包
VAE負責壓(encoder)和解壓(decoder)的模型
LDM在 latent 上做 diffusion
embedding / text encoder代表意思的一組數字 / 把文字變成它的模型

給工程師的重點出處、公式與頁碼對照

本章引用的來源

原書

Generative AI System Design Interview · Text-to-Video Generation 章。Introduction 與 Figure 1(第 2 頁,影片截圖不重繪)、Clarifying Requirements(4)、Input/Output 與 Figure 2(7)、選方法、運算量與 Figure 3(9)、LDM、compression network 與 Figure 4–5(13)、512 倍與 Figure 6–7(15)、video preparation(17)、precompute 與 Figure 8(18)、caption preparation 與 Figure 9(19)、U-Net 與 Figure 10–11(21)、temporal layers 與 Figure 12–13(23)、DiT、patchify 與 Figure 14–15(25)、positional encoding 與 Figure 16–17(27)、Transformer、unpatchify 與 Figure 18–19(28)、U-Net vs DiT(30)、training 與 loss(32)、資料不足與 Figure 20(33)、運算成本六招(35)與 Figure 21(36)、sampling 與 Figure 22(37)、evaluation(39–40)、data / training pipeline 與 Figure 23(42)、inference pipeline 與 Figure 24(43)、Other Talking Points(44)、章末心智圖(48)。Figure 2–24 與心智圖依原書的圖說與描述重繪,不是原圖。

🎓 李宏毅課堂(逐字稿)

  • 導論 2025 · 第 9 講(ccqCDD9LqCA.md)— 影片是一連串圖片與 Frame、壓縮會失真、影片 token 代表一個時間範圍、OpenSora 與 Filtering、從低品質影片逐漸生成清晰影片、FID、Sora 有聲音、Movie Gen 用 Flow Matching、和 Diffusion 一體兩面、要走幾步是 hyperparameter
  • 導論 2025 · 第 1 講(TigfpYPJk1s.md)— Diffusion 是另一種生成策略
  • 導論 2025 · 第 3 講(8iFvM7WUUs8.md)— 相近的 Token Embedding、attention 找出影響「果」的 token
  • 導論 2025 · 第 4 講(dWQVY_h0YXU.md)— 找一堆人來評斷
  • 導論 2025 · 第 6 講(mPWvAN4hzzY.md)— 看小範圍就知道是鳥嘴
  • 如何讓 Transformer 知道輸入 Token 的順序?(Ll-wk8x3G_g.md)— Transformer 不考慮順序、相對位置

🗣️ Triton(materials/core)

  • 027-RESTful API Design-tw-2.1.pdf.md — 202 Accepted「沒事別亂用」
  • 020-MQ解法.md — 先找支援 callback 的、outstanding_tasks table、不用 Redis 存待辦
  • 078-mq-intro.pdf.md — Message vs Signal、MQ 先寫磁碟、斷線後 GET 補回
  • 130-喵談 io streaming.md — 23GB 影片只用固定的小塊記憶體、只用一次的 data 用 streaming

公式(主文用文字講過)

  • frames = 秒數 × FPS;運算 ∝ frames × W × H × steps
  • latent:(T/8)(W/8)(H/8),110,592,000 → 216,000(÷512)
  • patch 數 = (W/p)(H/p)(T/q)
  • L = mean ‖ε − ε̂(z_t, t, c)‖²
  • FID / FVD = ‖μ_r − μ_g‖² + Tr(Σ_r + Σ_g − 2(Σ_rΣ_g)^½)
  • CLIP score = agg_t cos(f_img(x_t), f_txt(y))

延伸基礎(13 階)與 📅 依據

  • 學習地圖(3);小結(10、16、29、41);名詞小卡(50)
  • frame(5)、FPS(6)、resolution(8)、diffusion(11)、latent(12)、embedding(14)、convolution(20)、temporal attention(22)、patch(24)、positional encoding(26)、MSE(31)、super-resolution(34)、FID/FVD(38)
  • 📅:Veo 3(2025-05)、Sora 2(2025-09)同步生成聲音;Movie Gen 論文使用 flow matching;長度與步數為大致範圍
  • Triton 客座卡的應用(46–47)全部是 🔭 推論
← → 翻頁 · S 講者備註 · D 深/淺色
1 / 1目錄