GenAI System Design · 第 5 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無
Image Captioning
其實就是看圖說話,寫作文的是一台文字接龍而已
設計師上傳一張圖,系統自動建議一個檔名。原書用這個小功能,把「讓模型看懂一張圖、再用一句話說出來」整條路走一遍。我們一樣:先遇到問題,再看方法是怎麼被想出來的。
今天的路線
需求 → 一邊爬 11 階基礎(第 3 頁的階梯)、一邊對照原書:大架構 → 資料怎麼準備 → 模型怎麼看圖 → 怎麼學、怎麼說、怎麼打分數 → 整個系統 → 2026 年的變化。全程只用同一張鬱金香照片。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 延伸基礎
標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以照頁首的頁碼直接跳過。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。這一章是純 ML,沒有 Triton 客座卡。
先講跟你有關的Introduction · 動手玩
你的相簿裡,有幾張叫 IMG_0412.png?
📖 原書 Image captioning:產生一段描述圖片的文字(caption,就是圖說),而且要準確反映圖片內容。
你可能會想說,取個檔名有什麼難的?你想想看,它要先看懂這張圖,再用一句話說出來,而且看不懂的時候要閉嘴。換一張霧茫茫的圖試試看。
📖 原書 它還用在哪裡
- 社群平台:自動建議貼文圖說,幫創作者省時間
- 網路商店:幫商品圖產生說明,購物體驗更好
- 幕後:NSFW(不適合上班時看的)內容審查,用文字描述幫忙標記不當圖片
- 推薦系統的 cold start(新商品沒有資料,不知道推給誰):先產生圖說,就有文字可以分類、推薦
整堂課只回答三個問題:它怎麼看懂圖?(image encoder)它怎麼說出來?(text decoder)它什麼時候該閉嘴?(整個系統)
學習地圖今天要爬的 11 階 · 每一階只用前面學過的東西
一階一階往上爬,不跳階
- 1文字接龍句子怎麼一塊塊寫出來?
- 2兩段式先看懂,再說出來
- 3像素圖在電腦裡長怎樣?
- 4一組數字意思怎麼變成數字?
- 5夾角兩組數字多像?
- 6小放大鏡一小塊一小塊掃
- 7切拼圖切片、編號、排一排
- 8回頭看寫每個字看哪一片?
- 9驚訝分數猜錯要罰多重?
- 10多留幾條路怎麼說出最好的一整句?
- 11少見才值錢哪些字比較重要?
大架構 圖和字變成數字 模型怎麼看圖 怎麼學、怎麼說、怎麼打分數 英文名字等爬到那一階才給。
整堂課只用一張照片
設計師小美上傳的鬱金香照片。目標圖說:Tulip with leaves.
每一階都走四步
① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。按 → 一步一步出現。
每爬三階就停一下
「到這裡你已經會了」:第 8、15、24、34 頁。最後有名詞小卡(第 40 頁)。
原書Clarifying Requirements
原書的題目:幫設計師上傳的圖取名字
這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 圖有日常照片,也有醫療影像、技術圖表。先做日常圖片可以嗎? | 可以 |
| 要用在什麼場景? | 設計師上傳素材(asset)時,建議檔名 |
| 拿來當檔名,圖說不該太長太細,對嗎? | 對。要短,但有描述性、清楚 |
| 要支援多語言嗎? | 先只做英文 |
| 資料集多大、多多元? | 4 億對圖片與圖說,以日常圖片為主 |
| 圖說都是英文嗎? | 沒前處理過:可能有別的語言、有雜訊或不準,有些圖還沒有圖說 |
| 要即時嗎? | 要快,但不用即時;1–2 秒可以接受 |
| 內容模糊、焦點不明的圖怎麼辦? | 跳過,不建議 |
| 要避免偏見、冒犯字詞吧? | 好問題,公平與安全非常重要 |
| 圖通常多大?太小會看不清楚 | 只處理至少 256 × 256 像素的圖 |
整理成需求清單
- 功能:輸入一張日常圖片,輸出一句短短的英文圖說,拿來當檔名
- 不說:看不懂的圖不說;有偏見、冒犯的字不說
- 資料:4 億對,但很髒,要先清理
- 速度:1–2 秒內;圖至少 256 × 256
你想想看,「4 億對但很髒」這句話,等一下會變成一整頁的資料清理(第 13 頁);「看不懂就跳過」會變成系統裡的一道門檻(第 35 頁)。需求裡的每一句,後面都找得到。
延伸基礎第 1 階 · 文字接龍 · 懂的人可以跳到第 7 頁
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
看圖寫作文,下一個字是怎麼決定的?
① 先想像
國小的看圖說話:老師貼一張圖,你一個字一個字寫。寫下第一個字以後,下一個字就被「那張圖」和「前面寫了什麼」決定了。
你猜猜看:看著鬱金香照片,寫到「Tulip ___」,下一個字最可能是?
心裡其實有一張百分比表:with 70%,car 幾乎是 0。模型給的是一張表,不是一個字。
③ 這叫做 token
模型一次寫的那一塊叫 token(大約一個字或半個字)。一塊一塊接下去,就是文字接龍。
「語言模型真正的輸出……其實是一個Token的機率分佈」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講
④ 跟這章的關係
原書的 text decoder 就是一台文字接龍機,只是它接龍的時候,還一直「看著」那張圖。
② 動手玩:看著照片,一塊一塊接下去
每按一次,就接上一塊,再看下一塊的百分比表。百分比是示意。
延伸基礎第 2 階 · 兩段式 · 懂的人可以跳到第 7 頁
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
先看懂,再說出來:其實可以是兩個人
① 先想像
口譯員先把整段中文聽完,寫成一頁筆記;再看著筆記,用英文一句一句說出來。聽懂的人和說出來的人,其實可以分成兩個人。
你猜猜看:把「聽中文」換成「看照片」,哪一個人要換掉?
說英文的人只要拿到一份筆記就能說,不用換。只有「讀懂輸入」的那一個,要換成看得懂圖的人。
③ 這叫做 encoder 和 decoder
讀懂輸入、壓成一份「數字筆記」的那一半叫 encoder。看著筆記、一塊一塊接龍說出來的那一半叫 decoder。
④ 跟這章的關係
原書說:把圖片當成一種新的「語言」,像翻譯一樣用 encoder-decoder。前半換成 image encoder,後半是 text decoder(第 7 頁)。
② 動手玩:同一個「說英文的人」,換不同的「聽懂的人」
按播放,看輸入怎麼變成筆記,筆記怎麼變成英文。
原書Frame the Problem as an ML Task · Figure 2、3
把問題變成 ML 任務:圖片進去,一句話出來
這一步要解決「幫圖取名字」要變成 ML(機器學習)題目:輸入什麼、輸出什麼、用什麼方法?
📖 原書 Input:一張圖片。Output:一段準確描述圖片內容的文字。
📖 原書 難在哪?模型要同時有三種能力:看得懂圖(視覺理解)、寫得出句子(語言理解)、還要在圖和字之間搭橋。這需要 multi-modal(多模態:同時處理不只一種資料)系統。
📖 原書 這不是唯一做法。BLIP-2、BLIP-3、InternVL 這些模型用了不同的技術和架構;原書在這章聚焦 encoder-decoder,其他方法放到 other talking points(第 36 頁)。
Image encoder
理解圖片的視覺內容,把圖片編碼成較低維度的表示。白話:把幾十萬個數字的照片,壓成一小份數字筆記。
Text decoder
用 encoder 給的視覺資訊,生成描述性的圖說。就是第 5 頁的文字接龍。
小結第 1–2 階:大架構
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
到這裡你已經會了
- 寫句子就是文字接龍一次一塊 token,每一步是一張百分比表(第 5 頁)
- 看懂和說出來,可以分兩半encoder 壓成數字筆記,decoder 看著筆記接龍(第 6 頁)
- 原書把圖片當成一種外語image encoder + text decoder,就是一個多模態系統(第 7 頁)
鬱金香照片,現在走到哪裡
- 輸入小美上傳的鬱金香照片
- encoder???(還不知道怎麼看圖)
- 筆記一份數字筆記
- decoderTulip → with → leaves → .
下一階要解決:模型只吃數字。照片和圖說要怎麼變成數字?原書那 4 億對髒資料,又要怎麼清?
延伸基礎第 3 階 · 像素 · 懂的人可以跳到第 12 頁
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
一張照片,在電腦裡其實是一大張數字表
① 先想像
把手機照片一直放大、一直放大,最後會看到一格一格的小方塊。每一格只是一個顏色,而顏色可以用三個數字講完:多紅、多綠、多藍。
你猜猜看:一張 256 × 256 的彩色照片,電腦裡存了幾個數字?
256 × 256 = 65,536 格,每格有紅、綠、藍三個數字:65,536 × 3 = 196,608,約 20 萬個。
③ 這叫做 pixel 和 channel
每一格叫 pixel(像素),存 0 到 255 的數字。紅、綠、藍各一層,疊起來叫三個 channel。
「它看到的一張彩色的圖片 其實是三張圖片疊在一起的」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係
原書的圖片前處理:太小的圖丟掉、統一尺寸、把 0–255 除以 255 變成 0 到 1(第 14 頁)。
② 動手玩:放大到 8 × 8 格,點一格看它的數字
延伸基礎第 4 階 · 一組數字 · 懂的人可以跳到第 12 頁
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
20 萬個像素太多了。能不能只用幾個數字講「它在講什麼」?
① 先想像
幫每張圖、每句話打兩個分數:「跟花多有關」和「跟山多有關」,0 到 4 分。鬱金香照片是 [4, 0],山景照片是 [0, 4]。
你猜猜看:「Flowers on a hill」(山坡上的花)該打幾分?[花, 山]
花和山都有關,所以兩個分數都中等。右邊點它,看它站在哪裡。
③ 這叫做 embedding
embedding:代表一張圖或一句話「意思」的一組數字。一組數字,也可以畫成地圖上的一支箭頭。
「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講
④ 跟這章的關係
原書清資料用的 CLIP,就是把圖和句子放上同一張地圖的模型。encoder 的「數字筆記」也是 embedding。
② 動手玩:點一張圖或一句話,把它放上地圖
延伸基礎第 5 階 · 夾角 · 懂的人可以跳到第 12 頁
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
兩組數字「多像」怎麼量?看兩支箭頭的夾角
① 先想像
兩個人在路口幫你指路。指的方向越接近,要去的地方就越像。手臂長短不重要,方向才重要。
你猜猜看:夾角 0° 算 1 分、90° 算 0 分。那 60° 大概幾分?
不是照比例扣分。60° 剛好是一半,0.5;30° 還有 0.87。右邊把角度轉到 60° 看看。
③ 這叫做 cosine similarity
cosine similarity:看兩支箭頭的夾角。方向一樣是 1(最像),垂直是 0(不相關)。
④ 跟這章的關係
原書用它兩次:清資料時,圖和圖說的分數低於 0.25 就丟掉(第 13 頁);評估時,CIDEr 也是在算它(第 31 頁)。
② 動手玩:轉動 B 箭頭,看分數怎麼變
原書Data Preparation · Figure 4
4 億對資料,不是每一對都能用
這一步要解決資料很多,但很髒:有別的語言、有重複、有不相關、有太長、有太小太糊的圖。
「多數網路上爬到的資料 其實都在清理的過程就被丟掉了」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講(講語言模型的訓練資料)
📖 原書 資料集有 4 億對圖片與圖說,但並非全部都適合訓練。原書把圖說和圖片分開準備:
圖說準備(6 步)
去掉非英文 → 去掉重複 → 去掉不相關 → 長的摘要成短的 → 正規化 → 斷詞成 ID。第 13 頁動手跑一次。
圖片準備(4 步)
去掉低解析度 → 像素正規化到 0–1 → 去掉低品質 → 統一尺寸(先縮放、再中心裁切)。第 14 頁動手跑一次。
你可能會想說,資料越多越好,幹嘛丟?因為模型會照資料的樣子學:資料裡的圖說又長又亂,它學到的就是又長又亂。
原書Caption preparation · 動手玩
圖說準備:一步一步,看哪幾對被丟掉
這一步要解決原始圖說雜訊多、格式不一,模型吃不下。要丟掉不適合的,剩下的弄成一致、切成 token。
📖 原書 六個步驟:
- Remove non-English:模型只做英文,非英文的配對拿掉
- Remove duplicates:重複的圖用 perceptual hashing(看起來一樣的圖算出一樣的指紋)或 CLIP image encoder 找;重複的圖說用完全比對,或 CLIP text encoder 比語意。避免模型 overfitting(背重複的東西),學到更廣的圖文關係
- Remove irrelevant:用 pretrained 的 CLIP 打圖文相關分數,低於門檻(例如 0.25)的拿掉。CLIP 怎麼打分數見原書第 9 章
- Summarize long captions:圖說太長,模型就學會寫長句,不適合當檔名;用 Llama 這類 LLM 摘要成短句
- Normalize:轉小寫、去掉多餘空白
- Tokenize:用 subword 的 BPE(Byte-Pair Encoding,常見字整塊、少見字拆零件)切成 ID 序列(原書第 2、3 章)
「一模一樣的資料 重複再多次 它就是同一筆資料而已 所以沒有什麼特別的用處」🎓 李宏毅課堂 導論 2025 · 第 7 講(deduplication)
原書Image preparation · Figure 5 · 動手玩
圖片準備:大小不一的圖,怎麼變成一樣大?
這一步要解決模型訓練時要固定大小的輸入,可是圖片有大有小、有直有橫;太小、太糊的圖也會害模型學錯。
0 → 0.00 · 128 → 0.50 · 230 → 0.90 · 255 → 1.00
每個像素除以 255,全部落在 0 到 1 之間(第 9 頁勾過的那個選項)。
📖 原書 四個步驟:
- Remove low-resolution:小於 256 × 256 的配對拿掉,細節不夠,寫不出準確的圖說
- Normalize:像素值縮放到 0 到 1 之類的範圍,讓訓練過程更穩定
- Remove low-quality:模糊、過曝、太暗等降低清晰度的圖拿掉。可以用 LAION Aesthetics Predictor 這類圖片品質評估方法,依銳利度、對比、光線打分數
- Adjust dimensions:全部調成同樣大小,而且保持原本的長寬比。兩步:① Resizing:較短的邊縮到目標大小,512 × 768 → 256 × 384;② Center-cropping:從中間裁成 256 × 256
📖 原書 這兩步讓圖片保持長寬比,又符合模型要的尺寸。你想想看,如果直接把 512 × 768 壓扁成 256 × 256,鬱金香會變成一顆胖胖的球。
小結第 3–5 階:圖和字變成數字
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
到這裡你已經會了
- 照片就是三層數字表pixel、channel;除以 255 變成 0 到 1(第 9 頁)
- 意思可以用一組數字表示embedding:圖和句子能站在同一張地圖上(第 10 頁)
- 多像,就看夾角cosine similarity;CLIP 分數低於 0.25 的配對丟掉(第 11、13 頁)
鬱金香照片,現在走到哪裡
- 清資料它和圖說的 CLIP 分數夠高,留下來
- 前處理縮放、中心裁切成 256 × 256,像素除以 255
- 圖說tulip with leaves.
- encoder還是???
下一階要解決:20 萬個數字,encoder 要怎麼「看懂」它是一朵鬱金香?先從一個小放大鏡開始。
延伸基礎第 6 階 · 小放大鏡 · 懂的人可以跳到第 17 頁
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
認出「這裡有一根莖」,需要看整張圖嗎?
① 先想像
拿一個只看得到 3 × 3 格的小放大鏡,從左上角一格一格掃過整張圖。不用看整張圖,你也認得出「這裡有一條直直的莖」。
你猜猜看:3 × 3 的放大鏡在 8 格寬的圖上,一次往右移一格,一排可以停幾個位置?
放大鏡有 3 格寬,最右只能從第 6 格開始:8 − 3 + 1 = 6。所以掃完一整張,是 6 × 6 張分數表。
③ 這叫做 filter 和 CNN
放大鏡裡那 9 個數字叫 filter。用很多個 filter 一層一層掃圖的模型叫 CNN。
「你只要看這個小的範圍……你根本不需要看整張圖片 你就知道是鳥嘴」🎓 李宏毅課堂 導論 2025 · 第 6 講(CNN)
④ 跟這章的關係
原書第一種 image encoder 就是 CNN:掃完得到一小張「分數格子」,每一格是一串數字(第 18 頁)。
② 動手玩:選一個放大鏡,點左邊任一個位置,或整排掃過去
黑白鬱金香(1 = 有東西)
放大鏡(filter)
分數表(6 × 6)
原書Model Development · Image encoder · Figure 6 · 動手玩
encoder 的筆記:寫成一句總結,還是一頁條列?
這一步要解決encoder 的輸出決定了圖說能寫得多好、多具體。輸出一個向量就好,還是一串?
Single token:整張圖壓成一個向量
📖 原書 這個向量是整張圖的摘要,抓住全域特徵和整體情境。優點:簡單,架構直觀、運算量和資源需求低;強調整體內容,適合簡短、高層次的圖說。缺點:局部細節和細微差異會不見,圖說偏籠統,複雜的圖處理不好。
Sequence of tokens:一串向量
📖 原書 每個向量對應圖的一個區塊(patch)或面向,同時有全域和局部特徵。特別適合 attention(寫每個字時決定看哪幾個向量,第 22 頁):decoder 生成時可以動態聚焦不同區域,圖說更準確、相關、具體,更貼近圖裡的物件、動作和情境。
原書說研究兩種都探討過。這章後面選的是一串。image encoder 的架構分兩類:CNN-based(下一頁)和 Transformer-based(第 20 頁)。
原書CNN-based image encoder · Figure 7
CNN 掃完是一張 3 × 3 的格子,但 decoder 要的是「一排」
這一步要解決CNN 輸出的是格子(3 × 3 × c),text decoder 裡的 Transformer 要的是序列(9 × c)。
📖 原書 CNN 傳統上就是拿來做影像編碼。它用 convolutional filters(第 16 頁的小放大鏡)抓圖片裡的空間層次:在不同尺度上偵測邊緣、紋理、物體。
📖 原書 CNN-based encoder 處理圖片後,輸出一個 feature vector 的格子。例如 Figure 7:輸出大小 3 × 3 × c,c 是 channel 數,看 CNN 架構而定。
📖 原書 解法:flatten(攤平)或 reshape,把 3 × 3 格子裡九個位置的特徵,重新排成一排 9 × c。
白話:九宮格的便當,一格一格夾出來排成一排。每一格是一個向量(一組 c 個數字),排成九個。所謂的 flatten,其實就是換個擺法而已,一個數字都沒改。
延伸基礎第 7 階 · 切拼圖 · 懂的人可以跳到第 20 頁
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
把照片切成拼圖、排成一長條,還拼得回去嗎?
① 先想像
把照片切成 16 片拼圖,排成一長條寄給朋友。朋友要拼回去,最需要什麼?每一片背後的編號。
你猜猜看:256 × 256 的圖,切成 64 × 64 的小片,一共幾片?
一邊 256 ÷ 64 = 4 片,4 × 4 = 16 片。原書的例子就是這個數字。
③ 這叫做 patch 和 positional encoding
切出來的每一片叫 patch。每片背後的編號叫 positional encoding。
「影像是二維的 所以這些 Token 通常也是二維的 那可以想像每一個 Token 其實就對應到圖片裡面的一個小的區塊」🎓 李宏毅課堂 導論 2025 · 第 9 講
④ 跟這章的關係
原書第二種 image encoder(Transformer-based)的前兩步,就是切片(Patchify)和編號(第 20、21 頁)。
② 動手玩:切開、打亂,再試著拼回去
原書Transformer-based image encoder · Patchify · Figure 8、9 · 動手算
Transformer 只吃一排,所以先把圖切成一排
這一步要解決Transformer 原本是給文字(一排 token)用的。要怎麼讓它讀圖片?
📖 原書 Transformer 最早是給自然語言用的,後來改用在影像編碼上,效果很好。它分析圖片、抽出特徵,編碼成一串 embedding。三個零件:Patchify → Positional encoding → Transformer。
📖 原書 Patchify 的三步
- Divide:切成固定大小的 patch
- Flatten:每片攤平成一排數字
- Linearly project:每排數字乘上一組固定的權重,變成 c 個數字的 embedding(c 是想要的大小)
原書的例子:256 × 256 的圖,切成 64 × 64 的 patch,攤平成 4096 個數字的向量,再投影成大小 c 的 embedding。
你仔細想想,切越小,片數越多,序列越長。第 19 頁的 16 片,就是這裡的 64 × 64。
原書Positional encoding · 1D vs 2D · Learnable vs fixed · Figure 10 · 動手玩
拼圖背後的編號:寫 1、2、3,還是寫(列, 行)?
這一步要解決Positional encoding 幫每片記住它在原圖的位置,讓 Transformer 懂序列裡的位置關係。編號有好幾種寫法。
📖 原書 1D vs. 2D
1D:一個函數把一個整數(序列裡第幾個)對應成 c 維向量,c 通常是 Transformer 的 hidden dimension。文字常用。用在圖片上,是編碼攤平後序列裡的位置,可能抓不到二維的空間關係。2D:把兩個整數(格子裡的列和行)對應成 c 維向量,保留空間結構,比較適合圖片。
📖 原書 Learnable vs. fixed
Learnable:訓練時一起學,用一個神經網路把位置(1D 或 2D)對應成 c 維向量。Fixed:用固定函數決定,例如 sine–cosine(原書第 2 章)。
📖 原書 怎麼選?通常沒有最好的答案。Vision Transformer(ViT)用的是 learnable 1D;實務上常常幾種組合都試,看哪個對這個任務最好。
延伸基礎第 8 階 · 回頭看 · 懂的人可以跳到第 23 頁
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
寫到「葉子」的時候,眼睛會飄到圖的哪裡?
① 先想像
看圖寫作文,寫到「鬱金香」時,你看的是上面那朵花;寫到「葉子」時,眼睛會自己飄到下半部。每寫一個字,看的地方都不一樣。
你猜猜看:寫到 leaves 的時候,16 片拼圖該怎麼看?
葉子在下半部,所以下面幾片分到的注意力最多;其他片也看一點點,加起來 100%。右邊點 leaves 看看。
③ 這叫做 attention
attention:每寫一個 token,決定每一片要看多重,再把看到的合在一起。
「attention 第一件做的事情 是找出輸入的 token 裡面 哪些 token 會影響現在我們要考慮的『果』這個 token 的意思」🎓 李宏毅課堂 導論 2025 · 第 3 講(兩顆青蘋果)
④ 跟這章的關係
原書要 encoder 輸出「一串」而不是「一個」,就是為了讓 decoder 每寫一個字都能回頭看不同的片(第 17 頁)。
② 動手玩:點圖說裡的一個字,看它在看哪幾片
原書Which architecture · Text decoder · Figure 11
原書的選擇:ViT 看圖,decoder-only Transformer 寫字
這一步要解決CNN 和 Transformer,哪一個當 image encoder?text decoder 又用什麼?
📖 原書 Image encoder 選哪個
| CNN | Transformer | |
|---|---|---|
| 擅長 | 抓圖片裡的局部 pattern | 用 self-attention 同時抓局部和全域的關係 |
| 吃力 | 圖片裡距離很遠的區域之間的關係(long-range dependencies) | — |
| 適合 | — | 需要細緻、看上下文的圖片理解,例如寫描述性的圖說 |
結論:跟隨 ViT,選 Transformer-based 當 image encoder。
📖 原書 Text decoder
前幾章已經看過:decoder-only Transformer 是生成文字的標準選擇。輸入是對應這張圖的一串向量,輸出是圖說,一次生成一個 token。
你想想看:CNN 是第 16 頁的小放大鏡,一次只看 3 × 3;鬱金香的花在上面、葉子在下面,要知道「這些葉子是這朵花的」,得把很遠的兩塊連起來。Transformer 的每一片,第一層就能看到其他所有片。
小結第 6–8 階:模型怎麼看圖
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
到這裡你已經會了
- CNN 用小放大鏡掃圖filter 掃完得到格子,再 flatten 成一排(第 16、18 頁)
- ViT 把圖切成拼圖再編號patchify、positional encoding;256 × 256 切成 16 片(第 19–21 頁)
- decoder 每寫一個字,回頭看不同的片attention;所以 encoder 要輸出一串(第 22、23 頁)
鬱金香照片,現在走到哪裡
- 切片256 × 256 → 16 片 64 × 64
- 編號每片加上位置(ViT:learnable 1D)
- encoderViT 輸出 16 個向量
- decoder寫 Tulip 看花、寫 leaves 看葉子
下一階要解決:架構有了,可是模型一開始什麼都不會。它怎麼學會寫圖說?學會之後,又怎麼挑出最好的一整句?
延伸基礎第 9 階 · 驚訝分數 · 懂的人可以跳到第 26 頁
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
模型猜錯的時候,要罰多重?
① 先想像
氣象預報說明天下雨機率 90%,結果下雨了,你不驚訝。它說 1%,結果下大雨,你嚇一跳。越沒把握的事發生了,越驚訝。
你猜猜看:模型給正確答案 Tulip 的機率,從 1/10 掉到 1/100,驚訝分數會怎樣?
1/10 是 2.3 分,1/100 是 4.6 分:每多一個零,就多 2.3 分。它只看「幾分之一」的數量級。
③ 這叫做 loss 和 cross-entropy
驚訝分數叫 loss:離正確答案多遠。只看正確答案拿到多少機率的算法,叫 cross-entropy。
「這兩個機率分布越接近 那這個 Loss 算出來呢就會越小」🎓 李宏毅課堂 導論 2025 · 第 6 講
④ 跟這章的關係
訓練就是轉動模型裡的旋鈕(參數),讓 loss 變小。原書的圖說每一個位置都算一次(第 26 頁)。
② 動手玩:拉拉看,模型給正確答案多少機率
看著鬱金香照片、寫第一個字,正確答案是 Tulip。給 100% 不扣分;機率越低,扣越多。
原書Training · Two-stage · ML objective and loss · Figure 12 · 動手玩
先讀圖書館、先學看圖,再一起練看圖說話
這一步要解決從零開始訓練又貴又慢。能不能借別人練好的?
1. Unsupervised pretraining
📖 原書 text decoder(decoder-only Transformer)先用一般資料訓練,得到懂語言結構、寫得出通順文字的 base model,之後微調才會好。這階段非常耗運算,通常直接用現成的 pretrained 模型跳過:本章用 GPT-2 或 Llama。image encoder 也一樣,直接用 CLIP 或 ViT 這類強大的 pretrained 視覺模型。
「第一階段的 Pre-training 就是機器像是一個學齡前的兒童 他就是每天玩 看到什麼就學什麼」🎓 李宏毅課堂 導論 2025 · 第 7 講
2. Supervised finetuning
📖 原書 用 4 億對圖片與圖說,encoder 和 decoder 一起訓練:encoder 學會更有效地編碼圖片資訊,decoder 學會讀懂那串圖片 embedding、寫出描述性的圖說。
ML objective 與 loss
📖 原書 decoder 一次生成一個 token,所以跟前幾章一樣:objective 是 next-token prediction(猜下一個 token),loss 用 cross-entropy(第 25 頁的驚訝分數)。
延伸基礎第 10 階 · 多留幾條路 · 懂的人可以跳到第 28 頁
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
每一步都挑最好的,整句話就最好嗎?
① 先想像
逛夜市,第一攤排最長,你就進去了,結果第二道菜普普通通。隔壁排隊少一點,招牌菜卻超好吃。只看眼前這一步,可能錯過更好的整條路線。
你猜猜看:路線 A:A(0.5)→ flower(0.4)。路線 B:Tulip(0.4)→ with(0.8)。整句誰的分數高?
整句的分數=每一步的機率乘起來:A 是 0.5 × 0.4 = 0.20,B 是 0.4 × 0.8 = 0.32。
③ 這叫做 beam search
同時留 k 條路,每一步展開後,只留總分最好的 k 條,叫 beam search;k 叫 beam width。
④ 跟這章的關係
原書的看圖說話用 beam search(第 28 頁)。最後那條路的總分,就是系統用來判斷「有沒有把握」的累積機率(第 35 頁)。
② 動手玩:同時留幾條路?
只留 1 條路,就是每步挑最高的。
原書Sampling · Figure 13
寫檔名要的是穩,不是驚喜
這一步要解決模型每一步給一張機率表。要擲骰子,還是用 beam search?
📖 原書 Sampling 時,圖說的 token 一次生成一個。
📖 原書 Stochastic sampling(照機率擲骰子)可以寫出有創意的圖說,beam search 則確保可預測。原書選 beam search,三個理由:
Quality
beam search 通常寫出品質較高的圖說,這對準確描述圖片內容很關鍵。
Consistency
它是 deterministic(同樣輸入、同樣輸出):同一張圖永遠得到同一句圖說。你上傳兩次同一張圖,檔名不該不一樣。
Coherence
通常寫出連貫的圖說,避免突然換話題或自相矛盾,例如「A person is walking house」「A dog is reading a person」。
你想想看,擲骰子一步擲歪了,後面就步步歪,第 5 頁「擲一次骰子」偶爾就會走到怪地方。需求裡的 1–2 秒,也夠 beam search 多算幾條路。
延伸基礎第 11 階 · 少見才值錢 · 懂的人可以跳到第 30 頁
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
一句圖說裡,哪些字比較能代表這張圖?
① 先想像
同學會上介紹一個人:「他有兩隻手」沒用,大家都有;「他會吹薩克斯風」一聽就知道是誰。越少見的特徵,越能代表一個人。
你猜猜看:「a」和「tulip」,哪一個字比較能代表這張鬱金香照片?
幾乎每句圖說都有 a,有它沒它都一樣;tulip 只出現在少數幾句,一出現就很有辨識度。右邊點點看。
③ 這叫做 TF-IDF
TF-IDF:一個字的重要性 =「在這句出現幾次」×「在全部句子裡有多少見」。把每個字的重要性排成一組數字,句子就變成一支箭頭。
④ 跟這章的關係
原書的評估指標 CIDEr,第一步就是把圖說用 TF-IDF 變成數字,再用第 11 頁的夾角比像不像(第 31 頁)。
② 動手玩:點一個字,看它在 6 句圖說裡出現幾次
原書Evaluation · Offline · Validation data · Figure 14
怎麼替圖說打分數?先準備好幾份「標準答案」
這一步要解決同一張圖,十個人有十種說法。只拿一句當標準答案,公平嗎?
📖 原書 Offline evaluation:在 validation dataset(訓練時沒看過的資料)上,把模型寫的圖說和參考圖說比,量它們有多像。每個例子有一張圖和一組參考圖說,通常是請好幾位標註者各自描述同一張圖。
📖 原書 多份參考答案的兩個好處
- Robust training:不同人描述同一張圖的方式不同,多份參考讓模型學到多種說法,更穩健、更準確
- Comprehensive evaluation:拿生成的圖說跟好幾份正確答案比,評估更完整、更公平
📖 原書 四個常用指標
- BLEU:翻譯常用,數生成的句子裡有多少片段出現在參考答案裡
- ROUGE:摘要常用,反過來數參考答案有多少被生成的句子蓋到
- METEOR:比對時也算同義詞、詞形變化
- CIDEr:專為圖說設計,這章的重點
前三個在原書第 3 章(翻譯)詳談。
「像 BLEU 或者是 ROUGE 這邊,這些常用的 Evaluation Metrics,它們就是在計算輸出跟標準答案之間有多少共用的詞彙。」🎓 李宏毅課堂 導論 2025 · 第 4 講
所以這四個指標,其實都在做同一件事:數一數生成的圖說和標準答案「撞了幾個字」,只是怎麼數、怎麼加權不一樣而已。
原書CIDEr · 三個步驟 · Figure 15、16 · 動手算
CIDEr:跟越多份參考答案都像,分數越高
這一步要解決怎麼用「共識」來打分數:跟一份像不夠,要跟大家都像。
拉動三份參考答案的相似度,看平均怎麼變。預設是原書的數字。
📖 原書 CIDEr(Consensus-based Image Description Evaluation)用共識來評估:生成的圖說跟好幾份參考答案都像,分數才高。單一例子分三步:
- 用 TF-IDF 表示圖說:生成的圖說和每份參考答案都變成數字(第 29 頁)。一個字在這句出現得越多、在整個語料裡越少見,就越重要
- 算相似度:生成的和每一份參考答案,算 TF-IDF 表示的 cosine similarity(第 11 頁)。越接近 1 越像,越接近 0 越不像
- 平均:把幾個相似度取平均。原書的例子:(0.688 + 0.257 + 0.766) ÷ 3 = 0.570
📖 原書 最後的 CIDEr 分數,是 validation dataset 裡每一張圖的分數再取平均,用一個數字代表模型整體表現。
原書CIDEr 的優缺點 · 動手玩
CIDEr 很會數字,但它看不懂句子
Pros
- Consensus-based:獎勵跟多份參考都像的圖說,評估更可靠
- Sensitive to important words:TF-IDF 給獨特的字較高權重,用到重要字詞的圖說得分高
- Robust to variations:根據多份參考計算,對不同說法比較穩健
Cons
- Computationally complex:大型資料集上算 TF-IDF 很貴
- Sensitive to reference quality:參考答案的品質和多樣性影響分數,爛參考會誤導評估
- Penalizes novel yet accurate:有創意、正確,但參考答案裡沒出現的說法會被扣分
- Lack of semantic understanding:字面像、意思不同時抓不到
「"HUMOR" 翻譯成中文也許可以翻「詼諧」,但假設標準答案寫的是「幽默」怎麼辦呢?那難道要算模型完全錯、得到 0 分嗎?所以只看詞彙的相似度還是有限的。」🎓 李宏毅課堂 導論 2025 · 第 4 講
動手玩:原書的咖啡和桌子
原書Online evaluation metrics
上線之後呢?這一章,線上指標不是主角
這一步要解決上線後要不要靠使用者的反應打分數?
📖 原書 理由一:它通常只是大系統的一小塊
Image captioning 常常只是一個更大系統的一部分(例如素材管理工具裡的一個小功能),很難收集到它自己的使用者互動資料。
📖 原書 理由二:好不好,很主觀
不像別的任務可以輕鬆量滿意度,圖說的品質要靠主觀判斷,而主觀判斷本來就因人而異:同一句圖說,A 覺得可以,B 覺得不行,看他們怎麼解讀這張圖。
📖 原書 結論
標準的離線指標仍是評估這個系統的主要方法。少數圖說直接影響使用者體驗的場景,engagement metrics(使用者的互動數據)和使用者回饋可以提供有價值的觀察。
套回我們的例子:設計師按 OK 收下建議的檔名,還是自己改掉?這就是原書說的使用者回饋。只是一個人覺得「Tulip with leaves.png」很好,另一個人想要「pink-tulip.png」,很難說誰對。
小結第 9–11 階:怎麼學、怎麼說、怎麼打分數
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
到這裡你已經會了
- 猜錯多驚訝,就是 losscross-entropy;先用現成的 GPT-2、Llama、CLIP、ViT,再用 4 億對一起微調(第 25、26 頁)
- 同時留幾條路,選總分最高的一句beam search:品質、一致、連貫(第 27、28 頁)
- 少見的字比較值錢,跟大家都像才高分TF-IDF → cosine → 平均 = CIDEr(第 29–32 頁)
鬱金香照片,現在走到哪裡
- 訓練猜 Tulip 的驚訝分數,越練越低
- 生成beam search 選出 Tulip with leaves.
- 評分跟三份參考比:0.688、0.257、0.766 → 0.570
- 上線???還差最後一段
最後要解決:模型做好了,還不能直接上線。圖太糊怎麼辦?圖說有偏見怎麼辦?要把它接成一個系統。
原書Overall ML System Design · Figure 17 · 動手玩
全部接起來:看得懂才說,說之前先檢查
這一步要解決不只是訓練一個模型。要幾個元件一起合作:前處理、生成、後處理。
Image preprocessing
📖 原書 把輸入的圖準備好給模型:調成標準尺寸、轉成一致的格式、標準化像素值,確保跟模型預期的輸入一致(第 14 頁做過的那些)。
Caption generator
📖 原書 核心元件:跟訓練好的模型互動,用 beam search 生成連貫的圖說。如果圖說的累積機率低於預設的信心門檻,就關掉檔名建議;否則交給後處理。這樣模糊的圖就不會得到不相關的圖說。
Post-processing
📖 原書 找出圖說裡帶偏見的字詞,換成中性的說法,確保公平與包容;另外檢查有沒有冒犯字詞,有的話就關掉建議。
原書Other Talking Points
面試還有時間,可能會被問到這些
📖 原書 六個主題
- 把 image captioner 擴展到其他任務,例如 visual question answering(VQA:看圖回答問題)
- 讓模型能替不同領域的圖片寫圖說(例如醫療影像、技術圖表)
- 用多語言資料集和 cross-lingual transfer learning(把一種語言學到的能力轉到別的語言)寫多語言圖說
- 在 edge device(手機這類終端裝置)上做圖說生成的最佳化技巧
- 產生好幾句合理的圖說,再依相關程度排序
- BLIP-2、BLIP-3 的方法細節,以及用來改善圖說的額外 loss function
每一題回到今天的哪一頁
- VQA → 第 6 頁:decoder 除了圖,也讀一段問題,一樣是接龍
- 不同領域 → 第 4 頁:一開始就說好只做日常圖片;換領域要換資料再微調(第 26 頁)
- 多語言 → 第 13 頁:第一步就把非英文丟了;要多語言,這一步要改
- Edge device → 第 20 頁:patch 越小序列越長、越慢;模型也要變小
- 好幾句再排序 → 第 27 頁:beam search 本來就留著 k 句候選
- BLIP-2、BLIP-3 → 第 37 頁:後來的看圖模型怎麼接 encoder 和 LLM
📅 2026 補充方法怎麼演進
原書之後,「看圖說話」變成通用模型的一個功能
架構:encoder + 轉接層 + LLM,成了主流
原書的骨架(pretrained 影像 encoder 的一串 embedding,接進 pretrained 的 decoder-only LLM)後來成了很多看圖模型(vision-language model)的標準做法:LLaVA 用 CLIP ViT 加一層投影接到 LLM;BLIP-2 在中間放一個 Q-Former。看圖說話不再是獨立系統,而是通用模型的一個功能。
「Gemma 是可以看圖片的 所以前面這些參數 就前面有掛 vision 的這些參數 是拿來處理圖片的」🎓 李宏毅課堂 導論 2025 · 第 3 講
不一定要裁成正方形
原書把每張圖縮放、中心裁切成 256 × 256,主角不在正中間時會被切掉。之後不少模型改成吃不同長寬比與解析度:把大圖切成幾塊分別編碼,或直接讓 patch 數跟著圖的大小變(例如 Qwen2-VL 的動態解析度)。第 21 頁的 2D 位置在這裡變得更重要。
評估:從「撞字」到「看懂意思」
原書自己點出 CIDEr 缺乏語意理解。之後常見兩種補法:CLIPScore 直接用 CLIP 比圖片和圖說的 embedding(不需要參考答案);或請另一個看圖模型當評審(LLM-as-a-judge)。課堂上講的也是這個方向:與其比字面,不如比 embedding。
patch 也不是唯一的切法
原書一片 patch 對應一塊固定區域。有研究改成用少量 token 表示整張圖,每個 token 不綁定位置。
「我們能不能夠說 一張圖片 就用 32 個 Token 來表示 這個 32 個 Token 沒有固定對應的區域」🎓 李宏毅課堂 導論 2025 · 第 9 講
原書Summary 心智圖
原書這一章的總結圖
回顧11 階全部爬完
- 文字接龍
- 兩段式
- 像素
- 一組數字
- 夾角
- 小放大鏡
- 切拼圖
- 回頭看
- 驚訝分數
- 多留幾條路
- 少見才值錢
Image captioning 其實就是看圖說話,寫作文的是一台文字接龍而已。
它怎麼看懂圖
照片是三層數字表 → 切成 16 片拼圖、加上編號 → ViT 輸出一串向量(不是一個,細節才不會不見)。
它怎麼說出來
decoder-only LLM 看著那串向量接龍,每寫一個字回頭看不同的片;beam search 同時留幾條路,選總分最高的。
它怎麼學、怎麼打分數
借現成的 GPT-2/Llama 和 CLIP/ViT,用清乾淨的 4 億對一起微調;CIDEr 看跟多份參考答案的共識。
它什麼時候閉嘴
累積機率太低不說;有偏見的字先換掉,有冒犯字詞就不說。
看一眼圖,寫一個字,再看一眼圖,再寫一個字。然後呢?然後就結束了。
名詞小卡課後複習用 · 每個詞一行白話
本章名詞小卡
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| image captioning | 看圖說話:幫一張圖寫一句描述 | 第 2 頁 |
| token | 模型一次寫的那一塊,大約一個字或半個字 | 第 5 頁 |
| encoder | 讀懂輸入、壓成一份數字筆記的那一半 | 第 6 頁 |
| decoder | 看著筆記、一塊一塊接龍說出來的那一半 | 第 6 頁 |
| multi-modal | 同時處理不只一種資料,例如圖和字 | 第 7 頁 |
| cold start | 新東西沒資料、不知道推給誰 | 第 2 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| pixel / channel | 照片裡的一格/紅綠藍其中一層 | 第 9 頁 |
| embedding | 代表一張圖或一句話意思的一組數字 | 第 10 頁 |
| cosine similarity | 看兩支箭頭的夾角,越接近 1 越像 | 第 11 頁 |
| CLIP | 把圖和句子放上同一張地圖的模型 | 第 13 頁 |
| perceptual hashing | 看起來一樣的圖,算出一樣的指紋 | 第 13 頁 |
| BPE | 常見字整塊、少見字拆零件的切字法 | 第 13 頁 |
| center-cropping | 縮放後從正中間切成正方形 | 第 14 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| filter | 小放大鏡裡的那組數字,掃過整張圖 | 第 16 頁 |
| CNN | 用很多小放大鏡一層一層掃圖的模型 | 第 18 頁 |
| flatten | 把格子換個擺法,排成一排 | 第 18 頁 |
| patch / patchify | 把圖切成固定大小的拼圖片 | 第 19 頁 |
| positional encoding | 每片拼圖背後的位置編號 | 第 21 頁 |
| ViT | 用 Transformer 看拼圖片的 image encoder | 第 23 頁 |
| attention | 寫每個字時,決定每一片要看多重 | 第 22 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| pretraining | 先讀一整座圖書館(學齡前,看到什麼學什麼) | 第 26 頁 |
| finetuning | 再用 4 億對圖文練看圖說話 | 第 26 頁 |
| loss / cross-entropy | 猜錯時有多驚訝;越小越好 | 第 25 頁 |
| beam search | 同時留 k 條路,每步只留總分最好的 k 條 | 第 27 頁 |
| TF-IDF | 少見又常在這句出現的字,比較重要 | 第 29 頁 |
| CIDEr | 跟多份參考答案的 TF-IDF 夾角,取平均 | 第 31 頁 |
| BLEU / ROUGE / METEOR | 數生成的句子和標準答案撞了幾個字 | 第 30 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| image preprocessing | 上線時把圖調成模型要的樣子 | 第 35 頁 |
| caption generator | 用 beam search 寫圖說,沒把握就不說 | 第 35 頁 |
| confidence threshold | 累積機率要過的那條線 | 第 35 頁 |
| post-processing | 偏見字換中性說法,冒犯字就不建議 | 第 35 頁 |
| VQA | 看圖回答問題 | 第 36 頁 |
忘了哪個詞,就回到右邊那一頁,四步再走一次。
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Generative AI System Design Interview · Image Captioning 章。Introduction 與 Figure 1(第 2 頁)、Clarifying Requirements(4)、input/output、multi-modal、encoder-decoder、Figure 2–3、BLIP-2/3、InternVL(7)、Data Preparation 與 Figure 4(12)、caption preparation 六步(13)、image preparation 四步與 Figure 5(14)、encoder 輸出 single vs sequence 與 Figure 6(17)、CNN-based 與 Figure 7(18)、Transformer-based、patchify 與 Figure 8–9(20)、positional encoding 1D/2D、learnable/fixed 與 Figure 10(21)、架構選擇、text decoder 與 Figure 11(23)、兩階段訓練、objective、loss 與 Figure 12(26)、sampling、beam search 三理由與 Figure 13(28)、offline 評估、validation data、四指標與 Figure 14(30)、CIDEr 三步、Figure 15–16、0.570(31)、CIDEr 優缺點(32)、online 評估(33)、整體設計與 Figure 17(35)、Other Talking Points(36)、心智圖(38)。18 張圖全部依圖說與描述重繪,不是原圖;Figure 1 是 UI 對話框,畫成線框圖;alt 與內文不一致處(Figure 6、7、9、11、12、15)以內文為準,已在各頁備註註明
本簡報加的頁面:概念階梯(3)、11 個延伸基礎(5、6、9、10、11、16、19、22、25、27、29)、小結(8、15、24、34)、名詞小卡(40)。貫穿例子的鬱金香圖是示意圖;Tulip with leaves.、三份參考答案、0.688/0.257/0.766/0.570 出自原書,其餘機率與分數都是示意
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 1 講(TigfpYPJk1s)— Token 的機率分佈
- 同 · 第 3 講(8iFvM7WUUs8)— 相近的 Token Embedding、兩顆青蘋果的 attention、Gemma 的 vision tower
- 同 · 第 4 講(dWQVY_h0YXU)— BLEU、ROUGE 數共用詞彙;HUMOR 詼諧/幽默
- 同 · 第 6 講(mPWvAN4hzzY)— 彩色圖片是三張圖疊在一起、CNN 的 receptive field、filter、cross-entropy
- 同 · 第 7 講(YJoegm7kiUM)— 學齡前兒童、資料清理、deduplication
- 同 · 第 9 講(ccqCDD9LqCA)— 二維的影像 Token、An image is worth 32 tokens
- 如何讓 Transformer 知道輸入 Token 的順序?(Ll-wk8x3G_g)— Transformer 本身不知道順序
來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)
公式(主文用文字講過)
- 像素正規化:x′ = x ÷ 255
- CNN 輸出寬度:(W − k) ÷ s + 1(8 − 3 + 1 = 6)
- patch 數:(H ÷ P) × (W ÷ P);攤平長度 P² × C(原書寫 P² = 4096)
- cross-entropy:−Σ yᵢ ln pᵢ(one-hot 時 = −ln p正確)
- beam score:Σ log p;累積機率 Π p
- tf-idf(t, d) = tf(t, d) · log(N ÷ df(t))
- cos(A, B) = A·B ÷ (|A||B|);CIDEri = 平均j cos(gi, rij)
📅 依據
- 原論文 CIDEr 用 1–4-gram 的 TF-IDF 再平均(CIDEr-D 另加長度懲罰);原書簡化成單字
- LLaVA、BLIP-2、Qwen2-VL、CLIPScore 皆為公開論文
本章沒有 Triton 的對應資料,不放客座卡。