GenAI System Design · 第 5 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:⚪ 無

Image Captioning
其實就是看圖說話,寫作文的是一台文字接龍而已

設計師上傳一張圖,系統自動建議一個檔名。原書用這個小功能,把「讓模型看懂一張圖、再用一句話說出來」整條路走一遍。我們一樣:先遇到問題,再看方法是怎麼被想出來的。

今天的路線

需求 → 一邊爬 11 階基礎(第 3 頁的階梯)、一邊對照原書:大架構 → 資料怎麼準備 → 模型怎麼看圖 → 怎麼學、怎麼說、怎麼打分數 → 整個系統 → 2026 年的變化。全程只用同一張鬱金香照片。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 延伸基礎

標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以照頁首的頁碼直接跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨與演進,不評論任何公司、產品或作者。這一章是純 ML,沒有 Triton 客座卡。

先講跟你有關的Introduction · 動手玩

你的相簿裡,有幾張叫 IMG_0412.png?

上傳哪一張:
📖 原書 Figure 1Image captioning 系統幫上傳的圖建議檔名(依原書內容重繪成線框圖;換圖是本簡報加的互動)

📖 原書 Image captioning:產生一段描述圖片的文字(caption,就是圖說),而且要準確反映圖片內容。

你可能會想說,取個檔名有什麼難的?你想想看,它要先看懂這張圖,再用一句話說出來,而且看不懂的時候要閉嘴。換一張霧茫茫的圖試試看。

📖 原書 它還用在哪裡

  • 社群平台:自動建議貼文圖說,幫創作者省時間
  • 網路商店:幫商品圖產生說明,購物體驗更好
  • 幕後:NSFW(不適合上班時看的)內容審查,用文字描述幫忙標記不當圖片
  • 推薦系統的 cold start(新商品沒有資料,不知道推給誰):先產生圖說,就有文字可以分類、推薦

整堂課只回答三個問題:它怎麼看懂圖?(image encoder)它怎麼說出來?(text decoder)它什麼時候該閉嘴?(整個系統)

學習地圖今天要爬的 11 階 · 每一階只用前面學過的東西

一階一階往上爬,不跳階

  1. 1文字接龍句子怎麼一塊塊寫出來?
  2. 2兩段式先看懂,再說出來
  3. 3像素圖在電腦裡長怎樣?
  4. 4一組數字意思怎麼變成數字?
  5. 5夾角兩組數字多像?
  6. 6小放大鏡一小塊一小塊掃
  7. 7切拼圖切片、編號、排一排
  8. 8回頭看寫每個字看哪一片?
  9. 9驚訝分數猜錯要罰多重?
  10. 10多留幾條路怎麼說出最好的一整句?
  11. 11少見才值錢哪些字比較重要?

大架構 圖和字變成數字 模型怎麼看圖 怎麼學、怎麼說、怎麼打分數 英文名字等爬到那一階才給。

整堂課只用一張照片

設計師小美上傳的鬱金香照片。目標圖說:Tulip with leaves.

每一階都走四步

① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。按 → 一步一步出現。

每爬三階就停一下

「到這裡你已經會了」:第 8、15、24、34 頁。最後有名詞小卡(第 40 頁)。

原書Clarifying Requirements

原書的題目:幫設計師上傳的圖取名字

這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。

📖 原書 應徵者 × 面試官

應徵者問面試官答
圖有日常照片,也有醫療影像、技術圖表。先做日常圖片可以嗎?可以
要用在什麼場景?設計師上傳素材(asset)時,建議檔名
拿來當檔名,圖說不該太長太細,對嗎?對。要短,但有描述性、清楚
要支援多語言嗎?先只做英文
資料集多大、多多元?4 億對圖片與圖說,以日常圖片為主
圖說都是英文嗎?沒前處理過:可能有別的語言、有雜訊或不準,有些圖還沒有圖說
要即時嗎?要快,但不用即時;1–2 秒可以接受
內容模糊、焦點不明的圖怎麼辦?跳過,不建議
要避免偏見、冒犯字詞吧?好問題,公平與安全非常重要
圖通常多大?太小會看不清楚只處理至少 256 × 256 像素的圖

整理成需求清單

  • 功能:輸入一張日常圖片,輸出一句短短的英文圖說,拿來當檔名
  • 不說:看不懂的圖不說;有偏見、冒犯的字不說
  • 資料:4 億對,但很髒,要先清理
  • 速度:1–2 秒內;圖至少 256 × 256

你想想看,「4 億對但很髒」這句話,等一下會變成一整頁的資料清理(第 13 頁);「看不懂就跳過」會變成系統裡的一道門檻(第 35 頁)。需求裡的每一句,後面都找得到。

延伸基礎第 1 階 · 文字接龍 · 懂的人可以跳到第 7 頁

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

看圖寫作文,下一個字是怎麼決定的?

① 先想像

國小的看圖說話:老師貼一張圖,你一個字一個字寫。寫下第一個字以後,下一個字就被「那張圖」和「前面寫了什麼」決定了。

你猜猜看:看著鬱金香照片,寫到「Tulip ___」,下一個字最可能是?

③ 這叫做 token

模型一次寫的那一塊叫 token(大約一個字或半個字)。一塊一塊接下去,就是文字接龍。

「語言模型真正的輸出……其實是一個Token的機率分佈」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講

④ 跟這章的關係

原書的 text decoder 就是一台文字接龍機,只是它接龍的時候,還一直「看著」那張圖。

② 動手玩:看著照片,一塊一塊接下去

每按一次,就接上一塊,再看下一塊的百分比表。百分比是示意。

延伸基礎第 2 階 · 兩段式 · 懂的人可以跳到第 7 頁

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

先看懂,再說出來:其實可以是兩個人

① 先想像

口譯員先把整段中文聽完,寫成一頁筆記;再看著筆記,用英文一句一句說出來。聽懂的人和說出來的人,其實可以分成兩個人。

你猜猜看:把「聽中文」換成「看照片」,哪一個人要換掉?

③ 這叫做 encoder 和 decoder

讀懂輸入、壓成一份「數字筆記」的那一半叫 encoder。看著筆記、一塊一塊接龍說出來的那一半叫 decoder。

④ 跟這章的關係

原書說:把圖片當成一種新的「語言」,像翻譯一樣用 encoder-decoder。前半換成 image encoder,後半是 text decoder(第 7 頁)。

② 動手玩:同一個「說英文的人」,換不同的「聽懂的人」

按播放,看輸入怎麼變成筆記,筆記怎麼變成英文。

原書Frame the Problem as an ML Task · Figure 2、3

把問題變成 ML 任務:圖片進去,一句話出來

這一步要解決「幫圖取名字」要變成 ML(機器學習)題目:輸入什麼、輸出什麼、用什麼方法?

📖 原書 Figure 2Image captioning 系統的 input 和 output(依原書內容重繪)

📖 原書 Input:一張圖片。Output:一段準確描述圖片內容的文字。

📖 原書 難在哪?模型要同時有三種能力:看得懂圖(視覺理解)、寫得出句子(語言理解)、還要在圖和字之間搭橋。這需要 multi-modal(多模態:同時處理不只一種資料)系統。

📖 原書 這不是唯一做法。BLIP-2、BLIP-3、InternVL 這些模型用了不同的技術和架構;原書在這章聚焦 encoder-decoder,其他方法放到 other talking points(第 36 頁)。

📖 原書 Figure 3Image captioning 的兩個元件(依原書內容重繪)

Image encoder

理解圖片的視覺內容,把圖片編碼成較低維度的表示。白話:把幾十萬個數字的照片,壓成一小份數字筆記。

Text decoder

用 encoder 給的視覺資訊,生成描述性的圖說。就是第 5 頁的文字接龍。

小結第 1–2 階:大架構

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

到這裡你已經會了

  • 寫句子就是文字接龍一次一塊 token,每一步是一張百分比表(第 5 頁)
  • 看懂和說出來,可以分兩半encoder 壓成數字筆記,decoder 看著筆記接龍(第 6 頁)
  • 原書把圖片當成一種外語image encoder + text decoder,就是一個多模態系統(第 7 頁)

鬱金香照片,現在走到哪裡

  1. 輸入小美上傳的鬱金香照片
  2. encoder???(還不知道怎麼看圖)
  3. 筆記一份數字筆記
  4. decoderTulip → with → leaves → .

下一階要解決:模型只吃數字。照片和圖說要怎麼變成數字?原書那 4 億對髒資料,又要怎麼清?

延伸基礎第 3 階 · 像素 · 懂的人可以跳到第 12 頁

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

一張照片,在電腦裡其實是一大張數字表

① 先想像

把手機照片一直放大、一直放大,最後會看到一格一格的小方塊。每一格只是一個顏色,而顏色可以用三個數字講完:多紅、多綠、多藍。

你猜猜看:一張 256 × 256 的彩色照片,電腦裡存了幾個數字?

③ 這叫做 pixel 和 channel

每一格叫 pixel(像素),存 0 到 255 的數字。紅、綠、藍各一層,疊起來叫三個 channel。

「它看到的一張彩色的圖片 其實是三張圖片疊在一起的」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

④ 跟這章的關係

原書的圖片前處理:太小的圖丟掉、統一尺寸、把 0–255 除以 255 變成 0 到 1(第 14 頁)。

② 動手玩:放大到 8 × 8 格,點一格看它的數字

—點左邊任一格

延伸基礎第 4 階 · 一組數字 · 懂的人可以跳到第 12 頁

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

20 萬個像素太多了。能不能只用幾個數字講「它在講什麼」?

① 先想像

幫每張圖、每句話打兩個分數:「跟花多有關」和「跟山多有關」,0 到 4 分。鬱金香照片是 [4, 0],山景照片是 [0, 4]。

你猜猜看:「Flowers on a hill」(山坡上的花)該打幾分?[花, 山]

③ 這叫做 embedding

embedding:代表一張圖或一句話「意思」的一組數字。一組數字,也可以畫成地圖上的一支箭頭。

「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講

④ 跟這章的關係

原書清資料用的 CLIP,就是把圖和句子放上同一張地圖的模型。encoder 的「數字筆記」也是 embedding。

② 動手玩:點一張圖或一句話,把它放上地圖

延伸基礎第 5 階 · 夾角 · 懂的人可以跳到第 12 頁

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

兩組數字「多像」怎麼量?看兩支箭頭的夾角

① 先想像

兩個人在路口幫你指路。指的方向越接近,要去的地方就越像。手臂長短不重要,方向才重要。

你猜猜看:夾角 0° 算 1 分、90° 算 0 分。那 60° 大概幾分?

③ 這叫做 cosine similarity

cosine similarity:看兩支箭頭的夾角。方向一樣是 1(最像),垂直是 0(不相關)。

④ 跟這章的關係

原書用它兩次:清資料時,圖和圖說的分數低於 0.25 就丟掉(第 13 頁);評估時,CIDEr 也是在算它(第 31 頁)。

② 動手玩:轉動 B 箭頭,看分數怎麼變

—cosine similarity—原書門檻 0.25 的判斷

原書Data Preparation · Figure 4

4 億對資料,不是每一對都能用

這一步要解決資料很多,但很髒:有別的語言、有重複、有不相關、有太長、有太小太糊的圖。

📖 原書 Figure 4圖片與圖說的資料集範例(依原書內容重繪)

「多數網路上爬到的資料 其實都在清理的過程就被丟掉了」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 7 講(講語言模型的訓練資料)

📖 原書 資料集有 4 億對圖片與圖說,但並非全部都適合訓練。原書把圖說和圖片分開準備:

圖說準備(6 步)

去掉非英文 → 去掉重複 → 去掉不相關 → 長的摘要成短的 → 正規化 → 斷詞成 ID。第 13 頁動手跑一次。

圖片準備(4 步)

去掉低解析度 → 像素正規化到 0–1 → 去掉低品質 → 統一尺寸(先縮放、再中心裁切)。第 14 頁動手跑一次。

你可能會想說,資料越多越好,幹嘛丟?因為模型會照資料的樣子學:資料裡的圖說又長又亂,它學到的就是又長又亂。

原書Caption preparation · 動手玩

圖說準備:一步一步,看哪幾對被丟掉

這一步要解決原始圖說雜訊多、格式不一,模型吃不下。要丟掉不適合的,剩下的弄成一致、切成 token。

8還剩幾對(示意 8 對)按「下一步」開始。

📖 原書 六個步驟:

  1. Remove non-English:模型只做英文,非英文的配對拿掉
  2. Remove duplicates:重複的圖用 perceptual hashing(看起來一樣的圖算出一樣的指紋)或 CLIP image encoder 找;重複的圖說用完全比對,或 CLIP text encoder 比語意。避免模型 overfitting(背重複的東西),學到更廣的圖文關係
  3. Remove irrelevant:用 pretrained 的 CLIP 打圖文相關分數,低於門檻(例如 0.25)的拿掉。CLIP 怎麼打分數見原書第 9 章
  4. Summarize long captions:圖說太長,模型就學會寫長句,不適合當檔名;用 Llama 這類 LLM 摘要成短句
  5. Normalize:轉小寫、去掉多餘空白
  6. Tokenize:用 subword 的 BPE(Byte-Pair Encoding,常見字整塊、少見字拆零件)切成 ID 序列(原書第 2、3 章)

「一模一樣的資料 重複再多次 它就是同一筆資料而已 所以沒有什麼特別的用處」🎓 李宏毅課堂 導論 2025 · 第 7 講(deduplication)

原書Image preparation · Figure 5 · 動手玩

圖片準備:大小不一的圖,怎麼變成一樣大?

這一步要解決模型訓練時要固定大小的輸入,可是圖片有大有小、有直有橫;太小、太糊的圖也會害模型學錯。

原始圖片:
📖 原書 Figure 5先縮放、再中心裁切(依原書內容重繪)

📖 原書 四個步驟:

  1. Remove low-resolution:小於 256 × 256 的配對拿掉,細節不夠,寫不出準確的圖說
  2. Normalize:像素值縮放到 0 到 1 之類的範圍,讓訓練過程更穩定
  3. Remove low-quality:模糊、過曝、太暗等降低清晰度的圖拿掉。可以用 LAION Aesthetics Predictor 這類圖片品質評估方法,依銳利度、對比、光線打分數
  4. Adjust dimensions:全部調成同樣大小,而且保持原本的長寬比。兩步:① Resizing:較短的邊縮到目標大小,512 × 768 → 256 × 384;② Center-cropping:從中間裁成 256 × 256

📖 原書 這兩步讓圖片保持長寬比,又符合模型要的尺寸。你想想看,如果直接把 512 × 768 壓扁成 256 × 256,鬱金香會變成一顆胖胖的球。

小結第 3–5 階:圖和字變成數字

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

到這裡你已經會了

  • 照片就是三層數字表pixel、channel;除以 255 變成 0 到 1(第 9 頁)
  • 意思可以用一組數字表示embedding:圖和句子能站在同一張地圖上(第 10 頁)
  • 多像,就看夾角cosine similarity;CLIP 分數低於 0.25 的配對丟掉(第 11、13 頁)

鬱金香照片,現在走到哪裡

  1. 清資料它和圖說的 CLIP 分數夠高,留下來
  2. 前處理縮放、中心裁切成 256 × 256,像素除以 255
  3. 圖說tulip with leaves.
  4. encoder還是???

下一階要解決:20 萬個數字,encoder 要怎麼「看懂」它是一朵鬱金香?先從一個小放大鏡開始。

延伸基礎第 6 階 · 小放大鏡 · 懂的人可以跳到第 17 頁

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

認出「這裡有一根莖」,需要看整張圖嗎?

① 先想像

拿一個只看得到 3 × 3 格的小放大鏡,從左上角一格一格掃過整張圖。不用看整張圖,你也認得出「這裡有一條直直的莖」。

你猜猜看:3 × 3 的放大鏡在 8 格寬的圖上,一次往右移一格,一排可以停幾個位置?

③ 這叫做 filter 和 CNN

放大鏡裡那 9 個數字叫 filter。用很多個 filter 一層一層掃圖的模型叫 CNN。

「你只要看這個小的範圍……你根本不需要看整張圖片 你就知道是鳥嘴」🎓 李宏毅課堂 導論 2025 · 第 6 講(CNN)

④ 跟這章的關係

原書第一種 image encoder 就是 CNN:掃完得到一小張「分數格子」,每一格是一串數字(第 18 頁)。

② 動手玩:選一個放大鏡,點左邊任一個位置,或整排掃過去

黑白鬱金香(1 = 有東西)

放大鏡(filter)

分數表(6 × 6)

原書Model Development · Image encoder · Figure 6 · 動手玩

encoder 的筆記:寫成一句總結,還是一頁條列?

這一步要解決encoder 的輸出決定了圖說能寫得多好、多具體。輸出一個向量就好,還是一串?

📖 原書 Figure 6Image encoder 輸出單一 token vs. 一串 token(依原書內容重繪)

Single token:整張圖壓成一個向量

📖 原書 這個向量是整張圖的摘要,抓住全域特徵和整體情境。優點:簡單,架構直觀、運算量和資源需求低;強調整體內容,適合簡短、高層次的圖說。缺點:局部細節和細微差異會不見,圖說偏籠統,複雜的圖處理不好。

Sequence of tokens:一串向量

📖 原書 每個向量對應圖的一個區塊(patch)或面向,同時有全域和局部特徵。特別適合 attention(寫每個字時決定看哪幾個向量,第 22 頁):decoder 生成時可以動態聚焦不同區域,圖說更準確、相關、具體,更貼近圖裡的物件、動作和情境。

原書說研究兩種都探討過。這章後面選的是一串。image encoder 的架構分兩類:CNN-based(下一頁)和 Transformer-based(第 20 頁)。

原書CNN-based image encoder · Figure 7

CNN 掃完是一張 3 × 3 的格子,但 decoder 要的是「一排」

這一步要解決CNN 輸出的是格子(3 × 3 × c),text decoder 裡的 Transformer 要的是序列(9 × c)。

📖 原書 Figure 7CNN-based 的影像編碼(依原書內容重繪)

📖 原書 CNN 傳統上就是拿來做影像編碼。它用 convolutional filters(第 16 頁的小放大鏡)抓圖片裡的空間層次:在不同尺度上偵測邊緣、紋理、物體。

📖 原書 CNN-based encoder 處理圖片後,輸出一個 feature vector 的格子。例如 Figure 7:輸出大小 3 × 3 × c,c 是 channel 數,看 CNN 架構而定。

📖 原書 解法:flatten(攤平)或 reshape,把 3 × 3 格子裡九個位置的特徵,重新排成一排 9 × c。

白話:九宮格的便當,一格一格夾出來排成一排。每一格是一個向量(一組 c 個數字),排成九個。所謂的 flatten,其實就是換個擺法而已,一個數字都沒改。

延伸基礎第 7 階 · 切拼圖 · 懂的人可以跳到第 20 頁

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

把照片切成拼圖、排成一長條,還拼得回去嗎?

① 先想像

把照片切成 16 片拼圖,排成一長條寄給朋友。朋友要拼回去,最需要什麼?每一片背後的編號。

你猜猜看:256 × 256 的圖,切成 64 × 64 的小片,一共幾片?

③ 這叫做 patch 和 positional encoding

切出來的每一片叫 patch。每片背後的編號叫 positional encoding。

「影像是二維的 所以這些 Token 通常也是二維的 那可以想像每一個 Token 其實就對應到圖片裡面的一個小的區塊」🎓 李宏毅課堂 導論 2025 · 第 9 講

④ 跟這章的關係

原書第二種 image encoder(Transformer-based)的前兩步,就是切片(Patchify)和編號(第 20、21 頁)。

② 動手玩:切開、打亂,再試著拼回去

背後的編號:

原書Transformer-based image encoder · Patchify · Figure 8、9 · 動手算

Transformer 只吃一排,所以先把圖切成一排

這一步要解決Transformer 原本是給文字(一排 token)用的。要怎麼讓它讀圖片?

📖 原書 Figure 9Patchify 的過程(依原書內容重繪)
patch 大小:
—切成幾片(序列多長)—每片攤平後幾個數字c投影後每片幾個數字

📖 原書 Transformer 最早是給自然語言用的,後來改用在影像編碼上,效果很好。它分析圖片、抽出特徵,編碼成一串 embedding。三個零件:Patchify → Positional encoding → Transformer。

📖 原書 Patchify 的三步

  1. Divide:切成固定大小的 patch
  2. Flatten:每片攤平成一排數字
  3. Linearly project:每排數字乘上一組固定的權重,變成 c 個數字的 embedding(c 是想要的大小)

原書的例子:256 × 256 的圖,切成 64 × 64 的 patch,攤平成 4096 個數字的向量,再投影成大小 c 的 embedding。

你仔細想想,切越小,片數越多,序列越長。第 19 頁的 16 片,就是這裡的 64 × 64。

原書Positional encoding · 1D vs 2D · Learnable vs fixed · Figure 10 · 動手玩

拼圖背後的編號:寫 1、2、3,還是寫(列, 行)?

這一步要解決Positional encoding 幫每片記住它在原圖的位置,讓 Transformer 懂序列裡的位置關係。編號有好幾種寫法。

點一片,看它的鄰居

📖 原書 Figure 101D vs. 2D positional encoding(依原書內容重繪)

📖 原書 1D vs. 2D

1D:一個函數把一個整數(序列裡第幾個)對應成 c 維向量,c 通常是 Transformer 的 hidden dimension。文字常用。用在圖片上,是編碼攤平後序列裡的位置,可能抓不到二維的空間關係。2D:把兩個整數(格子裡的列和行)對應成 c 維向量,保留空間結構,比較適合圖片。

📖 原書 Learnable vs. fixed

Learnable:訓練時一起學,用一個神經網路把位置(1D 或 2D)對應成 c 維向量。Fixed:用固定函數決定,例如 sine–cosine(原書第 2 章)。

📖 原書 怎麼選?通常沒有最好的答案。Vision Transformer(ViT)用的是 learnable 1D;實務上常常幾種組合都試,看哪個對這個任務最好。

延伸基礎第 8 階 · 回頭看 · 懂的人可以跳到第 23 頁

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

寫到「葉子」的時候,眼睛會飄到圖的哪裡?

① 先想像

看圖寫作文,寫到「鬱金香」時,你看的是上面那朵花;寫到「葉子」時,眼睛會自己飄到下半部。每寫一個字,看的地方都不一樣。

你猜猜看:寫到 leaves 的時候,16 片拼圖該怎麼看?

③ 這叫做 attention

attention:每寫一個 token,決定每一片要看多重,再把看到的合在一起。

「attention 第一件做的事情 是找出輸入的 token 裡面 哪些 token 會影響現在我們要考慮的『果』這個 token 的意思」🎓 李宏毅課堂 導論 2025 · 第 3 講(兩顆青蘋果)

④ 跟這章的關係

原書要 encoder 輸出「一串」而不是「一個」,就是為了讓 decoder 每寫一個字都能回頭看不同的片(第 17 頁)。

② 動手玩:點圖說裡的一個字,看它在看哪幾片

原書Which architecture · Text decoder · Figure 11

原書的選擇:ViT 看圖,decoder-only Transformer 寫字

這一步要解決CNN 和 Transformer,哪一個當 image encoder?text decoder 又用什麼?

📖 原書 Image encoder 選哪個

CNNTransformer
擅長抓圖片裡的局部 pattern用 self-attention 同時抓局部和全域的關係
吃力圖片裡距離很遠的區域之間的關係(long-range dependencies)—
適合—需要細緻、看上下文的圖片理解,例如寫描述性的圖說

結論:跟隨 ViT,選 Transformer-based 當 image encoder。

📖 原書 Text decoder

前幾章已經看過:decoder-only Transformer 是生成文字的標準選擇。輸入是對應這張圖的一串向量,輸出是圖說,一次生成一個 token。

📖 原書 Figure 11把圖片當成一串 embedding 交給 decoder(依原書內容重繪)

你想想看:CNN 是第 16 頁的小放大鏡,一次只看 3 × 3;鬱金香的花在上面、葉子在下面,要知道「這些葉子是這朵花的」,得把很遠的兩塊連起來。Transformer 的每一片,第一層就能看到其他所有片。

小結第 6–8 階:模型怎麼看圖

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

到這裡你已經會了

  • CNN 用小放大鏡掃圖filter 掃完得到格子,再 flatten 成一排(第 16、18 頁)
  • ViT 把圖切成拼圖再編號patchify、positional encoding;256 × 256 切成 16 片(第 19–21 頁)
  • decoder 每寫一個字,回頭看不同的片attention;所以 encoder 要輸出一串(第 22、23 頁)

鬱金香照片,現在走到哪裡

  1. 切片256 × 256 → 16 片 64 × 64
  2. 編號每片加上位置(ViT:learnable 1D)
  3. encoderViT 輸出 16 個向量
  4. decoder寫 Tulip 看花、寫 leaves 看葉子

下一階要解決:架構有了,可是模型一開始什麼都不會。它怎麼學會寫圖說?學會之後,又怎麼挑出最好的一整句?

延伸基礎第 9 階 · 驚訝分數 · 懂的人可以跳到第 26 頁

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

模型猜錯的時候,要罰多重?

① 先想像

氣象預報說明天下雨機率 90%,結果下雨了,你不驚訝。它說 1%,結果下大雨,你嚇一跳。越沒把握的事發生了,越驚訝。

你猜猜看:模型給正確答案 Tulip 的機率,從 1/10 掉到 1/100,驚訝分數會怎樣?

③ 這叫做 loss 和 cross-entropy

驚訝分數叫 loss:離正確答案多遠。只看正確答案拿到多少機率的算法,叫 cross-entropy。

「這兩個機率分布越接近 那這個 Loss 算出來呢就會越小」🎓 李宏毅課堂 導論 2025 · 第 6 講

④ 跟這章的關係

訓練就是轉動模型裡的旋鈕(參數),讓 loss 變小。原書的圖說每一個位置都算一次(第 26 頁)。

② 動手玩:拉拉看,模型給正確答案多少機率

—這一題的驚訝分數(loss)—等於「幾分之一」

看著鬱金香照片、寫第一個字,正確答案是 Tulip。給 100% 不扣分;機率越低,扣越多。

原書Training · Two-stage · ML objective and loss · Figure 12 · 動手玩

先讀圖書館、先學看圖,再一起練看圖說話

這一步要解決從零開始訓練又貴又慢。能不能借別人練好的?

1. Unsupervised pretraining

📖 原書 text decoder(decoder-only Transformer)先用一般資料訓練,得到懂語言結構、寫得出通順文字的 base model,之後微調才會好。這階段非常耗運算,通常直接用現成的 pretrained 模型跳過:本章用 GPT-2 或 Llama。image encoder 也一樣,直接用 CLIP 或 ViT 這類強大的 pretrained 視覺模型。

「第一階段的 Pre-training 就是機器像是一個學齡前的兒童 他就是每天玩 看到什麼就學什麼」🎓 李宏毅課堂 導論 2025 · 第 7 講

2. Supervised finetuning

📖 原書 用 4 億對圖片與圖說,encoder 和 decoder 一起訓練:encoder 學會更有效地編碼圖片資訊,decoder 學會讀懂那串圖片 embedding、寫出描述性的圖說。

ML objective 與 loss

📖 原書 decoder 一次生成一個 token,所以跟前幾章一樣:objective 是 next-token prediction(猜下一個 token),loss 用 cross-entropy(第 25 頁的驚訝分數)。

📖 原書 Figure 12依預測機率計算 loss(依原書內容重繪)
—五題平均驚訝分數

延伸基礎第 10 階 · 多留幾條路 · 懂的人可以跳到第 28 頁

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

每一步都挑最好的,整句話就最好嗎?

① 先想像

逛夜市,第一攤排最長,你就進去了,結果第二道菜普普通通。隔壁排隊少一點,招牌菜卻超好吃。只看眼前這一步,可能錯過更好的整條路線。

你猜猜看:路線 A:A(0.5)→ flower(0.4)。路線 B:Tulip(0.4)→ with(0.8)。整句誰的分數高?

③ 這叫做 beam search

同時留 k 條路,每一步展開後,只留總分最好的 k 條,叫 beam search;k 叫 beam width。

④ 跟這章的關係

原書的看圖說話用 beam search(第 28 頁)。最後那條路的總分,就是系統用來判斷「有沒有把握」的累積機率(第 35 頁)。

② 動手玩:同時留幾條路?

只留 1 條路,就是每步挑最高的。

原書Sampling · Figure 13

寫檔名要的是穩,不是驚喜

這一步要解決模型每一步給一張機率表。要擲骰子,還是用 beam search?

📖 原書 Figure 13給一張圖,生成一句圖說(依原書內容重繪)

📖 原書 Sampling 時,圖說的 token 一次生成一個。

📖 原書 Stochastic sampling(照機率擲骰子)可以寫出有創意的圖說,beam search 則確保可預測。原書選 beam search,三個理由:

Quality

beam search 通常寫出品質較高的圖說,這對準確描述圖片內容很關鍵。

Consistency

它是 deterministic(同樣輸入、同樣輸出):同一張圖永遠得到同一句圖說。你上傳兩次同一張圖,檔名不該不一樣。

Coherence

通常寫出連貫的圖說,避免突然換話題或自相矛盾,例如「A person is walking house」「A dog is reading a person」。

你想想看,擲骰子一步擲歪了,後面就步步歪,第 5 頁「擲一次骰子」偶爾就會走到怪地方。需求裡的 1–2 秒,也夠 beam search 多算幾條路。

延伸基礎第 11 階 · 少見才值錢 · 懂的人可以跳到第 30 頁

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

一句圖說裡,哪些字比較能代表這張圖?

① 先想像

同學會上介紹一個人:「他有兩隻手」沒用,大家都有;「他會吹薩克斯風」一聽就知道是誰。越少見的特徵,越能代表一個人。

你猜猜看:「a」和「tulip」,哪一個字比較能代表這張鬱金香照片?

③ 這叫做 TF-IDF

TF-IDF:一個字的重要性 =「在這句出現幾次」×「在全部句子裡有多少見」。把每個字的重要性排成一組數字,句子就變成一支箭頭。

④ 跟這章的關係

原書的評估指標 CIDEr,第一步就是把圖說用 TF-IDF 變成數字,再用第 11 頁的夾角比像不像(第 31 頁)。

② 動手玩:點一個字,看它在 6 句圖說裡出現幾次

要評分的圖說:

原書Evaluation · Offline · Validation data · Figure 14

怎麼替圖說打分數?先準備好幾份「標準答案」

這一步要解決同一張圖,十個人有十種說法。只拿一句當標準答案,公平嗎?

📖 原書 Offline evaluation:在 validation dataset(訓練時沒看過的資料)上,把模型寫的圖說和參考圖說比,量它們有多像。每個例子有一張圖和一組參考圖說,通常是請好幾位標註者各自描述同一張圖。

📖 原書 多份參考答案的兩個好處

  • Robust training:不同人描述同一張圖的方式不同,多份參考讓模型學到多種說法,更穩健、更準確
  • Comprehensive evaluation:拿生成的圖說跟好幾份正確答案比,評估更完整、更公平

📖 原書 四個常用指標

  • BLEU:翻譯常用,數生成的句子裡有多少片段出現在參考答案裡
  • ROUGE:摘要常用,反過來數參考答案有多少被生成的句子蓋到
  • METEOR:比對時也算同義詞、詞形變化
  • CIDEr:專為圖說設計,這章的重點

前三個在原書第 3 章(翻譯)詳談。

📖 原書 Figure 14validation data 範例(依原書內容重繪)

「像 BLEU 或者是 ROUGE 這邊,這些常用的 Evaluation Metrics,它們就是在計算輸出跟標準答案之間有多少共用的詞彙。」🎓 李宏毅課堂 導論 2025 · 第 4 講

所以這四個指標,其實都在做同一件事:數一數生成的圖說和標準答案「撞了幾個字」,只是怎麼數、怎麼加權不一樣而已。

原書CIDEr · 三個步驟 · Figure 15、16 · 動手算

CIDEr:跟越多份參考答案都像,分數越高

這一步要解決怎麼用「共識」來打分數:跟一份像不夠,要跟大家都像。

📖 原書 Figure 15TF-IDF 把圖說變成數字(依原書內容重繪)

📖 原書 CIDEr(Consensus-based Image Description Evaluation)用共識來評估:生成的圖說跟好幾份參考答案都像,分數才高。單一例子分三步:

  1. 用 TF-IDF 表示圖說:生成的圖說和每份參考答案都變成數字(第 29 頁)。一個字在這句出現得越多、在整個語料裡越少見,就越重要
  2. 算相似度:生成的和每一份參考答案,算 TF-IDF 表示的 cosine similarity(第 11 頁)。越接近 1 越像,越接近 0 越不像
  3. 平均:把幾個相似度取平均。原書的例子:(0.688 + 0.257 + 0.766) ÷ 3 = 0.570

📖 原書 最後的 CIDEr 分數,是 validation dataset 裡每一張圖的分數再取平均,用一個數字代表模型整體表現。

原書CIDEr 的優缺點 · 動手玩

CIDEr 很會數字,但它看不懂句子

Pros

  • Consensus-based:獎勵跟多份參考都像的圖說,評估更可靠
  • Sensitive to important words:TF-IDF 給獨特的字較高權重,用到重要字詞的圖說得分高
  • Robust to variations:根據多份參考計算,對不同說法比較穩健

Cons

  • Computationally complex:大型資料集上算 TF-IDF 很貴
  • Sensitive to reference quality:參考答案的品質和多樣性影響分數,爛參考會誤導評估
  • Penalizes novel yet accurate:有創意、正確,但參考答案裡沒出現的說法會被扣分
  • Lack of semantic understanding:字面像、意思不同時抓不到

「"HUMOR" 翻譯成中文也許可以翻「詼諧」,但假設標準答案寫的是「幽默」怎麼辦呢?那難道要算模型完全錯、得到 0 分嗎?所以只看詞彙的相似度還是有限的。」🎓 李宏毅課堂 導論 2025 · 第 4 講

動手玩:原書的咖啡和桌子

—只看字的相似度(玩具版)—人覺得意思一樣嗎

原書Online evaluation metrics

上線之後呢?這一章,線上指標不是主角

這一步要解決上線後要不要靠使用者的反應打分數?

📖 原書 理由一:它通常只是大系統的一小塊

Image captioning 常常只是一個更大系統的一部分(例如素材管理工具裡的一個小功能),很難收集到它自己的使用者互動資料。

📖 原書 理由二:好不好,很主觀

不像別的任務可以輕鬆量滿意度,圖說的品質要靠主觀判斷,而主觀判斷本來就因人而異:同一句圖說,A 覺得可以,B 覺得不行,看他們怎麼解讀這張圖。

📖 原書 結論

標準的離線指標仍是評估這個系統的主要方法。少數圖說直接影響使用者體驗的場景,engagement metrics(使用者的互動數據)和使用者回饋可以提供有價值的觀察。

套回我們的例子:設計師按 OK 收下建議的檔名,還是自己改掉?這就是原書說的使用者回饋。只是一個人覺得「Tulip with leaves.png」很好,另一個人想要「pink-tulip.png」,很難說誰對。

小結第 9–11 階:怎麼學、怎麼說、怎麼打分數

  1. 文字接龍
  2. 兩段式
  3. 像素
  4. 一組數字
  5. 夾角
  6. 小放大鏡
  7. 切拼圖
  8. 回頭看
  9. 驚訝分數
  10. 多留幾條路
  11. 少見才值錢

到這裡你已經會了

  • 猜錯多驚訝,就是 losscross-entropy;先用現成的 GPT-2、Llama、CLIP、ViT,再用 4 億對一起微調(第 25、26 頁)
  • 同時留幾條路,選總分最高的一句beam search:品質、一致、連貫(第 27、28 頁)
  • 少見的字比較值錢,跟大家都像才高分TF-IDF → cosine → 平均 = CIDEr(第 29–32 頁)

鬱金香照片,現在走到哪裡

  1. 訓練猜 Tulip 的驚訝分數,越練越低
  2. 生成beam search 選出 Tulip with leaves.
  3. 評分跟三份參考比:0.688、0.257、0.766 → 0.570
  4. 上線???還差最後一段

最後要解決:模型做好了,還不能直接上線。圖太糊怎麼辦?圖說有偏見怎麼辦?要把它接成一個系統。

原書Overall ML System Design · Figure 17 · 動手玩

全部接起來:看得懂才說,說之前先檢查

這一步要解決不只是訓練一個模型。要幾個元件一起合作:前處理、生成、後處理。

📖 原書 Figure 17Image captioning 整體設計(依原書內容重繪)
上傳:

    Image preprocessing

    📖 原書 把輸入的圖準備好給模型:調成標準尺寸、轉成一致的格式、標準化像素值,確保跟模型預期的輸入一致(第 14 頁做過的那些)。

    Caption generator

    📖 原書 核心元件:跟訓練好的模型互動,用 beam search 生成連貫的圖說。如果圖說的累積機率低於預設的信心門檻,就關掉檔名建議;否則交給後處理。這樣模糊的圖就不會得到不相關的圖說。

    Post-processing

    📖 原書 找出圖說裡帶偏見的字詞,換成中性的說法,確保公平與包容;另外檢查有沒有冒犯字詞,有的話就關掉建議。

    原書Other Talking Points

    面試還有時間,可能會被問到這些

    📖 原書 六個主題

    • 把 image captioner 擴展到其他任務,例如 visual question answering(VQA:看圖回答問題)
    • 讓模型能替不同領域的圖片寫圖說(例如醫療影像、技術圖表)
    • 用多語言資料集和 cross-lingual transfer learning(把一種語言學到的能力轉到別的語言)寫多語言圖說
    • 在 edge device(手機這類終端裝置)上做圖說生成的最佳化技巧
    • 產生好幾句合理的圖說,再依相關程度排序
    • BLIP-2、BLIP-3 的方法細節,以及用來改善圖說的額外 loss function

    每一題回到今天的哪一頁

    • VQA → 第 6 頁:decoder 除了圖,也讀一段問題,一樣是接龍
    • 不同領域 → 第 4 頁:一開始就說好只做日常圖片;換領域要換資料再微調(第 26 頁)
    • 多語言 → 第 13 頁:第一步就把非英文丟了;要多語言,這一步要改
    • Edge device → 第 20 頁:patch 越小序列越長、越慢;模型也要變小
    • 好幾句再排序 → 第 27 頁:beam search 本來就留著 k 句候選
    • BLIP-2、BLIP-3 → 第 37 頁:後來的看圖模型怎麼接 encoder 和 LLM

    📅 2026 補充方法怎麼演進

    原書之後,「看圖說話」變成通用模型的一個功能

    架構:encoder + 轉接層 + LLM,成了主流

    原書的骨架(pretrained 影像 encoder 的一串 embedding,接進 pretrained 的 decoder-only LLM)後來成了很多看圖模型(vision-language model)的標準做法:LLaVA 用 CLIP ViT 加一層投影接到 LLM;BLIP-2 在中間放一個 Q-Former。看圖說話不再是獨立系統,而是通用模型的一個功能。

    「Gemma 是可以看圖片的 所以前面這些參數 就前面有掛 vision 的這些參數 是拿來處理圖片的」🎓 李宏毅課堂 導論 2025 · 第 3 講

    不一定要裁成正方形

    原書把每張圖縮放、中心裁切成 256 × 256,主角不在正中間時會被切掉。之後不少模型改成吃不同長寬比與解析度:把大圖切成幾塊分別編碼,或直接讓 patch 數跟著圖的大小變(例如 Qwen2-VL 的動態解析度)。第 21 頁的 2D 位置在這裡變得更重要。

    評估:從「撞字」到「看懂意思」

    原書自己點出 CIDEr 缺乏語意理解。之後常見兩種補法:CLIPScore 直接用 CLIP 比圖片和圖說的 embedding(不需要參考答案);或請另一個看圖模型當評審(LLM-as-a-judge)。課堂上講的也是這個方向:與其比字面,不如比 embedding。

    patch 也不是唯一的切法

    原書一片 patch 對應一塊固定區域。有研究改成用少量 token 表示整張圖,每個 token 不綁定位置。

    「我們能不能夠說 一張圖片 就用 32 個 Token 來表示 這個 32 個 Token 沒有固定對應的區域」🎓 李宏毅課堂 導論 2025 · 第 9 講

    原書Summary 心智圖

    原書這一章的總結圖

    📖 原書章末心智圖依原書的分支重繪;原圖細節文字沒有完整描述,葉子依內文補上(依原書內容重繪)

    回顧11 階全部爬完

    1. 文字接龍
    2. 兩段式
    3. 像素
    4. 一組數字
    5. 夾角
    6. 小放大鏡
    7. 切拼圖
    8. 回頭看
    9. 驚訝分數
    10. 多留幾條路
    11. 少見才值錢

    Image captioning 其實就是看圖說話,寫作文的是一台文字接龍而已。

    它怎麼看懂圖

    照片是三層數字表 → 切成 16 片拼圖、加上編號 → ViT 輸出一串向量(不是一個,細節才不會不見)。

    它怎麼說出來

    decoder-only LLM 看著那串向量接龍,每寫一個字回頭看不同的片;beam search 同時留幾條路,選總分最高的。

    它怎麼學、怎麼打分數

    借現成的 GPT-2/Llama 和 CLIP/ViT,用清乾淨的 4 億對一起微調;CIDEr 看跟多份參考答案的共識。

    它什麼時候閉嘴

    累積機率太低不說;有偏見的字先換掉,有冒犯字詞就不說。

    看一眼圖,寫一個字,再看一眼圖,再寫一個字。然後呢?然後就結束了。

    名詞小卡課後複習用 · 每個詞一行白話

    本章名詞小卡

    名詞一行白話在哪一頁
    image captioning看圖說話:幫一張圖寫一句描述第 2 頁
    token模型一次寫的那一塊,大約一個字或半個字第 5 頁
    encoder讀懂輸入、壓成一份數字筆記的那一半第 6 頁
    decoder看著筆記、一塊一塊接龍說出來的那一半第 6 頁
    multi-modal同時處理不只一種資料,例如圖和字第 7 頁
    cold start新東西沒資料、不知道推給誰第 2 頁

    忘了哪個詞,就回到右邊那一頁,四步再走一次。

    給工程師的重點出處、公式與頁碼對照

    本章引用的來源

    原書

    Generative AI System Design Interview · Image Captioning 章。Introduction 與 Figure 1(第 2 頁)、Clarifying Requirements(4)、input/output、multi-modal、encoder-decoder、Figure 2–3、BLIP-2/3、InternVL(7)、Data Preparation 與 Figure 4(12)、caption preparation 六步(13)、image preparation 四步與 Figure 5(14)、encoder 輸出 single vs sequence 與 Figure 6(17)、CNN-based 與 Figure 7(18)、Transformer-based、patchify 與 Figure 8–9(20)、positional encoding 1D/2D、learnable/fixed 與 Figure 10(21)、架構選擇、text decoder 與 Figure 11(23)、兩階段訓練、objective、loss 與 Figure 12(26)、sampling、beam search 三理由與 Figure 13(28)、offline 評估、validation data、四指標與 Figure 14(30)、CIDEr 三步、Figure 15–16、0.570(31)、CIDEr 優缺點(32)、online 評估(33)、整體設計與 Figure 17(35)、Other Talking Points(36)、心智圖(38)。18 張圖全部依圖說與描述重繪,不是原圖;Figure 1 是 UI 對話框,畫成線框圖;alt 與內文不一致處(Figure 6、7、9、11、12、15)以內文為準,已在各頁備註註明

    本簡報加的頁面:概念階梯(3)、11 個延伸基礎(5、6、9、10、11、16、19、22、25、27、29)、小結(8、15、24、34)、名詞小卡(40)。貫穿例子的鬱金香圖是示意圖;Tulip with leaves.、三份參考答案、0.688/0.257/0.766/0.570 出自原書,其餘機率與分數都是示意

    🎓 李宏毅課堂(逐字稿)

    • 生成式人工智慧與機器學習導論 2025 · 第 1 講(TigfpYPJk1s)— Token 的機率分佈
    • 同 · 第 3 講(8iFvM7WUUs8)— 相近的 Token Embedding、兩顆青蘋果的 attention、Gemma 的 vision tower
    • 同 · 第 4 講(dWQVY_h0YXU)— BLEU、ROUGE 數共用詞彙;HUMOR 詼諧/幽默
    • 同 · 第 6 講(mPWvAN4hzzY)— 彩色圖片是三張圖疊在一起、CNN 的 receptive field、filter、cross-entropy
    • 同 · 第 7 講(YJoegm7kiUM)— 學齡前兒童、資料清理、deduplication
    • 同 · 第 9 講(ccqCDD9LqCA)— 二維的影像 Token、An image is worth 32 tokens
    • 如何讓 Transformer 知道輸入 Token 的順序?(Ll-wk8x3G_g)— Transformer 本身不知道順序

    來源:.claude/skills/hung-yi-lee(受李宏毅教學風格啟發,非本人)

    公式(主文用文字講過)

    • 像素正規化:x′ = x ÷ 255
    • CNN 輸出寬度:(W − k) ÷ s + 1(8 − 3 + 1 = 6)
    • patch 數:(H ÷ P) × (W ÷ P);攤平長度 P² × C(原書寫 P² = 4096)
    • cross-entropy:−Σ yᵢ ln pᵢ(one-hot 時 = −ln p正確)
    • beam score:Σ log p;累積機率 Π p
    • tf-idf(t, d) = tf(t, d) · log(N ÷ df(t))
    • cos(A, B) = A·B ÷ (|A||B|);CIDEri = 平均j cos(gi, rij)

    📅 依據

    • 原論文 CIDEr 用 1–4-gram 的 TF-IDF 再平均(CIDEr-D 另加長度懲罰);原書簡化成單字
    • LLaVA、BLIP-2、Qwen2-VL、CLIPScore 皆為公開論文

    本章沒有 Triton 的對應資料,不放客座卡。

    ← → 翻頁 · S 講者備註 · D 深/淺色
    1 / 1目錄