GenAI System Design · 第 6 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(只有 infra)

Retrieval-Augmented Generation
其實就是開書考試而已

原書要你設計一個「公司內部的 ChatPDF」:員工問問題,系統從公司文件裡找答案。我們不先講定義,先遇到問題,再看方法是怎麼被想出來的。

今天的路線

先爬 11 階基礎概念(下下頁有地圖),再拆原書的 RAG:整理書本 → 翻到對的頁 → 寫答案 → 打分數。最後是 2026 補充和 Triton 客座講評。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 🔭 依 Triton 原則推論

頁首標 延伸基礎 的頁是補基礎,只用高中數學,懂的人可以跳過。

說明

這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨,不評論任何公司或作者。

先講跟你有關的

你問 AI 一個公司內部的問題,會發生什麼事?

語言模型在做什麼?其實就是文字接龍而已。

它讀過網路上很多很多文字,但沒讀過你們公司的請假規定。你問它,它還是會接龍。接得很順、很有自信,但是是瞎掰的。

兩個名詞:語言模型英文叫 LLM(例如 ChatGPT);你打給它的那段話叫 prompt。

怎麼辦呢?

學習地圖本章的概念階梯

今天爬 11 階。每一階,只用前面講過的東西。

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

第 1–3 階 · 模型怎麼接龍

要回答:模型為什麼會很有自信地瞎掰?

第 4 階 · 小抄有多大

要回答:把整本手冊貼進去,為什麼不行?

第 5–7 階 · 訓練在改什麼

要回答:讓模型把手冊背起來,為什麼不好?

第 8–9 階 · 意思像不像

要回答:開書考試時,怎麼翻到對的那一頁?

第 10–11 階 · 排行榜打分數

要回答:怎麼知道系統翻得準不準?

全程只用一個例子:虛構公司的《員工手冊》第四條

4.2 特休需於三個工作天前於 HR 系統送出申請;連續五天以上,需於十個工作天前申請。

我們會一直問同一句:「特休要幾天前申請?」每爬 3–4 階,有一頁「到這裡你已經會了」。

延伸基礎第 2 階 · token懂的人可以跳過

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

模型一次接一個字?其實是一次接一張「字卡」

① 先想像

你玩過成語接龍吧?一次接一個字。模型也在接龍,只是它手上拿的是一疊字卡。

你猜猜看:「特休要幾天前申請?」會變成幾張字卡?

③ 這叫做 token

token:模型接龍用的字卡。

「在生成式人工智慧裡面Token指的就是 這一些模型拿來做文字接龍的時候 他可以選擇的輸出」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講

④ 跟 RAG 的關係

模型讀得下多少、要花多少錢,都用 token 來算。等一下算「整本手冊塞不塞得下」,單位就是它。

② 動手玩:打一段話,數數看幾張字卡

換一句:
—這段話有幾張字卡(token)

切法是示意:中文大多一個字一張;英文短的單字一張,長的切成幾段。

延伸基礎第 3 階 · 擲骰子 · top-p懂的人可以跳過

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

下一張字卡怎麼選?其實就是擲骰子而已

① 先想像

「台灣最高的山是_」,請全班一起接。大部分人說「玉」,少數人說「雪」。模型心裡也有一張「大家可能接什麼」的百分比表。

你猜猜看:同一句話問模型 10 次,它每次都接「玉」嗎?

③ 這叫做 top-p

top-p:從第一名往下加,加到 p 就畫一條線。線以下的怪字不准擲。

「它根據這個機率分佈來擲骰子」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講

④ 跟 RAG 的關係

切到「我們公司特休要…」:模型沒讀過,分數很平均,但它照樣擲。瞎掰就是這樣來的。原書寫答案時也用 top-p。

② 動手玩:擲骰子接下一張字卡

開頭:

原書Clarifying Requirements · Frame the problem

原書的題目:公司內部的 ChatPDF

這一步要解決的問題面試官只丟一句「做一個公司內部的 ChatPDF」,先把要做什麼問清楚。

📖 原書 應徵者 × 面試官

應徵者問面試官答
知識庫是什麼?會變嗎?公司 Wiki + 一個像 Stack Overflow 的內部論壇。會變,但不是即時變
有文字、圖片或其他形式嗎?每頁都是 PDF,有文字、表格、圖表;其他形式先不管
頁面有固定格式嗎?沒有。有雙欄、單欄、混合
總共幾頁?大約 500 萬頁
回答要附文件出處嗎?要
要即時回應嗎?可以接受幾秒的延遲
要支援多語言嗎?先只做英文
要支援使用者回饋、追問嗎?一開始不用,但設計要能加
文件會成長多少?每年 20%
要處理安全問題嗎?重要,但先專注在資料處理、架構和效能

📖 原書 把問題變成 ML(機器學習)任務

📖 原書 Figure 2ChatPDF 系統的 input 和 output(依原書內容重繪)

Input(輸入):文字 prompt,加上持續更新、有文字和圖片的文件資料庫。Output(輸出):準確回應問題的文字回答。

方法:通用的 LLM 很會生成文字,但不懂公司的專門領域,需要客製化。原書比較三種:再訓練模型(finetuning)、把資料寫進 prompt(prompt engineering)、先搜尋再回答(RAG)。

記住兩個需求:「要附出處」和「文件會變」。等一下比較三種做法時,這兩條會直接淘汰掉其中一種。

延伸基礎第 4 階 · context window懂的人可以跳過

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

模型一次讀得下多少?小抄只有一張

① 先想像

開書考試,老師只准你帶一張 A4 小抄。寫不下的,考試時就看不到。

你猜猜看:模型寫到一半的回答,也要擠在這張小抄上嗎?

③ 這叫做 context window

context window:模型一次讀得下的 token 上限。

「Context Window Size 就是 這個模型可以輸入的長度上限。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 2 講

④ 跟 RAG 的關係

大的小抄約 100 萬 token,課堂上說「《紅樓夢》還沒有到100萬個Token呢」。原書的公司有 500 萬頁,約 25 億 token。下一頁就來算塞不塞得下。

② 動手玩:把小抄變小,看哪些字卡被擠掉

—這段話有幾張字卡—模型讀得到—放不下、被截掉

直覺一原書稱為 prompt engineering

那我把整本員工手冊貼進去就好啦?

你可能會想說,很簡單嘛,把公司所有文件都貼進 prompt 裡,再問問題。

📖 原書 這招叫 prompt engineering。原書說它簡單又有彈性,但「not scalable」:所有外部資料塞進 prompt,通常會超過 LLM 的 context window(上一頁的小抄)。

原書的情境:公司有大約 500 萬頁文件,每頁約 1,500 個字元。這是多少?你拉右邊的滑桿看看。

到這裡你已經會了小結 1 / 4

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

到這裡你已經會了:模型為什麼會瞎掰

下一階要解決的問題

那換個方法:讓模型把手冊「背起來」呢?要先知道「訓練模型」到底在改什麼。

延伸基礎第 5 階 · 參數懂的人可以跳過

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

「訓練模型」在改什麼?先看兩顆旋鈕

① 先想像

HR 小美每天審請假單:1 張花 7 分鐘、2 張 9 分鐘、4 張 13 分鐘。你想寫一條規則,預測她明天要忙多久。

你猜猜看:「每張 ☐ 分鐘 + 開場 ☐ 分鐘」,兩格填什麼?

③ 這叫做參數

參數(parameter):規則裡還不知道、要去找的數字。想成兩顆旋鈕。

「在一個函式裡面數值我們不知道的這一些東西啊 我們就叫它參數」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講

④ 跟 RAG 的關係

LLM 有幾十億顆旋鈕。原書說的 finetuning,就是拿公司資料再把旋鈕轉一下。

② 動手玩:轉兩顆旋鈕,讓線穿過三個點

審單分鐘 ≈ 每張幾分鐘 × 張數 + 開場分鐘

延伸基礎第 6 階 · loss懂的人可以跳過

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

規則準不準,怎麼打分數?算「差多少」

① 先想像

對答案:規則猜 10 分鐘,實際 9 分鐘,差 1 分。每一題都算差多少,再平均,就知道規則準不準。

你猜猜看:一題多猜 3 分、另一題少猜 3 分。直接把差距平均,會得到多少?

③ 這叫做 loss

loss:規則離正確答案多遠。這裡用「差距平方的平均」,越小越好。

④ 跟 RAG 的關係

「訓練」就是轉旋鈕,讓 loss 變小。原書後面有一招,就是改 loss 的算法:用了不相關的文件,就多扣分(第 30 頁)。

② 動手玩:紅線是差距,看 loss 怎麼算出來

延伸基礎第 7 階 · 蒙眼下山 · gradient descent懂的人可以跳過

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

旋鈕有幾十億顆,怎麼轉?蒙著眼睛下山

① 先想像

你蒙著眼睛站在山坡上,想走到谷底。看不到路,只能用腳摸:哪邊往下,就往哪邊踏一步。

你猜猜看:步伐越大,越快走到谷底嗎?

③ 這叫做 gradient descent

gradient descent:每一步看腳下的坡度(斜率),往低處走。步伐大小叫 learning rate。

「你就往左右各踏一小步……看往哪一邊可以讓 loss 下降」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講

④ 跟 RAG 的關係

LLM 的幾十億顆旋鈕,也是這樣一步一步轉出來的。所以 finetuning 又慢又貴,資料一改就要再走一次。

② 動手玩:只轉「每張幾分鐘」這顆,開場固定 5 分

—現在:每張幾分鐘—loss

到這裡你已經會了小結 2 / 4

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

到這裡你已經會了:「訓練模型」在做什麼

下一階要解決的問題

現在你看得懂原書的第二個直覺做法了:用公司資料把模型再訓練一下(finetuning)。它會撞到什麼牆?

原書Figure 3、4

原書畫的兩種直覺做法

這一步要解決的問題不改系統架構,有兩個最直覺的方法:把模型再訓練一下,或把資料寫進 prompt。

📖 原書 Figure 3Finetuning:用公司資料把通用模型訓練成專用模型(依原書內容重繪)

通用 LLM + 公司資料 → finetuning(轉旋鈕)→ 專用 LLM。之後回答問題時,用的是訓練後的模型本身。

📖 原書 Figure 4Prompt engineering:模型不動,把公司政策寫進 prompt(依原書內容重繪)

使用者的問題先經過 prompt engineering,變成「請閱讀下列公司政策並回答……」,再交給通用 LLM。

直覺二,以及原書的比較Finetuning · Prompt engineering · RAG

那我讓模型把手冊背起來呢?原書把三種做法放在一起比

Finetuning(背起來)

用公司資料更新 LLM 的參數,讓它熟悉術語、流程、FAQ。原書提到 LoRA 這類方法(只轉一小組外掛的旋鈕)。

優點

  • 可以針對領域客製
  • 在專門主題上更準

缺點

  • 運算很貴
  • 資料一更新就要再訓練
  • 需要 ML 專業
  • 需要大量高品質資料
  • 給不出出處

Prompt engineering(全部貼進去)

模型不動,把公司資料、指令直接寫進 prompt。

優點

  • 簡單,不需要技術背景
  • 便宜
  • 改 prompt 就能實驗,不用重訓

缺點

  • 措辭一變,品質差很多
  • 客製程度有限
  • 只能用模型原本知道的東西
  • 塞不下全部資料(not scalable)

RAG(帶書進場) 原書選這個

兩個元件:Retrieval(搜尋)拿使用者的 prompt 去外部資料找最相關的資訊;Generation(生成)讓 LLM 根據 prompt 和找到的資訊回答。

優點

  • 用得到最新資料
  • 回答有脈絡、更詳細

缺點

  • 兩個元件要配合好,實作複雜
  • 回答品質取決於搜尋品質

原書的結論:finetuning 貴而且給不出出處;prompt engineering 不 scalable;RAG 在建置難度、成本、擴展性之間最平衡,特別適合企業內部的問答機器人。你想想看:考試時,背書和帶書進場,哪一個比較能應付「規定上週剛改」?

RAG 登場這個想法是怎麼來的

不背了,帶書進考場。先翻到對的那頁,再作答。

📖 原書 Figure 5RAG 的兩個元件:Retrieval 和 Generation(依原書內容重繪)

原書 Figure 1 是 Perplexity 依即時資料回答的實際畫面,屬於產品截圖,這裡不重繪。

「你可以先把這個問題丟到網路上,或某一個你自己的資料庫,先做搜尋得到額外的資訊。語言模型根據你給它的 prompt 還有額外的資訊,再去做文字接龍,它就更有可能可以得到正確的答案。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 2 講 Context Engineering

所謂的 RAG,其實就是三件事:搜尋、貼上、接龍。模型本身一個參數都沒改。

然後呢?然後就結束了。概念上就這麼簡單。難的是第一步:電腦怎麼知道哪一段「意思最像」你的問題?下一頁就來解決。

延伸基礎第 8 階 · embedding懂的人可以跳過

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

電腦怎麼知道兩句話「意思很像」?先幫每句話打分數

① 先想像

「我想請特休」和「年假怎麼申請」一個字都不一樣,意思卻很像。只比對字,搜尋找不到。那換個方法:幫每句話打兩個分數,「跟休假多有關」和「跟電腦多有關」。

你猜猜看:「電腦壞了,要請假」該打幾分?[休假, 電腦]

③ 這叫做 embedding

embedding:代表一段話意思的一組數字。一組數字,也可以畫成地圖上的一支箭頭。

「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講:解剖大型語言模型

④ 跟 RAG 的關係

真正的 embedding 有幾百、幾千個分數,是模型自己學出來的。RAG 的「搜尋」,就是找數字最像的段落。

② 動手玩:點一句話,把它放上地圖

延伸基礎第 9 階 · 相似度 · cosine similarity懂的人可以跳過

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

兩組數字「多像」怎麼量?看兩支箭頭的夾角

① 先想像

兩個人在路口幫你指路。指的方向越接近,要去的地方就越像。手臂長短不重要,方向才重要。

你猜猜看:「我想請特休」[4, 0] 和「我真的、真的很想請特休」[8, 0],像不像?

③ 這叫做 cosine similarity

cosine similarity:看夾角,0° 是 1(最像),90° 是 0。另一把尺 Euclidean distance:看兩個尖端離多遠。

④ 跟 RAG 的關係

原書說兩把尺都可以用。等一下在 4,000 萬段文字裡找「最近的幾段」,比的就是這個。

② 動手玩:拖動箭頭尖端,看夾角和分數

—夾角—cosine similarity—尖端距離(Euclidean)—看夾角的判斷

打開黑盒子原書的系統架構

開書考試要做好,有三個步驟

這一步要解決的問題「搜尋、貼上、接龍」聽起來簡單,原書把它拆成三步,每一步各用一種模型。

📖 原書 Figure 9Indexing 用 text / image encoder,Retrieval 用 text encoder,Generation 用 LLM(依原書內容重繪)

① 整理書本 · Indexing

考前做。把 PDF 讀成文字(parsing)、切成小塊(chunking)、每塊變成 embedding,存進 vector database(專門存 embedding、找最像的資料庫)。

第 20–24 頁

② 翻到對的頁 · Retrieval

考試時做。用同一個 text encoder(把文字變成 embedding 的模型)把問題變成 embedding,找最近的幾塊(nearest neighbor search)。

第 25–26 頁

③ 寫答案 · Generation

段落 + 問題組成 prompt,LLM 用 top-p 擲骰子接龍,生成回答。

第 28–30 頁

📖 原書 完整系統還有 safety filtering(擋掉不當內容)和 query expansion(改寫問題、擴大搜尋範圍),整體架構在第 36 頁。

① 整理書本Document parsing

第一步其實最容易出事:把 PDF 讀對

這一步要解決的問題PDF 版面五花八門,讀錯順序,後面每一步都在錯的資料上努力。

📖 原書 公司的 Wiki 都是 PDF,有文字、表格、圖,而且「有些是雙欄、有些單欄、有些混在一起」。比如說雙欄的文件,從左到右一行一行讀,就會把左欄和右欄接在一起。

📖 原書 動手看:Layout-Parser

📖 原書 Figure 6PDF 頁面 → layout detection → OCR → 結構化輸出(依原書內容重繪)

這一步做壞了,後面每一步都是在錯的資料上努力。所謂的 garbage in, garbage out,就是這樣子。

Rule-based

依版面的規則和模式去「計算」版面再擷取。格式一致時容易實作;PDF 設計差異很大,格式對不上就擷取錯。

AI-based

用 object detection(在圖上框出東西)和 OCR(把圖裡的字讀出來)擷取文字、表格、圖,各種版面都能處理。工具:Dedoc、Layout-Parser;雲端服務:Google Cloud Document AI、PDF.co。

📖 原書 Layout-Parser 的三個步驟

  1. Layout detection:object detection 模型在段落、表格、圖、標題外面畫框
  2. Text extraction:每個框用 OCR 讀字,框的座標決定閱讀順序
  3. Structured output:text blocks(座標、文字、閱讀順序、meta)和 non-text blocks(圖的座標)

① 整理書本Document chunking · 動手玩

書要切成多大塊?

這一步要解決的問題整本書變成一組數字,細節會不見。要先切成一小塊一小塊(chunk)。

這是我們的《員工手冊》第四條(虛構)。每種顏色是一塊;有底線的字同時屬於兩塊(overlap)。刻度比原書的 500 字元小。

📖 原書 三種切法

  • Length-based:照固定長度切,簡單但可能切斷句子。LangChain 的 CharacterTextSplitter、RecursiveCharacterTextSplitter 可調長度和 overlap
  • Regular expression-based:照句號、問號、驚嘆號切,保留句子完整
  • HTML / Markdown / code splitters:照標題、清單、code block 的邊界切,保留文件結構(MarkdownHeaderTextSplitter 等)

📖 原書 整本書做成一個 embedding,「可能抓到大意,但會漏掉重要細節」。原書用 500 字元、重疊 200 的切法,每頁算出 5 個文字 chunk + 3 個圖片 chunk:

5M × (1500 / (500 − 200) + 3) = 40M chunks

—用你現在的設定,500 萬頁(每頁 1,500 字元、3 張圖)會變成幾個 chunk
📖 原書 Figure 7LangChain(一套串接 LLM 的工具)的 length-based 切法,chunk_size=35(依原書內容重繪)

① 整理書本Indexing · 四種搜尋方式

書要用什麼方式編索引?

這一步要解決的問題4,000 萬塊文字,要怎麼編目錄,問題來了才找得到?原書比了四種。

Keyword-based

查詢的字和文件一模一樣才算找到。快又簡單,但不懂意思,遇到同義詞就找不到。資料量大、要依語意找的時候不好用。

Full-text search

像 Elasticsearch(一套全文搜尋軟體),掃整份文件找相符的內容,支援部分比對和片語搜尋。資料量大(例如數百萬份 PDF)時運算成本高,而且不擅長語意搜尋。

Knowledge graph–based

用人、地、概念之間的關係來找。很適合複雜的問題,但圖要花很多力氣建和維護,對大量非結構化的 PDF、Wiki 不實際。

Vector-based 原書選這個

把文字和圖片變成高維的 embedding,用相似度來找。字不一樣也找得到意思相近的內容,就是第 17–18 頁的箭頭。

📖 原書 為什麼選 vector-based

先估規模:500 萬頁 × 每頁 8 個 chunk ≈ 4,000 萬個 chunk,每年再長 20%。keyword 和 full-text 在速度、擴展性、理解語意上有限制;knowledge graph 建置維護太貴。Vector-based 的三個優點:理解語意、可擴展、建好索引後搜尋有效率。

📖 原書 Indexing 的做法

每個 chunk 用 ML model 算出 embedding,存進 vector database。查詢時只要拿問題的 embedding 去比,不用在推論時重新處理文件。

📅 2026 補充 第 37 頁會講:現在常把 full-text 和 vector 兩種一起用。

① 整理書本Embedding · 動手玩

把每一段話,變成地圖上的一個點

這一步要解決的問題文字和圖片都要放上同一張地圖,「公司有幾隻貓?」才找得到貓的照片。

選一個問題:

找最近的 k 個點,就是原書 Figure 13 的 top-k nearest neighbors。位置是示意。

這就是第 17 頁的地圖,只是點變多了:意思相近的句子,數字也相近,會站在一起。

📖 原書 兩個 encoder:text encoder 通常是 encoder-only Transformer;image encoder 可以是 CNN 或 Transformer(都是模型架構的名字,不用懂細節)。要讓文字和圖片落在同一張地圖上,兩種做法:

  • Shared embedding space:用 CLIP(同時讀得懂文字和圖片的 encoder)這類 pretrained(別人先訓練好的)encoder,文字和圖片天生在同一個空間。原書選這個,CLIP 同時當 text 和 image encoder
  • Image captioning:先幫圖片產生一段文字說明,再用 text encoder 嵌入

📅 2026 補充 CLIP 的 text encoder 一次只吃 77 個 token。原書一塊 500 字元的 chunk,很可能超過這個長度,後面就被截掉了。實務上文字通常交給專門的 text embedding model,圖片另外處理(例如先產生圖片說明再嵌入,原書自己也提了這個替代做法)。

① 整理書本 · ② 翻到對的頁Figure 10、12

原書畫的:問題和圖片怎麼變成 embedding

📖 原書 Figure 12使用者的問題經過 text encoder,變成一串數字(依原書內容重繪)

📖 原書 Retrieval 的第一步:用 indexing 時同一個 text encoder 算出問題的 embedding Eq,才能和存好的 chunk embedding 比。

📖 原書 Figure 10讓圖片和文字對齊的兩種做法(依原書內容重繪)

📖 原書 Approach 1:CLIP 的 image encoder 和 text encoder 天生在同一個空間。Approach 2:先用 image captioning 產生說明文字,再用 text encoder 嵌入。原書選 Approach 1。

② 翻到對的頁Retrieval · Nearest neighbor search

4,000 萬個點,要怎麼找最近的那幾個?

這一步要解決的問題每問一題都跟 4,000 萬個點全部比一次,太慢了。

—比對了幾次按搜尋開始

📖 原書 Retrieval 兩步:① 用 text encoder 算出問題的 embedding;② nearest neighbor search,依 Euclidean distance 或 cosine similarity 找最近的 k 個。

Exact(linear search):跟每個點都算一次,保證找到真正最近的,但是 O(N × D):比的次數跟「點數 N × 每個點的數字個數 D」成正比。4,000 萬個點,每個問題(query)都要比 4,000 萬次。

ANN(approximate nearest neighbor):找到「夠近的」就好,用特殊資料結構,讓比的次數遠少於資料量(sublinear),例如 O(log N × D)。四類:

  • Tree-based:k-d tree、R-tree、Annoy,把空間一刀一刀切
  • LSH:特殊的 hash(把資料丟進編號桶子的規則)讓相近的點落在同一個桶
  • Clustering-based:先比群中心(inter-cluster),再只比選中那群裡的點(intra-cluster)。原書選這個
  • Graph-based:HNSW,從粗的上層圖一路往細的下層走

工具:Elasticsearch(支援 vector search)、FAISS(Meta)、ScaNN(Google)。

客座講評先算清楚 N

但是你的公司真的有 4,000 萬個 chunk 嗎?

「Bruteforce algorithm(暴力解法)也是算法的一種啊!」「N 很小時,O(n²)/O(n³) 也好。」「對一個任意點 x,我想知道在 10000 個點中,誰跟 x 最接近。暴力解法:O(m*n),m =你 query 的次數。因為 m 可以很大,所以暴力解法不一定能接受。」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md

🔭 依 Triton 原則推論 Triton 沒有談過 RAG。這頁是把他「先算清楚 N 和 m 再選演算法」的原則套進來。原書的 4,000 萬是從 500 萬頁推出來的;一般公司 Wiki 幾萬頁、每秒幾個問題,exact search 的 O(N × D) 很可能就夠快,不需要 ANN 的近似和額外維護。

—暴力解每秒要做的乘加運算(768 維)—粗估判斷

把 N 拉到最右邊就是原書的 4,000 萬,這時就真的需要 ANN 了。

白話:暴力解就是「全部比一次」。資料少的時候,笨方法最省事。

到這裡你已經會了小結 3 / 4

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

到這裡你已經會了:怎麼翻到對的頁

下一階要解決的問題

翻到「特休需於三個工作天前申請」這一段了。接下來:怎麼讓模型照著這段寫出好答案?

③ 寫答案Generation · Prompt engineering · 動手玩

翻到書了,還要會照著書寫

這一步要解決的問題對的段落找到了,怎麼讓模型只根據段落回答,而不是又開始瞎掰?

組一個 prompt 看看


      

內容是示範用的虛構資料。

📖 原書 Figure 17Generation:retrieved context 和問題組成 prompt,LLM 用 top-p sampling 生成(依原書內容重繪)

📖 原書 Figure 22 最後組出來的 prompt

原書把各種技巧疊成一個完整 prompt,由上到下是:Retrieved context、Role-specific、Few-shot prompt、[INITIAL_QUERY](使用者的問題)、CoT、User-context。左邊組裝器的順序就照這張圖。

📖 原書 Generation 把問題和找到的段落當 input,用 top-p sampling(第 5 頁的擲骰子)生成回答,再用 prompt engineering 提高品質。原則與技巧在下一頁。

③ 寫答案Prompt design principles · techniques · Figure 18–21

原書的 prompt 原則和四種技巧

Prompt design principles(寫 prompt 的原則)

  • Start simple:從簡單開始,反覆實驗(原書提到 Cohere Playground)
  • Break down complex tasks:拆成小步驟
  • Use clear instructions:用 Write、Summarize、Translate 這種明確的動詞,指令放開頭並用 ### 分隔
  • Be specific:講清楚格式、風格、結果,但不要塞無關細節
  • Experiment with prompt length:太長會混淆,太短會含糊

Prompt engineering techniques(四種技巧)

  • Chain-of-thought(Figure 18):「Given the following documents, explain the step-by-step…」。延伸有 Tree of Thoughts;推論時給更多運算(test-time compute scaling)能處理更難的任務
  • Few-shot(Figure 19):「Example 1: How do plants absorb sunlight? → Plants…」
  • Role-specific(Figure 20):「You are an experienced contract lawyer with over 20 years of experience…」
  • User-context(Figure 21):在 [Other prompts] 之外加上使用者的資料、偏好、所在地

③ 寫答案Training · RAFT

什麼時候才需要動模型?

這一步要解決的問題搜到的段落是對的,模型還是寫不好,怎麼辦?

📖 原書 先不要訓練

RAG 裡大部分元件都是 pretrained model,finetuning 通常不是第一步。好的 retrieval 加上好的 prompt,多半就夠了。「即使調整了檢索參數和 prompt,系統仍然持續答不好」才考慮 finetuning,例如搜到的文件是對的,但 LLM 寫不出好回答。

RAG 可以搭配各種 LLM:decoder-only Transformer(另一種模型架構),或支援 API finetuning 的雲端模型。

為什麼這個順序合理

硬 train 一發之前,先確定書有翻對頁。書都翻錯了,你把學生訓練得再會寫,他也只是很流暢地寫出錯的答案而已。

📖 原書 RAFT(Retrieval-Augmented Fine-Tuning)

搜尋結果裡難免混進不相關的文件,會誤導 LLM。RAFT 的兩個步驟:

  1. Document labeling:把搜到的文件標成相關(golden)或不相關(distractors)
  2. Joint training:finetuning 時讓模型根據相關文件作答,並調整 loss function,懲罰「用了不相關文件」的回答(第 11 頁的 loss)
📖 原書 Figure 11RAFT 的訓練方式;原圖取自 RAFT 論文(依原書內容重繪)

結果:模型學會在搜尋結果不完美時,自己忽略干擾。

到這裡你已經會了小結 4 / 4

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

到這裡你已經會了:怎麼照著書寫答案

下一階要解決的問題

整套系統做好了。可是它到底做得好不好?要先學會替「搜尋排行榜」打分數。

延伸基礎第 10 階 · Hit rate · MRR懂的人可以跳過

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

搜尋結果怎麼打分數?先問「有沒有找到、排第幾」

① 先想像

你問圖書館員「特休要幾天前申請」,他搬來 5 本書。對的那本放最上面,還是壓在最下面,差很多。排越前面,越會被貼進 prompt。

你猜猜看:對的那本從第 1 名掉到第 3 名,「有沒有找到」的分數會變嗎?

③ 這叫做 Hit rate 和 MRR

Hit rate:前 5 名有沒有對的,有就 1 分。MRR:第一個對的排第幾,取倒數(第 1 名 1 分、第 3 名 1/3 分)。

④ 跟 RAG 的關係

兩個分數都是每個問題算完再平均。原書評估「搜得準不準」就用它們。

② 動手玩:點格子切換 ✓(相關)/✗(不相關)

三個請假規定的問題,各自搜出前 5 名。把第一題的 #1 改成 ✗ 看看。

問題和結果是示範用的虛構資料。

延伸基礎第 11 階 · Precision@k · NDCG懂的人可以跳過

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

對的有幾個?排後面的要打折

① 先想像

同樣找到 3 本對的書:放在第 1、2、3 名,還是第 3、4、5 名?兩個都「有找到」,但前者明顯比較好。

你猜猜看:前 5 名裡有 3 本是對的。「對幾成」是多少?

③ 這叫做 Precision@k 和 NDCG

Precision@5:前 5 名裡幾成是對的。NDCG:每個對的都給分,排越後面打越多折,最後換算成 0 到 1。

④ 跟 RAG 的關係

其實就是百分比、打折、平均而已。下一頁原書的評估,第一個面向就用這四個分數。

② 動手玩:把對的往前排、往後排,看打折

同樣三個問題。把第一題改成 ✗✗✓✓✓,再改成 ✓✓✓✗✗,比比 NDCG。

問題和結果是示範用的虛構資料。

怎麼知道做得好不好Evaluation · 動手算

找對了嗎?照著答了嗎?答到問題了嗎?答對了嗎?

這一步要解決的問題系統答錯了,是哪一步壞的?要分開量。

動手算:Context relevance

問題是「特休要幾天前申請?」。下面是搜尋排出來的前 5 名,點一下切換「相關/不相關」。

—Hit rate@5—MRR—Precision@5—NDCG@5

「就算是搭配了搜尋,提供了最新的資訊,它還是有可能會犯錯的……語言模型是根據搜尋引擎搜尋到的文字,再去做文字接龍。」🎓 李宏毅課堂 2025 第 2 講

📖 原書 最終回答的好壞取決於整條 pipeline(從搜尋到回答的整條流程),所以要分四個面向量:

面向在問什麼原書列的方法
Context relevance搜到的段落對不對、相關的有沒有排在最前面Hit rate、MRR、NDCG、Precision@k
Faithfulness回答有沒有只根據段落,沒有 hallucination(很有自信地瞎掰)人工評估、自動 fact-checking 工具(Ragas、ARES)、consistency checks
Answer relevance回答有沒有完整回應問題、沒有多餘內容用另一個 LLM 比較問題和回答
Answer correctness回答和標準答案有多像BLEU、ROUGE、METEOR(比對字詞重疊多少的分數)

課堂上的經典例子:問「起司黏不住披薩怎麼辦」,系統搜到一篇開玩笑叫人加膠水的貼文,然後很認真地照著回答。Faithfulness 滿分,answer relevance 也滿分,只有 context relevance 錯了。分開量,你才知道是哪一步壞的。

怎麼知道做得好不好Figure 23–26

原書用四張圖解釋評估

📖 原書 Figure 23Triad of RAG evaluation(依原書內容重繪)

Figure 23

三個節點:Query、Context、Results。Query → Context 是 context relevance;Results ↔ Context 是 faithfulness;Results → Query 是 answer relevance。

Figure 24–26

同一個 prompt 丟給 LLM,各畫一個「高分」和「低分」的回答:瑪麗・居禮得過幾座諾貝爾獎(faithfulness)、健康飲食的特點(answer relevance)、艾菲爾鐵塔何時何地完工(answer correctness)。

Figure 26 的兩個回答開頭一樣,差別在後半段;原圖文字在那裡被截斷,所以這裡也只畫到開頭。

原書Overall ML System Design · Other talking points

全部接起來

這一步要解決的問題把前面每一步接成一個真的能上線的系統,還要擋掉不當的問題和回答。

📖 原書 Figure 27RAG 系統整體設計(依原書內容重繪)

📖 原書 五個元件

  • Indexing process(離線):parse、chunk、CLIP 嵌入,存進 index table
  • Safety filtering:先擋掉不當或有害的問題
  • Query expansion:改寫問題,修錯字文法、擴大搜尋範圍
  • Retrieval:CLIP text encoder 算 embedding,ANN 找最像的 chunk
  • Generation:問題 + 段落組成 prompt,用 CoT 等技巧優化,LLM 用 top-p sampling 生成

原書 Figure 27 上,LLM 的輸出還要再過一次 safety filtering 才回給使用者;文字和圖片也各有一個 index。

📖 原書 Other talking points

  • 文件解析時的表格偵測
  • ANN 演算法的細節
  • 支援使用者自己上傳文件
  • 動態的搜尋策略(Active RAG、Self-RAG:讓模型自己決定要不要再搜)
  • Query rewriting 和 expansion
  • 推論時的 CoT 和 test-time scaling

📅 2026 補充方法怎麼演進

從「每題都翻書」到「自己決定要不要翻書」

Context window 變大了

原書寫作時以 GPT-4o 的 128K token 為例。2026 年百萬 token 等級的 context window 已經很常見。但第 8 頁的算術還是成立:500 萬頁遠超過 100 萬 token,而且每題重讀一次很貴。所以 RAG 沒有被取代,只是「一次能貼多少段落」變寬鬆了。

搜尋不只用 embedding

只靠 embedding,對產品型號、人名、條文編號這種「字要一模一樣」的東西不太行。原書也提到 keyword search 和 full-text search。常見做法是兩種都搜,再用一個 reranker(專門重新排名次的模型)重新排序。

讓模型自己決定要搜什麼

原書的流程是固定的:每個問題都搜一次。現在更常見的是 agent(會自己決定下一步的模型)的做法:模型自己判斷要不要搜、搜什麼、搜不夠再搜一次。

「因為如果你仔細去讀它的 prompt 的話……就只差沒有教語言模型說你直接做 RAG 了。」🎓 李宏毅課堂 AI Agent (1/3) · Context Engineering

課堂上另一個觀察:連「這個 agent 有哪些工具可以用」的說明書,也可以先存起來、需要時再搜出來放進 context。RAG 已經不只是「查文件」,而是一種按需加載的通用想法。

客座講評Triton 怎麼看這套 infra

Triton 沒談過 RAG,但他談過這些零件

要不要多一套 vector DB?

「越少模組,便代表你需要監控和管理的模組便越少,代表你的團隊需要掌握的語言/技術便越少。」「通用 vs 專精?例子:是否使用 ElasticSearch?你需要 Tokenization 嗎?能不能先在 RDBMS 做 searching?」🗣️ Triton 本人說 073-lesson3.pdf.md

🔭 推論 套到 RAG:資料量還不大時,先問能不能用現有的 PostgreSQL(一般的關聯式資料庫,RDBMS)加上 pgvector 這類 extension 存 embedding,而不是一開始就多架一套專用的 vector database。

文件更新時,重新 index 怎麼排程?

「建立一個 outstanding_tasks 的 table(不使用 redis 的原因是怕 redis 當掉後 data loss 有工作變成孤兒)……做完的就刪掉對應的 outstanding_tasks,還有做後續的工作。」🗣️ Triton 本人說 020-MQ解法.md

「Redis 不是 MQ Server。」🗣️ 088-redis-intro.pdf.md

🔭 推論 原書說文件「change at a slower pace」。parse、chunk、embed 都是慢工作,適合丟給背景 worker,但待辦清單要放在不會掉資料的地方。

先算清楚 N

第 26 頁的計算器就是 Triton 的 064:「N 很小時,O(n²)/O(n³) 也好。」選 ANN 之前,先用你公司真實的頁數和流量算一次。

原書Summary 心智圖

原書這一章的總結圖

📖 原書章末心智圖依原書的分支重繪;原圖有少數文字無法辨識,沒有畫進來

回顧

RAG 其實就是開書考試而已。

  1. 文字接龍
  2. token
  3. 擲骰子
  4. context window
  5. 參數
  6. loss
  7. 蒙眼下山
  8. embedding
  9. 相似度
  10. 排名分數
  11. 打折分數

問題

語言模型在做文字接龍,它沒讀過你公司的文件,但它還是會接。

兩個直覺都撞牆

全部貼進 prompt:放不下、很貴。Finetuning:文件一改就要重訓,也說不出出處。

所以帶書進場

整理書本(parse、chunk、embed)→ 翻到對的頁(nearest neighbor)→ 照著書寫答案(prompt、必要時 RAFT)。

分四件事量

找對了嗎、照著答了嗎、答到問題了嗎、答對了嗎。

搜尋、貼上、接龍。然後呢?然後就結束了。

本章名詞小卡課後複習用 · 每個名詞一句白話

今天出現的名詞,一句話講完

LLM大型語言模型,讀過大量文字、會做文字接龍
prompt你打給模型的那段話
token模型接龍用的字卡
top-p從第一名往下加到 p,線以下的字卡不准擲
context window模型一次讀得下的 token 上限,像一張小抄
hallucination模型很有自信地瞎掰
參數 parameter規則裡要去找的數字,想成旋鈕
loss猜得多不準,差距平方再平均,越小越好
gradient descent蒙眼下山:照坡度一步一步轉旋鈕
learning rate每一步跨多大;太大會彈來彈去
finetuning拿公司資料再把模型的旋鈕轉一下
LoRA只轉一小組外掛旋鈕的 finetuning

給工程師的重點出處與標籤

本章引用的來源

原書

Generative AI System Design Interview · Retrieval-Augmented Generation 章。本簡報涵蓋:Clarifying Requirements 與 Figure 2(第 6 頁)、Figure 3–4 與三種方法比較(14–15)、Figure 5(16)、Figure 8–9(19)、parsing、Layout-Parser 與 Figure 6(20)、chunking 與 Figure 7(21)、四種 retrieval 技術(22)、encoder、CLIP 與 Figure 10、12(23–24)、exact vs ANN 與 Figure 13–16(25)、prompt engineering 與 Figure 17–22(28–29)、RAFT 與 Figure 11(30)、評估與 Figure 23–26(34–35)、整體設計 Figure 27 與 Other Talking Points(36)、章末心智圖(39)。Figure 1 是 Perplexity 的產品截圖,不重繪;其餘 27 張依原書的圖說與描述重繪,不是原圖

🎓 李宏毅課堂(逐字稿)

  • 生成式人工智慧與機器學習導論 2025 · 第 2 講:上下文工程(Context Engineering)— RAG 的定義、「搭配搜尋仍可能犯錯」、起司與膠水的例子
  • AI Agent (1/3):Context Engineering 基本概念 — 工具說明按需加載與 RAG 的關係、Recursive Language Model 的評論

來源:.claude/skills/hung-yi-lee(voidful/hung-yi-lee-skill,受李宏毅教學風格啟發,非本人)

🗣️ Triton(materials/core)

  • 064-introToAlgorithm.pdf.md — 暴力解也是演算法、O(m*n) 與 query 次數
  • 073-lesson3.pdf.md — 越少模組越好、能不能先在 RDBMS 做 searching
  • 020-MQ解法.md — outstanding_tasks table、不用 Redis 存待辦
  • 088-redis-intro.pdf.md — Redis 不是 MQ Server

延伸基礎頁(11 階)與 🎓 出處

  • 學習地圖(第 3 頁);小結(9、13、27、31);名詞小卡(41)
  • token(4)— 第 1 講 Token 定義;擲骰子、top-K → top-p(5)— 第 1 講:一堂課搞懂生成式人工智慧的原理
  • context window、數量級(7)— 第 2 講(Context Window Size)、第 1 講(紅樓夢)
  • 參數(10)、loss(11)、gradient descent(12)— 第 5 講:一堂課搞懂機器學習與深度學習的基本原理;備註引《生成式AI時代下的機器學習 2025》第五講
  • embedding(17)、cosine similarity、Euclidean distance(18)— 第 3 講:解剖大型語言模型
  • Hit rate、MRR(32)、Precision@k、NDCG(33)— 沒有對應逐字稿,依標準定義

「第 N 講」指《生成式人工智慧與機器學習導論 2025》。公式不放在頁面上,寫在各頁講者備註與本頁備註。

📅 2026 補充的依據

  • CLIP text encoder 的 context length 為 77 token(模型架構本身的設定)
  • 百萬 token context window 已有多個商用模型提供
  • Hybrid search + rerank、agentic retrieval 為目前常見做法;原書 Other Talking Points 已提及 Active RAG、Self-RAG
← → 翻頁 · S 講者備註 · D 深/淺色
1 / 1目錄