GenAI System Design · 第 6 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(只有 infra)
Retrieval-Augmented Generation
其實就是開書考試而已
原書要你設計一個「公司內部的 ChatPDF」:員工問問題,系統從公司文件裡找答案。我們不先講定義,先遇到問題,再看方法是怎麼被想出來的。
今天的路線
先爬 11 階基礎概念(下下頁有地圖),再拆原書的 RAG:整理書本 → 翻到對的頁 → 寫答案 → 打分數。最後是 2026 補充和 Triton 客座講評。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 🔭 依 Triton 原則推論
頁首標 延伸基礎 的頁是補基礎,只用高中數學,懂的人可以跳過。
說明
這份的講法受李宏毅教學風格啟發,不是本人。只討論方法的取捨,不評論任何公司或作者。
先講跟你有關的
你問 AI 一個公司內部的問題,會發生什麼事?
語言模型在做什麼?其實就是文字接龍而已。
它讀過網路上很多很多文字,但沒讀過你們公司的請假規定。你問它,它還是會接龍。接得很順、很有自信,但是是瞎掰的。
兩個名詞:語言模型英文叫 LLM(例如 ChatGPT);你打給它的那段話叫 prompt。
怎麼辦呢?
學習地圖本章的概念階梯
今天爬 11 階。每一階,只用前面講過的東西。
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
第 1–3 階 · 模型怎麼接龍
要回答:模型為什麼會很有自信地瞎掰?
第 4 階 · 小抄有多大
要回答:把整本手冊貼進去,為什麼不行?
第 5–7 階 · 訓練在改什麼
要回答:讓模型把手冊背起來,為什麼不好?
第 8–9 階 · 意思像不像
要回答:開書考試時,怎麼翻到對的那一頁?
第 10–11 階 · 排行榜打分數
要回答:怎麼知道系統翻得準不準?
全程只用一個例子:虛構公司的《員工手冊》第四條
4.2 特休需於三個工作天前於 HR 系統送出申請;連續五天以上,需於十個工作天前申請。
我們會一直問同一句:「特休要幾天前申請?」每爬 3–4 階,有一頁「到這裡你已經會了」。
延伸基礎第 2 階 · token懂的人可以跳過
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
模型一次接一個字?其實是一次接一張「字卡」
① 先想像
你玩過成語接龍吧?一次接一個字。模型也在接龍,只是它手上拿的是一疊字卡。
你猜猜看:「特休要幾天前申請?」會變成幾張字卡?
中文大多一個字一張,問號也算一張:8 個字 + 1 個問號 = 9 張。右邊打字驗證看看。
③ 這叫做 token
token:模型接龍用的字卡。
「在生成式人工智慧裡面Token指的就是 這一些模型拿來做文字接龍的時候 他可以選擇的輸出」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講
④ 跟 RAG 的關係
模型讀得下多少、要花多少錢,都用 token 來算。等一下算「整本手冊塞不塞得下」,單位就是它。
② 動手玩:打一段話,數數看幾張字卡
切法是示意:中文大多一個字一張;英文短的單字一張,長的切成幾段。
延伸基礎第 3 階 · 擲骰子 · top-p懂的人可以跳過
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
下一張字卡怎麼選?其實就是擲骰子而已
① 先想像
「台灣最高的山是_」,請全班一起接。大部分人說「玉」,少數人說「雪」。模型心裡也有一張「大家可能接什麼」的百分比表。
你猜猜看:同一句話問模型 10 次,它每次都接「玉」嗎?
它照百分比擲骰子:50% 的「玉」最常中,14% 的「雪」也會中。按右邊「連擲 20 次」看看。
③ 這叫做 top-p
top-p:從第一名往下加,加到 p 就畫一條線。線以下的怪字不准擲。
「它根據這個機率分佈來擲骰子」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 1 講
④ 跟 RAG 的關係
切到「我們公司特休要…」:模型沒讀過,分數很平均,但它照樣擲。瞎掰就是這樣來的。原書寫答案時也用 top-p。
② 動手玩:擲骰子接下一張字卡
原書Clarifying Requirements · Frame the problem
原書的題目:公司內部的 ChatPDF
這一步要解決的問題面試官只丟一句「做一個公司內部的 ChatPDF」,先把要做什麼問清楚。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 知識庫是什麼?會變嗎? | 公司 Wiki + 一個像 Stack Overflow 的內部論壇。會變,但不是即時變 |
| 有文字、圖片或其他形式嗎? | 每頁都是 PDF,有文字、表格、圖表;其他形式先不管 |
| 頁面有固定格式嗎? | 沒有。有雙欄、單欄、混合 |
| 總共幾頁? | 大約 500 萬頁 |
| 回答要附文件出處嗎? | 要 |
| 要即時回應嗎? | 可以接受幾秒的延遲 |
| 要支援多語言嗎? | 先只做英文 |
| 要支援使用者回饋、追問嗎? | 一開始不用,但設計要能加 |
| 文件會成長多少? | 每年 20% |
| 要處理安全問題嗎? | 重要,但先專注在資料處理、架構和效能 |
📖 原書 把問題變成 ML(機器學習)任務
Input(輸入):文字 prompt,加上持續更新、有文字和圖片的文件資料庫。Output(輸出):準確回應問題的文字回答。
方法:通用的 LLM 很會生成文字,但不懂公司的專門領域,需要客製化。原書比較三種:再訓練模型(finetuning)、把資料寫進 prompt(prompt engineering)、先搜尋再回答(RAG)。
記住兩個需求:「要附出處」和「文件會變」。等一下比較三種做法時,這兩條會直接淘汰掉其中一種。
延伸基礎第 4 階 · context window懂的人可以跳過
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
模型一次讀得下多少?小抄只有一張
① 先想像
開書考試,老師只准你帶一張 A4 小抄。寫不下的,考試時就看不到。
你猜猜看:模型寫到一半的回答,也要擠在這張小抄上嗎?
問題、貼進去的文件、它自己寫的回答,通通算在同一個上限裡。
③ 這叫做 context window
context window:模型一次讀得下的 token 上限。
「Context Window Size 就是 這個模型可以輸入的長度上限。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 2 講
④ 跟 RAG 的關係
大的小抄約 100 萬 token,課堂上說「《紅樓夢》還沒有到100萬個Token呢」。原書的公司有 500 萬頁,約 25 億 token。下一頁就來算塞不塞得下。
② 動手玩:把小抄變小,看哪些字卡被擠掉
直覺一原書稱為 prompt engineering
那我把整本員工手冊貼進去就好啦?
你可能會想說,很簡單嘛,把公司所有文件都貼進 prompt 裡,再問問題。
📖 原書 這招叫 prompt engineering。原書說它簡單又有彈性,但「not scalable」:所有外部資料塞進 prompt,通常會超過 LLM 的 context window(上一頁的小抄)。
原書的情境:公司有大約 500 萬頁文件,每頁約 1,500 個字元。這是多少?你拉右邊的滑桿看看。
到這裡你已經會了小結 1 / 4
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
到這裡你已經會了:模型為什麼會瞎掰
- 模型在做文字接龍,一次接一張字卡(token)。
- 下一張字卡是擲骰子擲出來的(top-p)。沒讀過的事,它也照擲,所以會很有自信地瞎掰。
- 它一次讀得下的量有上限(context window)。500 萬頁的手冊,整本貼進去塞不下。
下一階要解決的問題
那換個方法:讓模型把手冊「背起來」呢?要先知道「訓練模型」到底在改什麼。
延伸基礎第 5 階 · 參數懂的人可以跳過
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
「訓練模型」在改什麼?先看兩顆旋鈕
① 先想像
HR 小美每天審請假單:1 張花 7 分鐘、2 張 9 分鐘、4 張 13 分鐘。你想寫一條規則,預測她明天要忙多久。
你猜猜看:「每張 ☐ 分鐘 + 開場 ☐ 分鐘」,兩格填什麼?
多 1 張多 2 分鐘(7 → 9),所以每張 2 分;1 張是 7 分,扣掉 2 分,剩 5 分是開場。
③ 這叫做參數
參數(parameter):規則裡還不知道、要去找的數字。想成兩顆旋鈕。
「在一個函式裡面數值我們不知道的這一些東西啊 我們就叫它參數」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講
④ 跟 RAG 的關係
LLM 有幾十億顆旋鈕。原書說的 finetuning,就是拿公司資料再把旋鈕轉一下。
② 動手玩:轉兩顆旋鈕,讓線穿過三個點
審單分鐘 ≈ 每張幾分鐘 × 張數 + 開場分鐘
延伸基礎第 6 階 · loss懂的人可以跳過
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
規則準不準,怎麼打分數?算「差多少」
① 先想像
對答案:規則猜 10 分鐘,實際 9 分鐘,差 1 分。每一題都算差多少,再平均,就知道規則準不準。
你猜猜看:一題多猜 3 分、另一題少猜 3 分。直接把差距平均,會得到多少?
+3 和 −3 互相抵消,看起來像全對。所以先平方(都變 9),再平均。
③ 這叫做 loss
loss:規則離正確答案多遠。這裡用「差距平方的平均」,越小越好。
④ 跟 RAG 的關係
「訓練」就是轉旋鈕,讓 loss 變小。原書後面有一招,就是改 loss 的算法:用了不相關的文件,就多扣分(第 30 頁)。
② 動手玩:紅線是差距,看 loss 怎麼算出來
延伸基礎第 7 階 · 蒙眼下山 · gradient descent懂的人可以跳過
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
旋鈕有幾十億顆,怎麼轉?蒙著眼睛下山
① 先想像
你蒙著眼睛站在山坡上,想走到谷底。看不到路,只能用腳摸:哪邊往下,就往哪邊踏一步。
你猜猜看:步伐越大,越快走到谷底嗎?
把步伐拉到 1.5 和 2.2 試試:一個在山谷兩邊彈來彈去,一個直接飛出去。
③ 這叫做 gradient descent
gradient descent:每一步看腳下的坡度(斜率),往低處走。步伐大小叫 learning rate。
「你就往左右各踏一小步……看往哪一邊可以讓 loss 下降」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講
④ 跟 RAG 的關係
LLM 的幾十億顆旋鈕,也是這樣一步一步轉出來的。所以 finetuning 又慢又貴,資料一改就要再走一次。
② 動手玩:只轉「每張幾分鐘」這顆,開場固定 5 分
到這裡你已經會了小結 2 / 4
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
到這裡你已經會了:「訓練模型」在做什麼
- 參數:規則裡要去找的數字,想成旋鈕。LLM 有幾十億顆。
- loss:規則猜得多不準。差距平方再平均,越小越好。
- 蒙眼下山(gradient descent):照腳下的坡度一步一步轉旋鈕,讓 loss 變小。
下一階要解決的問題
現在你看得懂原書的第二個直覺做法了:用公司資料把模型再訓練一下(finetuning)。它會撞到什麼牆?
原書Figure 3、4
原書畫的兩種直覺做法
這一步要解決的問題不改系統架構,有兩個最直覺的方法:把模型再訓練一下,或把資料寫進 prompt。
通用 LLM + 公司資料 → finetuning(轉旋鈕)→ 專用 LLM。之後回答問題時,用的是訓練後的模型本身。
使用者的問題先經過 prompt engineering,變成「請閱讀下列公司政策並回答……」,再交給通用 LLM。
直覺二,以及原書的比較Finetuning · Prompt engineering · RAG
那我讓模型把手冊背起來呢?原書把三種做法放在一起比
Finetuning(背起來)
用公司資料更新 LLM 的參數,讓它熟悉術語、流程、FAQ。原書提到 LoRA 這類方法(只轉一小組外掛的旋鈕)。
優點
- 可以針對領域客製
- 在專門主題上更準
缺點
- 運算很貴
- 資料一更新就要再訓練
- 需要 ML 專業
- 需要大量高品質資料
- 給不出出處
Prompt engineering(全部貼進去)
模型不動,把公司資料、指令直接寫進 prompt。
優點
- 簡單,不需要技術背景
- 便宜
- 改 prompt 就能實驗,不用重訓
缺點
- 措辭一變,品質差很多
- 客製程度有限
- 只能用模型原本知道的東西
- 塞不下全部資料(not scalable)
RAG(帶書進場) 原書選這個
兩個元件:Retrieval(搜尋)拿使用者的 prompt 去外部資料找最相關的資訊;Generation(生成)讓 LLM 根據 prompt 和找到的資訊回答。
優點
- 用得到最新資料
- 回答有脈絡、更詳細
缺點
- 兩個元件要配合好,實作複雜
- 回答品質取決於搜尋品質
原書的結論:finetuning 貴而且給不出出處;prompt engineering 不 scalable;RAG 在建置難度、成本、擴展性之間最平衡,特別適合企業內部的問答機器人。你想想看:考試時,背書和帶書進場,哪一個比較能應付「規定上週剛改」?
RAG 登場這個想法是怎麼來的
不背了,帶書進考場。先翻到對的那頁,再作答。
原書 Figure 1 是 Perplexity 依即時資料回答的實際畫面,屬於產品截圖,這裡不重繪。
「你可以先把這個問題丟到網路上,或某一個你自己的資料庫,先做搜尋得到額外的資訊。語言模型根據你給它的 prompt 還有額外的資訊,再去做文字接龍,它就更有可能可以得到正確的答案。」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 2 講 Context Engineering
所謂的 RAG,其實就是三件事:搜尋、貼上、接龍。模型本身一個參數都沒改。
然後呢?然後就結束了。概念上就這麼簡單。難的是第一步:電腦怎麼知道哪一段「意思最像」你的問題?下一頁就來解決。
延伸基礎第 8 階 · embedding懂的人可以跳過
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
電腦怎麼知道兩句話「意思很像」?先幫每句話打分數
① 先想像
「我想請特休」和「年假怎麼申請」一個字都不一樣,意思卻很像。只比對字,搜尋找不到。那換個方法:幫每句話打兩個分數,「跟休假多有關」和「跟電腦多有關」。
你猜猜看:「電腦壞了,要請假」該打幾分?[休假, 電腦]
兩件事都有關,所以兩個分數都中等。右邊點它,看它落在哪裡。
③ 這叫做 embedding
embedding:代表一段話意思的一組數字。一組數字,也可以畫成地圖上的一支箭頭。
「意思相近的 Token 就會有相近的 Token Embedding」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 3 講:解剖大型語言模型
④ 跟 RAG 的關係
真正的 embedding 有幾百、幾千個分數,是模型自己學出來的。RAG 的「搜尋」,就是找數字最像的段落。
② 動手玩:點一句話,把它放上地圖
延伸基礎第 9 階 · 相似度 · cosine similarity懂的人可以跳過
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
兩組數字「多像」怎麼量?看兩支箭頭的夾角
① 先想像
兩個人在路口幫你指路。指的方向越接近,要去的地方就越像。手臂長短不重要,方向才重要。
你猜猜看:「我想請特休」[4, 0] 和「我真的、真的很想請特休」[8, 0],像不像?
兩支箭頭方向一樣,夾角 0°;第二句只是比較激動,箭頭比較長。右邊按「方向一樣、長兩倍」看看。
③ 這叫做 cosine similarity
cosine similarity:看夾角,0° 是 1(最像),90° 是 0。另一把尺 Euclidean distance:看兩個尖端離多遠。
④ 跟 RAG 的關係
原書說兩把尺都可以用。等一下在 4,000 萬段文字裡找「最近的幾段」,比的就是這個。
② 動手玩:拖動箭頭尖端,看夾角和分數
打開黑盒子原書的系統架構
開書考試要做好,有三個步驟
這一步要解決的問題「搜尋、貼上、接龍」聽起來簡單,原書把它拆成三步,每一步各用一種模型。
① 整理書本 · Indexing
考前做。把 PDF 讀成文字(parsing)、切成小塊(chunking)、每塊變成 embedding,存進 vector database(專門存 embedding、找最像的資料庫)。
第 20–24 頁
② 翻到對的頁 · Retrieval
考試時做。用同一個 text encoder(把文字變成 embedding 的模型)把問題變成 embedding,找最近的幾塊(nearest neighbor search)。
第 25–26 頁
③ 寫答案 · Generation
段落 + 問題組成 prompt,LLM 用 top-p 擲骰子接龍,生成回答。
第 28–30 頁
📖 原書 完整系統還有 safety filtering(擋掉不當內容)和 query expansion(改寫問題、擴大搜尋範圍),整體架構在第 36 頁。
① 整理書本Document parsing
第一步其實最容易出事:把 PDF 讀對
這一步要解決的問題PDF 版面五花八門,讀錯順序,後面每一步都在錯的資料上努力。
📖 原書 公司的 Wiki 都是 PDF,有文字、表格、圖,而且「有些是雙欄、有些單欄、有些混在一起」。比如說雙欄的文件,從左到右一行一行讀,就會把左欄和右欄接在一起。
📖 原書 動手看:Layout-Parser
這一步做壞了,後面每一步都是在錯的資料上努力。所謂的 garbage in, garbage out,就是這樣子。
Rule-based
依版面的規則和模式去「計算」版面再擷取。格式一致時容易實作;PDF 設計差異很大,格式對不上就擷取錯。
AI-based
用 object detection(在圖上框出東西)和 OCR(把圖裡的字讀出來)擷取文字、表格、圖,各種版面都能處理。工具:Dedoc、Layout-Parser;雲端服務:Google Cloud Document AI、PDF.co。
📖 原書 Layout-Parser 的三個步驟
- Layout detection:object detection 模型在段落、表格、圖、標題外面畫框
- Text extraction:每個框用 OCR 讀字,框的座標決定閱讀順序
- Structured output:text blocks(座標、文字、閱讀順序、meta)和 non-text blocks(圖的座標)
① 整理書本Document chunking · 動手玩
書要切成多大塊?
這一步要解決的問題整本書變成一組數字,細節會不見。要先切成一小塊一小塊(chunk)。
這是我們的《員工手冊》第四條(虛構)。每種顏色是一塊;有底線的字同時屬於兩塊(overlap)。刻度比原書的 500 字元小。
📖 原書 三種切法
- Length-based:照固定長度切,簡單但可能切斷句子。LangChain 的 CharacterTextSplitter、RecursiveCharacterTextSplitter 可調長度和 overlap
- Regular expression-based:照句號、問號、驚嘆號切,保留句子完整
- HTML / Markdown / code splitters:照標題、清單、code block 的邊界切,保留文件結構(MarkdownHeaderTextSplitter 等)
📖 原書 整本書做成一個 embedding,「可能抓到大意,但會漏掉重要細節」。原書用 500 字元、重疊 200 的切法,每頁算出 5 個文字 chunk + 3 個圖片 chunk:
5M × (1500 / (500 − 200) + 3) = 40M chunks
① 整理書本Indexing · 四種搜尋方式
書要用什麼方式編索引?
這一步要解決的問題4,000 萬塊文字,要怎麼編目錄,問題來了才找得到?原書比了四種。
Keyword-based
查詢的字和文件一模一樣才算找到。快又簡單,但不懂意思,遇到同義詞就找不到。資料量大、要依語意找的時候不好用。
Full-text search
像 Elasticsearch(一套全文搜尋軟體),掃整份文件找相符的內容,支援部分比對和片語搜尋。資料量大(例如數百萬份 PDF)時運算成本高,而且不擅長語意搜尋。
Knowledge graph–based
用人、地、概念之間的關係來找。很適合複雜的問題,但圖要花很多力氣建和維護,對大量非結構化的 PDF、Wiki 不實際。
Vector-based 原書選這個
把文字和圖片變成高維的 embedding,用相似度來找。字不一樣也找得到意思相近的內容,就是第 17–18 頁的箭頭。
📖 原書 為什麼選 vector-based
先估規模:500 萬頁 × 每頁 8 個 chunk ≈ 4,000 萬個 chunk,每年再長 20%。keyword 和 full-text 在速度、擴展性、理解語意上有限制;knowledge graph 建置維護太貴。Vector-based 的三個優點:理解語意、可擴展、建好索引後搜尋有效率。
📖 原書 Indexing 的做法
每個 chunk 用 ML model 算出 embedding,存進 vector database。查詢時只要拿問題的 embedding 去比,不用在推論時重新處理文件。
📅 2026 補充 第 37 頁會講:現在常把 full-text 和 vector 兩種一起用。
① 整理書本Embedding · 動手玩
把每一段話,變成地圖上的一個點
這一步要解決的問題文字和圖片都要放上同一張地圖,「公司有幾隻貓?」才找得到貓的照片。
找最近的 k 個點,就是原書 Figure 13 的 top-k nearest neighbors。位置是示意。
這就是第 17 頁的地圖,只是點變多了:意思相近的句子,數字也相近,會站在一起。
📖 原書 兩個 encoder:text encoder 通常是 encoder-only Transformer;image encoder 可以是 CNN 或 Transformer(都是模型架構的名字,不用懂細節)。要讓文字和圖片落在同一張地圖上,兩種做法:
- Shared embedding space:用 CLIP(同時讀得懂文字和圖片的 encoder)這類 pretrained(別人先訓練好的)encoder,文字和圖片天生在同一個空間。原書選這個,CLIP 同時當 text 和 image encoder
- Image captioning:先幫圖片產生一段文字說明,再用 text encoder 嵌入
📅 2026 補充 CLIP 的 text encoder 一次只吃 77 個 token。原書一塊 500 字元的 chunk,很可能超過這個長度,後面就被截掉了。實務上文字通常交給專門的 text embedding model,圖片另外處理(例如先產生圖片說明再嵌入,原書自己也提了這個替代做法)。
① 整理書本 · ② 翻到對的頁Figure 10、12
原書畫的:問題和圖片怎麼變成 embedding
📖 原書 Retrieval 的第一步:用 indexing 時同一個 text encoder 算出問題的 embedding Eq,才能和存好的 chunk embedding 比。
📖 原書 Approach 1:CLIP 的 image encoder 和 text encoder 天生在同一個空間。Approach 2:先用 image captioning 產生說明文字,再用 text encoder 嵌入。原書選 Approach 1。
② 翻到對的頁Retrieval · Nearest neighbor search
4,000 萬個點,要怎麼找最近的那幾個?
這一步要解決的問題每問一題都跟 4,000 萬個點全部比一次,太慢了。
📖 原書 Retrieval 兩步:① 用 text encoder 算出問題的 embedding;② nearest neighbor search,依 Euclidean distance 或 cosine similarity 找最近的 k 個。
Exact(linear search):跟每個點都算一次,保證找到真正最近的,但是 O(N × D):比的次數跟「點數 N × 每個點的數字個數 D」成正比。4,000 萬個點,每個問題(query)都要比 4,000 萬次。
ANN(approximate nearest neighbor):找到「夠近的」就好,用特殊資料結構,讓比的次數遠少於資料量(sublinear),例如 O(log N × D)。四類:
- Tree-based:k-d tree、R-tree、Annoy,把空間一刀一刀切
- LSH:特殊的 hash(把資料丟進編號桶子的規則)讓相近的點落在同一個桶
- Clustering-based:先比群中心(inter-cluster),再只比選中那群裡的點(intra-cluster)。原書選這個
- Graph-based:HNSW,從粗的上層圖一路往細的下層走
工具:Elasticsearch(支援 vector search)、FAISS(Meta)、ScaNN(Google)。
客座講評先算清楚 N
但是你的公司真的有 4,000 萬個 chunk 嗎?
「Bruteforce algorithm(暴力解法)也是算法的一種啊!」「N 很小時,O(n²)/O(n³) 也好。」「對一個任意點 x,我想知道在 10000 個點中,誰跟 x 最接近。暴力解法:O(m*n),m =你 query 的次數。因為 m 可以很大,所以暴力解法不一定能接受。」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md
🔭 依 Triton 原則推論 Triton 沒有談過 RAG。這頁是把他「先算清楚 N 和 m 再選演算法」的原則套進來。原書的 4,000 萬是從 500 萬頁推出來的;一般公司 Wiki 幾萬頁、每秒幾個問題,exact search 的 O(N × D) 很可能就夠快,不需要 ANN 的近似和額外維護。
把 N 拉到最右邊就是原書的 4,000 萬,這時就真的需要 ANN 了。
白話:暴力解就是「全部比一次」。資料少的時候,笨方法最省事。
到這裡你已經會了小結 3 / 4
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
到這裡你已經會了:怎麼翻到對的頁
- embedding:一段話變成一組數字。意思像,數字也像。
- 相似度:看兩支箭頭的夾角(cosine),或尖端離多遠(Euclidean)。
- 整理書本、翻到對的頁:PDF 讀對 → 切成小塊 → 每塊變 embedding 存好 → 問題來了,找最近的幾塊。
下一階要解決的問題
翻到「特休需於三個工作天前申請」這一段了。接下來:怎麼讓模型照著這段寫出好答案?
③ 寫答案Generation · Prompt engineering · 動手玩
翻到書了,還要會照著書寫
這一步要解決的問題對的段落找到了,怎麼讓模型只根據段落回答,而不是又開始瞎掰?
組一個 prompt 看看
內容是示範用的虛構資料。
📖 原書 Figure 22 最後組出來的 prompt
原書把各種技巧疊成一個完整 prompt,由上到下是:Retrieved context、Role-specific、Few-shot prompt、[INITIAL_QUERY](使用者的問題)、CoT、User-context。左邊組裝器的順序就照這張圖。
📖 原書 Generation 把問題和找到的段落當 input,用 top-p sampling(第 5 頁的擲骰子)生成回答,再用 prompt engineering 提高品質。原則與技巧在下一頁。
③ 寫答案Prompt design principles · techniques · Figure 18–21
原書的 prompt 原則和四種技巧
Prompt design principles(寫 prompt 的原則)
- Start simple:從簡單開始,反覆實驗(原書提到 Cohere Playground)
- Break down complex tasks:拆成小步驟
- Use clear instructions:用 Write、Summarize、Translate 這種明確的動詞,指令放開頭並用 ### 分隔
- Be specific:講清楚格式、風格、結果,但不要塞無關細節
- Experiment with prompt length:太長會混淆,太短會含糊
Prompt engineering techniques(四種技巧)
- Chain-of-thought(Figure 18):「Given the following documents, explain the step-by-step…」。延伸有 Tree of Thoughts;推論時給更多運算(test-time compute scaling)能處理更難的任務
- Few-shot(Figure 19):「Example 1: How do plants absorb sunlight? → Plants…」
- Role-specific(Figure 20):「You are an experienced contract lawyer with over 20 years of experience…」
- User-context(Figure 21):在 [Other prompts] 之外加上使用者的資料、偏好、所在地
③ 寫答案Training · RAFT
什麼時候才需要動模型?
這一步要解決的問題搜到的段落是對的,模型還是寫不好,怎麼辦?
📖 原書 先不要訓練
RAG 裡大部分元件都是 pretrained model,finetuning 通常不是第一步。好的 retrieval 加上好的 prompt,多半就夠了。「即使調整了檢索參數和 prompt,系統仍然持續答不好」才考慮 finetuning,例如搜到的文件是對的,但 LLM 寫不出好回答。
RAG 可以搭配各種 LLM:decoder-only Transformer(另一種模型架構),或支援 API finetuning 的雲端模型。
為什麼這個順序合理
硬 train 一發之前,先確定書有翻對頁。書都翻錯了,你把學生訓練得再會寫,他也只是很流暢地寫出錯的答案而已。
📖 原書 RAFT(Retrieval-Augmented Fine-Tuning)
搜尋結果裡難免混進不相關的文件,會誤導 LLM。RAFT 的兩個步驟:
- Document labeling:把搜到的文件標成相關(golden)或不相關(distractors)
- Joint training:finetuning 時讓模型根據相關文件作答,並調整 loss function,懲罰「用了不相關文件」的回答(第 11 頁的 loss)
結果:模型學會在搜尋結果不完美時,自己忽略干擾。
到這裡你已經會了小結 4 / 4
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
到這裡你已經會了:怎麼照著書寫答案
- 找到的段落 + 問題組成 prompt,再讓模型擲骰子接龍(top-p)。
- prompt 的技巧:指定角色、先給範例、一步一步想、附上使用者資料。
- 先把書翻對、prompt 寫好,最後才動模型(RAFT:改 loss,懲罰用錯文件)。
下一階要解決的問題
整套系統做好了。可是它到底做得好不好?要先學會替「搜尋排行榜」打分數。
延伸基礎第 10 階 · Hit rate · MRR懂的人可以跳過
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
搜尋結果怎麼打分數?先問「有沒有找到、排第幾」
① 先想像
你問圖書館員「特休要幾天前申請」,他搬來 5 本書。對的那本放最上面,還是壓在最下面,差很多。排越前面,越會被貼進 prompt。
你猜猜看:對的那本從第 1 名掉到第 3 名,「有沒有找到」的分數會變嗎?
「有沒有找到」只看前 5 名裡有沒有對的。排第幾,要靠另一個分數。
③ 這叫做 Hit rate 和 MRR
Hit rate:前 5 名有沒有對的,有就 1 分。MRR:第一個對的排第幾,取倒數(第 1 名 1 分、第 3 名 1/3 分)。
④ 跟 RAG 的關係
兩個分數都是每個問題算完再平均。原書評估「搜得準不準」就用它們。
② 動手玩:點格子切換 ✓(相關)/✗(不相關)
三個請假規定的問題,各自搜出前 5 名。把第一題的 #1 改成 ✗ 看看。
問題和結果是示範用的虛構資料。
延伸基礎第 11 階 · Precision@k · NDCG懂的人可以跳過
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
對的有幾個?排後面的要打折
① 先想像
同樣找到 3 本對的書:放在第 1、2、3 名,還是第 3、4、5 名?兩個都「有找到」,但前者明顯比較好。
你猜猜看:前 5 名裡有 3 本是對的。「對幾成」是多少?
5 本裡 3 本對,3 ÷ 5 = 60%。就是百分比而已。
③ 這叫做 Precision@k 和 NDCG
Precision@5:前 5 名裡幾成是對的。NDCG:每個對的都給分,排越後面打越多折,最後換算成 0 到 1。
④ 跟 RAG 的關係
其實就是百分比、打折、平均而已。下一頁原書的評估,第一個面向就用這四個分數。
② 動手玩:把對的往前排、往後排,看打折
同樣三個問題。把第一題改成 ✗✗✓✓✓,再改成 ✓✓✓✗✗,比比 NDCG。
問題和結果是示範用的虛構資料。
怎麼知道做得好不好Evaluation · 動手算
找對了嗎?照著答了嗎?答到問題了嗎?答對了嗎?
這一步要解決的問題系統答錯了,是哪一步壞的?要分開量。
動手算:Context relevance
問題是「特休要幾天前申請?」。下面是搜尋排出來的前 5 名,點一下切換「相關/不相關」。
「就算是搭配了搜尋,提供了最新的資訊,它還是有可能會犯錯的……語言模型是根據搜尋引擎搜尋到的文字,再去做文字接龍。」🎓 李宏毅課堂 2025 第 2 講
📖 原書 最終回答的好壞取決於整條 pipeline(從搜尋到回答的整條流程),所以要分四個面向量:
| 面向 | 在問什麼 | 原書列的方法 |
|---|---|---|
| Context relevance | 搜到的段落對不對、相關的有沒有排在最前面 | Hit rate、MRR、NDCG、Precision@k |
| Faithfulness | 回答有沒有只根據段落,沒有 hallucination(很有自信地瞎掰) | 人工評估、自動 fact-checking 工具(Ragas、ARES)、consistency checks |
| Answer relevance | 回答有沒有完整回應問題、沒有多餘內容 | 用另一個 LLM 比較問題和回答 |
| Answer correctness | 回答和標準答案有多像 | BLEU、ROUGE、METEOR(比對字詞重疊多少的分數) |
課堂上的經典例子:問「起司黏不住披薩怎麼辦」,系統搜到一篇開玩笑叫人加膠水的貼文,然後很認真地照著回答。Faithfulness 滿分,answer relevance 也滿分,只有 context relevance 錯了。分開量,你才知道是哪一步壞的。
怎麼知道做得好不好Figure 23–26
原書用四張圖解釋評估
Figure 23
三個節點:Query、Context、Results。Query → Context 是 context relevance;Results ↔ Context 是 faithfulness;Results → Query 是 answer relevance。
Figure 24–26
同一個 prompt 丟給 LLM,各畫一個「高分」和「低分」的回答:瑪麗・居禮得過幾座諾貝爾獎(faithfulness)、健康飲食的特點(answer relevance)、艾菲爾鐵塔何時何地完工(answer correctness)。
Figure 26 的兩個回答開頭一樣,差別在後半段;原圖文字在那裡被截斷,所以這裡也只畫到開頭。
原書Overall ML System Design · Other talking points
全部接起來
這一步要解決的問題把前面每一步接成一個真的能上線的系統,還要擋掉不當的問題和回答。
📖 原書 五個元件
- Indexing process(離線):parse、chunk、CLIP 嵌入,存進 index table
- Safety filtering:先擋掉不當或有害的問題
- Query expansion:改寫問題,修錯字文法、擴大搜尋範圍
- Retrieval:CLIP text encoder 算 embedding,ANN 找最像的 chunk
- Generation:問題 + 段落組成 prompt,用 CoT 等技巧優化,LLM 用 top-p sampling 生成
原書 Figure 27 上,LLM 的輸出還要再過一次 safety filtering 才回給使用者;文字和圖片也各有一個 index。
📖 原書 Other talking points
- 文件解析時的表格偵測
- ANN 演算法的細節
- 支援使用者自己上傳文件
- 動態的搜尋策略(Active RAG、Self-RAG:讓模型自己決定要不要再搜)
- Query rewriting 和 expansion
- 推論時的 CoT 和 test-time scaling
📅 2026 補充方法怎麼演進
從「每題都翻書」到「自己決定要不要翻書」
Context window 變大了
原書寫作時以 GPT-4o 的 128K token 為例。2026 年百萬 token 等級的 context window 已經很常見。但第 8 頁的算術還是成立:500 萬頁遠超過 100 萬 token,而且每題重讀一次很貴。所以 RAG 沒有被取代,只是「一次能貼多少段落」變寬鬆了。
搜尋不只用 embedding
只靠 embedding,對產品型號、人名、條文編號這種「字要一模一樣」的東西不太行。原書也提到 keyword search 和 full-text search。常見做法是兩種都搜,再用一個 reranker(專門重新排名次的模型)重新排序。
讓模型自己決定要搜什麼
原書的流程是固定的:每個問題都搜一次。現在更常見的是 agent(會自己決定下一步的模型)的做法:模型自己判斷要不要搜、搜什麼、搜不夠再搜一次。
「因為如果你仔細去讀它的 prompt 的話……就只差沒有教語言模型說你直接做 RAG 了。」🎓 李宏毅課堂 AI Agent (1/3) · Context Engineering
課堂上另一個觀察:連「這個 agent 有哪些工具可以用」的說明書,也可以先存起來、需要時再搜出來放進 context。RAG 已經不只是「查文件」,而是一種按需加載的通用想法。
客座講評Triton 怎麼看這套 infra
Triton 沒談過 RAG,但他談過這些零件
要不要多一套 vector DB?
「越少模組,便代表你需要監控和管理的模組便越少,代表你的團隊需要掌握的語言/技術便越少。」「通用 vs 專精?例子:是否使用 ElasticSearch?你需要 Tokenization 嗎?能不能先在 RDBMS 做 searching?」🗣️ Triton 本人說 073-lesson3.pdf.md
🔭 推論 套到 RAG:資料量還不大時,先問能不能用現有的 PostgreSQL(一般的關聯式資料庫,RDBMS)加上 pgvector 這類 extension 存 embedding,而不是一開始就多架一套專用的 vector database。
文件更新時,重新 index 怎麼排程?
「建立一個 outstanding_tasks 的 table(不使用 redis 的原因是怕 redis 當掉後 data loss 有工作變成孤兒)……做完的就刪掉對應的 outstanding_tasks,還有做後續的工作。」🗣️ Triton 本人說 020-MQ解法.md
「Redis 不是 MQ Server。」🗣️ 088-redis-intro.pdf.md
🔭 推論 原書說文件「change at a slower pace」。parse、chunk、embed 都是慢工作,適合丟給背景 worker,但待辦清單要放在不會掉資料的地方。
先算清楚 N
第 26 頁的計算器就是 Triton 的 064:「N 很小時,O(n²)/O(n³) 也好。」選 ANN 之前,先用你公司真實的頁數和流量算一次。
原書Summary 心智圖
原書這一章的總結圖
回顧
RAG 其實就是開書考試而已。
- 文字接龍
- token
- 擲骰子
- context window
- 參數
- loss
- 蒙眼下山
- embedding
- 相似度
- 排名分數
- 打折分數
問題
語言模型在做文字接龍,它沒讀過你公司的文件,但它還是會接。
兩個直覺都撞牆
全部貼進 prompt:放不下、很貴。Finetuning:文件一改就要重訓,也說不出出處。
所以帶書進場
整理書本(parse、chunk、embed)→ 翻到對的頁(nearest neighbor)→ 照著書寫答案(prompt、必要時 RAFT)。
分四件事量
找對了嗎、照著答了嗎、答到問題了嗎、答對了嗎。
搜尋、貼上、接龍。然後呢?然後就結束了。
本章名詞小卡課後複習用 · 每個名詞一句白話
今天出現的名詞,一句話講完
給工程師的重點出處與標籤
本章引用的來源
原書
Generative AI System Design Interview · Retrieval-Augmented Generation 章。本簡報涵蓋:Clarifying Requirements 與 Figure 2(第 6 頁)、Figure 3–4 與三種方法比較(14–15)、Figure 5(16)、Figure 8–9(19)、parsing、Layout-Parser 與 Figure 6(20)、chunking 與 Figure 7(21)、四種 retrieval 技術(22)、encoder、CLIP 與 Figure 10、12(23–24)、exact vs ANN 與 Figure 13–16(25)、prompt engineering 與 Figure 17–22(28–29)、RAFT 與 Figure 11(30)、評估與 Figure 23–26(34–35)、整體設計 Figure 27 與 Other Talking Points(36)、章末心智圖(39)。Figure 1 是 Perplexity 的產品截圖,不重繪;其餘 27 張依原書的圖說與描述重繪,不是原圖
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 2 講:上下文工程(Context Engineering)— RAG 的定義、「搭配搜尋仍可能犯錯」、起司與膠水的例子
- AI Agent (1/3):Context Engineering 基本概念 — 工具說明按需加載與 RAG 的關係、Recursive Language Model 的評論
來源:.claude/skills/hung-yi-lee(voidful/hung-yi-lee-skill,受李宏毅教學風格啟發,非本人)
🗣️ Triton(materials/core)
- 064-introToAlgorithm.pdf.md — 暴力解也是演算法、O(m*n) 與 query 次數
- 073-lesson3.pdf.md — 越少模組越好、能不能先在 RDBMS 做 searching
- 020-MQ解法.md — outstanding_tasks table、不用 Redis 存待辦
- 088-redis-intro.pdf.md — Redis 不是 MQ Server
延伸基礎頁(11 階)與 🎓 出處
- 學習地圖(第 3 頁);小結(9、13、27、31);名詞小卡(41)
- token(4)— 第 1 講 Token 定義;擲骰子、top-K → top-p(5)— 第 1 講:一堂課搞懂生成式人工智慧的原理
- context window、數量級(7)— 第 2 講(Context Window Size)、第 1 講(紅樓夢)
- 參數(10)、loss(11)、gradient descent(12)— 第 5 講:一堂課搞懂機器學習與深度學習的基本原理;備註引《生成式AI時代下的機器學習 2025》第五講
- embedding(17)、cosine similarity、Euclidean distance(18)— 第 3 講:解剖大型語言模型
- Hit rate、MRR(32)、Precision@k、NDCG(33)— 沒有對應逐字稿,依標準定義
「第 N 講」指《生成式人工智慧與機器學習導論 2025》。公式不放在頁面上,寫在各頁講者備註與本頁備註。
📅 2026 補充的依據
- CLIP text encoder 的 context length 為 77 token(模型架構本身的設定)
- 百萬 token context window 已有多個商用模型提供
- Hybrid search + rerank、agentic retrieval 為目前常見做法;原書 Other Talking Points 已提及 Active RAG、Self-RAG