System Design Interview Vol. 2 · 第 8 章Triton 覆蓋度:🟠 低Triton 線
Design A Distributed Email Service
信寄得出去很容易,送得進收件匣很難
原書要做一個 Gmail 等級的郵件服務:10 億使用者、每秒 10 萬封寄出、一年 2 PB 以上的資料。骨架是寄信流程、收信流程、per-user 分區的 metadata DB,難點則是可送達性(不被當成垃圾信)和搜尋。Triton 沒有談過郵件伺服器的架構,這份簡報以原書為主;他寫過的是寄信的 library、重設密碼信、MQ、RDBMS 與搜尋,那幾處才引用他的話。
給文組
全程只寄一封信:Alice 寄給 Bob,一階一階爬 13 個概念。頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。
給工程師
原書 12 張圖、4 張資料表圖與章末心智圖都依描述重繪(Figure 1 是三家公司的 logo,不重繪),Table 5–7 照原書列出。最後一頁有原書段落對照與出處。
標籤怎麼看
📖 原書 🗣️ Triton 本人說 🔭 依 Triton 原則推論 📝 上課筆記 📅 2026 補充
先用生活理解寄一封信要經過幾個郵局
Alice 寄信給 Bob:先交給自己的郵局,郵局再去查對方的地址
按「寄出一封信」。
寄信跟寄掛號一樣:你不會自己開車把信送到對方家,而是交給自己這一區的郵局。郵局看收件地址的後半段(@gmail.com),查「那一區的收件郵局在哪」,再把信轉過去。
四個名詞,四個角色
- SMTP:郵局之間(還有你交信給郵局時)的送信規矩
- DNS MX record:地址簿,寫著「gmail.com 的收件郵局有哪幾間、先找哪一間」
- priority:數字小的先找;第一間沒開門就找下一間
- IMAP / POP:Bob 去自己的信箱拿信的方式
學習地圖本章的概念階梯
今天爬 13 階。每一階只用前面講過的東西。
- 1SMTP郵局之間的送信規矩
- 2IMAP / POP去信箱拿信
- 3MX record收件郵局的地址簿
- 4Base64照片翻成文字
- 5object store大包裹放倉庫
- 6search index書後面的索引
- 7message queue待寄籃(複習)
- 8spam filter收發室的檢查員
- 9partition key依收件人分櫃
- 10primary / failover存摺只有一本正本
- 11reputation快遞員的信用
- 12email authentication郵戳和封蠟
- 13Signal / Message門鈴和掛號信(複習)
第 1–3 階 · 信怎麼寄、怎麼拿
要回答:Alice 的信怎麼找到 Bob 的郵局?
第 4–6 階 · 一封信裝了什麼
要回答:25 MB 的照片和十億封信放哪、怎麼找?
第 7–9 階 · 十億人的郵局
要回答:每秒 10 萬封,怎麼寄、怎麼收、怎麼分櫃?
第 10–12 階 · 不掉信、不進垃圾桶
要回答:機器壞了怎麼辦?怎麼不被當成垃圾信?
第 13 階 · Triton 線
要回答:哪些信一定不能掉,哪些提醒掉了也沒關係?
全程只寄一封信:Alice(outlook.com)寄給 Bob(gmail.com)
頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。每爬 3 階,有一頁「到這裡你已經會了」。
路線圖Triton 覆蓋度:🟠 低
這份簡報怎麼走
📖 原書 Step 1–2
- 學習地圖(第 3 頁)、開場與 Figure 1(5)、需求(8)、估算(9)
- Email 101:協定、MX、附件、Figure 2(10–15)
- 傳統郵件伺服器、Figure 3–4(16–17)
- API、高階設計 Figure 5(18–22)
- 寄信、收信流程 Figure 6–7(25–28)
📖 原書 Step 3–4
- Metadata DB:特性、選型、資料模型 Table 1–4、已讀未讀、對話串、一致性(29–36)
- 可送達性:warm-up、feedback loop、SPF/DKIM/DMARC、Figure 8–9(38–42)
- 搜尋:Table 6–7、Figure 10–11(44–46)
- 擴展與多資料中心 Figure 12、收尾與心智圖(47–49)
Triton 線(50–58)
- 🗣️ sendEmail library 只做一件事(103)
- 🗣️ 重設密碼信與 email token(178、071、093)
- 🔭 outgoing queue、metadata DB、搜尋、附件、即時推送
為什麼覆蓋度是「低」:materials/core 裡沒有任何談 SMTP、MX、垃圾信、IP 信譽、SPF/DKIM/DMARC 或郵件伺服器架構的講義或文章。可送達性那幾頁完全沒有 Triton 的內容,不硬套。其他 🔭 卡都會寫清楚「原話是在講什麼題目」。
原書開場 · Figure 1
Gmail、Outlook、Yahoo Mail:每天幾十億封信
這一步要解決的問題我們要蓋的郵局有多大?先看現在的郵件服務有多少人在用。
📖 原書 Figure 1 Popular email providers
原圖是三家公司的 logo 並排,圖中沒有任何連線或流程。logo 是商標,不重繪;這裡只列出圖上的三個網域。
📖 原書 本章設計一個大型電子郵件服務,例如 Gmail、Outlook 或 Yahoo Mail。網路成長讓郵件數量爆炸:2020 年 Gmail 有超過 18 億活躍使用者,Outlook 有超過 4 億使用者。
📖 原書 現代郵件服務是很複雜的系統,45 分鐘不可能設計出真實世界的版本,所以動手前一定要先問清楚範圍。
文組翻譯:你要蓋的不是一間郵局,是一個全世界五分之一的人都在用的郵政系統,而且它還要跟其他國家的郵政系統互相寄信。
延伸基礎第 1 階 · SMTP懂的人可以跳過
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
寄信不用自己送到對方家:交給郵局,郵局之間會轉
① 先想像
Alice 住台北,Bob 住高雄。Alice 把信交給台北郵局,台北郵局轉給高雄郵局,高雄郵局放進 Bob 的信箱。
你猜猜看:這封信從 Alice 手上到 Bob 的信箱,中間經過幾間郵局?
寄件人這一區一間、收件人那一區一間。網路上的信也一樣:Alice 的郵件伺服器 → Bob 的郵件伺服器。右邊按「寄出」看。
③ 這叫做 SMTP、mail server
mail server:郵件伺服器,就是那間郵局。SMTP:郵局之間(還有你交信給郵局時)說好的送信對話。
④ 跟這章的關係
原書寄信流程的最後一步,就是用 SMTP 把信送到對方的郵局(第 25 頁)。
② 動手玩:把信從台北寄到高雄
延伸基礎第 2 階 · IMAP / POP懂的人可以跳過
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
去郵局拿信:整疊帶回家,還是只抄一份清單?
① 先想像
你的信放在郵局的信箱。可以每次整疊帶回家;也可以只抄下「誰寄的、什麼主旨」,想看哪封才拿哪封。
你猜猜看:信箱有 3 封信。你在家用「整疊帶回家」拿走了;到公司再查一次,郵局還剩幾封?
整疊帶走,郵局就空了,公司那邊什麼都看不到。只抄清單的話,3 封都還在郵局。右邊試兩種。
③ 這叫做 POP、IMAP
POP:整疊帶回家,郵局那份刪掉。IMAP:信留在郵局,先看清單,點開才拿那一封。
④ 跟這章的關係
SMTP 負責「送到郵局」,POP 和 IMAP 負責「從郵局拿」。原書在第 10 頁比較兩者。
② 動手玩:同一個信箱,家裡和公司都去拿
原書 Step 1釐清需求
面試一開始:多少人用、要哪些功能、用什麼協定
這一步要解決的問題要做哪些功能、給多少人用、用什麼方式連進來?沒問清楚就畫圖,很容易畫錯。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 有多少人使用這個產品? | 10 億使用者 |
| 我覺得這些功能很重要:身份驗證、收發信、擷取所有信、依已讀/未讀篩選、依主旨/寄件者/內文搜尋、防垃圾信與防毒 | 清單不錯。不用管身份驗證,專心做其他功能 |
| 使用者怎麼連到郵件伺服器? | 傳統上是原生 client 用 SMTP、POP、IMAP 和廠商自訂協定;這些協定有點老但仍很普及。這次面試假設 client 與 server 之間用 HTTP |
| 信可以有附件嗎? | 可以 |
白話:protocol(協定)=雙方說好的對話格式;HTTP=瀏覽器和網站之間的協定;node=一台機器;複製到多個 node=同一份資料抄好幾份放不同機器。
📖 原書 非功能需求
- Reliability:不能遺失郵件資料
- Availability:郵件與使用者資料要自動複製到多個 node;部分故障時系統要能繼續運作
- Scalability:使用者和郵件變多,效能不能變差
- Flexibility / extensibility:能靠加元件加功能、提升效能。POP、IMAP 功能很有限,所以可能需要自訂協定
注意面試官拿掉了「身份驗證」。Triton 線的第 52 頁會回來談:後端最常寄的信,偏偏就是登入相關的「重設密碼」信。
原書 Step 1Back-of-the-envelope estimation
每秒 10 萬封寄出,一年 730 PB metadata、1,460 PB 附件
這一步要解決的問題十億人每天收發信,每秒要寄幾封、一年要存多少?數字決定要不要分散式。
📖 原書 郵件天生是儲存密集的應用。原書的假設:
- 10 億使用者,每人每天寄 10 封 → QPS = 109 × 10 ÷ 105 = 100,000(一天約 105 秒)
- 每人每天收 40 封,每封 metadata 平均 50 KB;metadata 指附件以外的一切,假設存在資料庫
- 一年 metadata:10 億 × 40 × 365 × 50 KB = 730 PB
- 20% 的信有附件,平均 500 KB → 一年附件:10 億 × 40 × 365 × 20% × 500 KB = 1,460 PB
📖 原書 結論:資料量非常大,所以很可能需要分散式資料庫。
白話:QPS=每秒幾個 request(02 章第 23 頁);KB、PB=資料大小的單位,1 PB 是一百萬 GB(02 章第 6 頁);分散式資料庫=好幾台機器合起來當一個資料庫。
原書 Step 2Email knowledge 101 · Email protocols
SMTP 負責送,POP 和 IMAP 負責拿
這一步要解決的問題信到了 Bob 的郵局之後,Bob 要怎麼把信拿到筆電和手機上?
📖 原書 SMTP(Simple Mail Transfer Protocol)是從一台郵件伺服器把信送到另一台的標準協定。取信最常用的是 POP 和 IMAP。
POP(RFC 1939)
從遠端伺服器把信下載到本地 client。下載到電腦或手機後,信就從伺服器刪除,所以只能在一台裝置上看。POP 要求下載整封信;附件很大時會很久。
IMAP
讀信時連到外部郵件伺服器,資料傳到本地。點開才下載那封信,信不會從伺服器刪除,可以多裝置存取。個人帳號最常用;連線慢時表現好,因為打開前只下載 header。
📖 原書 HTTPS 嚴格說不是郵件協定,但可以用來存取信箱,特別是 webmail。例如 Microsoft Outlook 常透過 HTTPS 跟行動裝置溝通,用的是自訂協定 ActiveSync。
動手試:同一個信箱,筆電和手機都收信
伺服器上的信箱
筆電 0 MB
手機 0 MB
延伸基礎第 3 階 · MX record懂的人可以跳過
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
信封上只寫「@gmail.com」,郵局怎麼知道要送去哪?
① 先想像
信封上只有 bob@gmail.com,沒有地址。台北郵局翻地址簿:「gmail.com 的收件郵局有好幾間,各有一個順位數字」。
你猜猜看:地址簿寫「郵局 A 順位 20、郵局 B 順位 5、郵局 C 順位 10」。先送哪一間?
數字越小越優先。B 沒開門才送 C,C 也不行才送 A。
③ 這叫做 DNS、MX record
DNS:網路上的地址簿(01 章第 6 頁講過)。MX record:地址簿裡專寫「收件郵局」的那幾行,附順位數字。
④ 跟這章的關係
原書 Figure 2 就是去查 gmail.com 的 MX record(下一頁)。
② 動手玩:你是台北郵局,先送哪一間?
地址簿查到這幾行(順序是亂的)。點你覺得該第一個送的那一行:
原書 Step 2Domain name service (DNS) · Figure 2
MX record:數字越小越優先,連不上就找下一個
這一步要解決的問題Alice 的郵局怎麼查到 gmail.com 的收件郵局?那間沒開門怎麼辦?
📖 原書 寄件端的郵件伺服器用 DNS 查收件人網域的 mail exchanger record(MX record)。priority 數字表示偏好,越小越優先:上圖先用 gmail-smtp-in.l.google.com(priority 5);連線失敗就改連下一個最小的 alt1.gmail-smtp-in.l.google.com(priority 10)。
動手試:讓某幾台收件伺服器掛掉
到這裡你已經會了小結 1 / 5
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
到這裡你已經會了:信怎麼寄、怎麼拿
- 寄信是交給自己的郵局(mail server),郵局之間用 SMTP 對話轉送。
- Bob 從郵局拿信:POP 整疊帶走,IMAP 留在郵局、點開才拿,多台裝置都看得到。
- 郵局查地址簿(DNS 的 MX record)找收件郵局:順位數字小的先送,沒開門就找下一間。
下一階要解決的問題
Alice 想在信裡夾一張 12 MB 的照片。SMTP 只會傳文字,照片要怎麼塞進去?
延伸基礎第 4 階 · Base64懂的人可以跳過
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
電報只能打字:照片要先翻成一長串文字
① 先想像
以前的電報只能傳文字。要傳一張圖,就先把圖翻成一串字,對方收到再翻回圖。翻的規則是:每 3 格變成 4 個字。
你猜猜看:一張 3 MB 的照片照這個規則翻完,變多大?
3 變 4,多了三分之一。所以附件寄出去,會比原檔胖大約 33%。
③ 這叫做 Base64、MIME
Base64:把任何檔案翻成只有英數字的文字,3 個 byte 變 4 個字。MIME:在信裡標明「這段是附件、是什麼檔」的規格。
④ 跟這章的關係
附件就是這樣跟著信一起寄。原書下一頁講附件的大小上限。
② 動手玩:翻一段字、翻一個檔案
原書 Step 2Email knowledge 101 · Attachment
附件跟著信一起寄:Base64 編碼、MIME 規格、大小上限
這一步要解決的問題照片、PDF 怎麼跟著一封「文字」的信一起寄?可以多大?
📖 原書 附件隨著郵件訊息一起傳送,通常用 Base64 編碼。附件通常有大小上限:截至 2021 年 6 月,Outlook 是 20 MB、Gmail 是 25 MB。這個數字高度可設定,個人和企業帳號也不同。
📖 原書 MIME(Multipurpose Internet Mail Extension)是讓附件能在網路上傳送的規格。
文組翻譯:SMTP 當年只會寄「文字」。要寄照片,就得先把照片翻譯成一長串文字(Base64),收件端再翻回來。翻譯後會變胖:每 3 個 byte 變成 4 個字元,大約多 33%。
「多 33%」是 Base64 本身的定義(3 byte → 4 字元),原書沒寫;上限是算編碼前還是編碼後,原書也沒說,右邊只是示意。
動手試:這個附件寄得出去嗎?
原書 Step 2Traditional mail servers · Figure 3
傳統郵件伺服器:Alice 用 Outlook 寄信給用 Gmail 的 Bob
這一步要解決的問題只有一台機器的郵局,信是怎麼從 Alice 走到 Bob 的?
📖 原書 傳統郵件伺服器可以看成「使用者不多時能運作的系統,通常在單一伺服器上」。先看它怎麼運作,對之後怎麼擴展很有啟發。
- Alice 登入 Outlook client、寫信、按「傳送」。信送到 Outlook 郵件伺服器;client 與伺服器之間用 SMTP。
- Outlook 郵件伺服器查 DNS(圖中沒畫)找到收件人的 SMTP 伺服器,這裡是 Gmail 的;把信轉過去,伺服器之間也用 SMTP。
- Gmail 伺服器把信存起來,讓收件人 Bob 可以取得。
- Bob 登入 Gmail 時,Gmail client 透過 IMAP/POP 伺服器抓新信。
原書 Step 2Traditional mail servers · Storage · Figure 4
一封信一個檔案:Maildir 在單機很好用,十億封就撐不住
這一步要解決的問題一台機器上的信怎麼存?存到十億封時,為什麼撐不住?
📖 原書 傳統郵件伺服器把信存在本地檔案目錄,每封信一個檔案、檔名唯一。每個使用者有自己的目錄存設定和信箱。Maildir 是很流行的存法。
📖 原書 為什麼不夠
- 使用者少時很好;但要檢索和備份數十億封信很困難
- 信越多、目錄越複雜,磁碟 I/O 成為瓶頸
- 本地目錄不滿足高可用與可靠性:磁碟會壞、伺服器會當
- → 需要更可靠的分散式儲存層
📖 原書 郵件從 1960 年代發明至今,從純文字長出多媒體、對話串、搜尋、標籤。但 POP、IMAP、SMTP 很早就發明了,不是為這些新功能設計的,也撐不到數十億使用者。
原書 Step 2Distributed mail servers · Email APIs
Webmail 的四個 API
這一步要解決的問題瀏覽器裡的 webmail,要跟 server 講哪幾句話?
📖 原書 「Email API」對不同 client、郵件生命週期的不同階段意思很不一樣:
- 原生行動 client 用的 SMTP / POP / IMAP API
- 寄件端與收件端郵件伺服器之間的 SMTP 通訊
- 功能完整、互動式 webmail 用的 HTTP RESTful API
📖 原書 篇幅有限,只講 webmail 最重要的幾個。第 3 個是高度簡化的版本,實際上要支援分頁。
預設資料夾依 RFC 6154 可以是 All、Archive、Drafts、Flagged、Junk、Sent、Trash。注意 message 物件裡有 is_read:後面資料模型的頁面就是在處理「怎麼依這個欄位查」。
原書 Step 2Distributed mail server architecture · Figure 5
高階設計:web servers 處理請求,real-time servers 推新信
這一步要解決的問題從一台機器變成很多台,元件要怎麼分工?
📖 原書 小量使用者的郵件伺服器很好架,但很難擴展到一台以上:傳統伺服器只設計給一台用,跨伺服器同步資料很難,還要避免被收件端誤判成垃圾信。這一節用雲端技術讓它變簡單。
- Webmail:使用者用瀏覽器收發信
- Web servers:對外的 request/response 服務,管登入、註冊、使用者資料等;所有郵件 API(寄信、載入資料夾、載入資料夾裡的信)都經過它
- Real-time servers:即時推送新信。要維持長連線,所以是 stateful。選項有 long polling 和 WebSocket;WebSocket 比較優雅,缺點是瀏覽器相容性,可以「能用 WebSocket 就用,否則退回 long polling」。實例:Apache James 在 WebSocket 上實作 JMAP 子協定
白話:WebSocket=一直接著的對講機,server 也能主動開口(12 章第 9 頁);long polling=坐在管理室等包裹(12 章第 8 頁);stateful=線接在某一台,那台不能隨便換。
📅 2026 補充 主流瀏覽器早已全面支援 WebSocket,「相容性」今天多半是公司 proxy 或防火牆擋長連線的問題,退回 long polling 的理由還在。
延伸基礎第 5 階 · object store懂的人可以跳過
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
25 MB 的包裹不塞進信封:放倉庫,信裡夾一張提領單
① 先想像
郵局櫃台每分鐘搬得動 100 MB。一封信本身大約 0.05 MB;大包裹放到後面倉庫,信裡只夾一張提領單。
你猜猜看:每封信都夾 25 MB 的包裹,櫃台每分鐘搬幾封?只夾提領單呢?
100 ÷ 25.05 不到 4 封;提領單幾乎不佔重量,100 ÷ 0.05 大約 2,000 封。包裹由倉庫另外處理。
③ 這叫做 object store、reference
object store:專放大檔案的倉庫,例如 Amazon S3,整個放進去、整個拿出來。reference:提領單,只寫「東西在倉庫哪一格」。
④ 跟這章的關係
原書的附件放 S3(第 22 頁);寄信、收信的 queue 裡也只放 reference(第 25、28 頁)。
② 動手玩:櫃台每分鐘搬 100 MB
延伸基礎第 6 階 · search index懂的人可以跳過
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
1,000 封信裡找「發票」:一封一封翻,還是查書後面的索引?
① 先想像
書最後面的索引寫著「發票 → 第 3、17、42 頁」。不用從第一頁翻到最後一頁。
你猜猜看:信箱有 1,000 封信,每封看一眼要 1 秒。一封一封找要幾秒?查索引呢?
翻信要每封都看;索引只要查「發票」那一行。代價是:每來一封新信,索引就要更新一次。
③ 這叫做 inverted index、search index
inverted index(反向索引):從「字」查「哪幾封信」。search index:為了搜尋先整理好的這種表。
④ 跟這章的關係
原書的 search store 靠它(第 22 頁)。每封新信都要更新索引,所以第 44 頁說郵件搜尋「寫」比「讀」多得多。
② 動手玩:三封信、一張索引
原書 Step 2Figure 5 · Storage layer
儲存層的四個元件:metadata、附件、快取、搜尋
這一步要解決的問題信件資料、附件、常看的信、搜尋,各要放在哪裡?
📖 原書 Metadata database
存郵件的 metadata:主旨、內文、寄件者、收件者等。選哪種資料庫在 deep dive 討論(第 29 頁)。
📖 原書 Distributed cache
client 會反覆載入最近的信,把近期郵件快取在記憶體能大幅縮短載入時間。可以用 Redis:功能豐富(例如 list),而且容易擴展。
📖 原書 Attachment store
選 object store,例如 Amazon S3:可擴展,適合圖片、影片、檔案這類大檔。附件可以到 25 MB。Cassandra 這類 column-family NoSQL 可能不適合:
- Cassandra 支援 blob,理論上限 2 GB,但實際上限小於 1 MB
- 附件太佔記憶體,無法用 row cache
白話:cache=放手邊的小抄(01 章第 18 頁);Redis=放在記憶體裡的快速白板;Cassandra=一種為大規模設計的 NoSQL 資料庫;row cache=把整列資料放記憶體。
📖 原書 Search store
分散式 document store,用 inverted index 支援很快的全文搜尋。deep dive 再細談(第 44 頁)。
文組翻譯:inverted index
書最後面的「索引」:不是一頁一頁翻找「發票」兩個字,而是直接查「發票 → 第 3、17、42 頁」。
到這裡你已經會了小結 2 / 5
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
到這裡你已經會了:一封信裝了什麼、放在哪
- 附件先用 Base64 翻成文字跟著信寄,會胖大約 33%;Gmail 上限 25 MB。
- 大包裹放倉庫(object store,例如 S3),信和 queue 裡只夾提領單(reference)。
- 要很快找信,就先建好「字 → 哪幾封信」的 inverted index;代價是每封新信都要更新它。
下一階要解決的問題
每秒 10 萬封信要寄出去。web server 要站在門口,等每一封都送到對方郵局嗎?
延伸基礎 · 複習第 7 階 · message queue前幾章講過,懂的人可以跳過
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
櫃台收件很快,郵差送件很慢:中間放一個待寄籃
① 先想像
櫃台收一封信只要幾秒,郵差送一封要很久。客人不用站著等郵差回來:信丟進待寄籃,拿了收據就走。
你猜猜看:櫃台每分鐘收 6 封,郵差每分鐘送 4 封。10 分鐘後待寄籃有幾封?
每分鐘多出 2 封,10 分鐘 20 封。籃子越堆越高,就要多請郵差,或找出卡住的原因。
③ 這叫做 message queue、worker(複習)
message queue:待寄籃,工作先排隊再慢慢做worker:從籃子拿工作來做的郵差retry:對方沒開門,隔一陣子再送
④ 跟這章的關係
原書寄信用 outgoing queue、收信用 incoming queue;SMTP worker 就是郵差(第 25–28 頁)。
② 動手玩:10 分鐘內的待寄籃
原書 Step 2Email sending flow · Figure 6
寄信流程:驗證完丟進 outgoing queue,SMTP worker 慢慢送
這一步要解決的問題按下「傳送」到信送進對方的郵局,中間要過哪些關卡?
- 使用者在 webmail 寫信、按「傳送」,request 送到 load balancer
- Load balancer 確認沒超過 rate limit,把流量導到 web servers
- Web servers:3a 基本驗證(例如大小上限);3b 收件人網域跟寄件人相同 → 確認無垃圾信與病毒後,直接寫進寄件人 Sent 與收件人 Inbox,不用走第 4 步
- 4a 驗證成功 → 進 outgoing queue;附件太大放不進 queue 就存 object store,queue 裡只放 reference。4b 驗證失敗 → 進 error queue
- SMTP outgoing workers 從 outgoing queue 拉訊息,確認無垃圾信與病毒
- 外寄的信存進儲存層的「Sent Folder」
- SMTP outgoing workers 把信送到收件人的郵件伺服器
白話:load balancer=帶位員,把 request 分給不同的 web server(01 章第 12 頁);rate limit=門口保全,超過上限就擋(04 章);垃圾信與病毒檢查見第 27 頁。
原書 Step 2Email sending flow · 監控 outgoing queue
Queue 越來越長:是收件端掛了,還是 worker 不夠?
這一步要解決的問題待寄的信越堆越多,怎麼知道是哪裡出了問題?
📖 原書 每則 outgoing queue 訊息都包含建立郵件所需的全部 metadata。分散式 MQ 讓郵件可以非同步處理;把 SMTP outgoing workers 和 web servers 解耦,就能各自擴展。
📖 原書 要密切監控 queue 的長度。很多信卡住時,分析原因:
- 收件人的郵件伺服器掛了 → 稍後重試,exponential backoff 可能是好策略
- 消費者不夠 → 加 consumer 縮短處理時間
文組翻譯:郵局門口的待寄包裹越堆越多。可能是對方郵局沒開門(那就隔 1、2、4、8 分鐘再去敲一次門,不要一直敲),也可能是自家郵差不夠(那就多請郵差)。
示意模型:每台 worker 每秒送 10K 封;重試間隔 1、2、4、8、16 秒。數字不是原書的。
延伸基礎第 8 階 · spam filter懂的人可以跳過
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
收發室的檢查員:這封信像不像垃圾信?
① 先想像
收發室檢查員看三個線索打分數:寄件人認不認識、內容有沒有寫「中獎」、是不是同一封寄給十萬人。
你猜猜看:陌生寄件人 +2、寫「中獎」+3、寄給十萬人 +2,滿 5 分丟垃圾信匣。陌生人寫「中獎」、只寄給你?
2 + 3 = 5,剛好滿分線。可是如果那是新同事寄的「尾牙中獎名單」呢?右邊拉門檻看看。
③ 這叫做 spam filter、virus scan
spam filter:自動替信打分數、決定進不進垃圾信匣的檢查員。virus scan:拆開附件檢查有沒有病毒。
④ 跟這章的關係
原書的寄信(第 5 步)和收信(第 5 步)都有這一關。原書沒說怎麼打分,這頁的分數是示意。
② 動手玩:門檻要設幾分?
原書 Step 2Email receiving flow · Figure 7
收信流程:SMTP servers 收進 queue,處理完存起來、在線就推送
這一步要解決的問題別人寄來的信進門後,要過哪些關卡才出現在 Bob 的收件匣?
- 進來的信抵達 SMTP load balancer
- Load balancer 分配給 SMTP servers;可在 SMTP 連線層級設定 email acceptance policy,例如無效的信直接退回
- 附件太大放不進 queue → 放進 attachment store(S3)
- 信放進 incoming email queue:解耦 mail processing workers 和 SMTP servers,也是流量暴增時的緩衝
- Mail processing workers 過濾垃圾信、擋病毒等(以下假設通過)
- 信存進 mail storage、cache、object data store
- 收件人在線上 → 推給 real-time servers
- Real-time servers 是 WebSocket servers,讓 client 即時收到新信
- 離線的使用者:信留在儲存層;回到線上時 webmail 用 RESTful API 連 web servers
- Web servers 從儲存層拉新信回給 client
白話:acceptance policy=門口的收件規則,明顯不合格的直接退;mail processing workers=收發室的工作人員,就是第 27 頁的檢查員。
原書 Step 3Metadata database · 特性與選型
郵件 metadata 長什麼樣,該放哪種資料庫?
這一步要解決的問題信件資料有什麼特性?該放在哪一種資料庫?
📖 原書 Email metadata 的特性
- Header 通常很小、常被讀
- Body 大小不一,但很少讀:一封信通常只讀一次
- 大部分操作(抓信、標已讀、搜尋)都只跟單一使用者有關:信只有擁有者看得到、只有他會操作
- 越新越常被讀:82% 的讀取是 16 天內的資料
- 高可靠性:不能接受資料遺失
📖 原書 三個候選
- Relational database:動機是能有效率地搜尋,header 和 body 建 index,簡單查詢很快。但 RDBMS 通常為小筆資料最佳化;一封信常超過幾 KB,有 HTML 很容易超過 100 KB。BLOB 型別雖能存大資料,但對非結構化 BLOB 搜尋沒效率 → MySQL、PostgreSQL 不適合
- Distributed object storage:原始信件放 S3,做備份不錯,但很難支援標已讀、關鍵字搜尋、對話串
- NoSQL:Gmail 用 Google Bigtable,可行;但 Bigtable 沒開源,搜尋怎麼做是個謎。Cassandra 也許可以,但還沒看過大型郵件服務商用它
白話:RDBMS=MySQL、PostgreSQL 這種表格資料庫;BLOB=塞在欄位裡的一大塊原始資料;IOPS=磁碟每秒能做幾次讀寫。
📖 原書 結論:講出這五個特性
Gmail、Outlook 規模的資料庫通常是客製的,為了減少 IOPS(很容易成為主要限制)。面試沒時間設計新的分散式資料庫,但要說出它該有:
- 單一欄位可以到個位數 MB
- Strong data consistency
- 為了減少磁碟 I/O 而設計
- 高可用、容錯
- 容易做增量備份
🔭 Triton 對「RDBMS 存大欄位」和「該用哪種 NoSQL」的看法在第 55 頁。
延伸基礎第 9 階 · partition key懂的人可以跳過
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
信多到一個櫃子放不下:依收件人分櫃,還是依日期分櫃?
① 先想像
郵局把信分到 4 個櫃子。可以依「收件人是誰」分,也可以依「哪一天到的」分。
你猜猜看:Bob 要看自己的收件匣。依收件人分櫃,要開幾個櫃子?依日期分櫃呢?
依收件人分,Bob 的信全在同一櫃;依日期分,Bob 的信散在每一天的櫃子裡。右邊兩種都試。
③ 這叫做 partition key、sharding(複習)
partition key:決定「這筆資料放哪一櫃」的那個欄位。sharding:把資料分到好幾台機器(01 章第 34 頁)。
④ 跟這章的關係
郵件幾乎每個操作都只跟一個人有關,所以原書選 user_id 當 partition key(下一頁)。
② 動手玩:8 封信、4 個櫃子
原書 Step 3Data model · Table 1–4
user_id 當 partition key:一個人的信放同一個 shard
這一步要解決的問題資料表怎麼設計,才能一次拿到「Bob 的收件匣、最新的在上面」?
📖 原書 用 user_id 當 partition key,一個使用者的資料都在同一個 shard。限制是信不能在多個使用者間共享,但這不是這次的需求。Primary key 有兩部分:
- Partition key:把資料分到不同 node,原則是分得平均
- Clustering key:在 partition 內排序
資料層要支援的查詢
- 取得使用者的所有資料夾 → Table 1
- 顯示某資料夾的所有信:收件匣依時間排、最新在上 → 複合 partition key
<user_id, folder_id>,email_id(TIMEUUID)當 clustering key → Table 2 - 建立/刪除/取得一封信(原書只講「取得」)→ Table 3
SELECT * FROM emails_by_user WHERE email_id = 123; - 取得所有已讀或未讀的信 → Table 4(下一頁)
- 加分題:取得對話串(第 33 頁)
原書 Step 3 · 動手玩Query 4 · Read / unread
NoSQL 只能用 key 查:「只看未讀」就多存一張表
這一步要解決的問題「只看未讀」這種查詢 NoSQL 不支援,怎麼辦?
📖 原書 如果是 RDBMS,查已讀就是:
SELECT * FROM emails_by_folder WHERE user_id = <user_id> and folder_id = <folder_id> and is_read = true ORDER BY email_id;
📖 原書 但這個模型是為 NoSQL 設計的:NoSQL 通常只支援 partition key 和 clustering key 的查詢,is_read 兩者都不是,多數 NoSQL 會拒絕。整個資料夾抓回來在應用程式過濾,小服務可以,這個規模不行。
📖 原書 解法是反正規化成 read_emails 和 unread_emails 兩張表。未讀改已讀 = 從 unread_emails 刪掉、再插入 read_emails。程式更複雜、更難維護,但大規模下讀取更快。
白話:反正規化(denormalization)=為了查得快,同一份資料多存一份;代價是改的時候要改好幾處。
原書 Step 3Bonus point · Conversation threads · Table 5
對話串:靠 header 裡的三個欄位把回信串起來
這一步要解決的問題一來一往的回信,怎麼串成一串對話?
📖 原書 很多 client 支援對話串:把回覆和原始訊息分在一組。傳統上用 JWZ 演算法實作,原書只講核心概念。header 通常有:
{
"headers" {
"Message-Id": "<7BA04B2A-430C-4D12-8B57-862103C34501@gmail.com>",
"In-Reply-To": "<CAEWTXuPfN=LzECjDJtgY9Vu03kgFvJnJUSHTt6TW@gmail.com>",
"References": ["<7BA04B2A-430C-4D12-8B57-862103C34501@gmail.com>"]
}
}
Message-Id | 訊息 ID。由 client 在寄信時產生 |
In-Reply-To | 這封信回覆的父 Message-Id |
References | 跟這個對話串相關的訊息 ID 清單 |
📖 原書 有了這些欄位,只要回覆鏈中的訊息都預先載入,client 就能重建對話。
動手試:把亂序的信串回去
到這裡你已經會了小結 3 / 5
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
到這裡你已經會了:十億人的郵局怎麼分工
- 寄信和收信中間都放待寄籃(message queue):web server 收完就回覆,SMTP worker 慢慢送。
- 信進出都要過檢查員(spam filter、病毒掃描);門檻怎麼設都會有誤判。
- 信依收件人分櫃(partition key =
user_id),一個人的收件匣只開一櫃。
下一階要解決的問題
放 Bob 那一櫃的機器壞了怎麼辦?還有:信寄出去了,怎麼才不會被對方當成垃圾信?
延伸基礎第 10 階 · primary / failover懂的人可以跳過
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
存摺只有一本正本:櫃台換人那幾分鐘,先暫停
① 先想像
你的存摺正本放在 A 櫃台,B 櫃台有一本隨時抄的影本。A 櫃台突然有事,要讓 B 接手。
你猜猜看:換手那 3 分鐘,兩個櫃台都讓人改。你在手機把信移到垃圾桶,同時在筆電移到封存。最後信在哪?
兩本各記一筆,誰也不知道哪筆才對。所以原書選「同一時間只有一本能改」:換手時先暫停,換好再繼續。
③ 這叫做 primary、failover
primary:唯一能改的正本;影本叫 replica(01 章第 14 頁)。failover:正本壞了,讓影本升格接手。
④ 跟這章的關係
原書:每個信箱只有一個 primary,failover 時寧可暫停(下一頁)。這就是 06 章的 CAP:選一致,讓出一點可用。
② 動手玩:換手期間,有多少操作要處理?
原書 Step 3Consistency trade-off
每個信箱只有一個 primary:failover 時寧可暫停,也不要寫錯
這一步要解決的問題存信箱的機器壞了要換手,這幾分鐘信箱還能照常改嗎?
📖 原書 靠 replication 做高可用的分散式資料庫,必須在 consistency 和 availability 之間做根本的取捨。郵件系統正確性非常重要,所以設計上每個信箱只有一個 primary。
📖 原書 failover 時 client 存取不到這個信箱,同步/更新暫停到 failover 結束。這是用 availability 換 consistency。
白話:replication=自動抄影本;primary=唯一能改的正本;failover=正本壞了換影本接手(第 35 頁)。
文組翻譯:你的存摺只有一本,櫃台換人時你得等五分鐘;而不是兩個櫃台各拿一本影本,各自幫你記帳,最後兩本對不起來。
延伸基礎第 11 階 · reputation懂的人可以跳過
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
新來的快遞員:大樓管理員還不認識你
① 先想像
新快遞員第一天就送 1 萬件到同一棟大樓。管理員不認識他,乾脆先全部擋在門口。信用要一天一天累積。
你猜猜看:今天送 1,000 件,有 3 件被住戶說「我沒訂,是騷擾」。被檢舉的比例是?
3 ÷ 1,000 = 0.3%。收件端就是看這種比例,決定還信不信你。
③ 這叫做 reputation、deliverability
sender reputation:收件端對「這個寄件 IP」的信任分數。deliverability(可送達性):信真的進收件匣的比例。
④ 跟這章的關係
原書說新 IP 要「暖身」2 到 6 週,還要盯退信和檢舉(下兩頁)。
② 動手玩:一個新的寄件 IP,一天一天過
原書 Step 3Email deliverability
新伺服器沒有信譽:IP 要慢慢「暖身」
這一步要解決的問題信寄出去了,怎麼讓它進收件匣,而不是垃圾信匣?
📖 原書 架郵件伺服器、開始寄信很容易;難的是真的送進收件匣。進了垃圾信匣,收件人很可能不會讀。根據 Statista,超過 50% 的郵件是垃圾信,所以新伺服器沒有信譽,信很可能直接進垃圾信匣。要考慮的因素:
- Dedicated IPs:用專用 IP 寄信;收件端不太接受沒有歷史的新 IP
- Classify emails:不同類別用不同 IP。行銷信和重要信不要從同一批伺服器寄,否則 ISP 可能把全部都標成促銷
- Sender reputation:新 IP 要慢慢 warm up,Office365、Gmail、Yahoo Mail 才不會把信丟進垃圾信匣。依 Amazon SES,暖身新 IP 大約要 2 到 6 週
- Ban spammers quickly:在 spammer 嚴重影響伺服器信譽前快速封鎖
白話:IP=寄件機器的門牌號碼;ISP=收件端的大型郵件服務商,例如 Gmail、Yahoo Mail;spammer=亂寄垃圾信的人。
動手試:暖身計畫 vs 收件端願意收多少
示意模型:假設收件端從每天 2,000 封開始,每天多信任 35%;超過的部分進垃圾信匣。原書只給「2 到 6 週」,曲線形狀和數字都是假設。
原書 Step 3Email deliverability · Feedback processing · Figure 8
退信和檢舉,分成三條 queue 各自處理
這一步要解決的問題退信和「檢舉垃圾信」回來了,要怎麼處理?
📖 原書 跟 ISP 建立 feedback loop 非常重要,才能把投訴率壓低、快速封鎖垃圾信帳號。信送不到或使用者投訴時,結果是三種之一:
- Hard bounce:收件地址無效,ISP 拒收
- Soft bounce:暫時性原因送不到,例如 ISP 太忙
- Complaint:收件人按了「report spam」
📖 原書 soft bounce、hard bounce、complaint 用不同的 queue,才能分開管理。
文組翻譯:郵局退回來的信分三籃:「查無此人」(以後別再寄)、「今天沒人收」(改天再送)、「收件人說你騷擾他」(這最傷信譽,要查是誰在亂寄)。三籃的處理方式完全不同,所以不混在一起。
延伸基礎第 12 階 · email authentication懂的人可以跳過
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
信封上寫「喵喵銀行」,就真的是銀行寄的嗎?
① 先想像
誰都能在信封上寫「寄件人:喵喵銀行」。收信的人看兩個線索:是不是從銀行登記過的郵局寄出?封蠟印章是不是銀行的?
你猜猜看:騙子在自己家附近的郵局、用自己刻的印章寄。兩個線索會?
那間郵局不在銀行的登記名單上,印章也對不上銀行公布的樣式。右邊再看「信在路上被改過」會怎樣。
③ 這叫做 email authentication、phishing
email authentication(寄件人驗證):檢查信真的是 From 寫的那家寄的。phishing(釣魚):冒名寄信,騙你點連結、給密碼。
④ 跟這章的關係
原書下一頁列出三種驗證的名字;第 42 頁用驗證器一個一個玩。
② 動手玩:三封都寫「寄件人:喵喵銀行」
原書 Step 3Email deliverability · Email authentication · Figure 9
防釣魚:SPF、DKIM、DMARC 三道驗證
這一步要解決的問題怎麼證明這封信真的是那家公司寄的,不是冒名?
📖 原書 依 Verizon 2018 年資料外洩調查報告,釣魚與假冒佔外洩事件的 93%。常見的對抗技術:
- SPF:Sender Policy Framework
- DKIM:DomainKeys Identified Mail
- DMARC:Domain-based Message Authentication, Reporting and Conformance
📖 原書 Figure 9 是 Gmail 郵件 header 的例子:寄件者 @info6.citi.com 通過了 SPF、DKIM、DMARC 驗證。
📖 原書 「你不需要記住這些名詞。要記住的是:讓郵件照預期運作很難,不只需要領域知識,還需要跟 ISP 有好關係。」
原書只列出三個名字。它們各自在驗證什麼,下一頁用一個驗證器玩。
補充 · 動手玩SPF / DKIM / DMARC 驗證器
這封「From: billing@shop.example」的信,過得了關嗎?
這一步要解決的問題SPF、DKIM、DMARC 各在檢查什麼?用一封信實際走一遍。
三道關各問一個問題
- SPF:「這個 IP 有沒有被 Return-Path 的網域授權寄信?」收件端查那個網域 DNS 裡的 SPF 名單
- DKIM:「簽章對不對?」寄件端用私鑰簽 header 和內文,收件端到
d=網域的 DNS 拿公鑰驗;內容被改過就驗不過 - DMARC:「通過的那一關,網域跟 From 對得上嗎?」SPF 或 DKIM 至少一個通過且對齊才算過;沒過就照 From 網域公布的政策處理:none 照收、quarantine 進垃圾信匣、reject 退信
📅 2026 補充 Gmail 與 Yahoo 自 2024 年起要求大量寄件者(Gmail 的門檻是每天寄給 Gmail 5,000 封以上)必須設定 SPF、DKIM 和 DMARC,提供一鍵退訂,並把垃圾信檢舉率壓在 0.3% 以下。原書寫作時這三個還是「建議」,現在對大量寄件者是門檻。
本頁的運作說明是補充,原書只列出三個名稱;網域都用保留給範例的 .example。
到這裡你已經會了小結 4 / 5
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
到這裡你已經會了:不掉信、不進垃圾信匣
- 每個信箱只有一本正本(primary);壞了就讓影本接手(failover),換手那幾分鐘寧可暫停。
- 信寄得出去不算數:新 IP 要暖身累積信用(reputation),檢舉率一高就進垃圾信匣。
- 收件端用 SPF、DKIM、DMARC 檢查信是不是冒名的(email authentication)。
下一階要解決的問題
原書最後兩題:十億封信怎麼做到「即時、準確」的搜尋?好幾個資料中心怎麼擴展?之後是 Triton 線。
原書 Step 3Search · Table 6 · Figure 10
郵件搜尋:寫比讀多得多,而且結果要即時、準確
這一步要解決的問題在自己的信箱裡找信,跟用 Google 找網頁有什麼不一樣?
📖 原書 基本搜尋是找主旨或內文含任一關鍵字的信;進階還要依「From」「Subject」「Unread」等屬性過濾。每次寄出、收到、刪除都要重新建索引,但搜尋只在使用者按「搜尋」時才跑 → 寫入遠多於讀取。
| Scope | Sorting | Accuracy | |
|---|---|---|---|
| Google search | 整個網際網路 | 依相關性 | 建索引通常要時間,有些結果不會立刻出現 |
| Email search | 使用者自己的信箱 | 依時間、有無附件、日期範圍、是否未讀等屬性 | 索引應接近即時,結果必須準確 |
白話:Kafka=一種很大的 message queue(第 24 頁的待寄籃);同步=要等結果才走;非同步=丟進籃子就走。
📖 原書 比較兩種做法:Elasticsearch,以及內建在資料庫裡的原生搜尋。
📖 原書 Option 1:Elasticsearch
查詢大多只在使用者自己的信上,所以用 user_id 當 partition key,把同一人的文件放在同一個 node。
原書 Step 3Search · Option 2 · Custom search · Figure 11
自己做搜尋引擎:瓶頸是磁碟 I/O,所以用 LSM tree
這一步要解決的問題自己做搜尋引擎時,每秒大量新信都要建索引,磁碟寫得過來嗎?
📖 原書 大型郵件服務商通常自己開發搜尋引擎;設計它非常複雜、超出本章範圍,這裡只談主要挑戰:磁碟 I/O。每天新增的 metadata 和附件是 PB 等級,一個帳號很容易超過五十萬封信,索引伺服器的主要瓶頸通常是磁碟 I/O。
📖 原書 建索引是寫入密集的,好策略是用 Log-Structured Merge-Tree(LSM)組織磁碟上的索引:只做循序寫入。LSM 是 BigTable、Cassandra、RocksDB 背後的核心資料結構。新信先加進 level 0 的記憶體快取,資料量到預設門檻就合併到下一層。
📖 原書 另一個理由:把常變動的資料跟不常變動的分開。郵件內容通常不變,但資料夾資訊會因過濾規則常變,分成兩區後,改資料夾就只動資料夾那區。延伸閱讀:Microsoft Exchange 的搜尋運作方式。
文組翻譯:新信先寫在桌上的便條紙(記憶體),便條紙滿了就整疊收進一個新資料夾(磁碟,只往後加、不改舊的);資料夾多了,再整理合併成一大本。
原書 Step 3Search · Table 7
Elasticsearch 還是自己做?看規模
這一步要解決的問題Elasticsearch 和自己做,各有什麼代價?什麼規模選哪個?
| Feature | Elasticsearch | Custom search engine |
|---|---|---|
| Scalability | 某種程度上可擴展 | 較容易擴展,可以針對郵件使用情境最佳化 |
| System complexity | 要維護兩套系統:datastore 和 Elasticsearch | 一套系統 |
| Data consistency | 兩份資料:metadata datastore 一份、Elasticsearch 一份,一致性難維護 | metadata datastore 裡只有一份 |
| Data loss possible | 不會。壞了可以從主要儲存重建索引 | 不會 |
| Development effort | 容易整合;大規模可能需要專門的 Elasticsearch 團隊 | 開發自訂搜尋引擎需要大量工程投入 |
📖 原書 經驗法則
Triton 對這個經驗法則的第一格有不同的起點:連 Elasticsearch 都先別急著加,見第 56 頁。
原書 Step 3Scalability and availability · Figure 12
每個人的信互不相干,所以幾乎都能水平擴展
這一步要解決的問題十億人分散在好幾個地區,機器和資料中心要怎麼擴展?
📖 原書 因為個別使用者的存取模式彼此獨立,系統裡大部分元件預期都能水平擴展。
📖 原書 為了更好的可用性,資料複製到多個資料中心。使用者連到網路拓撲上離他較近的郵件伺服器;發生 network partition 時,使用者可以從其他資料中心存取郵件。
白話:水平擴展=加機器,而不是換更大台;network partition=機房之間的網路斷了。
文組翻譯:你在美國的郵局有你的信,歐洲的郵局有一份影本。美國的路斷了,你還能到歐洲的郵局看信。
注意這頁和第 36 頁放在一起看:「每個信箱一個 primary」加上「跨資料中心複製」,partition 時改連歐洲,是讀影本,還是歐洲那份升為 primary?原書沒有展開。
原書 Step 4Wrap up · Additional talking points
面試還有時間的話:容錯、合規、安全、優化
這一步要解決的問題主體設計完,面試官還可能問什麼?
📖 原書 本章走過的路
收集需求、估算規模;高階設計講傳統伺服器為何滿足不了現代需求、email API、寄信與收信流程;deep dive 講 metadata DB、可送達性、搜尋與擴展性。
四個額外討論點
- Fault tolerance:node 故障、網路問題、事件延遲怎麼處理
- Compliance:全球服務要守法規,例如歐洲的 PII 要符合 GDPR;legal intercept 是這個領域的典型功能
- Security:郵件含敏感資訊。Gmail 有防釣魚、安全瀏覽、主動警示、帳戶安全、機密模式、郵件加密
- Optimizations:同一封信寄給多人時,相同附件在 S3 存了好幾份;存之前先檢查附件是否已存在
白話:PII=能認出你是誰的個人資料;GDPR=歐盟的個資法;legal intercept=依法調閱通訊內容。
動手試:最後一個優化
「怎麼知道附件已存在」原書沒說;常見做法是用內容的 hash 當 key(補充)。
原書Chapter summary
章末心智圖
這一步要解決的問題把整章串成一張圖。
Triton 線先說清楚:他講過什麼、沒講過什麼
Triton 沒有設計過郵件伺服器,但他寄過很多信
完全沒有 Triton 資料的部分
- SMTP、POP、IMAP、MX record、MIME
- Maildir、傳統郵件伺服器
- 可送達性:dedicated IP、warm-up、feedback loop、SPF/DKIM/DMARC
- 對話串、JWZ 演算法、多資料中心的郵件路由
這些頁面只有原書,不推論。
🗣️ 他真的講過、跟 email 有關的
- 寄信的 library 該怎麼設計(103,第 51 頁)
- 重設密碼信、email 驗證 token 不放 query string(178、071、093,第 52 頁)
- 報表做完用 email 寄給老闆,是他教 async task 的標準例子(073)
🔭 他在別的題目講的原則
- Outgoing queue 要用真正的 MQ(030、078、020、073、138)
- Metadata DB:不能掉的資料、HBase 與 Cassandra(106、080、062、181)
- 搜尋:先問能不能在 RDBMS 做(073、058 筆記、046)
- 附件:串流、blob 外置(130、181、073)
- 即時推送是 Signal(078、073、017)
Triton 線sendEmail library
🗣️ 寄信的 library 只寄信,不判斷誰要加簽名
你猜猜看:大家共用的 sendEmail(),有人在裡面偷偷加一行 if (user.category = A),替 A 類客戶加簽名。半年後會怎樣?
呼叫 sendEmail() 的人看不到這條隱藏規則。Triton 把那個 PR 否決了,理由在下面。
「我們一直有一個library sendEmail(String userId, String templateId, Map<String, Object> keyValues)……這是一個功能單一的小型library」「為了加強安全性,他們想在每封email最尾加上HMAC簽名……他就心生邪念……在sendEmail()內加上了:if (user.category = A) { email.content += hmac(email.content) } 然後那個PR被我否決了」🗣️ Triton 本人說 103-分享一下夢境中的一些小事吧:.md
「2) 一個library,其功能面應該是單一性的 3) library內不應該有business logic」「這種「hidden logic」,不就是替未來其他人埋下地雷嗎?」「SendEmail() library本身沒有business logic來控制誰才加Hmac誰不加 這個business logic繼續由application layer來控制」🗣️ 103
🔭 推論 原書的「行銷信和重要信用不同 IP」(第 38 頁)也是同一種決定:該由呼叫端明講「這是哪一類信」,不要讓寄信元件偷偷看 user category 來猜。
Triton 線重設密碼信 · email 驗證 token
🗣️ 後端最常寄的信:「點這個連結重設密碼」
你猜猜看:重設密碼連結寫成 /v1/emailAuth?token=abc123。用戶點了之後,這個 token 還會留在哪?
整串網址會被記進 access log(伺服器的來客登記簿),看得到 log 的人就拿得到 token。Triton 的說法在下面。
「如果系統收到一個資料庫中沒有對應的UUID。你是沒法知道:A 用戶是開了一封10年前的忘記密碼電郵……/用戶copy and paste時抄錯了URL 還是 B 有cracker正在暴力亂試」「如果我是cracker,我只會使用自動化的scripting,每分鐘只會暴力亂試數次」🗣️ Triton 本人說 178-經電郵拿回帳戶.md · 主文(作者自稱「某灌水喵」)
178 的改法:把(UUID+userID)用私鑰加密後放進 URL,收到時用公鑰解,「如果解密失敗,則記錄這個request資訊,之後作反cracker分析」。
💬 討論串回覆,作者未標示「我覺得簡單點直接HMAC就好。UUID, UserID, 甚至乎request時間, 都明文,然後加HMAC。」接著有一則「其實你的方法也是現實我會用的方法 只是我在方便我說明嘛~」,語氣像原作者,但沒有署名。
「不管任何時候,都不應該把 auth token(jwt / sessionId)放在 queryString中 – 否則這個 auth token便會連同 url一起,存到 Application Server的 Access log中」「把 /v1/emailAuth?token={token} (GET)轉成 /v1/emailAuth,並且把 token放進 HTTP header,然後再把 Request丟給 Application Server」🗣️ Triton 本人說 071-lesson2.pdf.md · 「middleware」
「有人發現台灣某公司系統按下「忘記密碼」時。系統居然把你的密碼寄回給你。」「只要你的系統有可還原的用戶密碼,cracker就能用這密碼用來試試看登入高價值系統(像銀行)。」🗣️ Triton 本人說 093-trion 加密 經典文章.md(161 是同一篇;文中寫感想與 Sam Wong 共同)
動手試:重設密碼連結走過哪些地方
🔭 推論 HMAC 讓「抄錯」和「亂試」在進資料庫前就被擋下並記錄;有沒有 HMAC 都分不出兩者是誰,178 的重點是讓亂試變得可以分析。
延伸基礎 · 複習第 13 階 · Signal / Message前幾章講過,懂的人可以跳過
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
掛號信和門鈴:掉了一個,差在哪?
① 先想像
掛號信一定要有人簽收,沒人在家就改天再送。門鈴只是提醒「有你的信」,沒人應就算了,信本來就已經在信箱裡。
你猜猜看:Bob 在捷運上,「有新信」的提醒沒收到。那封信呢?
提醒掉了沒關係,信早就存好了。真正不能掉的,是還沒送到的那封信本身。
③ 這叫做 Message、Signal(複習)
④ 跟這章的關係
接下來兩頁用這個分法看原書:待寄的信(第 54 頁)和「有新信」的推送(第 58 頁)。
② 動手玩:Bob 不在家的時候
Triton 線Outgoing queue · 第三方收件伺服器
🔭 Outgoing queue 裝的是 Message:要用真正的 MQ
你猜猜看:原書沒說 outgoing queue 用哪一套。如果拿 Redis 來排待寄的信,機房突然斷電,排隊中的信會?
Redis 主要放在記憶體,斷電可能掉資料;待寄的信卻是不能掉的掛號信(第 13 階)。
「正常的MQ Server – 會把收到的Message先存到HDD,然後才回應成功 – 會等待收件者回傳「工作完成」,才真的把訊息刪掉 – 如果收件者趴掉,則把訊息丟給其他的 channel listener」「Message – 可以排隊一個一個工作慢慢來~ – 絕對不能丟失」🗣️ Triton 本人說 078-mq-intro.pdf.md
「斷電後redis會有data loss的」「如果你的consumer消化速度追不上producer生產速度 你的redis很容易就會爆炸掉。rabbitmq / Kafka是使用HDD來存放buffer的。」🗣️ Triton 本人說 030-Redis 不能當 queue 原因.md
「例子:應該把呼叫 GCM 放到獨立 worker 嗎 – 多了一個 worker ,便多了一個 worker 要管 – 如果使用 worker ,便需要建立 MQ server – 可是有了 worker , GCM service 發生什麼事也影響 不了我的主系統耶」🗣️ Triton 本人說 073-lesson3.pdf.md · 安全 vs 快速開發?
「建立一個outstanding_tasks的table(不使用redis的原因是怕redis當掉後data loss有工作變成孤兒)」「message queue可以讓你做出優雅而且高穩定性系統。」🗣️ Triton 本人說 020-MQ解法.md · 輪詢不支援 callback 的第三方
「如果系統還沒到每秒1K Message的,kafka對你會是overkill。」🗣️ 138-喵談 rabbitMQ 和 kafka.md
細節:Triton 在 073 也寫過「如果你的應用比較簡單, Redis 某程度上也能當作MQ 使用」。030 反對的是拿 Redis 當不能掉資料、又可能堆積的 queue。
🔭 套回原書
- 同意:原書的 outgoing queue 一定要「寄出去才算完成」、原書也說不能遺失郵件 → 正是 078 的 Message,要先寫磁碟才 ack、送完才刪。原書沒說用哪套 MQ;030 的理由排除 Redis。
- 同意:收件端郵件伺服器是別人的系統,跟 073 的 GCM 一樣,放在獨立的 SMTP worker 後面,它們掛了也拖不垮 web servers。原書監控 queue 長度、exponential backoff,就是在管這個第三方。
- 規模:原書是每秒 10 萬封,遠超過 138 的 1K 門檻,這裡用 Kafka 不算 overkill。
- 附件放 reference:078 批評「推送內容就會重覆了10萬次」;原書「大附件放 object store、queue 只放 reference」和收尾的附件去重,是同一個方向。
Triton 線Metadata DB
🔭 每信箱一個 primary、strong consistency:這就是 HBase
你猜猜看:原書要求「每個信箱只有一個 primary、strong consistency」,又同時點名 Bigtable 和 Cassandra。哪一個比較對得上它自己的要求?
HBase 每一段資料只有一台負責,跟「每信箱一個 primary」是同一個意思。Triton 怎麼描述這兩者,在下面。
「主要還是一句:不能不見的data,我一定存到RDBMS」「如果是小型系統,單純scale up便算了 如果是大型系統,始終還是要走Hbase那些方向的」「如果要考慮水平擴充,請走noSQL路線」🗣️ Triton 本人說 106-喵 data.md · 討論串,從「主要還是一句」起確定是 Triton
「相同 chatroom 的 message record ,他們的 phyiscal storage position 應該是相鄰的 這樣子才是 seq IO 而不是 Random IO」🗣️ 062-im-system design.pdf.md
「每一個HBase node只負責特定 PK Range的 data operation – Record X的READ / WRITE,肯定會送到同一個 data node – 所以能有 strong consistency,也能做到Atomic CAS」「HBase算是 CA向的,跟 RDBMS一樣」「HBase 強項: Range Scan with PK – 例子: Line的對話歷史」「注意: HBase架構本身沒有 DC awareness」🗣️ 080-nosql-intro.pdf.md
「Cassandra是AP向的 – 即是說:你一點也不介意 data consistency」「現實上,毫不介意 consistency的商業應用很少的」🗣️ 080
「RDBMS會把這些text / blob的內客externalize,然後在row record內只存放externalized address」「讓本來能一次disk IO解決東西,變成了需要二次disk IO才能解決」「可是今天都是用SSD……除非你要做報表時一次拿上百萬計的rows,否則你可以忽略其中效能分別」🗣️ 181(談 RDBMS 的 data block)
🔭 套回原書
- 同意選 NoSQL:10 億人、730 PB/年,就是 106 的「大型系統…要走Hbase那些方向」;原書點名的 Bigtable 正是 HBase 的原型。
- 原書要的特性 = 080 的 HBase:一個 PK range 一個 node → 每信箱一個 primary、strong consistency。原書也提 Cassandra,但它是 AP 向,和原書自己的需求相衝。
- 同意資料模型:
<user_id, folder_id>+email_id遞減,和 062 的(chatroomId, createTs)同一個想法:收件匣是一次 range scan。 - 否決 RDBMS 的理由要換:181 說大欄位外置只多一次 IO、SSD 上可忽略;真正的理由是規模和搜尋。
- 反正規化的代價:已讀未讀 DELETE 後 INSERT(第 32 頁),沒有跨表 transaction 就要自己處理中途當機。
Triton 線Search
🔭 加 Elasticsearch 之前:能不能先在 RDBMS 做 searching?
你猜猜看:一家 50 人的公司要做「搜尋自己的信」。第一步?
多一套系統,就多一套要監控、要同步的東西。這是 Triton 的順序;原書的經驗法則則是小規模直接用 Elasticsearch。
「越少模組,便代表 – 你需要監控和管理的模組便越少 – 代表你的團隊需要掌握的語言/技術便越少」「例子:是否使用 ElasticSearch ? – 你需要 Tokenization 嗎? – 能不能先在 RDBMS 做 searching ?」🗣️ Triton 本人說 073-lesson3.pdf.md · 理想的 backend 系統
「看老闆的錢包深度,沒錢別額外架 Search DB」「很多時候: Search DB 的數據跟 Main DB 的會 有時差」🗣️ 073 · Search DB
📝 上課筆記「流量小 先直接全放 Postgres 等流量大 再慢慢搬出去做 例如搜尋用 Elasticsearch」058 · Roy 的筆記,記的是 Triton 談 e-commerce
🔭 套回原書
- 小規模的起點不同:原書 Table 7 的經驗法則說小規模用 Elasticsearch(第 46 頁);073 的順序是先問「需要 tokenization 嗎、RDBMS 做得到嗎」,Elasticsearch 是第二步。
- 同意大規模的結論:Table 7 列的 ES 缺點(兩套系統、兩份資料一致性難維護),就是 073 的「越少模組越好」和「Search DB 有時差」。原書 Table 6 要求郵件搜尋「接近即時、結果準確」,跟「有時差」正好衝突,所以原書在 Gmail 規模選內建搜尋,方向和 Triton 一致。
- LSM 他講過:080 的 SSTable「一旦建立後就永不改動」「Memory buffer快要滿時,再一口氣把全部新資料 去建立新的 SSTable file – 所以沒有了 Random Write IO」,就是 Figure 11 的機制。
一個可以問自己的問題:你的使用者真的會打「找出含有 invoice 的所有信」,還是只會依寄件者和日期篩?後者是一般 index 就做得到的事。
🗣️ HYPEBEAST 的改版清單裡有「Migrate ElasticSearch to AWS ES」:真的要用,就用別人代管的。046-aws-sharing.pdf.md
Triton 線附件
🔭 25 MB 的附件:放 object store,而且要用 stream 處理
你猜猜看:收信的 server 同時處理 400 封信、每封附件 20 MB,全部先整封讀進記憶體再處理。大概要多少記憶體?
400 × 20 MB = 8,000 MB;Base64 原文和解碼後各一份,就超過 18 GB。右邊切成 stream 看看。
「有人說: File 應該以 BLOB物件放到 Main DB ,但是 – File 一般建立後極少被改動 – RDBMS 一般用上系統中最高級的 SSD ,而 File 一 般不需要這種效能」🗣️ Triton 本人說 073-lesson3.pdf.md · File DB
「即使你看完總共23GB的影片也好,你也只用上了固定的很小塊Memory。」「如果一份data只會用一次的,你應該用streaming的手段來處理。」「千萬不要先做一個階段再把整份data放memory。」🗣️ Triton 本人說 130-喵談 io streaming.md
🗣️ 130 也問:「如果用戶丟上來的是zip bomb呢?」整份讀進記憶體再解壓,一個 request 就能讓你 OOM。
🔭 動手試:收信時同時處理多少封帶附件的信
- 同意原書把附件放 S3、不放 Cassandra:073 的理由(檔案很少改、不需要 DB 等級的 SSD)比原書的「Cassandra 實際上限 <1 MB」更普遍。
- 原書沒講的:SMTP server 收進 Base64 附件、病毒掃描、轉存 S3,每一步都是 130 說的「只用一次的 data」,該串成 Reader → Writer。
Triton 線Real-time servers · failover
🔭 新信推送是 Signal:掉了沒關係,重連時 GET 補回來
你猜猜看:原書是「在線就推、離線就存」。Bob 的手機斷線,real-time server 推的「有新信」沒送到,那封信會?
推送只是加速,信在推之前就已經存好了。這就是第 13 階的 Signal。
「Signal – 要高度即時性 – 丟失沒太大差」「如果 UserB斷線了,用 GET API也能得到斷線期間的留言」「所以, chatroom系統內的是 Signal,不是Message」🗣️ Triton 本人說 078-mq-intro.pdf.md · chat 的例子
「如果你是要把 Message 推送到手機上,請使用 GCM / APNS ,別自行來架 Server」「除非你的系統流量很大,用 AS處理 Long Polling 便好」🗣️ 073 · Long Polling Server
「stateful component是HA中麻煩的」「有HA不代表系統完全零秒的Downtime, 有HA只代表有single component掛了後系統能自動短時間內回復。(一般來說「短時間」=數分鐘內)」🗣️ Triton 本人說 017-High Availability stateful component vs stateless component.md
「最重要一點:別引起全面+長時間(>數分鐘)的停止服務」🗣️ 073 · 沒有 Single Point of Failure
🔭 套回原書
- 同意收信流程的分工:原書第 7–10 步是「在線就推、離線就存,上線後 RESTful API 拉」(第 28 頁),跟 078 的 chat 模式一樣:WebSocket 只是加速,GET 才是保證。所以 real-time server 掛了、推送丟了,信也不會掉。
- 同意 long polling 退路:原書的「能用 WebSocket 就用,不行退回 long polling」,073 的版本更省:流量不大時直接用 application server 做 long polling,不必另架。手機就交給 GCM / APNS。
- 同意一致性取捨:原書「failover 期間信箱暫停」(第 36 頁),正是 017 的 HA 定義:不是零秒 downtime,是幾分鐘內自動恢復。017 還說 failover 有數不清的地方會出錯,請用 AWS RDS multi-AZ 這類別人建好的方案。
到這裡你已經會了小結 5 / 5
- SMTP
- IMAP / POP
- MX record
- Base64
- object store
- search index
- message queue
- spam filter
- partition key
- primary / failover
- reputation
- email authentication
- Signal / Message
到這裡你已經會了:Triton 線
- 寄信的 library 只寄信;誰要加簽名這種 business logic 留在 application layer。重設密碼 token 不放網址。
- 待寄的信是掛號信(Message):要用先寫磁碟、送完才刪的 MQ;「有新信」的推送是門鈴(Signal),掉了重連時 GET 補。
- 搜尋先問「資料庫做得到嗎」,再考慮 Elasticsearch;附件用 stream,不整封讀進記憶體。
13 階全部走完了
下一頁用一句話收尾;再下一頁是名詞小卡,給大家課後複習。
一句話記住
寄得出去不算數,
送得進收件匣、掉不了、找得到,才算數。
原書的骨架
- Web servers + real-time servers + 四件式儲存層
- 寄信:驗證 → outgoing queue → SMTP workers → MX
- 收信:SMTP servers → incoming queue → 處理 → 存、在線就推
user_id分區、TIMEUUID 排序、已讀未讀反正規化- 暖身 2–6 週、feedback loop、SPF/DKIM/DMARC
原書最難的兩件事
- 可送達性:靠信譽和 ISP 關係,不是靠架構
- 搜尋:寫入遠多於讀取,又要即時準確;小規模 ES,Gmail 規模內建
Triton 線
- 🗣️ sendEmail library 只寄信,business logic 留在 application layer
- 🗣️ 重設密碼 token 不進 access log、讓亂試可以被分析
- 🔭 郵件是 Message:真正的 MQ;新信通知是 Signal
- 🔭 先問 RDBMS 能不能搜;附件用 stream
本章名詞小卡課後複習用 · 每個名詞一句白話
今天出現的名詞,一句話講完
user_id)給工程師的重點出處與標籤
引述來源與原書對照
Triton 本人的講義 / 文章(materials/core)
- 103-分享一下夢境中的一些小事吧:.md — sendEmail library、HMAC 的 if 被否決、PostProcessor(直接談 email)
- 178-經電郵拿回帳戶.md — 重設密碼信的 UUID 流程與安全反思(主文;HMAC 建議等回覆作者未標示,標 💬)
- 071-lesson2.pdf.md — auth token 不放 query string、emailAuth middleware(直接談 email)
- 093-trion 加密 經典文章.md(=161 排版版)— 別把密碼寄回用戶;感想與 Sam Wong 共同
- 073-lesson3.pdf.md — 越少模組越好、先在 RDBMS 做 searching、GCM worker 取捨、Search DB 時差、File DB、Long Polling、SPOF
- 078-mq-intro.pdf.md、030-Redis 不能當 queue 原因.md、020-MQ解法.md、138-喵談 rabbitMQ 和 kafka.md — Message vs Signal、MQ 先寫磁碟後 ack、Redis 不當 queue、outstanding_tasks、1K msg/s 門檻
- 106-喵 data.md、080-nosql-intro.pdf.md、062-im-system design.pdf.md、181-請先理解在RDBMS世界中….md — 不能掉的資料、HBase CA 與 range scan、Cassandra AP、SSTable、物理相鄰、blob 外置
- 130-喵談 io streaming.md、017-High Availability….md、046-aws-sharing.pdf.md — streaming、HA 定義、代管 ES
上課筆記:058(Roy 的筆記,標 📝)。沒有引用 PRODUCTION.md 列為不可引的檔案。
循序漸進(文組版)的頁面
學習地圖(第 3 頁);延伸基礎 13 階:SMTP(6)、IMAP / POP(7)、MX record(11)、Base64(14)、object store(20)、search index(21)、message queue(24,複習)、spam filter(27)、partition key(30)、primary / failover(35)、reputation(37)、email authentication(40)、Signal / Message(53,複習);小結(13、23、34、43、59);名詞小卡(61)。Alice 與 Bob、喵喵銀行、.example 網域是虛構的;分數、容量等示意數字不是原書的。
原書對照
Alex Xu & Sahn Lam, System Design Interview Vol.2 Ch.8。開場與 Figure 1(第 5 頁)、Step 1 問答與非功能需求(8)、估算(9)、Email protocols(10)、DNS 與 Figure 2(12)、Attachment(15)、Traditional mail servers 與 Figure 3(16)、Storage 與 Figure 4(17)、Email APIs(18)、架構與 Figure 5(19–22)、寄信流程與 Figure 6(25–26)、收信流程與 Figure 7(28)、Metadata 特性與選型(29)、Data model 與 Table 1–4(31–32)、Threads 與 Table 5(33)、Consistency(36)、Deliverability 與 Figure 8–9(38–42)、Search、Table 6–7 與 Figure 10–11(44–46)、Scalability 與 Figure 12(47)、Wrap up(48)、Chapter summary(49)。圖表都依原書圖說與 alt 重繪,不是原圖;Figure 1(logo)不重繪;Figure 9 截圖改線框;Table 3 與 Figure 9 的 alt 擷取時被截斷,依原書 HTML 的完整 alt。原書參考資料包括 RFC 1939、RFC 6154、JMAP over WebSocket(RFC 8887)、JWZ threading、Amazon SES 的 IP warming、Verizon DBIR 2018、QQ 郵箱的 Elasticsearch 實踐。
一個可以直接問自己的問題
你的系統寄出的信,如果 SMTP worker 在送出前一秒當機,這封信會不見、重寄兩次,還是在某個地方等著被重送?