System Design Interview Vol. 2 · 第 8 章Triton 覆蓋度:🟠 低Triton 線

Design A Distributed Email Service
信寄得出去很容易,送得進收件匣很難

原書要做一個 Gmail 等級的郵件服務:10 億使用者、每秒 10 萬封寄出、一年 2 PB 以上的資料。骨架是寄信流程、收信流程、per-user 分區的 metadata DB,難點則是可送達性(不被當成垃圾信)和搜尋。Triton 沒有談過郵件伺服器的架構,這份簡報以原書為主;他寫過的是寄信的 library、重設密碼信、MQ、RDBMS 與搜尋,那幾處才引用他的話。

給文組

全程只寄一封信:Alice 寄給 Bob,一階一階爬 13 個概念。頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。

給工程師

原書 12 張圖、4 張資料表圖與章末心智圖都依描述重繪(Figure 1 是三家公司的 logo,不重繪),Table 5–7 照原書列出。最後一頁有原書段落對照與出處。

標籤怎麼看

📖 原書 🗣️ Triton 本人說 🔭 依 Triton 原則推論 📝 上課筆記 📅 2026 補充

先用生活理解寄一封信要經過幾個郵局

Alice 寄信給 Bob:先交給自己的郵局,郵局再去查對方的地址

按「寄出一封信」。

寄信跟寄掛號一樣:你不會自己開車把信送到對方家,而是交給自己這一區的郵局。郵局看收件地址的後半段(@gmail.com),查「那一區的收件郵局在哪」,再把信轉過去。

四個名詞,四個角色

  • SMTP:郵局之間(還有你交信給郵局時)的送信規矩
  • DNS MX record:地址簿,寫著「gmail.com 的收件郵局有哪幾間、先找哪一間」
  • priority:數字小的先找;第一間沒開門就找下一間
  • IMAP / POP:Bob 去自己的信箱拿信的方式

學習地圖本章的概念階梯

今天爬 13 階。每一階只用前面講過的東西。

  1. 1SMTP郵局之間的送信規矩
  2. 2IMAP / POP去信箱拿信
  3. 3MX record收件郵局的地址簿
  4. 4Base64照片翻成文字
  5. 5object store大包裹放倉庫
  6. 6search index書後面的索引
  7. 7message queue待寄籃(複習)
  8. 8spam filter收發室的檢查員
  9. 9partition key依收件人分櫃
  10. 10primary / failover存摺只有一本正本
  11. 11reputation快遞員的信用
  12. 12email authen­tication郵戳和封蠟
  13. 13Signal / Message門鈴和掛號信(複習)

第 1–3 階 · 信怎麼寄、怎麼拿

要回答:Alice 的信怎麼找到 Bob 的郵局?

第 4–6 階 · 一封信裝了什麼

要回答:25 MB 的照片和十億封信放哪、怎麼找?

第 7–9 階 · 十億人的郵局

要回答:每秒 10 萬封,怎麼寄、怎麼收、怎麼分櫃?

第 10–12 階 · 不掉信、不進垃圾桶

要回答:機器壞了怎麼辦?怎麼不被當成垃圾信?

第 13 階 · Triton 線

要回答:哪些信一定不能掉,哪些提醒掉了也沒關係?

全程只寄一封信:Alice(outlook.com)寄給 Bob(gmail.com)

自己這一區的郵局 = mail server郵局之間的送信對話 = SMTP收件郵局的地址簿 = MX record大包裹的提領單 = reference待寄籃 = outgoing queue收發室檢查員 = spam filter快遞員的信用 = reputation

頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。每爬 3 階,有一頁「到這裡你已經會了」。

路線圖Triton 覆蓋度:🟠 低

這份簡報怎麼走

📖 原書 Step 1–2

  • 學習地圖(第 3 頁)、開場與 Figure 1(5)、需求(8)、估算(9)
  • Email 101:協定、MX、附件、Figure 2(10–15)
  • 傳統郵件伺服器、Figure 3–4(16–17)
  • API、高階設計 Figure 5(18–22)
  • 寄信、收信流程 Figure 6–7(25–28)

📖 原書 Step 3–4

  • Metadata DB:特性、選型、資料模型 Table 1–4、已讀未讀、對話串、一致性(29–36)
  • 可送達性:warm-up、feedback loop、SPF/DKIM/DMARC、Figure 8–9(38–42)
  • 搜尋:Table 6–7、Figure 10–11(44–46)
  • 擴展與多資料中心 Figure 12、收尾與心智圖(47–49)

Triton 線(50–58)

  • 🗣️ sendEmail library 只做一件事(103)
  • 🗣️ 重設密碼信與 email token(178、071、093)
  • 🔭 outgoing queue、metadata DB、搜尋、附件、即時推送

為什麼覆蓋度是「低」:materials/core 裡沒有任何談 SMTP、MX、垃圾信、IP 信譽、SPF/DKIM/DMARC 或郵件伺服器架構的講義或文章。可送達性那幾頁完全沒有 Triton 的內容,不硬套。其他 🔭 卡都會寫清楚「原話是在講什麼題目」。

原書開場 · Figure 1

Gmail、Outlook、Yahoo Mail:每天幾十億封信

這一步要解決的問題我們要蓋的郵局有多大?先看現在的郵件服務有多少人在用。

📖 原書 Figure 1 Popular email providers

outlook.com2020 年超過 4 億使用者
gmail.com2020 年超過 18 億活躍使用者
yahoo.com(原書只列出 logo)

原圖是三家公司的 logo 並排,圖中沒有任何連線或流程。logo 是商標,不重繪;這裡只列出圖上的三個網域。

📖 原書 本章設計一個大型電子郵件服務,例如 Gmail、Outlook 或 Yahoo Mail。網路成長讓郵件數量爆炸:2020 年 Gmail 有超過 18 億活躍使用者,Outlook 有超過 4 億使用者。

📖 原書 現代郵件服務是很複雜的系統,45 分鐘不可能設計出真實世界的版本,所以動手前一定要先問清楚範圍。

文組翻譯:你要蓋的不是一間郵局,是一個全世界五分之一的人都在用的郵政系統,而且它還要跟其他國家的郵政系統互相寄信。

延伸基礎第 1 階 · SMTP懂的人可以跳過

  1. SMTP
  2. IMAP / POP
  3. MX record
  4. Base64
  5. object store
  6. search index
  7. message queue
  8. spam filter
  9. partition key
  10. primary / failover
  11. reputation
  12. email authentication
  13. Signal / Message

寄信不用自己送到對方家:交給郵局,郵局之間會轉

① 先想像

Alice 住台北,Bob 住高雄。Alice 把信交給台北郵局,台北郵局轉給高雄郵局,高雄郵局放進 Bob 的信箱。

你猜猜看:這封信從 Alice 手上到 Bob 的信箱,中間經過幾間郵局?

③ 這叫做 SMTP、mail server

mail server:郵件伺服器,就是那間郵局。SMTP:郵局之間(還有你交信給郵局時)說好的送信對話。

④ 跟這章的關係

原書寄信流程的最後一步,就是用 SMTP 把信送到對方的郵局(第 25 頁)。

② 動手玩:把信從台北寄到高雄


      
0經過幾間郵局

延伸基礎第 2 階 · IMAP / POP懂的人可以跳過

  1. SMTP
  2. IMAP / POP
  3. MX record
  4. Base64
  5. object store
  6. search index
  7. message queue
  8. spam filter
  9. partition key
  10. primary / failover
  11. reputation
  12. email authentication
  13. Signal / Message

去郵局拿信:整疊帶回家,還是只抄一份清單?

① 先想像

你的信放在郵局的信箱。可以每次整疊帶回家;也可以只抄下「誰寄的、什麼主旨」,想看哪封才拿哪封。

你猜猜看:信箱有 3 封信。你在家用「整疊帶回家」拿走了;到公司再查一次,郵局還剩幾封?

③ 這叫做 POP、IMAP

POP:整疊帶回家,郵局那份刪掉。IMAP:信留在郵局,先看清單,點開才拿那一封。

④ 跟這章的關係

SMTP 負責「送到郵局」,POP 和 IMAP 負責「從郵局拿」。原書在第 10 頁比較兩者。

② 動手玩:同一個信箱,家裡和公司都去拿

0 MB總共背回去的量

原書 Step 1釐清需求

面試一開始:多少人用、要哪些功能、用什麼協定

這一步要解決的問題要做哪些功能、給多少人用、用什麼方式連進來?沒問清楚就畫圖,很容易畫錯。

📖 原書 應徵者 × 面試官

應徵者問面試官答
有多少人使用這個產品?10 億使用者
我覺得這些功能很重要:身份驗證、收發信、擷取所有信、依已讀/未讀篩選、依主旨/寄件者/內文搜尋、防垃圾信與防毒清單不錯。不用管身份驗證,專心做其他功能
使用者怎麼連到郵件伺服器?傳統上是原生 client 用 SMTP、POP、IMAP 和廠商自訂協定;這些協定有點老但仍很普及。這次面試假設 client 與 server 之間用 HTTP
信可以有附件嗎?可以

白話:protocol(協定)=雙方說好的對話格式;HTTP=瀏覽器和網站之間的協定;node=一台機器;複製到多個 node=同一份資料抄好幾份放不同機器。

📖 原書 非功能需求

  • Reliability:不能遺失郵件資料
  • Availability:郵件與使用者資料要自動複製到多個 node;部分故障時系統要能繼續運作
  • Scalability:使用者和郵件變多,效能不能變差
  • Flexibility / extensibility:能靠加元件加功能、提升效能。POP、IMAP 功能很有限,所以可能需要自訂協定

注意面試官拿掉了「身份驗證」。Triton 線的第 52 頁會回來談:後端最常寄的信,偏偏就是登入相關的「重設密碼」信。

原書 Step 1Back-of-the-envelope estimation

每秒 10 萬封寄出,一年 730 PB metadata、1,460 PB 附件

這一步要解決的問題十億人每天收發信,每秒要寄幾封、一年要存多少?數字決定要不要分散式。


      
100,000寄信 QPS730metadata PB / 年1,460附件 PB / 年

📖 原書 郵件天生是儲存密集的應用。原書的假設:

  • 10 億使用者,每人每天寄 10 封 → QPS = 109 × 10 ÷ 105 = 100,000(一天約 105 秒)
  • 每人每天收 40 封,每封 metadata 平均 50 KB;metadata 指附件以外的一切,假設存在資料庫
  • 一年 metadata:10 億 × 40 × 365 × 50 KB = 730 PB
  • 20% 的信有附件,平均 500 KB → 一年附件:10 億 × 40 × 365 × 20% × 500 KB = 1,460 PB

📖 原書 結論:資料量非常大,所以很可能需要分散式資料庫。

白話:QPS=每秒幾個 request(02 章第 23 頁);KB、PB=資料大小的單位,1 PB 是一百萬 GB(02 章第 6 頁);分散式資料庫=好幾台機器合起來當一個資料庫。

原書 Step 2Email knowledge 101 · Email protocols

SMTP 負責送,POP 和 IMAP 負責拿

這一步要解決的問題信到了 Bob 的郵局之後,Bob 要怎麼把信拿到筆電和手機上?

📖 原書 SMTP(Simple Mail Transfer Protocol)是從一台郵件伺服器把信送到另一台的標準協定。取信最常用的是 POP 和 IMAP。

POP(RFC 1939)

從遠端伺服器把信下載到本地 client。下載到電腦或手機後,信就從伺服器刪除,所以只能在一台裝置上看。POP 要求下載整封信;附件很大時會很久。

IMAP

讀信時連到外部郵件伺服器,資料傳到本地。點開才下載那封信,信不會從伺服器刪除,可以多裝置存取。個人帳號最常用;連線慢時表現好,因為打開前只下載 header。

📖 原書 HTTPS 嚴格說不是郵件協定,但可以用來存取信箱,特別是 webmail。例如 Microsoft Outlook 常透過 HTTPS 跟行動裝置溝通,用的是自訂協定 ActiveSync。

動手試:同一個信箱,筆電和手機都收信

伺服器上的信箱

    筆電 0 MB

      手機 0 MB

        延伸基礎第 3 階 · MX record懂的人可以跳過

        1. SMTP
        2. IMAP / POP
        3. MX record
        4. Base64
        5. object store
        6. search index
        7. message queue
        8. spam filter
        9. partition key
        10. primary / failover
        11. reputation
        12. email authentication
        13. Signal / Message

        信封上只寫「@gmail.com」,郵局怎麼知道要送去哪?

        ① 先想像

        信封上只有 bob@gmail.com,沒有地址。台北郵局翻地址簿:「gmail.com 的收件郵局有好幾間,各有一個順位數字」。

        你猜猜看:地址簿寫「郵局 A 順位 20、郵局 B 順位 5、郵局 C 順位 10」。先送哪一間?

        ③ 這叫做 DNS、MX record

        DNS:網路上的地址簿(01 章第 6 頁講過)。MX record:地址簿裡專寫「收件郵局」的那幾行,附順位數字。

        ④ 跟這章的關係

        原書 Figure 2 就是去查 gmail.com 的 MX record(下一頁)。

        ② 動手玩:你是台北郵局,先送哪一間?

        地址簿查到這幾行(順序是亂的)。點你覺得該第一個送的那一行:

        原書 Step 2Domain name service (DNS) · Figure 2

        MX record:數字越小越優先,連不上就找下一個

        這一步要解決的問題Alice 的郵局怎麼查到 gmail.com 的收件郵局?那間沒開門怎麼辦?

        📖 原書 Figure 2MX records:nslookup 的輸出與三個標註 MX、Priority、Mail servers(依原書內容重繪;priority 20/30/40 對應的 alt2/alt3/alt4 主機名依原圖慣例推定)

        📖 原書 寄件端的郵件伺服器用 DNS 查收件人網域的 mail exchanger record(MX record)。priority 數字表示偏好,越小越優先:上圖先用 gmail-smtp-in.l.google.com(priority 5);連線失敗就改連下一個最小的 alt1.gmail-smtp-in.l.google.com(priority 10)。

        動手試:讓某幾台收件伺服器掛掉

          
                

          到這裡你已經會了小結 1 / 5

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          到這裡你已經會了:信怎麼寄、怎麼拿

          下一階要解決的問題

          Alice 想在信裡夾一張 12 MB 的照片。SMTP 只會傳文字,照片要怎麼塞進去?

          延伸基礎第 4 階 · Base64懂的人可以跳過

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          電報只能打字:照片要先翻成一長串文字

          ① 先想像

          以前的電報只能傳文字。要傳一張圖,就先把圖翻成一串字,對方收到再翻回圖。翻的規則是:每 3 格變成 4 個字。

          你猜猜看:一張 3 MB 的照片照這個規則翻完,變多大?

          ③ 這叫做 Base64、MIME

          Base64:把任何檔案翻成只有英數字的文字,3 個 byte 變 4 個字。MIME:在信裡標明「這段是附件、是什麼檔」的規格。

          ④ 跟這章的關係

          附件就是這樣跟著信一起寄。原書下一頁講附件的大小上限。

          ② 動手玩:翻一段字、翻一個檔案

          
                

          原書 Step 2Email knowledge 101 · Attachment

          附件跟著信一起寄:Base64 編碼、MIME 規格、大小上限

          這一步要解決的問題照片、PDF 怎麼跟著一封「文字」的信一起寄?可以多大?

          📖 原書 附件隨著郵件訊息一起傳送,通常用 Base64 編碼。附件通常有大小上限:截至 2021 年 6 月,Outlook 是 20 MB、Gmail 是 25 MB。這個數字高度可設定,個人和企業帳號也不同。

          📖 原書 MIME(Multipurpose Internet Mail Extension)是讓附件能在網路上傳送的規格。

          文組翻譯:SMTP 當年只會寄「文字」。要寄照片,就得先把照片翻譯成一長串文字(Base64),收件端再翻回來。翻譯後會變胖:每 3 個 byte 變成 4 個字元,大約多 33%。

          「多 33%」是 Base64 本身的定義(3 byte → 4 字元),原書沒寫;上限是算編碼前還是編碼後,原書也沒說,右邊只是示意。

          動手試:這個附件寄得出去嗎?

          原書 Step 2Traditional mail servers · Figure 3

          傳統郵件伺服器:Alice 用 Outlook 寄信給用 Gmail 的 Bob

          這一步要解決的問題只有一台機器的郵局,信是怎麼從 Alice 走到 Bob 的?

          📖 原書 Figure 3Traditional mail servers:兩邊各有 SMTP server、Storage、IMAP/POP server(依原書內容重繪;logo 改成文字)

          📖 原書 傳統郵件伺服器可以看成「使用者不多時能運作的系統,通常在單一伺服器上」。先看它怎麼運作,對之後怎麼擴展很有啟發。

          1. Alice 登入 Outlook client、寫信、按「傳送」。信送到 Outlook 郵件伺服器;client 與伺服器之間用 SMTP。
          2. Outlook 郵件伺服器查 DNS(圖中沒畫)找到收件人的 SMTP 伺服器,這裡是 Gmail 的;把信轉過去,伺服器之間也用 SMTP。
          3. Gmail 伺服器把信存起來,讓收件人 Bob 可以取得。
          4. Bob 登入 Gmail 時,Gmail client 透過 IMAP/POP 伺服器抓新信。

          原書 Step 2Traditional mail servers · Storage · Figure 4

          一封信一個檔案:Maildir 在單機很好用,十億封就撐不住

          這一步要解決的問題一台機器上的信怎麼存?存到十億封時,為什麼撐不住?

          📖 原書 Figure 4Maildir:/home/user1、user2 底下各有 Maildir,內含 cur、new、tmp(依原書內容重繪)

          📖 原書 傳統郵件伺服器把信存在本地檔案目錄,每封信一個檔案、檔名唯一。每個使用者有自己的目錄存設定和信箱。Maildir 是很流行的存法。

          📖 原書 為什麼不夠

          • 使用者少時很好;但要檢索和備份數十億封信很困難
          • 信越多、目錄越複雜,磁碟 I/O 成為瓶頸
          • 本地目錄不滿足高可用與可靠性:磁碟會壞、伺服器會當
          • → 需要更可靠的分散式儲存層

          📖 原書 郵件從 1960 年代發明至今,從純文字長出多媒體、對話串、搜尋、標籤。但 POP、IMAP、SMTP 很早就發明了,不是為這些新功能設計的,也撐不到數十億使用者。

          原書 Step 2Distributed mail servers · Email APIs

          Webmail 的四個 API

          這一步要解決的問題瀏覽器裡的 webmail,要跟 server 講哪幾句話?

          
              

          📖 原書 「Email API」對不同 client、郵件生命週期的不同階段意思很不一樣:

          • 原生行動 client 用的 SMTP / POP / IMAP API
          • 寄件端與收件端郵件伺服器之間的 SMTP 通訊
          • 功能完整、互動式 webmail 用的 HTTP RESTful API

          📖 原書 篇幅有限,只講 webmail 最重要的幾個。第 3 個是高度簡化的版本,實際上要支援分頁。

          預設資料夾依 RFC 6154 可以是 All、Archive、Drafts、Flagged、Junk、Sent、Trash。注意 message 物件裡有 is_read:後面資料模型的頁面就是在處理「怎麼依這個欄位查」。

          原書 Step 2Distributed mail server architecture · Figure 5

          高階設計:web servers 處理請求,real-time servers 推新信

          這一步要解決的問題從一台機器變成很多台,元件要怎麼分工?

          📖 原書 Figure 5High-level design:Webmail、Web Servers(https)、Real-time Servers(WebSocket)、Storage Layer(依原書內容重繪;瀏覽器 logo 改成文字)

          📖 原書 小量使用者的郵件伺服器很好架,但很難擴展到一台以上:傳統伺服器只設計給一台用,跨伺服器同步資料很難,還要避免被收件端誤判成垃圾信。這一節用雲端技術讓它變簡單。

          • Webmail:使用者用瀏覽器收發信
          • Web servers:對外的 request/response 服務,管登入、註冊、使用者資料等;所有郵件 API(寄信、載入資料夾、載入資料夾裡的信)都經過它
          • Real-time servers:即時推送新信。要維持長連線,所以是 stateful。選項有 long polling 和 WebSocket;WebSocket 比較優雅,缺點是瀏覽器相容性,可以「能用 WebSocket 就用,否則退回 long polling」。實例:Apache James 在 WebSocket 上實作 JMAP 子協定

          白話:WebSocket=一直接著的對講機,server 也能主動開口(12 章第 9 頁);long polling=坐在管理室等包裹(12 章第 8 頁);stateful=線接在某一台,那台不能隨便換。

          📅 2026 補充 主流瀏覽器早已全面支援 WebSocket,「相容性」今天多半是公司 proxy 或防火牆擋長連線的問題,退回 long polling 的理由還在。

          延伸基礎第 5 階 · object store懂的人可以跳過

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          25 MB 的包裹不塞進信封:放倉庫,信裡夾一張提領單

          ① 先想像

          郵局櫃台每分鐘搬得動 100 MB。一封信本身大約 0.05 MB;大包裹放到後面倉庫,信裡只夾一張提領單。

          你猜猜看:每封信都夾 25 MB 的包裹,櫃台每分鐘搬幾封?只夾提領單呢?

          ③ 這叫做 object store、reference

          object store:專放大檔案的倉庫,例如 Amazon S3,整個放進去、整個拿出來。reference:提領單,只寫「東西在倉庫哪一格」。

          ④ 跟這章的關係

          原書的附件放 S3(第 22 頁);寄信、收信的 queue 裡也只放 reference(第 25、28 頁)。

          ② 動手玩:櫃台每分鐘搬 100 MB

          3櫃台每分鐘搬幾封25 MB每封信經過櫃台的重量

          延伸基礎第 6 階 · search index懂的人可以跳過

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          1,000 封信裡找「發票」:一封一封翻,還是查書後面的索引?

          ① 先想像

          書最後面的索引寫著「發票 → 第 3、17、42 頁」。不用從第一頁翻到最後一頁。

          你猜猜看:信箱有 1,000 封信,每封看一眼要 1 秒。一封一封找要幾秒?查索引呢?

          ③ 這叫做 inverted index、search index

          inverted index(反向索引):從「字」查「哪幾封信」。search index:為了搜尋先整理好的這種表。

          ④ 跟這章的關係

          原書的 search store 靠它(第 22 頁)。每封新信都要更新索引,所以第 44 頁說郵件搜尋「寫」比「讀」多得多。

          ② 動手玩:三封信、一張索引

          搜尋:
          
                
          —一封一封翻:看了幾封—查索引:查了幾行0索引被更新了幾次

          原書 Step 2Figure 5 · Storage layer

          儲存層的四個元件:metadata、附件、快取、搜尋

          這一步要解決的問題信件資料、附件、常看的信、搜尋,各要放在哪裡?

          📖 原書 Metadata database

          存郵件的 metadata:主旨、內文、寄件者、收件者等。選哪種資料庫在 deep dive 討論(第 29 頁)。

          📖 原書 Distributed cache

          client 會反覆載入最近的信,把近期郵件快取在記憶體能大幅縮短載入時間。可以用 Redis:功能豐富(例如 list),而且容易擴展。

          📖 原書 Attachment store

          選 object store,例如 Amazon S3:可擴展,適合圖片、影片、檔案這類大檔。附件可以到 25 MB。Cassandra 這類 column-family NoSQL 可能不適合:

          • Cassandra 支援 blob,理論上限 2 GB,但實際上限小於 1 MB
          • 附件太佔記憶體,無法用 row cache

          白話:cache=放手邊的小抄(01 章第 18 頁);Redis=放在記憶體裡的快速白板;Cassandra=一種為大規模設計的 NoSQL 資料庫;row cache=把整列資料放記憶體。

          📖 原書 Search store

          分散式 document store,用 inverted index 支援很快的全文搜尋。deep dive 再細談(第 44 頁)。

          文組翻譯:inverted index

          書最後面的「索引」:不是一頁一頁翻找「發票」兩個字,而是直接查「發票 → 第 3、17、42 頁」。

          到這裡你已經會了小結 2 / 5

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          到這裡你已經會了:一封信裝了什麼、放在哪

          下一階要解決的問題

          每秒 10 萬封信要寄出去。web server 要站在門口,等每一封都送到對方郵局嗎?

          延伸基礎 · 複習第 7 階 · message queue前幾章講過,懂的人可以跳過

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          櫃台收件很快,郵差送件很慢:中間放一個待寄籃

          ① 先想像

          櫃台收一封信只要幾秒,郵差送一封要很久。客人不用站著等郵差回來:信丟進待寄籃,拿了收據就走。

          你猜猜看:櫃台每分鐘收 6 封,郵差每分鐘送 4 封。10 分鐘後待寄籃有幾封?

          ④ 跟這章的關係

          原書寄信用 outgoing queue、收信用 incoming queue;SMTP worker 就是郵差(第 25–28 頁)。

          ② 動手玩:10 分鐘內的待寄籃

          2010 分鐘後籃子裡越堆越高狀態

          原書 Step 2Email sending flow · Figure 6

          寄信流程:驗證完丟進 outgoing queue,SMTP worker 慢慢送

          這一步要解決的問題按下「傳送」到信送進對方的郵局,中間要過哪些關卡?

          1. 使用者在 webmail 寫信、按「傳送」,request 送到 load balancer
          2. Load balancer 確認沒超過 rate limit,把流量導到 web servers
          3. Web servers:3a 基本驗證(例如大小上限);3b 收件人網域跟寄件人相同 → 確認無垃圾信與病毒後,直接寫進寄件人 Sent 與收件人 Inbox,不用走第 4 步
          4. 4a 驗證成功 → 進 outgoing queue;附件太大放不進 queue 就存 object store,queue 裡只放 reference。4b 驗證失敗 → 進 error queue
          5. SMTP outgoing workers 從 outgoing queue 拉訊息,確認無垃圾信與病毒
          6. 外寄的信存進儲存層的「Sent Folder」
          7. SMTP outgoing workers 把信送到收件人的郵件伺服器

          白話:load balancer=帶位員,把 request 分給不同的 web server(01 章第 12 頁);rate limit=門口保全,超過上限就擋(04 章);垃圾信與病毒檢查見第 27 頁。

          📖 原書 Figure 6Email sending flow(依原書內容重繪;圖上的編號依內文 1–7 步,alt 描述的編號與內文略有出入)

          原書 Step 2Email sending flow · 監控 outgoing queue

          Queue 越來越長:是收件端掛了,還是 worker 不夠?

          這一步要解決的問題待寄的信越堆越多,怎麼知道是哪裡出了問題?

          📖 原書 每則 outgoing queue 訊息都包含建立郵件所需的全部 metadata。分散式 MQ 讓郵件可以非同步處理;把 SMTP outgoing workers 和 web servers 解耦,就能各自擴展。

          📖 原書 要密切監控 queue 的長度。很多信卡住時,分析原因:

          • 收件人的郵件伺服器掛了 → 稍後重試,exponential backoff 可能是好策略
          • 消費者不夠 → 加 consumer 縮短處理時間

          文組翻譯:郵局門口的待寄包裹越堆越多。可能是對方郵局沒開門(那就隔 1、2、4、8 分鐘再去敲一次門,不要一直敲),也可能是自家郵差不夠(那就多請郵差)。

          0queue 裡(K 封)0等待重試(K 封)正常診斷

          示意模型:每台 worker 每秒送 10K 封;重試間隔 1、2、4、8、16 秒。數字不是原書的。

          延伸基礎第 8 階 · spam filter懂的人可以跳過

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          收發室的檢查員:這封信像不像垃圾信?

          ① 先想像

          收發室檢查員看三個線索打分數:寄件人認不認識、內容有沒有寫「中獎」、是不是同一封寄給十萬人。

          你猜猜看:陌生寄件人 +2、寫「中獎」+3、寄給十萬人 +2,滿 5 分丟垃圾信匣。陌生人寫「中獎」、只寄給你?

          ③ 這叫做 spam filter、virus scan

          spam filter:自動替信打分數、決定進不進垃圾信匣的檢查員。virus scan:拆開附件檢查有沒有病毒。

          ④ 跟這章的關係

          原書的寄信(第 5 步)和收信(第 5 步)都有這一關。原書沒說怎麼打分,這頁的分數是示意。

          ② 動手玩:門檻要設幾分?

          1好信被丟進垃圾信匣1垃圾信漏進收件匣

          原書 Step 2Email receiving flow · Figure 7

          收信流程:SMTP servers 收進 queue,處理完存起來、在線就推送

          這一步要解決的問題別人寄來的信進門後,要過哪些關卡才出現在 Bob 的收件匣?

          1. 進來的信抵達 SMTP load balancer
          2. Load balancer 分配給 SMTP servers;可在 SMTP 連線層級設定 email acceptance policy,例如無效的信直接退回
          3. 附件太大放不進 queue → 放進 attachment store(S3)
          4. 信放進 incoming email queue:解耦 mail processing workers 和 SMTP servers,也是流量暴增時的緩衝
          5. Mail processing workers 過濾垃圾信、擋病毒等(以下假設通過)
          6. 信存進 mail storage、cache、object data store
          7. 收件人在線上 → 推給 real-time servers
          8. Real-time servers 是 WebSocket servers,讓 client 即時收到新信
          9. 離線的使用者:信留在儲存層;回到線上時 webmail 用 RESTful API 連 web servers
          10. Web servers 從儲存層拉新信回給 client

          白話:acceptance policy=門口的收件規則,明顯不合格的直接退;mail processing workers=收發室的工作人員,就是第 27 頁的檢查員。

          📖 原書 Figure 7Email receiving flow(依原書內容重繪;編號依內文 1–10 步)

          原書 Step 3Metadata database · 特性與選型

          郵件 metadata 長什麼樣,該放哪種資料庫?

          這一步要解決的問題信件資料有什麼特性?該放在哪一種資料庫?

          📖 原書 Email metadata 的特性

          • Header 通常很小、常被讀
          • Body 大小不一,但很少讀:一封信通常只讀一次
          • 大部分操作(抓信、標已讀、搜尋)都只跟單一使用者有關:信只有擁有者看得到、只有他會操作
          • 越新越常被讀:82% 的讀取是 16 天內的資料
          • 高可靠性:不能接受資料遺失

          📖 原書 三個候選

          • Relational database:動機是能有效率地搜尋,header 和 body 建 index,簡單查詢很快。但 RDBMS 通常為小筆資料最佳化;一封信常超過幾 KB,有 HTML 很容易超過 100 KB。BLOB 型別雖能存大資料,但對非結構化 BLOB 搜尋沒效率 → MySQL、PostgreSQL 不適合
          • Distributed object storage:原始信件放 S3,做備份不錯,但很難支援標已讀、關鍵字搜尋、對話串
          • NoSQL:Gmail 用 Google Bigtable,可行;但 Bigtable 沒開源,搜尋怎麼做是個謎。Cassandra 也許可以,但還沒看過大型郵件服務商用它

          白話:RDBMS=MySQL、PostgreSQL 這種表格資料庫;BLOB=塞在欄位裡的一大塊原始資料;IOPS=磁碟每秒能做幾次讀寫。

          📖 原書 結論:講出這五個特性

          Gmail、Outlook 規模的資料庫通常是客製的,為了減少 IOPS(很容易成為主要限制)。面試沒時間設計新的分散式資料庫,但要說出它該有:

          1. 單一欄位可以到個位數 MB
          2. Strong data consistency
          3. 為了減少磁碟 I/O 而設計
          4. 高可用、容錯
          5. 容易做增量備份

          🔭 Triton 對「RDBMS 存大欄位」和「該用哪種 NoSQL」的看法在第 55 頁。

          延伸基礎第 9 階 · partition key懂的人可以跳過

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          信多到一個櫃子放不下:依收件人分櫃,還是依日期分櫃?

          ① 先想像

          郵局把信分到 4 個櫃子。可以依「收件人是誰」分,也可以依「哪一天到的」分。

          你猜猜看:Bob 要看自己的收件匣。依收件人分櫃,要開幾個櫃子?依日期分櫃呢?

          ③ 這叫做 partition key、sharding(複習)

          partition key:決定「這筆資料放哪一櫃」的那個欄位。sharding:把資料分到好幾台機器(01 章第 34 頁)。

          ④ 跟這章的關係

          郵件幾乎每個操作都只跟一個人有關,所以原書選 user_id 當 partition key(下一頁)。

          ② 動手玩:8 封信、4 個櫃子

          —要打開幾個櫃子

          原書 Step 3Data model · Table 1–4

          user_id 當 partition key:一個人的信放同一個 shard

          這一步要解決的問題資料表怎麼設計,才能一次拿到「Bob 的收件匣、最新的在上面」?

          📖 原書 Table 1folders_by_user:Query 1 取得某使用者的所有資料夾(依原書內容重繪)

          📖 原書 用 user_id 當 partition key,一個使用者的資料都在同一個 shard。限制是信不能在多個使用者間共享,但這不是這次的需求。Primary key 有兩部分:

          • Partition key:把資料分到不同 node,原則是分得平均
          • Clustering key:在 partition 內排序

          資料層要支援的查詢

          1. 取得使用者的所有資料夾 → Table 1
          2. 顯示某資料夾的所有信:收件匣依時間排、最新在上 → 複合 partition key <user_id, folder_id>,email_id(TIMEUUID)當 clustering key → Table 2
          3. 建立/刪除/取得一封信(原書只講「取得」)→ Table 3
            SELECT * FROM emails_by_user WHERE email_id = 123;
          4. 取得所有已讀或未讀的信 → Table 4(下一頁)
          5. 加分題:取得對話串(第 33 頁)

          原書 Step 3 · 動手玩Query 4 · Read / unread

          NoSQL 只能用 key 查:「只看未讀」就多存一張表

          這一步要解決的問題「只看未讀」這種查詢 NoSQL 不支援,怎麼辦?

          📖 原書 如果是 RDBMS,查已讀就是:

          SELECT * FROM emails_by_folder
          WHERE user_id = <user_id> and folder_id = <folder_id>
            and is_read = true
          ORDER BY email_id;

          📖 原書 但這個模型是為 NoSQL 設計的:NoSQL 通常只支援 partition key 和 clustering key 的查詢,is_read 兩者都不是,多數 NoSQL 會拒絕。整個資料夾抓回來在應用程式過濾,小服務可以,這個規模不行。

          📖 原書 解法是反正規化成 read_emails 和 unread_emails 兩張表。未讀改已讀 = 從 unread_emails 刪掉、再插入 read_emails。程式更複雜、更難維護,但大規模下讀取更快。

          白話:反正規化(denormalization)=為了查得快,同一份資料多存一份;代價是改的時候要改好幾處。

          查詢:
          
              

          原書 Step 3Bonus point · Conversation threads · Table 5

          對話串:靠 header 裡的三個欄位把回信串起來

          這一步要解決的問題一來一往的回信,怎麼串成一串對話?

          📖 原書 很多 client 支援對話串:把回覆和原始訊息分在一組。傳統上用 JWZ 演算法實作,原書只講核心概念。header 通常有:

          {
           "headers" {
            "Message-Id": "<7BA04B2A-430C-4D12-8B57-862103C34501@gmail.com>",
            "In-Reply-To": "<CAEWTXuPfN=LzECjDJtgY9Vu03kgFvJnJUSHTt6TW@gmail.com>",
            "References": ["<7BA04B2A-430C-4D12-8B57-862103C34501@gmail.com>"]
           }
          }
          📖 原書 Table 5 Email header
          Message-Id訊息 ID。由 client 在寄信時產生
          In-Reply-To這封信回覆的父 Message-Id
          References跟這個對話串相關的訊息 ID 清單

          📖 原書 有了這些欄位,只要回覆鏈中的訊息都預先載入,client 就能重建對話。

          動手試:把亂序的信串回去

          到這裡你已經會了小結 3 / 5

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          到這裡你已經會了:十億人的郵局怎麼分工

          下一階要解決的問題

          放 Bob 那一櫃的機器壞了怎麼辦?還有:信寄出去了,怎麼才不會被對方當成垃圾信?

          延伸基礎第 10 階 · primary / failover懂的人可以跳過

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          存摺只有一本正本:櫃台換人那幾分鐘,先暫停

          ① 先想像

          你的存摺正本放在 A 櫃台,B 櫃台有一本隨時抄的影本。A 櫃台突然有事,要讓 B 接手。

          你猜猜看:換手那 3 分鐘,兩個櫃台都讓人改。你在手機把信移到垃圾桶,同時在筆電移到封存。最後信在哪?

          ③ 這叫做 primary、failover

          primary:唯一能改的正本;影本叫 replica(01 章第 14 頁)。failover:正本壞了,讓影本升格接手。

          ④ 跟這章的關係

          原書:每個信箱只有一個 primary,failover 時寧可暫停(下一頁)。這就是 06 章的 CAP:選一致,讓出一點可用。

          ② 動手玩:換手期間,有多少操作要處理?

          原書 Step 3Consistency trade-off

          每個信箱只有一個 primary:failover 時寧可暫停,也不要寫錯

          這一步要解決的問題存信箱的機器壞了要換手,這幾分鐘信箱還能照常改嗎?

          📖 原書 靠 replication 做高可用的分散式資料庫,必須在 consistency 和 availability 之間做根本的取捨。郵件系統正確性非常重要,所以設計上每個信箱只有一個 primary。

          📖 原書 failover 時 client 存取不到這個信箱,同步/更新暫停到 failover 結束。這是用 availability 換 consistency。

          白話:replication=自動抄影本;primary=唯一能改的正本;failover=正本壞了換影本接手(第 35 頁)。

          文組翻譯:你的存摺只有一本,櫃台換人時你得等五分鐘;而不是兩個櫃台各拿一本影本,各自幫你記帳,最後兩本對不起來。

          延伸基礎第 11 階 · reputation懂的人可以跳過

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          新來的快遞員:大樓管理員還不認識你

          ① 先想像

          新快遞員第一天就送 1 萬件到同一棟大樓。管理員不認識他,乾脆先全部擋在門口。信用要一天一天累積。

          你猜猜看:今天送 1,000 件,有 3 件被住戶說「我沒訂,是騷擾」。被檢舉的比例是?

          ③ 這叫做 reputation、deliverability

          sender reputation:收件端對「這個寄件 IP」的信任分數。deliverability(可送達性):信真的進收件匣的比例。

          ④ 跟這章的關係

          原書說新 IP 要「暖身」2 到 6 週,還要盯退信和檢舉(下兩頁)。

          ② 動手玩:一個新的寄件 IP,一天一天過

          20信用分數(滿分 100)20%信進收件匣的比例第 0 天過了幾天

          原書 Step 3Email deliverability

          新伺服器沒有信譽:IP 要慢慢「暖身」

          這一步要解決的問題信寄出去了,怎麼讓它進收件匣,而不是垃圾信匣?

          📖 原書 架郵件伺服器、開始寄信很容易;難的是真的送進收件匣。進了垃圾信匣,收件人很可能不會讀。根據 Statista,超過 50% 的郵件是垃圾信,所以新伺服器沒有信譽,信很可能直接進垃圾信匣。要考慮的因素:

          • Dedicated IPs:用專用 IP 寄信;收件端不太接受沒有歷史的新 IP
          • Classify emails:不同類別用不同 IP。行銷信和重要信不要從同一批伺服器寄,否則 ISP 可能把全部都標成促銷
          • Sender reputation:新 IP 要慢慢 warm up,Office365、Gmail、Yahoo Mail 才不會把信丟進垃圾信匣。依 Amazon SES,暖身新 IP 大約要 2 到 6 週
          • Ban spammers quickly:在 spammer 嚴重影響伺服器信譽前快速封鎖

          白話:IP=寄件機器的門牌號碼;ISP=收件端的大型郵件服務商,例如 Gmail、Yahoo Mail;spammer=亂寄垃圾信的人。

          動手試:暖身計畫 vs 收件端願意收多少

          0%八週內被丟進垃圾信匣的比例—第一次超量的那天

          示意模型:假設收件端從每天 2,000 封開始,每天多信任 35%;超過的部分進垃圾信匣。原書只給「2 到 6 週」,曲線形狀和數字都是假設。

          原書 Step 3Email deliverability · Feedback processing · Figure 8

          退信和檢舉,分成三條 queue 各自處理

          這一步要解決的問題退信和「檢舉垃圾信」回來了,要怎麼處理?

          📖 原書 Figure 8Handle feedback loop:ISP 的 bounces and complaints 經 feedback processing 分到三個 queue(依原書內容重繪)
          0Soft bounces0Hard bounces0Complaints

          📖 原書 跟 ISP 建立 feedback loop 非常重要,才能把投訴率壓低、快速封鎖垃圾信帳號。信送不到或使用者投訴時,結果是三種之一:

          • Hard bounce:收件地址無效,ISP 拒收
          • Soft bounce:暫時性原因送不到,例如 ISP 太忙
          • Complaint:收件人按了「report spam」

          📖 原書 soft bounce、hard bounce、complaint 用不同的 queue,才能分開管理。

          文組翻譯:郵局退回來的信分三籃:「查無此人」(以後別再寄)、「今天沒人收」(改天再送)、「收件人說你騷擾他」(這最傷信譽,要查是誰在亂寄)。三籃的處理方式完全不同,所以不混在一起。

          延伸基礎第 12 階 · email authentication懂的人可以跳過

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          信封上寫「喵喵銀行」,就真的是銀行寄的嗎?

          ① 先想像

          誰都能在信封上寫「寄件人:喵喵銀行」。收信的人看兩個線索:是不是從銀行登記過的郵局寄出?封蠟印章是不是銀行的?

          你猜猜看:騙子在自己家附近的郵局、用自己刻的印章寄。兩個線索會?

          ③ 這叫做 email authentication、phishing

          email authentication(寄件人驗證):檢查信真的是 From 寫的那家寄的。phishing(釣魚):冒名寄信,騙你點連結、給密碼。

          ④ 跟這章的關係

          原書下一頁列出三種驗證的名字;第 42 頁用驗證器一個一個玩。

          ② 動手玩:三封都寫「寄件人:喵喵銀行」

          原書 Step 3Email deliverability · Email authentication · Figure 9

          防釣魚:SPF、DKIM、DMARC 三道驗證

          這一步要解決的問題怎麼證明這封信真的是那家公司寄的,不是冒名?

          📖 原書 Figure 9An example of a Gmail header(原圖是 Gmail「顯示原始郵件」的截圖,這裡改畫成線框,文字依原書 alt 描述;收件人地址原圖已遮蔽)

          📖 原書 依 Verizon 2018 年資料外洩調查報告,釣魚與假冒佔外洩事件的 93%。常見的對抗技術:

          • SPF:Sender Policy Framework
          • DKIM:DomainKeys Identified Mail
          • DMARC:Domain-based Message Authentication, Reporting and Conformance

          📖 原書 Figure 9 是 Gmail 郵件 header 的例子:寄件者 @info6.citi.com 通過了 SPF、DKIM、DMARC 驗證。

          📖 原書 「你不需要記住這些名詞。要記住的是:讓郵件照預期運作很難,不只需要領域知識,還需要跟 ISP 有好關係。」

          原書只列出三個名字。它們各自在驗證什麼,下一頁用一個驗證器玩。

          補充 · 動手玩SPF / DKIM / DMARC 驗證器

          這封「From: billing@shop.example」的信,過得了關嗎?

          這一步要解決的問題SPF、DKIM、DMARC 各在檢查什麼?用一封信實際走一遍。

          情境:

          三道關各問一個問題

          • SPF:「這個 IP 有沒有被 Return-Path 的網域授權寄信?」收件端查那個網域 DNS 裡的 SPF 名單
          • DKIM:「簽章對不對?」寄件端用私鑰簽 header 和內文,收件端到 d= 網域的 DNS 拿公鑰驗;內容被改過就驗不過
          • DMARC:「通過的那一關,網域跟 From 對得上嗎?」SPF 或 DKIM 至少一個通過且對齊才算過;沒過就照 From 網域公布的政策處理:none 照收、quarantine 進垃圾信匣、reject 退信

          📅 2026 補充 Gmail 與 Yahoo 自 2024 年起要求大量寄件者(Gmail 的門檻是每天寄給 Gmail 5,000 封以上)必須設定 SPF、DKIM 和 DMARC,提供一鍵退訂,並把垃圾信檢舉率壓在 0.3% 以下。原書寫作時這三個還是「建議」,現在對大量寄件者是門檻。

          本頁的運作說明是補充,原書只列出三個名稱;網域都用保留給範例的 .example。

          到這裡你已經會了小結 4 / 5

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          到這裡你已經會了:不掉信、不進垃圾信匣

          下一階要解決的問題

          原書最後兩題:十億封信怎麼做到「即時、準確」的搜尋?好幾個資料中心怎麼擴展?之後是 Triton 線。

          原書 Step 3Search · Option 2 · Custom search · Figure 11

          自己做搜尋引擎:瓶頸是磁碟 I/O,所以用 LSM tree

          這一步要解決的問題自己做搜尋引擎時,每秒大量新信都要建索引,磁碟寫得過來嗎?

          📖 原書 Figure 11LSM tree:Level 0 在記憶體,Level 1–4 在磁碟,左側箭頭是時間(依原書內容重繪;原 alt 對「越往上越大」的描述前後矛盾,依 LSM 的意思畫成越往上越少、越大)

          📖 原書 大型郵件服務商通常自己開發搜尋引擎;設計它非常複雜、超出本章範圍,這裡只談主要挑戰:磁碟 I/O。每天新增的 metadata 和附件是 PB 等級,一個帳號很容易超過五十萬封信,索引伺服器的主要瓶頸通常是磁碟 I/O。

          📖 原書 建索引是寫入密集的,好策略是用 Log-Structured Merge-Tree(LSM)組織磁碟上的索引:只做循序寫入。LSM 是 BigTable、Cassandra、RocksDB 背後的核心資料結構。新信先加進 level 0 的記憶體快取,資料量到預設門檻就合併到下一層。

          📖 原書 另一個理由:把常變動的資料跟不常變動的分開。郵件內容通常不變,但資料夾資訊會因過濾規則常變,分成兩區後,改資料夾就只動資料夾那區。延伸閱讀:Microsoft Exchange 的搜尋運作方式。

          文組翻譯:新信先寫在桌上的便條紙(記憶體),便條紙滿了就整疊收進一個新資料夾(磁碟,只往後加、不改舊的);資料夾多了,再整理合併成一大本。

          原書 Step 3Search · Table 7

          Elasticsearch 還是自己做?看規模

          這一步要解決的問題Elasticsearch 和自己做,各有什麼代價?什麼規模選哪個?

          📖 原書 Table 7 Elasticsearch vs custom search engine
          FeatureElasticsearchCustom search engine
          Scalability某種程度上可擴展較容易擴展,可以針對郵件使用情境最佳化
          System complexity要維護兩套系統:datastore 和 Elasticsearch一套系統
          Data consistency兩份資料:metadata datastore 一份、Elasticsearch 一份,一致性難維護metadata datastore 裡只有一份
          Data loss possible不會。壞了可以從主要儲存重建索引不會
          Development effort容易整合;大規模可能需要專門的 Elasticsearch 團隊開發自訂搜尋引擎需要大量工程投入

          📖 原書 經驗法則

          Triton 對這個經驗法則的第一格有不同的起點:連 Elasticsearch 都先別急著加,見第 56 頁。

          原書 Step 3Scalability and availability · Figure 12

          每個人的信互不相干,所以幾乎都能水平擴展

          這一步要解決的問題十億人分散在好幾個地區,機器和資料中心要怎麼擴展?

          📖 原書 Figure 12Multi-data center setup:上半是正常、下半是美國使用者改連歐洲資料中心(依原書內容重繪;原圖上下兩半並列,這裡用切換呈現)

          📖 原書 因為個別使用者的存取模式彼此獨立,系統裡大部分元件預期都能水平擴展。

          📖 原書 為了更好的可用性,資料複製到多個資料中心。使用者連到網路拓撲上離他較近的郵件伺服器;發生 network partition 時,使用者可以從其他資料中心存取郵件。

          白話:水平擴展=加機器,而不是換更大台;network partition=機房之間的網路斷了。

          文組翻譯:你在美國的郵局有你的信,歐洲的郵局有一份影本。美國的路斷了,你還能到歐洲的郵局看信。

          注意這頁和第 36 頁放在一起看:「每個信箱一個 primary」加上「跨資料中心複製」,partition 時改連歐洲,是讀影本,還是歐洲那份升為 primary?原書沒有展開。

          原書 Step 4Wrap up · Additional talking points

          面試還有時間的話:容錯、合規、安全、優化

          這一步要解決的問題主體設計完,面試官還可能問什麼?

          📖 原書 本章走過的路

          收集需求、估算規模;高階設計講傳統伺服器為何滿足不了現代需求、email API、寄信與收信流程;deep dive 講 metadata DB、可送達性、搜尋與擴展性。

          四個額外討論點

          • Fault tolerance:node 故障、網路問題、事件延遲怎麼處理
          • Compliance:全球服務要守法規,例如歐洲的 PII 要符合 GDPR;legal intercept 是這個領域的典型功能
          • Security:郵件含敏感資訊。Gmail 有防釣魚、安全瀏覽、主動警示、帳戶安全、機密模式、郵件加密
          • Optimizations:同一封信寄給多人時,相同附件在 S3 存了好幾份;存之前先檢查附件是否已存在

          白話:PII=能認出你是誰的個人資料;GDPR=歐盟的個資法;legal intercept=依法調閱通訊內容。

          動手試:最後一個優化

          「怎麼知道附件已存在」原書沒說;常見做法是用內容的 hash 當 key(補充)。

          原書Chapter summary

          章末心智圖

          這一步要解決的問題把整章串成一張圖。

          📖 原書 Chapter summary以 Email Servers 為中心的四個步驟(依原書內容重繪;原圖是放射狀心智圖,這裡改成由左到右的樹狀)

          Triton 線先說清楚:他講過什麼、沒講過什麼

          Triton 沒有設計過郵件伺服器,但他寄過很多信

          完全沒有 Triton 資料的部分

          • SMTP、POP、IMAP、MX record、MIME
          • Maildir、傳統郵件伺服器
          • 可送達性:dedicated IP、warm-up、feedback loop、SPF/DKIM/DMARC
          • 對話串、JWZ 演算法、多資料中心的郵件路由

          這些頁面只有原書,不推論。

          🗣️ 他真的講過、跟 email 有關的

          • 寄信的 library 該怎麼設計(103,第 51 頁)
          • 重設密碼信、email 驗證 token 不放 query string(178、071、093,第 52 頁)
          • 報表做完用 email 寄給老闆,是他教 async task 的標準例子(073)

          🔭 他在別的題目講的原則

          • Outgoing queue 要用真正的 MQ(030、078、020、073、138)
          • Metadata DB:不能掉的資料、HBase 與 Cassandra(106、080、062、181)
          • 搜尋:先問能不能在 RDBMS 做(073、058 筆記、046)
          • 附件:串流、blob 外置(130、181、073)
          • 即時推送是 Signal(078、073、017)

          Triton 線sendEmail library

          🗣️ 寄信的 library 只寄信,不判斷誰要加簽名

          你猜猜看:大家共用的 sendEmail(),有人在裡面偷偷加一行 if (user.category = A),替 A 類客戶加簽名。半年後會怎樣?

          「我們一直有一個library sendEmail(String userId, String templateId, Map<String, Object> keyValues)……這是一個功能單一的小型library」「為了加強安全性,他們想在每封email最尾加上HMAC簽名……他就心生邪念……在sendEmail()內加上了:if (user.category = A) { email.content += hmac(email.content) } 然後那個PR被我否決了」🗣️ Triton 本人說 103-分享一下夢境中的一些小事吧:.md

          「2) 一個library,其功能面應該是單一性的 3) library內不應該有business logic」「這種「hidden logic」,不就是替未來其他人埋下地雷嗎?」「SendEmail() library本身沒有business logic來控制誰才加Hmac誰不加 這個business logic繼續由application layer來控制」🗣️ 103

          
                

          🔭 推論 原書的「行銷信和重要信用不同 IP」(第 38 頁)也是同一種決定:該由呼叫端明講「這是哪一類信」,不要讓寄信元件偷偷看 user category 來猜。

          Triton 線重設密碼信 · email 驗證 token

          🗣️ 後端最常寄的信:「點這個連結重設密碼」

          你猜猜看:重設密碼連結寫成 /v1/emailAuth?token=abc123。用戶點了之後,這個 token 還會留在哪?

          「如果系統收到一個資料庫中沒有對應的UUID。你是沒法知道:A 用戶是開了一封10年前的忘記密碼電郵……/用戶copy and paste時抄錯了URL 還是 B 有cracker正在暴力亂試」「如果我是cracker,我只會使用自動化的scripting,每分鐘只會暴力亂試數次」🗣️ Triton 本人說 178-經電郵拿回帳戶.md · 主文(作者自稱「某灌水喵」)

          178 的改法:把(UUID+userID)用私鑰加密後放進 URL,收到時用公鑰解,「如果解密失敗,則記錄這個request資訊,之後作反cracker分析」。

          💬 討論串回覆,作者未標示「我覺得簡單點直接HMAC就好。UUID, UserID, 甚至乎request時間, 都明文,然後加HMAC。」接著有一則「其實你的方法也是現實我會用的方法 只是我在方便我說明嘛~」,語氣像原作者,但沒有署名。

          「不管任何時候,都不應該把 auth token(jwt / sessionId)放在 queryString中 – 否則這個 auth token便會連同 url一起,存到 Application Server的 Access log中」「把 /v1/emailAuth?token={token} (GET)轉成 /v1/emailAuth,並且把 token放進 HTTP header,然後再把 Request丟給 Application Server」🗣️ Triton 本人說 071-lesson2.pdf.md · 「middleware」

          「有人發現台灣某公司系統按下「忘記密碼」時。系統居然把你的密碼寄回給你。」「只要你的系統有可還原的用戶密碼,cracker就能用這密碼用來試試看登入高價值系統(像銀行)。」🗣️ Triton 本人說 093-trion 加密 經典文章.md(161 是同一篇;文中寫感想與 Sam Wong 共同)

          動手試:重設密碼連結走過哪些地方

          
                

          🔭 推論 HMAC 讓「抄錯」和「亂試」在進資料庫前就被擋下並記錄;有沒有 HMAC 都分不出兩者是誰,178 的重點是讓亂試變得可以分析。

          延伸基礎 · 複習第 13 階 · Signal / Message前幾章講過,懂的人可以跳過

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          掛號信和門鈴:掉了一個,差在哪?

          ① 先想像

          掛號信一定要有人簽收,沒人在家就改天再送。門鈴只是提醒「有你的信」,沒人應就算了,信本來就已經在信箱裡。

          你猜猜看:Bob 在捷運上,「有新信」的提醒沒收到。那封信呢?

          ④ 跟這章的關係

          接下來兩頁用這個分法看原書:待寄的信(第 54 頁)和「有新信」的推送(第 58 頁)。

          ② 動手玩:Bob 不在家的時候

          0掛號信還在籃子等重送0沒人應的門鈴(算了)0真正不見的信

          Triton 線Outgoing queue · 第三方收件伺服器

          🔭 Outgoing queue 裝的是 Message:要用真正的 MQ

          你猜猜看:原書沒說 outgoing queue 用哪一套。如果拿 Redis 來排待寄的信,機房突然斷電,排隊中的信會?

          「正常的MQ Server – 會把收到的Message先存到HDD,然後才回應成功 – 會等待收件者回傳「工作完成」,才真的把訊息刪掉 – 如果收件者趴掉,則把訊息丟給其他的 channel listener」「Message – 可以排隊一個一個工作慢慢來~ – 絕對不能丟失」🗣️ Triton 本人說 078-mq-intro.pdf.md

          「斷電後redis會有data loss的」「如果你的consumer消化速度追不上producer生產速度 你的redis很容易就會爆炸掉。rabbitmq / Kafka是使用HDD來存放buffer的。」🗣️ Triton 本人說 030-Redis 不能當 queue 原因.md

          「例子:應該把呼叫 GCM 放到獨立 worker 嗎 – 多了一個 worker ,便多了一個 worker 要管 – 如果使用 worker ,便需要建立 MQ server – 可是有了 worker , GCM service 發生什麼事也影響 不了我的主系統耶」🗣️ Triton 本人說 073-lesson3.pdf.md · 安全 vs 快速開發?

          「建立一個outstanding_tasks的table(不使用redis的原因是怕redis當掉後data loss有工作變成孤兒)」「message queue可以讓你做出優雅而且高穩定性系統。」🗣️ Triton 本人說 020-MQ解法.md · 輪詢不支援 callback 的第三方

          「如果系統還沒到每秒1K Message的,kafka對你會是overkill。」🗣️ 138-喵談 rabbitMQ 和 kafka.md

          細節:Triton 在 073 也寫過「如果你的應用比較簡單, Redis 某程度上也能當作MQ 使用」。030 反對的是拿 Redis 當不能掉資料、又可能堆積的 queue。

          🔭 套回原書

          • 同意:原書的 outgoing queue 一定要「寄出去才算完成」、原書也說不能遺失郵件 → 正是 078 的 Message,要先寫磁碟才 ack、送完才刪。原書沒說用哪套 MQ;030 的理由排除 Redis。
          • 同意:收件端郵件伺服器是別人的系統,跟 073 的 GCM 一樣,放在獨立的 SMTP worker 後面,它們掛了也拖不垮 web servers。原書監控 queue 長度、exponential backoff,就是在管這個第三方。
          • 規模:原書是每秒 10 萬封,遠超過 138 的 1K 門檻,這裡用 Kafka 不算 overkill。
          • 附件放 reference:078 批評「推送內容就會重覆了10萬次」;原書「大附件放 object store、queue 只放 reference」和收尾的附件去重,是同一個方向。

          Triton 線Metadata DB

          🔭 每信箱一個 primary、strong consistency:這就是 HBase

          你猜猜看:原書要求「每個信箱只有一個 primary、strong consistency」,又同時點名 Bigtable 和 Cassandra。哪一個比較對得上它自己的要求?

          「主要還是一句:不能不見的data,我一定存到RDBMS」「如果是小型系統,單純scale up便算了 如果是大型系統,始終還是要走Hbase那些方向的」「如果要考慮水平擴充,請走noSQL路線」🗣️ Triton 本人說 106-喵 data.md · 討論串,從「主要還是一句」起確定是 Triton

          「相同 chatroom 的 message record ,他們的 phyiscal storage position 應該是相鄰的 這樣子才是 seq IO 而不是 Random IO」🗣️ 062-im-system design.pdf.md

          「每一個HBase node只負責特定 PK Range的 data operation – Record X的READ / WRITE,肯定會送到同一個 data node – 所以能有 strong consistency,也能做到Atomic CAS」「HBase算是 CA向的,跟 RDBMS一樣」「HBase 強項: Range Scan with PK – 例子: Line的對話歷史」「注意: HBase架構本身沒有 DC awareness」🗣️ 080-nosql-intro.pdf.md

          「Cassandra是AP向的 – 即是說:你一點也不介意 data consistency」「現實上,毫不介意 consistency的商業應用很少的」🗣️ 080

          「RDBMS會把這些text / blob的內客externalize,然後在row record內只存放externalized address」「讓本來能一次disk IO解決東西,變成了需要二次disk IO才能解決」「可是今天都是用SSD……除非你要做報表時一次拿上百萬計的rows,否則你可以忽略其中效能分別」🗣️ 181(談 RDBMS 的 data block)

          🔭 套回原書

          • 同意選 NoSQL:10 億人、730 PB/年,就是 106 的「大型系統…要走Hbase那些方向」;原書點名的 Bigtable 正是 HBase 的原型。
          • 原書要的特性 = 080 的 HBase:一個 PK range 一個 node → 每信箱一個 primary、strong consistency。原書也提 Cassandra,但它是 AP 向,和原書自己的需求相衝。
          • 同意資料模型:<user_id, folder_id> + email_id 遞減,和 062 的 (chatroomId, createTs) 同一個想法:收件匣是一次 range scan。
          • 否決 RDBMS 的理由要換:181 說大欄位外置只多一次 IO、SSD 上可忽略;真正的理由是規模和搜尋。
          • 反正規化的代價:已讀未讀 DELETE 後 INSERT(第 32 頁),沒有跨表 transaction 就要自己處理中途當機。

          Triton 線附件

          🔭 25 MB 的附件:放 object store,而且要用 stream 處理

          你猜猜看:收信的 server 同時處理 400 封信、每封附件 20 MB,全部先整封讀進記憶體再處理。大概要多少記憶體?

          「有人說: File 應該以 BLOB物件放到 Main DB ,但是 – File 一般建立後極少被改動 – RDBMS 一般用上系統中最高級的 SSD ,而 File 一 般不需要這種效能」🗣️ Triton 本人說 073-lesson3.pdf.md · File DB

          「即使你看完總共23GB的影片也好,你也只用上了固定的很小塊Memory。」「如果一份data只會用一次的,你應該用streaming的手段來處理。」「千萬不要先做一個階段再把整份data放memory。」🗣️ Triton 本人說 130-喵談 io streaming.md

          🗣️ 130 也問:「如果用戶丟上來的是zip bomb呢?」整份讀進記憶體再解壓,一個 request 就能讓你 OOM。

          🔭 動手試:收信時同時處理多少封帶附件的信

          • 同意原書把附件放 S3、不放 Cassandra:073 的理由(檔案很少改、不需要 DB 等級的 SSD)比原書的「Cassandra 實際上限 <1 MB」更普遍。
          • 原書沒講的:SMTP server 收進 Base64 附件、病毒掃描、轉存 S3,每一步都是 130 說的「只用一次的 data」,該串成 Reader → Writer。

          Triton 線Real-time servers · failover

          🔭 新信推送是 Signal:掉了沒關係,重連時 GET 補回來

          你猜猜看:原書是「在線就推、離線就存」。Bob 的手機斷線,real-time server 推的「有新信」沒送到,那封信會?

          「Signal – 要高度即時性 – 丟失沒太大差」「如果 UserB斷線了,用 GET API也能得到斷線期間的留言」「所以, chatroom系統內的是 Signal,不是Message」🗣️ Triton 本人說 078-mq-intro.pdf.md · chat 的例子

          「如果你是要把 Message 推送到手機上,請使用 GCM / APNS ,別自行來架 Server」「除非你的系統流量很大,用 AS處理 Long Polling 便好」🗣️ 073 · Long Polling Server

          「stateful component是HA中麻煩的」「有HA不代表系統完全零秒的Downtime, 有HA只代表有single component掛了後系統能自動短時間內回復。(一般來說「短時間」=數分鐘內)」🗣️ Triton 本人說 017-High Availability stateful component vs stateless component.md

          「最重要一點:別引起全面+長時間(>數分鐘)的停止服務」🗣️ 073 · 沒有 Single Point of Failure

          🔭 套回原書

          • 同意收信流程的分工:原書第 7–10 步是「在線就推、離線就存,上線後 RESTful API 拉」(第 28 頁),跟 078 的 chat 模式一樣:WebSocket 只是加速,GET 才是保證。所以 real-time server 掛了、推送丟了,信也不會掉。
          • 同意 long polling 退路:原書的「能用 WebSocket 就用,不行退回 long polling」,073 的版本更省:流量不大時直接用 application server 做 long polling,不必另架。手機就交給 GCM / APNS。
          • 同意一致性取捨:原書「failover 期間信箱暫停」(第 36 頁),正是 017 的 HA 定義:不是零秒 downtime,是幾分鐘內自動恢復。017 還說 failover 有數不清的地方會出錯,請用 AWS RDS multi-AZ 這類別人建好的方案。

          到這裡你已經會了小結 5 / 5

          1. SMTP
          2. IMAP / POP
          3. MX record
          4. Base64
          5. object store
          6. search index
          7. message queue
          8. spam filter
          9. partition key
          10. primary / failover
          11. reputation
          12. email authentication
          13. Signal / Message

          到這裡你已經會了:Triton 線

          13 階全部走完了

          下一頁用一句話收尾;再下一頁是名詞小卡,給大家課後複習。

          一句話記住

          寄得出去不算數,
          送得進收件匣、掉不了、找得到,才算數。

          原書的骨架

          • Web servers + real-time servers + 四件式儲存層
          • 寄信:驗證 → outgoing queue → SMTP workers → MX
          • 收信:SMTP servers → incoming queue → 處理 → 存、在線就推
          • user_id 分區、TIMEUUID 排序、已讀未讀反正規化
          • 暖身 2–6 週、feedback loop、SPF/DKIM/DMARC

          原書最難的兩件事

          • 可送達性:靠信譽和 ISP 關係,不是靠架構
          • 搜尋:寫入遠多於讀取,又要即時準確;小規模 ES,Gmail 規模內建

          Triton 線

          • 🗣️ sendEmail library 只寄信,business logic 留在 application layer
          • 🗣️ 重設密碼 token 不進 access log、讓亂試可以被分析
          • 🔭 郵件是 Message:真正的 MQ;新信通知是 Signal
          • 🔭 先問 RDBMS 能不能搜;附件用 stream

          本章名詞小卡課後複習用 · 每個名詞一句白話

          今天出現的名詞,一句話講完

          mail server郵件伺服器,就是那間郵局
          SMTP郵局之間(和你交信給郵局時)說好的送信對話
          POP整疊帶回家,郵局那份刪掉
          IMAP信留在郵局,先看清單、點開才拿
          webmail / HTTPS用瀏覽器收發信;這章的 client 走 HTTP
          DNS網路上的地址簿
          MX record地址簿裡寫「收件郵局」的那幾行
          priorityMX 的順位,數字小的先送
          Base64把檔案翻成文字,大約胖 33%
          MIME在信裡標明「這段是附件、什麼檔」的規格
          Maildir單機時代「一封信一個檔案」的存法
          PB一百萬 GB,大約一千顆 1 TB 硬碟

          給工程師的重點出處與標籤

          引述來源與原書對照

          Triton 本人的講義 / 文章(materials/core)

          • 103-分享一下夢境中的一些小事吧:.md — sendEmail library、HMAC 的 if 被否決、PostProcessor(直接談 email)
          • 178-經電郵拿回帳戶.md — 重設密碼信的 UUID 流程與安全反思(主文;HMAC 建議等回覆作者未標示,標 💬)
          • 071-lesson2.pdf.md — auth token 不放 query string、emailAuth middleware(直接談 email)
          • 093-trion 加密 經典文章.md(=161 排版版)— 別把密碼寄回用戶;感想與 Sam Wong 共同
          • 073-lesson3.pdf.md — 越少模組越好、先在 RDBMS 做 searching、GCM worker 取捨、Search DB 時差、File DB、Long Polling、SPOF
          • 078-mq-intro.pdf.md、030-Redis 不能當 queue 原因.md、020-MQ解法.md、138-喵談 rabbitMQ 和 kafka.md — Message vs Signal、MQ 先寫磁碟後 ack、Redis 不當 queue、outstanding_tasks、1K msg/s 門檻
          • 106-喵 data.md、080-nosql-intro.pdf.md、062-im-system design.pdf.md、181-請先理解在RDBMS世界中….md — 不能掉的資料、HBase CA 與 range scan、Cassandra AP、SSTable、物理相鄰、blob 外置
          • 130-喵談 io streaming.md、017-High Availability….md、046-aws-sharing.pdf.md — streaming、HA 定義、代管 ES

          上課筆記:058(Roy 的筆記,標 📝)。沒有引用 PRODUCTION.md 列為不可引的檔案。

          循序漸進(文組版)的頁面

          學習地圖(第 3 頁);延伸基礎 13 階:SMTP(6)、IMAP / POP(7)、MX record(11)、Base64(14)、object store(20)、search index(21)、message queue(24,複習)、spam filter(27)、partition key(30)、primary / failover(35)、reputation(37)、email authentication(40)、Signal / Message(53,複習);小結(13、23、34、43、59);名詞小卡(61)。Alice 與 Bob、喵喵銀行、.example 網域是虛構的;分數、容量等示意數字不是原書的。

          原書對照

          Alex Xu & Sahn Lam, System Design Interview Vol.2 Ch.8。開場與 Figure 1(第 5 頁)、Step 1 問答與非功能需求(8)、估算(9)、Email protocols(10)、DNS 與 Figure 2(12)、Attachment(15)、Traditional mail servers 與 Figure 3(16)、Storage 與 Figure 4(17)、Email APIs(18)、架構與 Figure 5(19–22)、寄信流程與 Figure 6(25–26)、收信流程與 Figure 7(28)、Metadata 特性與選型(29)、Data model 與 Table 1–4(31–32)、Threads 與 Table 5(33)、Consistency(36)、Deliverability 與 Figure 8–9(38–42)、Search、Table 6–7 與 Figure 10–11(44–46)、Scalability 與 Figure 12(47)、Wrap up(48)、Chapter summary(49)。圖表都依原書圖說與 alt 重繪,不是原圖;Figure 1(logo)不重繪;Figure 9 截圖改線框;Table 3 與 Figure 9 的 alt 擷取時被截斷,依原書 HTML 的完整 alt。原書參考資料包括 RFC 1939、RFC 6154、JMAP over WebSocket(RFC 8887)、JWZ threading、Amazon SES 的 IP warming、Verizon DBIR 2018、QQ 郵箱的 Elasticsearch 實踐。

          一個可以直接問自己的問題

          你的系統寄出的信,如果 SMTP worker 在送出前一秒當機,這封信會不見、重寄兩次,還是在某個地方等著被重送?

          ← → 翻頁 · S 講者備註 · D 深/淺色
          1 / 1目錄