System Design Interview · 第 2 章Triton 覆蓋度:🟡 中Triton 線
Back-of-the-envelope Estimation
在信封背面算出系統要多大
原書這章是一張工程師的常識小抄:2 的冪次、延遲數字、可用性有「幾個 9」,最後用一題 Twitter 的 QPS 和儲存量練習。Triton 不反對估算,他常要人先「了解 N」。不過他會補兩句:容量要靠壓測量出來,而且「幾個 9」不等於 HA。
給文組
不用會寫程式,只用高中數學:數零、百分比、乘除心算。全程用一家手搖飲料店,一階一階爬 12 個概念。頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。
給工程師
原書的三張表和 Twitter 例子都做成可以算的版本;最後一頁列出所有引述的出處(materials/core)。
標籤怎麼看
📖 原書 🗣️ Triton 本人說 🔭 依 Triton 原則推論 📅 2026 補充
先用生活理解平均 vs 尖峰
飲料店一天賣 1,000 杯,那「每秒」賣幾杯?
把一天的量除以一天的秒數 86,400,就是原書算 QPS(Query Per Second,每秒請求數)的方法。
記一個數字:一天 ≈ 105 秒(86,400 ≈ 100,000)。一天 1,000 萬次 ÷ 105 ≈ 每秒 100 次,心算就能做。
但是店員最怕的從來不是平均,是中午 12 點那一波。切到「真實的一天」和「10 點限量開賣」看看,尖峰會變成平均的幾倍。
這章的兩個主角:QPS 和 Peak QPS(尖峰)。原書說尖峰 ≈ 平均的 2 倍;Triton 看過的是 10 秒內 20 倍(第 32 頁)。
學習地圖本章的概念階梯
今天爬 12 階。每一階只用前面講過的東西。
- 1數量級數有幾個零
- 2byte資料的一格
- 3latency要等多久
- 4memory / disk桌上 vs 倉庫
- 5availability有開門的比例
- 6HA少一人不停擺
- 7DAU每天來幾人
- 8QPS每秒幾次
- 9peak最忙那一刻
- 10storage倉庫要多大
- 11bottleneck最慢那一站
- 12round trip跑了幾趟
第 1–3 階 · 數字怎麼讀
要回答:原書的單位表、延遲表在說什麼?
第 4–6 階 · 快慢與可靠
要回答:「幾個 9」到底是什麼意思?
第 7–10 階 · 估出系統多大
要回答:原書怎麼估 Twitter?
第 11–12 階 · Triton:估完要量
要回答:估出來的數字,怎麼驗證?
全程只用一家店:阿珠手搖飲(虛構)
數學只用三樣:數零、百分比、乘除心算。每爬 3 階左右,有一頁「到這裡你已經會了」。
原書什麼是 back-of-the-envelope estimation
用思考實驗加上常見數字,判斷哪個設計行得通
這一步要解決的問題面試官問「這系統要多大?」手上沒有資料,也要在幾分鐘內給出一個不離譜的數字。
“Back-of-the-envelope calculations are estimates you create using a combination of thought experiments and common performance numbers to get a good feel for which designs will meet your requirements.”📖 原書引用 Jeff Dean(Google Senior Fellow) 參考資料 [1]
📖 原書 系統設計面試中,有時會要你用粗略估算來估計系統容量或效能需求。要做好估算,得先熟悉三個 scalability 的基本概念:
① Power of two
資料量單位:KB、MB、GB、TB、PB。第 7 頁
② Latency numbers
每個工程師都該知道的延遲數字(2010)。第 9–14 頁
③ Availability numbers
幾個 9 對應多少停機時間。第 16–18 頁
白話:scalability=系統變大時還撐不撐得住;thought experiment(思考實驗)=不動手做,先在腦中推演。
📖 原書 這章的結構
- 三個基本概念與三張表(Table 1–3)、Figure 1
- 範例:估算 Twitter 的 QPS 與儲存需求(第 26–27 頁)
- Tips:四捨五入、寫下假設、標單位、常考的題目(第 28 頁)
原書強調:估算重在過程,解題過程比算出的結果重要,面試官要看的是你的解題能力。
文組翻譯
辦桌前先在信封背面算:「200 個客人,一桌 10 人,要 20 桌;每桌 10 道菜……」算得不準沒關係,重點是不會訂成 2 桌或 200 桌。這就是「同一個數量級」的估算。
延伸基礎第 1 階 · 數量級懂的人可以跳過
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
1,000 杯和 1,000,000 杯,差在哪裡?
① 先想像
阿珠一家店一天賣 1,000 杯。開到全台 1,000 家分店,一天賣 1,000,000 杯。
你猜猜看:1,000,000 是 1,000 的幾倍?
數零最快:1,000,000 有 6 個零,1,000 有 3 個零,差 3 個零,就是 1,000 倍。
③ 這叫做數量級、10ⁿ
數量級:一個數有幾個零。10ⁿ(科學記號):1 後面接 n 個零,例如 10³ = 1,000。
④ 跟這章的關係
估算只要零的個數對。差 2 倍沒關係;差 3 個零,就會選錯設計。
② 動手玩:乘法就是把零加起來
反過來,除法就是把零減掉:100,000 ÷ 100 = 5 個零 − 2 個零 = 1,000。
延伸基礎第 2 階 · byte懂的人可以跳過
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
一張飲料訂單,佔電腦多少空間?
① 先想像
電腦存字,一個英文字母佔一格。一張訂單「Bubble tea, less sugar, x1…」大約 100 個字母,就佔 100 格。
你猜猜看:1,000 張訂單,每張 100 格,共幾格?
100 × 1,000 = 2 個零 + 3 個零 = 5 個零 = 100,000 格。電腦的說法是 100 KB。
③ 這叫做 byte、KB / MB / GB
byte:電腦存資料的一格,一個英文字母 1 byte。KB → MB → GB → TB → PB:每升一級多 3 個零。
④ 跟這章的關係
原書 Table 1(下一頁)就是這張單位表。電腦其實是 ×1,024,估算時當成 ×1,000。
② 動手玩:存多少張訂單?
原書① Power of two · Table 1
210 ≈ 1,000:資料量的單位
這一步要解決的問題資料量大到幾十億 bytes,要怎麼讀、怎麼算,才不會把單位搞錯?
📖 原書 分散式系統的資料量可以非常大,但計算最後都回到基本功。要算對,得先知道用 2 的冪次表示的資料量單位。1 byte = 8 bits,一個 ASCII 字元佔 1 byte。
| Power | Approximate value | Full name | Short name |
|---|---|---|---|
| 10 | 1 Thousand | 1 Kilobyte | 1 KB |
| 20 | 1 Million | 1 Megabyte | 1 MB |
| 30 | 1 Billion | 1 Gigabyte | 1 GB |
| 40 | 1 Trillion | 1 Terabyte | 1 TB |
| 50 | 1 Quadrillion | 1 Petabyte | 1 PB |
📖 原書 Table 1資料量單位
補充:中文字在 UTF-8 通常佔 3 bytes,不是 1 byte。估中文內容時記得乘 3。
白話:bit=0 或 1 的一個小開關;ASCII=英文字母、數字的編碼表;power of two=2 的冪次,210 就是 10 個 2 相乘。
動手玩:如果 1 byte = 1 秒
精確值 220
近似值 106
延伸基礎第 3 階 · latency懂的人可以跳過
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
珍珠放在哪裡,決定一杯要等多久
① 先想像
店員每做一杯都要拿珍珠。珍珠放在手邊、後面冰箱、樓下倉庫,還是另一個城市的中央工廠?
你猜猜看:每杯都要開車去中央工廠拿珍珠,來回 1 小時。一小時能做幾杯?
每杯都卡在那一趟。東西放多遠,決定了做得多快。右邊切換看看。
③ 這叫做 latency
latency(延遲):從要東西到拿到,中間等的時間。電腦的單位是 ms、µs、ns,每往下一級少 3 個零。
④ 跟這章的關係
原書 Table 2(下一頁)列的就是:電腦裡東西放在哪裡、拿一次要多久。
② 動手玩:珍珠放在哪裡?
原書② Latency numbers every programmer should know · Table 2
從 0.5 奈秒到 150 毫秒:差了 3 億倍
這一步要解決的問題電腦裡哪些事快、哪些事慢?慢的到底慢多少?
點任一列看它換成人類時間是多久。長條是對數刻度。
📖 原書 Google 的 Dean 博士公布了 2010 年典型電腦操作的時間。電腦越來越快,有些數字已經過時,但仍能讓我們知道不同操作的快慢關係。
ns = nanosecond, µs = microsecond, ms = millisecond
1 ns = 10-9 s 1 µs = 10-6 s = 1,000 ns
1 ms = 10-3 s = 1,000 µs = 1,000,000 ns
文組翻譯
把 L1 cache 放大成「1 秒」:讀主記憶體像去巷口便利商店(3 分多鐘);機房內來回一趟像出國 11 天;硬碟 seek 像等 7 個多月;加州到荷蘭來回一個封包,要 9 年半。
白話:cache=CPU 手邊的小抽屜(L1 最近、L2 次之);main memory=主記憶體;mutex=輪流用的鎖;Zippy=Google 的快速壓縮程式;datacenter=機房;Gbps=每秒傳幾十億個 bit。
切到「Figure 1 的 2020 值」,看看十年間哪些變快(綠)、哪些變慢(紅)、哪些沒動(第 14 頁解釋)。
原書Figure 1 · 2020 年的延遲數字視覺化
原書 Figure 1:方塊越大,花的時間越長
這一步要解決的問題數字差了上億倍,怎麼用一張圖一眼看出誰快誰慢?
📖 原書 一位 Google 工程師做了一個工具,把 Dean 博士的數字視覺化,並把時間因素也算進去。Figure 1 是截至 2020 年的結果。
原書描述:黑色方塊是 L1、branch mispredict、L2、mutex、在一般網路送 2,000 bytes、SSD random read、從記憶體順序讀 1,000,000 bytes;綠色是機房內來回和另一項 1,000,000 ns;藍色是 main memory reference、Zippy 壓縮 1KB 和另一項 10,000 ns;紅色是 SSD 順序讀、disk seek、硬碟順序讀,以及加州到荷蘭的封包來回。
重繪說明:原圖用方塊大小表示時間。最快和最慢差了 1 億倍,同一張圖畫不下,所以這裡的邊長取對數。描述裡沒有寫名稱的兩項,照樣標「未標名稱」。
到這裡你已經會了小結 1 / 4
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
到這裡你已經會了:數字怎麼讀
- 估算只要數零:乘法把零加起來,除法把零減掉(數量級)。
- 資料量用 byte 算;KB → MB → GB → TB → PB,每升一級多 3 個零。
- 拿東西要等的時間叫 latency。電腦裡最近和最遠的東西,差了上億倍。
下一階要解決的問題
電腦裡「近的」和「遠的」各是什麼?原書為什麼說要避免 disk seek?
延伸基礎第 4 階 · memory / disk懂的人可以跳過
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
桌上的備料 vs 倉庫裡的紙箱
① 先想像
桌上的備料伸手就拿,但桌子很小。倉庫又大又便宜,可是每拿一箱都要先走到那一箱前面。
你猜猜看:走到一箱前面要 10 秒、搬一箱 1 秒。要拿的 10 箱散在 10 個角落,共要多久?
每箱都要先走 10 秒再搬 1 秒:10 × 11 = 110 秒。如果 10 箱排在一起,只要走一次:10 + 10 = 20 秒。
③ 這叫做 memory、disk
memory(記憶體):桌上的備料,快但小、貴。disk(硬碟):倉庫,大又便宜,每次「走過去」都很慢。
④ 跟這章的關係
「走過去」原書叫 disk seek。下一頁的結論:記憶體快、硬碟慢,能避免 disk seek 就避免。
② 動手玩:拿 n 箱
原書從 Figure 1 得到的五個結論
記憶體快、硬碟慢、跨機房很遠
這一步要解決的問題看完這堆數字,設計系統時該記住哪幾件事?
📖 原書 分析 Figure 1 的結論
- 記憶體快,硬碟慢
- 能避免 disk seek 就避免
- 簡單的壓縮演算法很快
- 可以的話,資料先壓縮再透過網路傳送
- 資料中心通常分在不同地區,彼此傳資料需要時間
🗣️ Triton 也這樣說「Random IO是Sequential IO的1 / 10效能也沒有。」他在原文連寫三次。104 第 36 頁會用這句話算一個真實的查詢。
小遊戲:誰比較快?
點比較快的那一個。
📅 2026 補充這張表過時了嗎?
數字會變,「誰比誰慢」不太會變
📅 2026 補充 只寫有把握的
- Table 2 是 2010 年的,沒有 SSD 這一列。今天資料庫多半跑在 SSD 上,原書的 Figure 1 才出現 SSD random read(16,000 ns)。
- Figure 1 的 2020 數字是依趨勢推算的,不全是實測。例如在一般網路送 2,000 bytes 只要 44 ns,換算等於約 360 Gbps;disk seek 2 ms 也比一般 7200 轉硬碟光是平均旋轉等待(轉半圈 ≈ 4.17 ms)還短。
- 跨洲延遲有光速下限。光在光纖裡每秒約走 20 萬公里,加州到荷蘭直線約 9,000 公里,來回最少約 90 ms。150 ms 到今天仍是合理的量級,硬體再進步也砍不掉。
- 不變的是順序:記憶體 ≪ SSD ≪ 機房內來回 ≪ 硬碟 seek ≪ 跨洲。原書的五個結論今天仍然成立。
「當Main memory比你的系統會用上的Active data都要多時,你的Data和index就會長期以OS cache和DB cache方式留在Memory。讓你的Read IO連SSD都用不上直接是以ns級別來讀取。」🗣️ Triton 本人說 116-喵看 RDS.md
「SSD普及後,IO越來越不再是系統的bottleneck。今天,對肯花得起錢的系統來說,bottleneck反而回到了CPU上。」🗣️ Triton 本人說 116-喵看 RDS.md
🔭 推論 套到估算上:先問「我的 active data 放不放得進一台機器的 RAM」。放得進,原書表裡那些 disk 數字大半用不到;放不進,才輪到 SSD 和 disk 的數字。
延伸基礎第 5 階 · availability懂的人可以跳過
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
「我們 99% 的日子都有開」,一年關幾天?
① 先想像
阿珠說:「我們 99% 的日子都有開。」聽起來很高。換成天數看看。
你猜猜看:一年 365 天,99% 有開,大約關了幾天?
沒開的是 100% − 99% = 1%:365 × 1% = 3.65 天。
③ 這叫做 availability
availability(可用性):一段時間裡,服務正常的比例。業界說「幾個 9」:99.9% 叫「3 個 9」。
④ 跟這章的關係
原書 Table 3(下一頁)把每個 9 換成停機時間。Triton 對「幾個 9」有意見(第 19 頁)。
② 動手玩:一年切成 100 格,一格 ≈ 3.65 天
原書③ Availability numbers · Table 3
多一個 9,停機時間少 10 倍
這一步要解決的問題「99.99%」換成停機時間,一天、一年各是多久?
📖 原書 High availability 是系統能長時間持續運作的能力,用百分比衡量;100% 代表零停機。大多數服務落在 99% 到 100% 之間。
| Availability | 每天 | 每週 | 每月 | 每年 |
|---|---|---|---|---|
| 99% | 14.40 min | 1.68 h | 7.31 h | 3.65 days |
| 99.99% | 8.64 s | 1.01 min | 4.38 min | 52.60 min |
| 99.999% | 864.00 ms | 6.05 s | 26.30 s | 5.26 min |
| 99.9999% | 86.40 ms | 604.80* | 2.63 s | 31.56 s |
📖 原書 Table 3照原書列出;原書沒有 99.9% 這一列(左邊工具有)。*原書此格漏了單位,算起來是 604.80 ms。
白話:high availability=高可用性;uptime=正常營業的時間;downtime=停機時間。
延伸基礎第 6 階 · HA懂的人可以跳過
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
只有一位店員會煮珍珠,她請假怎麼辦?
① 先想像
煮珍珠只有小美會。她請假那天,整家店都不能賣珍奶。
你猜猜看:小美 10% 的日子會請假。再請阿明也學會煮,他也是 10% 會請假。兩人同一天都請假的機率?
兩件事同時發生,機率相乘:10% × 10% = 1%(假設兩人各自請假,互不影響)。
③ 這叫做 SPOF、HA
SPOF(single point of failure):一壞就全停的那一個。HA(high availability):沒有 SPOF,壞了也能自己很快恢復。
④ 跟這章的關係
原書用「幾個 9」講可用性。Triton 講 HA 看的是:有沒有 SPOF、要不要人半夜爬起來(第 19 頁)。
② 動手玩:每位店員 10% 的日子請假
原書 SLA · Triton 補充串起來的元件越多,可用性越低
SLA 寫 99.9%,你的系統就是 99.9% 嗎?
這一步要解決的問題雲端廠商保證 99.9%,整個系統串起來之後還剩多少?
📖 原書 SLA(service level agreement)是服務提供者和客戶之間的協議,正式定義服務的 uptime 水準。Amazon、Google、Microsoft 等雲端業者把 SLA 定在 99.9% 以上。Uptime 傳統上用「幾個 9」來算,9 越多越好。
「一份工作要用上的 component 越多,它的Availability 就會越低」🗣️ Triton 本人說 051-concurrency.pdf.md · 延伸思考:Micro-service
同一頁 Triton 舉的壞例子:「用戶 → ServA → ServB → Database」,「ServB一旦死掉,依賴 ServB的 service會全滅」。051
文組翻譯:老式聖誕燈串
老式燈串是串聯的,一顆燈泡壞了整串都不亮。每顆 99.9% 可靠,串 8 顆就只剩 99.2%。
🔭 推論 串聯相乘、並聯用 1 −(壞的機率相乘)是機率的基本算法,假設元件各自獨立壞掉;備援那個選項對應 Triton 對 HA 的第一條定義「沒有 single point of failure」(下一頁)。
Triton 不同意「幾個 9」不是 HA 的定義
❌ 常見說法 「4 個 9 = 每天只能停 8.64 秒」
你猜猜看:主資料庫掛了,系統 1 分多鐘後自己切到備用的那台,沒有人要半夜起床。照 99.99%「每天只能停 8.64 秒」來看,這算 HA 嗎?
Triton 的 HA:沒有 SPOF,壞了不用人救、幾分鐘內自己恢復。下面是他的原話。
Triton 轉貼 ByteByteGo 的原文:“4 nines”, 99.99% uptime, means the service can only be down 8.64 seconds per day.(和原書 Table 3 的同一格數字)然後寫:
「過份簡化的知識/或是知識內的一點點偽資訊,其毒性甚至tiktok更甚……」🗣️ Triton 本人說 017-High Availability stateful component vs stateless component.md
「傳統上我們談High Availability(以下簡稱HA)我們是指:1. 系統中沒有single point of failure 2. 如果single component掛掉,是不需要人類即時行動。」
「有HA不代表系統完全零秒的Downtime, 有HA只代表有single component掛了後系統能自動短時間內回復。(一般來說「短時間」=數分鐘內)」🗣️ Triton 本人說 017
動手試:主資料庫掛了(Triton 描述的 PostgreSQL HA)
四個步驟照 017 原文:① main 掛了 ② 一分鐘後因為沒回 heartbeat 觸發系統行動 ③ standby promotion 成新的 main ④ pgpool 改 configuration 把 transaction 丟給新的 main。
Triton 補充停機時間真正從哪裡來
系統很少是被流量打掛的
你猜猜看:Triton 在台灣工作 3 年見過的系統趴掉,最多是因為什麼?
六成是程式 bug,兩成是有人直接在 production(正式上線的系統)做笨事。流量不在清單上。
Triton 在台灣工作 3 年見證過的系統趴掉原因 155
點一條看 Triton 舉的例子。
「如果有正確設定好的系統,其實是不會因為高流量而當掉的。」🗣️ Triton 本人說 155-如果有正確設定好的系統….md
「24x7是指沒有計劃外的 downtime,不是沒有 downtime」「魔獸世界也是每星期 planned downtime一次」🗣️ Triton 本人說 065-lesson0.pdf.md · 別誤解 24x7
🗣️ Triton 本人說 對第三方的 SLA:「別用main process來接第三方系統 – 你真的信什麼 SLA 99.99% 嗎」051
🔭 推論 原書的 Table 3 讓人以為可用性是「硬體壞掉的機率」。Triton 的清單說的是:80% 的停機來自程式 bug 和人為操作,所以 9 的多寡取決於 code review、權限控管和部署流程,買更貴的機器幫不上忙。
到這裡你已經會了小結 2 / 4
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
到這裡你已經會了:快慢與可靠
- memory 快但小,disk 大但慢;最傷的是跳來跳去找(disk seek)。
- availability 是正常營業的比例。每多一個 9,停機時間少一個零。
- 串起來的元件越多越容易全滅。HA = 沒有 SPOF,壞了幾分鐘內自己恢復;停機多半來自 bug 和人。
下一階要解決的問題
系統到底要多大?先估:每天有多少人、每秒來幾次、要存多少資料。
延伸基礎第 7 階 · DAU懂的人可以跳過
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
點餐 app 一個月有 30 萬人用過,每天有幾人?
① 先想像
阿珠出了點餐 app。有人天天買,有人一個月才來一次。
你猜猜看:一個月有 30 萬人打開過,其中一半的人天天來。每天打開 app 的有幾人?
30 萬 × 50% = 15 萬。乘上百分比就好。
③ 這叫做 MAU、DAU
MAU(monthly active users):一個月內用過的人數。DAU(daily active users):一天內用過的人數。
④ 跟這章的關係
原書 Twitter 估算從 MAU 3 億開始,第一步就是 × 50% 得到 DAU。
② 動手玩:MAU × 天天來的比例 = DAU
延伸基礎第 8 階 · QPS懂的人可以跳過
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
一天 1,000 萬次點擊,每秒是幾次?
① 先想像
每天 10 萬人打開 app,每人按 100 下。店家的電腦,每秒要接幾下?一天 86,400 秒,心算當成 10⁵ 秒。
你猜猜看:一天 1,000 萬(10⁷)次,÷ 10⁵ 秒,平均每秒幾次?
除法就是減零:7 個零 − 5 個零 = 2 個零 = 100。
③ 這叫做 request、QPS
request:app 送給店家電腦的一次要求(按一下)。QPS(queries per second):每秒進來幾個 request。
④ 跟這章的關係
原書 Twitter 估算的第一個答案,就是 QPS ≈ 3,500。
② 動手玩:除法就是減零
心算永遠比精確值少算約 14%。估算時,這樣的誤差完全夠用。
延伸基礎第 9 階 · peak懂的人可以跳過
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
平均每分鐘 1 杯,開賣那 10 分鐘呢?
① 先想像
阿珠一天賣 1,440 杯,一天 1,440 分鐘,平均每分鐘 1 杯。可是 10 點限量新品開賣,人全擠在前 10 分鐘。
你猜猜看:開賣那 10 分鐘賣掉 400 杯。那 10 分鐘裡每分鐘的杯數,是平均的幾倍?
400 ÷ 10 = 每分鐘 40 杯,平均是 1 杯,所以是 40 倍。店員要照 40 杯準備,不是照 1 杯。
③ 這叫做 peak
peak(尖峰):最忙的那一段。peak QPS 就是最忙那一秒的 QPS。系統是在尖峰倒的,不是平均。
④ 跟這章的關係
原書直接用「Peak = 2 × 平均」。Triton 見過 10 秒內 20 倍(第 32 頁)。
② 動手玩:開賣 10 分鐘賣掉幾杯?
延伸基礎第 10 階 · storage懂的人可以跳過
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
訂單紀錄存 5 年,要多大的倉庫?
① 先想像
每張訂單都要留著對帳。一天一天累積下來,倉庫會越來越滿。
你猜猜看:每天 1,000 張,每張 1 KB,存 5 年(約 2,000 天)。大約要多大?
1 KB × 1,000 = 1 MB/天;× 2,000 天 = 2,000 MB ≈ 2 GB。一支手機就裝得下。
③ 這叫做 storage
storage(儲存量):總共要存多少資料。算法只有一行:每天幾筆 × 每筆多大 × 存幾天。
④ 跟這章的關係
原書 Twitter 的第二個答案:媒體存 5 年 ≈ 55 PB(下一頁)。
② 動手玩:每天幾筆 × 每筆多大 × 幾天
原書範例Estimate Twitter QPS and storage requirements
原書的 Twitter 估算:五個假設、兩個答案
這一步要解決的問題只有幾個假設,怎麼估出「每秒幾次」和「要存多少」?
📖 原書 假設(不是 Twitter 的真實數字)
- 月活躍用戶 300 million
- 50% 的用戶每天使用
- 平均每人每天發 2 則推文
- 10% 的推文含媒體
- 資料保存 5 年
📖 原書 估算
DAU = 300 million × 50% = 150 million
Tweets QPS = 150 million × 2 / 24 h / 3600 s ≈ 3500
Peek QPS = 2 × QPS ≈ 7000
平均推文大小:tweet_id 64 bytes · text 140 bytes · media 1 MB
Media storage = 150 million × 2 × 10% × 1 MB = 30 TB / 天
5 年 = 30 TB × 365 × 5 ≈ 55 PB
原書說這裡只估媒體儲存。「Peek」是原書的拼法(應為 Peak)。
原書範例 · 動手算Twitter 估算計算機
換掉假設,看 QPS 和儲存量怎麼變
這一步要解決的問題假設換了,答案差多少?哪一個假設最要緊?
心算版(原書的 Tips)
🔭 延伸 原書列為常考題的「伺服器數量」
這個「一台扛多少」不能估,要量:「平日做stress testing去正確設定好系統容量」155
原書Tips
重在過程:四捨五入、寫下假設、標單位
這一步要解決的問題面試時沒有計算機,怎麼算得快、又不把單位算錯?
📖 原書 ① Rounding and approximation
面試中很難做複雜運算,例如「99987 / 9.1」等於多少?不必浪費時間,不需要精確,用整數和近似值:「100,000 / 10」。
📖 原書 ② 寫下假設 ③ 標註單位
把假設寫下來,之後可以回頭參考。寫「5」是 5 KB 還是 5 MB?會把自己搞混,寫成「5 MB」就沒有歧義。
📖 原書 ④ 常考的估算
- QPS(第 27 頁)
- Peak QPS
- Storage
- Cache
- Number of servers
白話:cache=放常用資料、讀得很快的地方,要估放多少;number of servers=要幾台機器。
準備面試時可以多練習,熟能生巧。原書最後一句:恭喜你讀到這裡,給自己拍拍手。
🔭 推論 其中 cache 和 servers 原書沒有示範。Triton 線的看法:這兩個數字最終要靠壓測和監控,下一節開始講。
到這裡你已經會了小結 3 / 4
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
到這裡你已經會了:估出系統多大
- DAU = MAU × 每天會來的比例。它是一天的人數,不是同一秒的人數。
- QPS = 一天的次數 ÷ 10⁵ 秒;peak 再乘一個倍數,原書用 2 倍。
- storage = 每天幾筆 × 每筆多大 × 天數。原書 Twitter:約 3,500 QPS、5 年約 55 PB。
下一階要解決的問題
估出來的數字,怎麼知道機器真的扛得住?Triton 的答案是:量。
延伸基礎第 11 階 · bottleneck懂的人可以跳過
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
四個工作站,整家店每分鐘出幾杯?
① 先想像
一杯飲料要經過點單、搖飲、封口、出餐四站,每一站的速度不一樣。
你猜猜看:每分鐘點單 10 杯、搖飲 6 杯、封口 20 杯、出餐 12 杯。整家店每分鐘最多幾杯?
每杯都要經過搖飲,它一分鐘只做得出 6 杯。最慢那一站決定全店。
③ 這叫做 bottleneck、stress test
bottleneck(瓶頸):最慢、決定全體上限的那一站。stress test(壓測):叫一群假客人來,實際量出上限。
④ 跟這章的關係
估算告訴你大概要多大;每一站實際扛多少,Triton 說要用壓測量(下一頁)。
② 動手玩:叫假客人來壓測
Triton 補充估算之後:量
估算選方向,壓測定參數
你猜猜看:原書估出 Peak ≈ 7,000 QPS。一台機器扛得了幾 QPS,要怎麼知道?
每個系統的程式、資料、設定都不同,只量得出來,估不出來。
「好的開發者,應該: – 先正確地理解問題(請看後頁) – 了解 N (像是 QPS / user count / data size )」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md · 羅馬不是一天建成的
「要系統不趴掉,就是忍住沉悶,平日做stress testing去正確設定好系統容量,和設定好每一層的max_conn之類的參數囉。」🗣️ Triton 本人說 155 · 最後一句
「木桶能載多少水,是最矮那片木板來決定 – 你的系統能支持多少流量,是最弱的環節來決定」🗣️ Triton 本人說 051 · 小秘密
🔭 推論 原書的估算回答「需要哪一種設計」;Triton 在意的是另一半:每一層實際扛得住多少,只有壓測量得出來。
動手玩:木桶理論
怎麼找最矮那片:看 io wait、io throughput 有沒有出現「平原」、CPU、open connection、有沒有開很久沒 commit 的 transaction。「很多時db效能問題,最終root cause都是application層亂來引起的。」127
Triton 不同意情境差異:Peak = 2 × QPS?
尖峰不是平均的 2 倍,是 10 秒內 20 倍
📖 原書 Peek QPS = 2 × QPS ≈ 7000。
你猜猜看:照原書「Peak = 2 × 平均」準備機器,碰上熱門商品開賣,會怎樣?
開賣那幾秒可能是平均的 20 倍;臨時開新機器要幾分鐘,來不及。
「電商網站, 很多時候不能單純用auto-scaling的 我親眼見證10秒內20x的流量成長......」🗣️ Triton 本人說 119-喵看待館長流量.md(留言串,此段是 Triton 的 hypebeast 經驗)
「Auto-scaling是用來省錢的」「流量上升是慢慢的,不是爆發性的」
無法 auto-scaling 的:「電商網站開賣受歡迎商品 – 數秒內百萬用戶流入」;解法:「跟市場推廣同事合作,預先加開機器」🗣️ Triton 本人說 051 · Auto-scaling
原書的 2 倍適合 Twitter 這種「自然流量」;開賣、搶票、跨年訊息不是。
🔭 示意 流量曲線照 119「10 秒內 20x」;「開新機器要幾分鐘」是示意參數,不是 Triton 給的數字。
Triton 補充估算最常見的錯
把 DAU 當成每秒的 request 數
背景:有網紅說自己的電商網站每秒 10 萬 RPS。Triton 的反應:
你猜猜看:如果 10 萬其實是 DAU,每人每天 100 個 request、尖峰 5 倍,真正每秒約幾個?
10⁵ 人 × 100 = 10⁷ 次/天;÷ 10⁵ 秒 = 100;× 5 = 500。差了 200 倍。
「每秒10萬我有很大保留 每秒10萬RPS, 他MAU應該近百萬人才對」
「不如說, 我看他把DAU看成peak RPS吧 魔獸世界最高峰時台灣才100萬同時在線用戶」🗣️ Triton 本人說 119-喵看待館長流量.md(留言串)
「吐嘈一句:我遇過很多老闆都跟我說最終他的系統會concurrent 1M user 但是台灣WOW的最高在線人數才650K」🗣️ Triton 本人說 106-喵 data.md
兩份檔案的魔獸世界數字不同(100 萬 vs 650K),照原文保留。重點是量級:同時在線一百萬,已經是全台最熱門遊戲的等級。
動手算:DAU 換成真正的 peak RPS
🔭 推論 算法就是原書 Twitter 那一套:DAU × 每人次數 ÷ 86,400 × 尖峰倍數。每人每天幾個 request 是示意參數。
延伸基礎第 12 階 · round trip懂的人可以跳過
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
去倉庫拿 10 樣東西,一趟拿齊,還是跑 11 趟?
① 先想像
店員去倉庫補貨,來回一趟 5 分鐘。先跑一趟拿清單,清單上有 10 樣。
你猜猜看:拿到清單後,每樣東西各跑一趟,前後共要多久?
1 趟拿清單 + 10 趟拿東西 = 11 趟 × 5 分鐘 = 55 分鐘。照清單一次拿齊,只要 2 趟 = 10 分鐘。
③ 這叫做 round trip、query
round trip:來回一趟。query:程式向資料庫問一次問題;每問一次,就是一趟。
④ 跟這章的關係
真正吃掉時間的,常常是「跑了幾趟」,不是每一趟多快(下一頁)。
② 動手玩:每樣一趟 vs 一次拿齊
Triton 補充Triton 的延遲數字
真正吃掉時間的是「來回幾趟」
你猜猜看:Table 2 說機房內來回一趟 0.5 ms。程式實際問資料庫一次(一個 query),Triton 說大約多久?
除了網路,資料庫還要準備、規劃這次查詢。Triton 抓每次約 5 ms,是表上的 10 倍。
「即使你是沿用同一個database connection,但是你發出一個新的query的時候……1 TCP/IP會吃掉一些時間 2 資料庫把prepared statement拿出來,又會吃掉一點點時間 3 sql optimizer又吃掉一點點時間 即使每個select只吃掉5ms(這是算很不錯的數字了),單單因為這些overhead便浪費掉10 * 5ms = 50ms!」🗣️ Triton 本人說 150 · 留言板的例子
「如果你呼叫的api不是127.0.0.1,請預想每一層的呼叫可以消耗掉5ms以上。(視你網絡設定,可以更差)」🗣️ Triton 本人說 156-如果要講究response time.md
🔭 推論 原書 Table 2 的「機房內來回 500 µs」是網路本身;Triton 的 5 ms 是應用程式實際感受到的一次 query,大約是它的 10 倍。估 response time 時,數「來回幾趟」比查表更有用。
留言板一頁顯示 N 則留言和作者
文組翻譯:去超市買 10 樣東西,一次買齊(IN/JOIN)還是每樣跑一趟(N+1)?Triton:「除非你要大型系統玩microservice,否則這種nodejs -> php -> nodejs絕對是玩弄自己的」156
原書結論 × TritonAvoid disk seeks
為什麼加了 index,查詢反而更慢?
📖 原書 「能避免 disk seek 就避免」。Table 2:disk seek 10 ms,從硬碟順序讀 1 MB 30 ms。
你猜猜看:1,000 萬筆訂單裡找 1 萬筆。照目錄一筆一筆跳去拿,還是整個倉庫照順序搬一遍,哪個快?
硬碟跳一次 10 ms,1 萬次就是 100 秒;照順序讀完 2 GB 約 60 秒。就是第 12 頁的「走過去」最貴。
Triton 的真實案例:purchase_orders 約 10M 筆,用 create_date 查最近 7 天(少於 1 萬筆),每次要 20 多秒。
「在Index中拿到的row pointer,RDBMS還是需要做Random IO去tablespace中找回那一個row。Random IO是Sequential IO的1 / 10效能也沒有。」
「如果使用index後要跑10000次Random IO,RDBMS倒不如放棄掉index,乾脆用Sequential IO把整個tablespace掃瞄一次,這反而更快。」🗣️ Triton 本人說 104-利用Range Scan on Primary Key的好處.md
他的解法是讓查詢變成 primary key 的 range scan(InnoDB 依 PK 順序存放),用 sequential IO。還有一句:「資料庫重要原則:別為了報表去下index」104
動手算:一筆一筆跳著讀 vs 整張表掃一次
🔭 示意 假設表有 10M 筆、每筆 200 bytes(共 2 GB),每找一筆做一次 random read,不算 cache。數字來自原書 Table 2 與 Figure 1。
Triton 補充估出 N 之後
N 很小,就用最笨的方法
你猜猜看:地圖上 1 萬個點,每兩點都比一次距離,約 1 億(10⁸)次計算。電腦要跑多久?
電腦每秒可做 10⁸ 到 10⁹ 次簡單計算。N 小的時候,最笨的方法就夠了。
「如果才 10000 個點 單純 2 層 for-loop , O(n^2) solution 吧 – 現實跑起來應該少於1秒」「N 很小時, O(n^2) / O(n^3) 也好 1ms 和 0.1ms 對用戶感覺是沒差別的」🗣️ Triton 本人說 064 · Nearest Neighbour
🔭 推論 回頭看原書的 Twitter
原書只估了 media(55 PB),那是物件儲存的事。決定資料庫選型的是被略過的 tweet_id + text:每天約 61 GB,一年約 22 TB,遠超過 Triton 的 100 GB、1 TB 門檻。這題的結構化資料真的大到要討論 sharding。先把 N 估對,才知道該用暴力還是該用分散式。
動手玩:O(n²) 什麼時候才會慢?
🔭 示意 假設每秒可做 108–109 次簡單運算,這是常用的估算基準,不是 Triton 的數字。
- 「資料量不夠大 (<100GB) 就乖乖回去用 RDBMS 就好啦」054
- 「正常沒亂來的系統,在20core + 200GB RAM的暴力機器下,絕大部份都沒需要玩clustering」106
- 「一堆很賺錢的商業系統(像銀行),其總資料庫連1TB都不到」116
Triton 的估算示範用一行算術設定 connection pool
200 ms 裡有 1/3 在等資料庫,pool 該開多大?
你猜猜看:每個 request 有 1/3 時間在等資料庫、2/3 在自己做事。16 個在做事的店員(thread),大約要配幾條資料庫線?
做事 2/3、等待 1/3,所以「做事的 : 等的」= 2 : 1。16 個 thread 大約對應 8 條。這就是 Triton 說的「簡單算術」。
「我之前在hypebeast.com的系統嘛:Average Response Time大約是200ms,然後其中1/3時間是用在RDBMS上面的。」「在系統正常時等待DB的時間佔了1/3,那就代表每2個在App. Server運作中的CPU thread,就有一個相對應的DB connection。(這是簡單算術吧)」🗣️ Triton 本人說 055-database connection pool size.md
「所以這時的如果connection pool沒設上限,CPU thread : DB connection就會從本來的 2 : 1慢慢瘋到 1 : 10」🗣️ Triton 本人說 055
他的結論是 pool 上限設在 App server CPU thread 的 25%–50%,並且說明「「25% - 50%之間」是根據我之前實戰的經驗的,你的數字可能跟我不完全相同。」055
文組翻譯:Triton 的小店比喻,「小店為何只有10個座位,因為他的廚師就是那麼多人手,再開多的座位只是讓客人等更久而不是增加了throughput。」055
Triton 補充成本也是估算題
「系統要花多少錢?」——5K 到 5M NTD 吧
你猜猜看:有人只問 Triton「一個系統的 server 要花多少錢?」他怎麼回?
沒有讀寫比、延遲要求、流量,答案可以差一千倍。他的原話在下面。
「這樣子其實就跟別人問「組一台電腦要用多少錢」一樣:5K到5M NTD吧」「你說不清的的需求,別人除非會「問米」,否則是沒可能答得出什麼有意思的回答的。」🗣️ Triton 本人說 166-有人問一個系統的server cost要用上多少錢。.md
「C10K其用上的東西,和C10其實是沒分別的。(更高流量我不敢亂說)但是,C10時你做的笨事也許不會被發現,C10K就很容易server outage / partial outage。」🗣️ Triton 本人說 166 · 第 6 點
041 也說 C10K 和 C100 的架構「分別真的不太大的」,「今天能輕易租到32core再配512GB RAM的機器來架RDBMS」。041
Triton 列的 per-user 成本因素(點選你的系統)
🔭 示意 量表只表示「越往右越貴」的方向,不是報價;唯一有倍數的是 Triton 寫的「至少是go / java的2倍」。
到這裡你已經會了小結 4 / 4
- 數量級
- byte
- latency
- memory / disk
- availability
- HA
- DAU
- QPS
- peak
- storage
- bottleneck
- round trip
到這裡你已經會了:Triton 的「估完要量」
- 整個系統的上限由最慢那一站決定(bottleneck),要用壓測量,不是估。
- 尖峰可能是 10 秒內 20 倍,不是 2 倍;也別把 DAU 當成每秒的 request。
- 一次 query 約 5 ms,數來回幾趟比查表準;N 小就用最笨的方法,pool 和成本也從實測的數字推。
12 階全部走完了
下一頁用一句話收尾;再下一頁是名詞小卡,給大家課後複習。
一句話記住
先在信封背面估出 N,
再用壓測證明你估對了。
原書對的地方
- 210 ≈ 103、一天 ≈ 105 秒
- 記憶體快、disk seek 慢、跨洲很遠
- DAU → QPS → Peak → 儲存的推算步驟
- 四捨五入、寫假設、標單位
Triton 不同意或補充的地方
- 「幾個 9」不是 HA;HA = 沒有 SPOF + 幾分鐘內自動恢復
- Peak 不一定是 2 倍:10 秒內 20 倍
- 別把 DAU 當 RPS
- 一次 query 約 5 ms,數來回次數
帶走的習慣
- 先估 N,決定要暴力還是分散式
- 容量、pool size 用壓測和監控量
- 找木桶最矮的那片
- 停機多半來自 bug 和人,不是硬體
本章名詞小卡課後複習用 · 每個名詞一句白話
今天出現的名詞,一句話講完
給工程師的重點出處與標籤
引述來源(materials/core)
Triton 本人的講義 / 文章
- 017-High Availability stateful component vs stateless component.md — 批評 ByteByteGo「4 nines = 8.64 秒」、HA 的兩條定義、PostgreSQL failover 四步驟
- 051-concurrency.pdf.md — 木桶理論、Auto-scaling 是省錢用、開賣無法 auto-scale、component 越多 availability 越低、「你真的信什麼 SLA 99.99% 嗎」
- 065-lesson0.pdf.md — 別誤解 24x7、planned downtime
- 155-如果有正確設定好的系統….md — 停機原因比例、stress testing 設定容量
- 064-introToAlgorithm.pdf.md — 了解 N、O(n²) 暴力解
- 150-在一般的留言版….md、156-如果要講究response time.md — 每次 query/每層呼叫 5 ms
- 104-利用Range Scan on Primary Key的好處.md — random IO < 1/10 sequential
- 116-喵看 RDS.md — RAM 大到資料留在 memory、瓶頸回到 CPU、銀行 <1TB
- 055-database connection pool size.md — 200 ms、1/3 在 DB、2:1 → 1:10、25–50%
- 166-有人問一個系統的server cost….md、041-Triton 閒聊 C10K.md — 成本因素、C10 vs C10K
- 106-喵 data.md、054-data-analysis.pdf.md、127-喵談 RPS.md — WoW 650K、20core+200GB、<100GB 用 RDBMS、找瓶頸的五個檢查
- 119-喵看待館長流量.md — 留言串,只引 Triton 的回覆:10 秒內 20x、把 DAU 看成 peak RPS
循序漸進(文組版)的頁面
學習地圖(第 3 頁);延伸基礎 12 階:數量級(5)、byte(6)、latency(8)、memory / disk(12)、availability(15)、HA(17)、DAU(22)、QPS(23)、peak(24)、storage(25)、bottleneck(30)、round trip(34);小結(11、21、29、40);名詞小卡(42)。阿珠手搖飲是虛構情境,延伸基礎頁的數字都是示意。
原書對照
Alex Xu, System Design Interview Vol.1 Ch.2。本簡報涵蓋的原書段落:開頭定義與 Jeff Dean 引言(第 4 頁)、Power of two 與 Table 1(7)、Latency numbers 與 Table 2(9)、Figure 1(10)與五個結論(13)、Availability numbers 與 Table 3、SLA(16–18)、Twitter QPS 與 storage 範例(26–27)、Tips(28)。原書只有 1 張圖,依原書的圖說與 alt 描述重繪,不是原圖。參考資料:[1] Jeff Dean(highscalability.com)、[2] system-design-primer、[3] Colin Scott 的 interactive latency、[4–6] AWS / Google Cloud / Azure SLA。
標註說明
📅 2026 補充(第 14 頁)只放可以用物理或算術驗證的點。🔭 標記的計算機參數(切換時間、開機時間、每秒運算次數、每筆 200 bytes)是示意值。119 和 055 含其他人的留言,只引 Triton 的段落。
一個可以直接問自己的問題
你系統最矮的那片木板是哪一層?它的上限是你估出來的,還是壓測量出來的?