System Design Interview · 第 2 章Triton 覆蓋度:🟡 中Triton 線

Back-of-the-envelope Estimation
在信封背面算出系統要多大

原書這章是一張工程師的常識小抄:2 的冪次、延遲數字、可用性有「幾個 9」,最後用一題 Twitter 的 QPS 和儲存量練習。Triton 不反對估算,他常要人先「了解 N」。不過他會補兩句:容量要靠壓測量出來,而且「幾個 9」不等於 HA。

給文組

不用會寫程式,只用高中數學:數零、百分比、乘除心算。全程用一家手搖飲料店,一階一階爬 12 個概念。頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。

給工程師

原書的三張表和 Twitter 例子都做成可以算的版本;最後一頁列出所有引述的出處(materials/core)。

標籤怎麼看

📖 原書 🗣️ Triton 本人說 🔭 依 Triton 原則推論 📅 2026 補充

先用生活理解平均 vs 尖峰

飲料店一天賣 1,000 杯,那「每秒」賣幾杯?

0.012平均每秒(杯)0.012最忙那小時的每秒(杯)1×尖峰是平均的幾倍

把一天的量除以一天的秒數 86,400,就是原書算 QPS(Query Per Second,每秒請求數)的方法。

記一個數字:一天 ≈ 105 秒(86,400 ≈ 100,000)。一天 1,000 萬次 ÷ 105 ≈ 每秒 100 次,心算就能做。

但是店員最怕的從來不是平均,是中午 12 點那一波。切到「真實的一天」和「10 點限量開賣」看看,尖峰會變成平均的幾倍。

這章的兩個主角:QPS 和 Peak QPS(尖峰)。原書說尖峰 ≈ 平均的 2 倍;Triton 看過的是 10 秒內 20 倍(第 32 頁)。

學習地圖本章的概念階梯

今天爬 12 階。每一階只用前面講過的東西。

  1. 1數量級數有幾個零
  2. 2byte資料的一格
  3. 3latency要等多久
  4. 4memory / disk桌上 vs 倉庫
  5. 5availability有開門的比例
  6. 6HA少一人不停擺
  7. 7DAU每天來幾人
  8. 8QPS每秒幾次
  9. 9peak最忙那一刻
  10. 10storage倉庫要多大
  11. 11bottleneck最慢那一站
  12. 12round trip跑了幾趟

第 1–3 階 · 數字怎麼讀

要回答:原書的單位表、延遲表在說什麼?

第 4–6 階 · 快慢與可靠

要回答:「幾個 9」到底是什麼意思?

第 7–10 階 · 估出系統多大

要回答:原書怎麼估 Twitter?

第 11–12 階 · Triton:估完要量

要回答:估出來的數字,怎麼驗證?

全程只用一家店:阿珠手搖飲(虛構)

按一下點餐 = request每秒幾單 = QPS桌上備料 vs 倉庫 = memory vs disk一年關幾天 = availability最慢的工作站 = bottleneck

數學只用三樣:數零、百分比、乘除心算。每爬 3 階左右,有一頁「到這裡你已經會了」。

原書什麼是 back-of-the-envelope estimation

用思考實驗加上常見數字,判斷哪個設計行得通

這一步要解決的問題面試官問「這系統要多大?」手上沒有資料,也要在幾分鐘內給出一個不離譜的數字。

“Back-of-the-envelope calculations are estimates you create using a combination of thought experiments and common performance numbers to get a good feel for which designs will meet your requirements.”📖 原書引用 Jeff Dean(Google Senior Fellow) 參考資料 [1]

📖 原書 系統設計面試中,有時會要你用粗略估算來估計系統容量或效能需求。要做好估算,得先熟悉三個 scalability 的基本概念:

① Power of two

資料量單位:KB、MB、GB、TB、PB。第 7 頁

② Latency numbers

每個工程師都該知道的延遲數字(2010)。第 9–14 頁

③ Availability numbers

幾個 9 對應多少停機時間。第 16–18 頁

白話:scalability=系統變大時還撐不撐得住;thought experiment(思考實驗)=不動手做,先在腦中推演。

📖 原書 這章的結構

  1. 三個基本概念與三張表(Table 1–3)、Figure 1
  2. 範例:估算 Twitter 的 QPS 與儲存需求(第 26–27 頁)
  3. Tips:四捨五入、寫下假設、標單位、常考的題目(第 28 頁)

原書強調:估算重在過程,解題過程比算出的結果重要,面試官要看的是你的解題能力。

文組翻譯

辦桌前先在信封背面算:「200 個客人,一桌 10 人,要 20 桌;每桌 10 道菜……」算得不準沒關係,重點是不會訂成 2 桌或 200 桌。這就是「同一個數量級」的估算。

延伸基礎第 1 階 · 數量級懂的人可以跳過

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

1,000 杯和 1,000,000 杯,差在哪裡?

① 先想像

阿珠一家店一天賣 1,000 杯。開到全台 1,000 家分店,一天賣 1,000,000 杯。

你猜猜看:1,000,000 是 1,000 的幾倍?

③ 這叫做數量級、10ⁿ

數量級:一個數有幾個零。10ⁿ(科學記號):1 後面接 n 個零,例如 10³ = 1,000。

④ 跟這章的關係

估算只要零的個數對。差 2 倍沒關係;差 3 個零,就會選錯設計。

② 動手玩:乘法就是把零加起來

100,000營業額(元)10⁵科學記號十萬中文唸法

反過來,除法就是把零減掉:100,000 ÷ 100 = 5 個零 − 2 個零 = 1,000。

延伸基礎第 2 階 · byte懂的人可以跳過

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

一張飲料訂單,佔電腦多少空間?

① 先想像

電腦存字,一個英文字母佔一格。一張訂單「Bubble tea, less sugar, x1…」大約 100 個字母,就佔 100 格。

你猜猜看:1,000 張訂單,每張 100 格,共幾格?

③ 這叫做 byte、KB / MB / GB

byte:電腦存資料的一格,一個英文字母 1 byte。KB → MB → GB → TB → PB:每升一級多 3 個零。

④ 跟這章的關係

原書 Table 1(下一頁)就是這張單位表。電腦其實是 ×1,024,估算時當成 ×1,000。

② 動手玩:存多少張訂單?

原書① Power of two · Table 1

210 ≈ 1,000:資料量的單位

這一步要解決的問題資料量大到幾十億 bytes,要怎麼讀、怎麼算,才不會把單位搞錯?

📖 原書 分散式系統的資料量可以非常大,但計算最後都回到基本功。要算對,得先知道用 2 的冪次表示的資料量單位。1 byte = 8 bits,一個 ASCII 字元佔 1 byte。

PowerApproximate valueFull nameShort name
101 Thousand1 Kilobyte1 KB
201 Million1 Megabyte1 MB
301 Billion1 Gigabyte1 GB
401 Trillion1 Terabyte1 TB
501 Quadrillion1 Petabyte1 PB

📖 原書 Table 1資料量單位

補充:中文字在 UTF-8 通常佔 3 bytes,不是 1 byte。估中文內容時記得乘 3。

白話:bit=0 或 1 的一個小開關;ASCII=英文字母、數字的編碼表;power of two=2 的冪次,210 就是 10 個 2 相乘。

動手玩:如果 1 byte = 1 秒

精確值 220

近似值 106

延伸基礎第 3 階 · latency懂的人可以跳過

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

珍珠放在哪裡,決定一杯要等多久

① 先想像

店員每做一杯都要拿珍珠。珍珠放在手邊、後面冰箱、樓下倉庫,還是另一個城市的中央工廠?

你猜猜看:每杯都要開車去中央工廠拿珍珠,來回 1 小時。一小時能做幾杯?

③ 這叫做 latency

latency(延遲):從要東西到拿到,中間等的時間。電腦的單位是 ms、µs、ns,每往下一級少 3 個零。

④ 跟這章的關係

原書 Table 2(下一頁)列的就是:電腦裡東西放在哪裡、拿一次要多久。

② 動手玩:珍珠放在哪裡?

1 秒每杯多等3,600一小時最多幾杯(只算拿珍珠)

原書② Latency numbers every programmer should know · Table 2

從 0.5 奈秒到 150 毫秒:差了 3 億倍

這一步要解決的問題電腦裡哪些事快、哪些事慢?慢的到底慢多少?

點任一列看它換成人類時間是多久。長條是對數刻度。

📖 原書 Google 的 Dean 博士公布了 2010 年典型電腦操作的時間。電腦越來越快,有些數字已經過時,但仍能讓我們知道不同操作的快慢關係。

ns = nanosecond, µs = microsecond, ms = millisecond
1 ns = 10-9 s 1 µs = 10-6 s = 1,000 ns
1 ms = 10-3 s = 1,000 µs = 1,000,000 ns

文組翻譯

把 L1 cache 放大成「1 秒」:讀主記憶體像去巷口便利商店(3 分多鐘);機房內來回一趟像出國 11 天;硬碟 seek 像等 7 個多月;加州到荷蘭來回一個封包,要 9 年半。

白話:cache=CPU 手邊的小抽屜(L1 最近、L2 次之);main memory=主記憶體;mutex=輪流用的鎖;Zippy=Google 的快速壓縮程式;datacenter=機房;Gbps=每秒傳幾十億個 bit。

切到「Figure 1 的 2020 值」,看看十年間哪些變快(綠)、哪些變慢(紅)、哪些沒動(第 14 頁解釋)。

原書Figure 1 · 2020 年的延遲數字視覺化

原書 Figure 1:方塊越大,花的時間越長

這一步要解決的問題數字差了上億倍,怎麼用一張圖一眼看出誰快誰慢?

📖 原書 Figure 1Latency numbers 視覺化,截至 2020 年;原圖來源為參考資料 [3](依原書內容重繪)

📖 原書 一位 Google 工程師做了一個工具,把 Dean 博士的數字視覺化,並把時間因素也算進去。Figure 1 是截至 2020 年的結果。

原書描述:黑色方塊是 L1、branch mispredict、L2、mutex、在一般網路送 2,000 bytes、SSD random read、從記憶體順序讀 1,000,000 bytes;綠色是機房內來回和另一項 1,000,000 ns;藍色是 main memory reference、Zippy 壓縮 1KB 和另一項 10,000 ns;紅色是 SSD 順序讀、disk seek、硬碟順序讀,以及加州到荷蘭的封包來回。

重繪說明:原圖用方塊大小表示時間。最快和最慢差了 1 億倍,同一張圖畫不下,所以這裡的邊長取對數。描述裡沒有寫名稱的兩項,照樣標「未標名稱」。

到這裡你已經會了小結 1 / 4

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

到這裡你已經會了:數字怎麼讀

下一階要解決的問題

電腦裡「近的」和「遠的」各是什麼?原書為什麼說要避免 disk seek?

延伸基礎第 4 階 · memory / disk懂的人可以跳過

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

桌上的備料 vs 倉庫裡的紙箱

① 先想像

桌上的備料伸手就拿,但桌子很小。倉庫又大又便宜,可是每拿一箱都要先走到那一箱前面。

你猜猜看:走到一箱前面要 10 秒、搬一箱 1 秒。要拿的 10 箱散在 10 個角落,共要多久?

③ 這叫做 memory、disk

memory(記憶體):桌上的備料,快但小、貴。disk(硬碟):倉庫,大又便宜,每次「走過去」都很慢。

④ 跟這章的關係

「走過去」原書叫 disk seek。下一頁的結論:記憶體快、硬碟慢,能避免 disk seek 就避免。

② 動手玩:拿 n 箱

原書從 Figure 1 得到的五個結論

記憶體快、硬碟慢、跨機房很遠

這一步要解決的問題看完這堆數字,設計系統時該記住哪幾件事?

📖 原書 分析 Figure 1 的結論

  1. 記憶體快,硬碟慢
  2. 能避免 disk seek 就避免
  3. 簡單的壓縮演算法很快
  4. 可以的話,資料先壓縮再透過網路傳送
  5. 資料中心通常分在不同地區,彼此傳資料需要時間

🗣️ Triton 也這樣說「Random IO是Sequential IO的1 / 10效能也沒有。」他在原文連寫三次。104 第 36 頁會用這句話算一個真實的查詢。

小遊戲:誰比較快?

點比較快的那一個。

0 / 0答對

📅 2026 補充這張表過時了嗎?

數字會變,「誰比誰慢」不太會變

📅 2026 補充 只寫有把握的

  • Table 2 是 2010 年的,沒有 SSD 這一列。今天資料庫多半跑在 SSD 上,原書的 Figure 1 才出現 SSD random read(16,000 ns)。
  • Figure 1 的 2020 數字是依趨勢推算的,不全是實測。例如在一般網路送 2,000 bytes 只要 44 ns,換算等於約 360 Gbps;disk seek 2 ms 也比一般 7200 轉硬碟光是平均旋轉等待(轉半圈 ≈ 4.17 ms)還短。
  • 跨洲延遲有光速下限。光在光纖裡每秒約走 20 萬公里,加州到荷蘭直線約 9,000 公里,來回最少約 90 ms。150 ms 到今天仍是合理的量級,硬體再進步也砍不掉。
  • 不變的是順序:記憶體 ≪ SSD ≪ 機房內來回 ≪ 硬碟 seek ≪ 跨洲。原書的五個結論今天仍然成立。

「當Main memory比你的系統會用上的Active data都要多時,你的Data和index就會長期以OS cache和DB cache方式留在Memory。讓你的Read IO連SSD都用不上直接是以ns級別來讀取。」🗣️ Triton 本人說 116-喵看 RDS.md

「SSD普及後,IO越來越不再是系統的bottleneck。今天,對肯花得起錢的系統來說,bottleneck反而回到了CPU上。」🗣️ Triton 本人說 116-喵看 RDS.md

🔭 推論 套到估算上:先問「我的 active data 放不放得進一台機器的 RAM」。放得進,原書表裡那些 disk 數字大半用不到;放不進,才輪到 SSD 和 disk 的數字。

延伸基礎第 5 階 · availability懂的人可以跳過

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

「我們 99% 的日子都有開」,一年關幾天?

① 先想像

阿珠說:「我們 99% 的日子都有開。」聽起來很高。換成天數看看。

你猜猜看:一年 365 天,99% 有開,大約關了幾天?

③ 這叫做 availability

availability(可用性):一段時間裡,服務正常的比例。業界說「幾個 9」:99.9% 叫「3 個 9」。

④ 跟這章的關係

原書 Table 3(下一頁)把每個 9 換成停機時間。Triton 對「幾個 9」有意見(第 19 頁)。

② 動手玩:一年切成 100 格,一格 ≈ 3.65 天

1%沒開的比例3.65 天一年關門

原書③ Availability numbers · Table 3

多一個 9,停機時間少 10 倍

這一步要解決的問題「99.99%」換成停機時間,一天、一年各是多久?

每天每週每月每年

📖 原書 High availability 是系統能長時間持續運作的能力,用百分比衡量;100% 代表零停機。大多數服務落在 99% 到 100% 之間。

Availability每天每週每月每年
99%14.40 min1.68 h7.31 h3.65 days
99.99%8.64 s1.01 min4.38 min52.60 min
99.999%864.00 ms6.05 s26.30 s5.26 min
99.9999%86.40 ms604.80*2.63 s31.56 s

📖 原書 Table 3照原書列出;原書沒有 99.9% 這一列(左邊工具有)。*原書此格漏了單位,算起來是 604.80 ms。

白話:high availability=高可用性;uptime=正常營業的時間;downtime=停機時間。

延伸基礎第 6 階 · HA懂的人可以跳過

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

只有一位店員會煮珍珠,她請假怎麼辦?

① 先想像

煮珍珠只有小美會。她請假那天,整家店都不能賣珍奶。

你猜猜看:小美 10% 的日子會請假。再請阿明也學會煮,他也是 10% 會請假。兩人同一天都請假的機率?

③ 這叫做 SPOF、HA

SPOF(single point of failure):一壞就全停的那一個。HA(high availability):沒有 SPOF,壞了也能自己很快恢復。

④ 跟這章的關係

原書用「幾個 9」講可用性。Triton 講 HA 看的是:有沒有 SPOF、要不要人半夜爬起來(第 19 頁)。

② 動手玩:每位店員 10% 的日子請假

72.9%店能開門的日子99 天一年開不了門

原書 SLA · Triton 補充串起來的元件越多,可用性越低

SLA 寫 99.9%,你的系統就是 99.9% 嗎?

這一步要解決的問題雲端廠商保證 99.9%,整個系統串起來之後還剩多少?

📖 原書 SLA(service level agreement)是服務提供者和客戶之間的協議,正式定義服務的 uptime 水準。Amazon、Google、Microsoft 等雲端業者把 SLA 定在 99.9% 以上。Uptime 傳統上用「幾個 9」來算,9 越多越好。

「一份工作要用上的 component 越多,它的Availability 就會越低」🗣️ Triton 本人說 051-concurrency.pdf.md · 延伸思考:Micro-service

同一頁 Triton 舉的壞例子:「用戶 → ServA → ServB → Database」,「ServB一旦死掉,依賴 ServB的 service會全滅」。051

文組翻譯:老式聖誕燈串

老式燈串是串聯的,一顆燈泡壞了整串都不亮。每顆 99.9% 可靠,串 8 顆就只剩 99.2%。

整條路的可用性一年預期停機

🔭 推論 串聯相乘、並聯用 1 −(壞的機率相乘)是機率的基本算法,假設元件各自獨立壞掉;備援那個選項對應 Triton 對 HA 的第一條定義「沒有 single point of failure」(下一頁)。

Triton 不同意「幾個 9」不是 HA 的定義

❌ 常見說法 「4 個 9 = 每天只能停 8.64 秒」

你猜猜看:主資料庫掛了,系統 1 分多鐘後自己切到備用的那台,沒有人要半夜起床。照 99.99%「每天只能停 8.64 秒」來看,這算 HA 嗎?

Triton 轉貼 ByteByteGo 的原文:“4 nines”, 99.99% uptime, means the service can only be down 8.64 seconds per day.(和原書 Table 3 的同一格數字)然後寫:

「過份簡化的知識/或是知識內的一點點偽資訊,其毒性甚至tiktok更甚……」🗣️ Triton 本人說 017-High Availability stateful component vs stateless component.md

「傳統上我們談High Availability(以下簡稱HA)我們是指:1. 系統中沒有single point of failure 2. 如果single component掛掉,是不需要人類即時行動。」
「有HA不代表系統完全零秒的Downtime, 有HA只代表有single component掛了後系統能自動短時間內回復。(一般來說「短時間」=數分鐘內)」🗣️ Triton 本人說 017

動手試:主資料庫掛了(Triton 描述的 PostgreSQL HA)

四個步驟照 017 原文:① main 掛了 ② 一分鐘後因為沒回 heartbeat 觸發系統行動 ③ standby promotion 成新的 main ④ pgpool 改 configuration 把 transaction 丟給新的 main。

Triton 補充停機時間真正從哪裡來

系統很少是被流量打掛的

你猜猜看:Triton 在台灣工作 3 年見過的系統趴掉,最多是因為什麼?

Triton 在台灣工作 3 年見證過的系統趴掉原因 155

點一條看 Triton 舉的例子。

「如果有正確設定好的系統,其實是不會因為高流量而當掉的。」🗣️ Triton 本人說 155-如果有正確設定好的系統….md

「24x7是指沒有計劃外的 downtime,不是沒有 downtime」「魔獸世界也是每星期 planned downtime一次」🗣️ Triton 本人說 065-lesson0.pdf.md · 別誤解 24x7

🗣️ Triton 本人說 對第三方的 SLA:「別用main process來接第三方系統 – 你真的信什麼 SLA 99.99% 嗎」051

🔭 推論 原書的 Table 3 讓人以為可用性是「硬體壞掉的機率」。Triton 的清單說的是:80% 的停機來自程式 bug 和人為操作,所以 9 的多寡取決於 code review、權限控管和部署流程,買更貴的機器幫不上忙。

到這裡你已經會了小結 2 / 4

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

到這裡你已經會了:快慢與可靠

下一階要解決的問題

系統到底要多大?先估:每天有多少人、每秒來幾次、要存多少資料。

延伸基礎第 7 階 · DAU懂的人可以跳過

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

點餐 app 一個月有 30 萬人用過,每天有幾人?

① 先想像

阿珠出了點餐 app。有人天天買,有人一個月才來一次。

你猜猜看:一個月有 30 萬人打開過,其中一半的人天天來。每天打開 app 的有幾人?

③ 這叫做 MAU、DAU

MAU(monthly active users):一個月內用過的人數。DAU(daily active users):一天內用過的人數。

④ 跟這章的關係

原書 Twitter 估算從 MAU 3 億開始,第一步就是 × 50% 得到 DAU。

② 動手玩:MAU × 天天來的比例 = DAU

30 萬MAU15 萬DAU

延伸基礎第 8 階 · QPS懂的人可以跳過

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

一天 1,000 萬次點擊,每秒是幾次?

① 先想像

每天 10 萬人打開 app,每人按 100 下。店家的電腦,每秒要接幾下?一天 86,400 秒,心算當成 10⁵ 秒。

你猜猜看:一天 1,000 萬(10⁷)次,÷ 10⁵ 秒,平均每秒幾次?

③ 這叫做 request、QPS

request:app 送給店家電腦的一次要求(按一下)。QPS(queries per second):每秒進來幾個 request。

④ 跟這章的關係

原書 Twitter 估算的第一個答案,就是 QPS ≈ 3,500。

② 動手玩:除法就是減零

100心算 QPS(÷ 10⁵)116精確 QPS(÷ 86,400)

心算永遠比精確值少算約 14%。估算時,這樣的誤差完全夠用。

延伸基礎第 9 階 · peak懂的人可以跳過

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

平均每分鐘 1 杯,開賣那 10 分鐘呢?

① 先想像

阿珠一天賣 1,440 杯,一天 1,440 分鐘,平均每分鐘 1 杯。可是 10 點限量新品開賣,人全擠在前 10 分鐘。

你猜猜看:開賣那 10 分鐘賣掉 400 杯。那 10 分鐘裡每分鐘的杯數,是平均的幾倍?

③ 這叫做 peak

peak(尖峰):最忙的那一段。peak QPS 就是最忙那一秒的 QPS。系統是在尖峰倒的,不是平均。

④ 跟這章的關係

原書直接用「Peak = 2 × 平均」。Triton 見過 10 秒內 20 倍(第 32 頁)。

② 動手玩:開賣 10 分鐘賣掉幾杯?

1平均每分鐘(杯)40開賣時每分鐘(杯)40×尖峰是平均的幾倍

延伸基礎第 10 階 · storage懂的人可以跳過

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

訂單紀錄存 5 年,要多大的倉庫?

① 先想像

每張訂單都要留著對帳。一天一天累積下來,倉庫會越來越滿。

你猜猜看:每天 1,000 張,每張 1 KB,存 5 年(約 2,000 天)。大約要多大?

③ 這叫做 storage

storage(儲存量):總共要存多少資料。算法只有一行:每天幾筆 × 每筆多大 × 存幾天。

④ 跟這章的關係

原書 Twitter 的第二個答案:媒體存 5 年 ≈ 55 PB(下一頁)。

② 動手玩:每天幾筆 × 每筆多大 × 幾天

—總共要存—幾支 128 GB 手機—幾顆 20 TB 硬碟

原書範例Estimate Twitter QPS and storage requirements

原書的 Twitter 估算:五個假設、兩個答案

這一步要解決的問題只有幾個假設,怎麼估出「每秒幾次」和「要存多少」?

原書數字的推算流程(本簡報繪製,非原書圖)

📖 原書 假設(不是 Twitter 的真實數字)

  • 月活躍用戶 300 million
  • 50% 的用戶每天使用
  • 平均每人每天發 2 則推文
  • 10% 的推文含媒體
  • 資料保存 5 年

📖 原書 估算

DAU = 300 million × 50% = 150 million
Tweets QPS = 150 million × 2 / 24 h / 3600 s ≈ 3500
Peek QPS = 2 × QPS ≈ 7000
平均推文大小:tweet_id 64 bytes · text 140 bytes · media 1 MB
Media storage = 150 million × 2 × 10% × 1 MB = 30 TB / 天
5 年 = 30 TB × 365 × 5 ≈ 55 PB

原書說這裡只估媒體儲存。「Peek」是原書的拼法(應為 Peak)。

原書範例 · 動手算Twitter 估算計算機

換掉假設,看 QPS 和儲存量怎麼變

這一步要解決的問題假設換了,答案差多少?哪一個假設最要緊?


      
平均 QPSPeak QPS
每天新增儲存保存期間總量

心算版(原書的 Tips)

🔭 延伸 原書列為常考題的「伺服器數量」

這個「一台扛多少」不能估,要量:「平日做stress testing去正確設定好系統容量」155

原書Tips

重在過程:四捨五入、寫下假設、標單位

這一步要解決的問題面試時沒有計算機,怎麼算得快、又不把單位算錯?

📖 原書 ① Rounding and approximation

面試中很難做複雜運算,例如「99987 / 9.1」等於多少?不必浪費時間,不需要精確,用整數和近似值:「100,000 / 10」。

📖 原書 ② 寫下假設 ③ 標註單位

把假設寫下來,之後可以回頭參考。寫「5」是 5 KB 還是 5 MB?會把自己搞混,寫成「5 MB」就沒有歧義。

每位使用者存 5× 3 億人 =

📖 原書 ④ 常考的估算

  • QPS(第 27 頁)
  • Peak QPS
  • Storage
  • Cache
  • Number of servers

白話:cache=放常用資料、讀得很快的地方,要估放多少;number of servers=要幾台機器。

準備面試時可以多練習,熟能生巧。原書最後一句:恭喜你讀到這裡,給自己拍拍手。

🔭 推論 其中 cache 和 servers 原書沒有示範。Triton 線的看法:這兩個數字最終要靠壓測和監控,下一節開始講。

到這裡你已經會了小結 3 / 4

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

到這裡你已經會了:估出系統多大

下一階要解決的問題

估出來的數字,怎麼知道機器真的扛得住?Triton 的答案是:量。

延伸基礎第 11 階 · bottleneck懂的人可以跳過

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

四個工作站,整家店每分鐘出幾杯?

① 先想像

一杯飲料要經過點單、搖飲、封口、出餐四站,每一站的速度不一樣。

你猜猜看:每分鐘點單 10 杯、搖飲 6 杯、封口 20 杯、出餐 12 杯。整家店每分鐘最多幾杯?

③ 這叫做 bottleneck、stress test

bottleneck(瓶頸):最慢、決定全體上限的那一站。stress test(壓測):叫一群假客人來,實際量出上限。

④ 跟這章的關係

估算告訴你大概要多大;每一站實際扛多少,Triton 說要用壓測量(下一頁)。

② 動手玩:叫假客人來壓測

4實際每分鐘出杯都還沒滿卡在哪一站

Triton 補充估算之後:量

估算選方向,壓測定參數

你猜猜看:原書估出 Peak ≈ 7,000 QPS。一台機器扛得了幾 QPS,要怎麼知道?

「好的開發者,應該: – 先正確地理解問題(請看後頁) – 了解 N (像是 QPS / user count / data size )」🗣️ Triton 本人說 064-introToAlgorithm.pdf.md · 羅馬不是一天建成的

「要系統不趴掉,就是忍住沉悶,平日做stress testing去正確設定好系統容量,和設定好每一層的max_conn之類的參數囉。」🗣️ Triton 本人說 155 · 最後一句

「木桶能載多少水,是最矮那片木板來決定 – 你的系統能支持多少流量,是最弱的環節來決定」🗣️ Triton 本人說 051 · 小秘密

🔭 推論 原書的估算回答「需要哪一種設計」;Triton 在意的是另一半:每一層實際扛得住多少,只有壓測量得出來。

動手玩:木桶理論

怎麼找最矮那片:看 io wait、io throughput 有沒有出現「平原」、CPU、open connection、有沒有開很久沒 commit 的 transaction。「很多時db效能問題,最終root cause都是application層亂來引起的。」127

Triton 不同意情境差異:Peak = 2 × QPS?

尖峰不是平均的 2 倍,是 10 秒內 20 倍

📖 原書 Peek QPS = 2 × QPS ≈ 7000。

你猜猜看:照原書「Peak = 2 × 平均」準備機器,碰上熱門商品開賣,會怎樣?

「電商網站, 很多時候不能單純用auto-scaling的 我親眼見證10秒內20x的流量成長......」🗣️ Triton 本人說 119-喵看待館長流量.md(留言串,此段是 Triton 的 hypebeast 經驗)

「Auto-scaling是用來省錢的」「流量上升是慢慢的,不是爆發性的」
無法 auto-scaling 的:「電商網站開賣受歡迎商品 – 數秒內百萬用戶流入」;解法:「跟市場推廣同事合作,預先加開機器」🗣️ Triton 本人說 051 · Auto-scaling

原書的 2 倍適合 Twitter 這種「自然流量」;開賣、搶票、跨年訊息不是。

0%開賣後 6 分鐘內被擋下的 request

🔭 示意 流量曲線照 119「10 秒內 20x」;「開新機器要幾分鐘」是示意參數,不是 Triton 給的數字。

Triton 補充估算最常見的錯

把 DAU 當成每秒的 request 數

背景:有網紅說自己的電商網站每秒 10 萬 RPS。Triton 的反應:

你猜猜看:如果 10 萬其實是 DAU,每人每天 100 個 request、尖峰 5 倍,真正每秒約幾個?

「每秒10萬我有很大保留 每秒10萬RPS, 他MAU應該近百萬人才對」
「不如說, 我看他把DAU看成peak RPS吧 魔獸世界最高峰時台灣才100萬同時在線用戶」🗣️ Triton 本人說 119-喵看待館長流量.md(留言串)

「吐嘈一句:我遇過很多老闆都跟我說最終他的系統會concurrent 1M user 但是台灣WOW的最高在線人數才650K」🗣️ Triton 本人說 106-喵 data.md

兩份檔案的魔獸世界數字不同(100 萬 vs 650K),照原文保留。重點是量級:同時在線一百萬,已經是全台最熱門遊戲的等級。

動手算:DAU 換成真正的 peak RPS

🔭 推論 算法就是原書 Twitter 那一套:DAU × 每人次數 ÷ 86,400 × 尖峰倍數。每人每天幾個 request 是示意參數。

延伸基礎第 12 階 · round trip懂的人可以跳過

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

去倉庫拿 10 樣東西,一趟拿齊,還是跑 11 趟?

① 先想像

店員去倉庫補貨,來回一趟 5 分鐘。先跑一趟拿清單,清單上有 10 樣。

你猜猜看:拿到清單後,每樣東西各跑一趟,前後共要多久?

③ 這叫做 round trip、query

round trip:來回一趟。query:程式向資料庫問一次問題;每問一次,就是一趟。

④ 跟這章的關係

真正吃掉時間的,常常是「跑了幾趟」,不是每一趟多快(下一頁)。

② 動手玩:每樣一趟 vs 一次拿齊

Triton 補充Triton 的延遲數字

真正吃掉時間的是「來回幾趟」

你猜猜看:Table 2 說機房內來回一趟 0.5 ms。程式實際問資料庫一次(一個 query),Triton 說大約多久?

「即使你是沿用同一個database connection,但是你發出一個新的query的時候……1 TCP/IP會吃掉一些時間 2 資料庫把prepared statement拿出來,又會吃掉一點點時間 3 sql optimizer又吃掉一點點時間 即使每個select只吃掉5ms(這是算很不錯的數字了),單單因為這些overhead便浪費掉10 * 5ms = 50ms!」🗣️ Triton 本人說 150 · 留言板的例子

「如果你呼叫的api不是127.0.0.1,請預想每一層的呼叫可以消耗掉5ms以上。(視你網絡設定,可以更差)」🗣️ Triton 本人說 156-如果要講究response time.md

🔭 推論 原書 Table 2 的「機房內來回 500 µs」是網路本身;Triton 的 5 ms 是應用程式實際感受到的一次 query,大約是它的 10 倍。估 response time 時,數「來回幾趟」比查表更有用。

留言板一頁顯示 N 則留言和作者

再穿過幾層非本機 API

文組翻譯:去超市買 10 樣東西,一次買齊(IN/JOIN)還是每樣跑一趟(N+1)?Triton:「除非你要大型系統玩microservice,否則這種nodejs -> php -> nodejs絕對是玩弄自己的」156

原書結論 × TritonAvoid disk seeks

為什麼加了 index,查詢反而更慢?

📖 原書 「能避免 disk seek 就避免」。Table 2:disk seek 10 ms,從硬碟順序讀 1 MB 30 ms。

你猜猜看:1,000 萬筆訂單裡找 1 萬筆。照目錄一筆一筆跳去拿,還是整個倉庫照順序搬一遍,哪個快?

Triton 的真實案例:purchase_orders 約 10M 筆,用 create_date 查最近 7 天(少於 1 萬筆),每次要 20 多秒。

「在Index中拿到的row pointer,RDBMS還是需要做Random IO去tablespace中找回那一個row。Random IO是Sequential IO的1 / 10效能也沒有。」
「如果使用index後要跑10000次Random IO,RDBMS倒不如放棄掉index,乾脆用Sequential IO把整個tablespace掃瞄一次,這反而更快。」🗣️ Triton 本人說 104-利用Range Scan on Primary Key的好處.md

他的解法是讓查詢變成 primary key 的 range scan(InnoDB 依 PK 順序存放),用 sequential IO。還有一句:「資料庫重要原則:別為了報表去下index」104

動手算:一筆一筆跳著讀 vs 整張表掃一次

🔭 示意 假設表有 10M 筆、每筆 200 bytes(共 2 GB),每找一筆做一次 random read,不算 cache。數字來自原書 Table 2 與 Figure 1。

Triton 補充估出 N 之後

N 很小,就用最笨的方法

你猜猜看:地圖上 1 萬個點,每兩點都比一次距離,約 1 億(10⁸)次計算。電腦要跑多久?

「如果才 10000 個點 單純 2 層 for-loop , O(n^2) solution 吧 – 現實跑起來應該少於1秒」「N 很小時, O(n^2) / O(n^3) 也好 1ms 和 0.1ms 對用戶感覺是沒差別的」🗣️ Triton 本人說 064 · Nearest Neighbour

🔭 推論 回頭看原書的 Twitter

原書只估了 media(55 PB),那是物件儲存的事。決定資料庫選型的是被略過的 tweet_id + text:每天約 61 GB,一年約 22 TB,遠超過 Triton 的 100 GB、1 TB 門檻。這題的結構化資料真的大到要討論 sharding。先把 N 估對,才知道該用暴力還是該用分散式。

動手玩:O(n²) 什麼時候才會慢?

🔭 示意 假設每秒可做 108–109 次簡單運算,這是常用的估算基準,不是 Triton 的數字。

  • 「資料量不夠大 (<100GB) 就乖乖回去用 RDBMS 就好啦」054
  • 「正常沒亂來的系統,在20core + 200GB RAM的暴力機器下,絕大部份都沒需要玩clustering」106
  • 「一堆很賺錢的商業系統(像銀行),其總資料庫連1TB都不到」116

Triton 的估算示範用一行算術設定 connection pool

200 ms 裡有 1/3 在等資料庫,pool 該開多大?

你猜猜看:每個 request 有 1/3 時間在等資料庫、2/3 在自己做事。16 個在做事的店員(thread),大約要配幾條資料庫線?

「我之前在hypebeast.com的系統嘛:Average Response Time大約是200ms,然後其中1/3時間是用在RDBMS上面的。」「在系統正常時等待DB的時間佔了1/3,那就代表每2個在App. Server運作中的CPU thread,就有一個相對應的DB connection。(這是簡單算術吧)」🗣️ Triton 本人說 055-database connection pool size.md

「所以這時的如果connection pool沒設上限,CPU thread : DB connection就會從本來的 2 : 1慢慢瘋到 1 : 10」🗣️ Triton 本人說 055

他的結論是 pool 上限設在 App server CPU thread 的 25%–50%,並且說明「「25% - 50%之間」是根據我之前實戰的經驗的,你的數字可能跟我不完全相同。」055

文組翻譯:Triton 的小店比喻,「小店為何只有10個座位,因為他的廚師就是那麼多人手,再開多的座位只是讓客人等更久而不是增加了throughput。」055

Triton 補充成本也是估算題

「系統要花多少錢?」——5K 到 5M NTD 吧

你猜猜看:有人只問 Triton「一個系統的 server 要花多少錢?」他怎麼回?

「這樣子其實就跟別人問「組一台電腦要用多少錢」一樣:5K到5M NTD吧」「你說不清的的需求,別人除非會「問米」,否則是沒可能答得出什麼有意思的回答的。」🗣️ Triton 本人說 166-有人問一個系統的server cost要用上多少錢。.md

「C10K其用上的東西,和C10其實是沒分別的。(更高流量我不敢亂說)但是,C10時你做的笨事也許不會被發現,C10K就很容易server outage / partial outage。」🗣️ Triton 本人說 166 · 第 6 點

041 也說 C10K 和 C100 的架構「分別真的不太大的」,「今天能輕易租到32core再配512GB RAM的機器來架RDBMS」。041

Triton 列的 per-user 成本因素(點選你的系統)

🔭 示意 量表只表示「越往右越貴」的方向,不是報價;唯一有倍數的是 Triton 寫的「至少是go / java的2倍」。

到這裡你已經會了小結 4 / 4

  1. 數量級
  2. byte
  3. latency
  4. memory / disk
  5. availability
  6. HA
  7. DAU
  8. QPS
  9. peak
  10. storage
  11. bottleneck
  12. round trip

到這裡你已經會了:Triton 的「估完要量」

12 階全部走完了

下一頁用一句話收尾;再下一頁是名詞小卡,給大家課後複習。

一句話記住

先在信封背面估出 N,
再用壓測證明你估對了。

原書對的地方

  • 210 ≈ 103、一天 ≈ 105 秒
  • 記憶體快、disk seek 慢、跨洲很遠
  • DAU → QPS → Peak → 儲存的推算步驟
  • 四捨五入、寫假設、標單位

Triton 不同意或補充的地方

  • 「幾個 9」不是 HA;HA = 沒有 SPOF + 幾分鐘內自動恢復
  • Peak 不一定是 2 倍:10 秒內 20 倍
  • 別把 DAU 當 RPS
  • 一次 query 約 5 ms,數來回次數

帶走的習慣

  • 先估 N,決定要暴力還是分散式
  • 容量、pool size 用壓測和監控量
  • 找木桶最矮的那片
  • 停機多半來自 bug 和人,不是硬體

本章名詞小卡課後複習用 · 每個名詞一句白話

今天出現的名詞,一句話講完

數量級一個數有幾個零;估算只要零數對
10ⁿ(科學記號)1 後面接 n 個零,例如 10⁵ = 100,000
bit、byte0 或 1 的小開關/8 個 bit,存一個英文字母
KB · MB · GB · TB · PB每升一級多 3 個零(電腦是 ×1,024)
2¹⁰ ≈ 1,00010 個 2 相乘是 1,024,估算當成 1,000
latency從要東西到拿到,中間等的時間
ns · µs · ms十億分之一/百萬分之一/千分之一秒
cache(L1、L2)CPU 手邊的小抽屜,越近越快
memory記憶體:桌上的備料,快但小
disk、SSD硬碟:倉庫,大又便宜但慢;SSD 是沒有轉盤的新式硬碟
disk seek硬碟「走到那一箱前面」的時間,最貴
datacenter機房;跨洲來回受光速限制

給工程師的重點出處與標籤

引述來源(materials/core)

Triton 本人的講義 / 文章

  • 017-High Availability stateful component vs stateless component.md — 批評 ByteByteGo「4 nines = 8.64 秒」、HA 的兩條定義、PostgreSQL failover 四步驟
  • 051-concurrency.pdf.md — 木桶理論、Auto-scaling 是省錢用、開賣無法 auto-scale、component 越多 availability 越低、「你真的信什麼 SLA 99.99% 嗎」
  • 065-lesson0.pdf.md — 別誤解 24x7、planned downtime
  • 155-如果有正確設定好的系統….md — 停機原因比例、stress testing 設定容量
  • 064-introToAlgorithm.pdf.md — 了解 N、O(n²) 暴力解
  • 150-在一般的留言版….md、156-如果要講究response time.md — 每次 query/每層呼叫 5 ms
  • 104-利用Range Scan on Primary Key的好處.md — random IO < 1/10 sequential
  • 116-喵看 RDS.md — RAM 大到資料留在 memory、瓶頸回到 CPU、銀行 <1TB
  • 055-database connection pool size.md — 200 ms、1/3 在 DB、2:1 → 1:10、25–50%
  • 166-有人問一個系統的server cost….md、041-Triton 閒聊 C10K.md — 成本因素、C10 vs C10K
  • 106-喵 data.md、054-data-analysis.pdf.md、127-喵談 RPS.md — WoW 650K、20core+200GB、<100GB 用 RDBMS、找瓶頸的五個檢查
  • 119-喵看待館長流量.md — 留言串,只引 Triton 的回覆:10 秒內 20x、把 DAU 看成 peak RPS

循序漸進(文組版)的頁面

學習地圖(第 3 頁);延伸基礎 12 階:數量級(5)、byte(6)、latency(8)、memory / disk(12)、availability(15)、HA(17)、DAU(22)、QPS(23)、peak(24)、storage(25)、bottleneck(30)、round trip(34);小結(11、21、29、40);名詞小卡(42)。阿珠手搖飲是虛構情境,延伸基礎頁的數字都是示意。

原書對照

Alex Xu, System Design Interview Vol.1 Ch.2。本簡報涵蓋的原書段落:開頭定義與 Jeff Dean 引言(第 4 頁)、Power of two 與 Table 1(7)、Latency numbers 與 Table 2(9)、Figure 1(10)與五個結論(13)、Availability numbers 與 Table 3、SLA(16–18)、Twitter QPS 與 storage 範例(26–27)、Tips(28)。原書只有 1 張圖,依原書的圖說與 alt 描述重繪,不是原圖。參考資料:[1] Jeff Dean(highscalability.com)、[2] system-design-primer、[3] Colin Scott 的 interactive latency、[4–6] AWS / Google Cloud / Azure SLA。

標註說明

📅 2026 補充(第 14 頁)只放可以用物理或算術驗證的點。🔭 標記的計算機參數(切換時間、開機時間、每秒運算次數、每筆 200 bytes)是示意值。119 和 055 含其他人的留言,只引 Triton 的段落。

一個可以直接問自己的問題

你系統最矮的那片木板是哪一層?它的上限是你估出來的,還是壓測量出來的?

← → 翻頁 · S 講者備註 · D 深/淺色
1 / 1目錄