System Design Interview · 第 1 章Triton 覆蓋度:🟢 高Triton 線
Scale From Zero To Millions Of Users
一家小吃店怎麼長成連鎖店
原書從「一台 server 包辦一切」開始,一路加上 load balancer、replication、cache、CDN、stateless、多個 data center、message queue、sharding。Triton 不反對這些積木,他反對的是順序:「在 10K Request / Sec 之前,你的架構一般網站不會有太大差別」。
給文組
全程只用一家小吃店,一階一階爬 14 個概念。頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。原書 23 張圖全部重畫成可以播放的版本。
給工程師
前半完整照原書;後半是 Triton 的批判與補充,最後一頁列出所有出處(materials/core)與原書段落對照。
標籤怎麼看
📖 原書 🗣️ Triton 本人說 🔭 依 Triton 原則推論
先用生活理解小吃店長大的 11 個階段
老闆一個人顧店,到全台連鎖
原書這一章,其實就是一家店每遇到一個新麻煩,就多加一樣東西。
拉左邊的滑桿:客人變多,店裡就多一個帶位員、一本帳本副本、一個保溫台……每一樣都對應原書的一個元件。
「一家只能坐10人的的小店,某天突然上了Michelin Guide,然後近千人看到新聞後跑去吃。小店會不會當掉?當然不會啊!」🗣️ Triton 本人說 155-如果有正確設定好的系統,其實是不會因為高流量而當掉的。.md
Triton 的提醒:店不是因為客人多就倒,而是因為門口沒人管排隊。這句話在後半會回來。
學習地圖本章的概念階梯
今天爬 14 階。每一階只用前面講過的東西。
- 1request一張點單
- 2DNS店名查地址
- 3database帳本
- 4scale up/out換大鍋或多請人
- 5load balancer帶位員
- 6replication帳本影印本
- 7cache保溫台
- 8CDN巷口便利商店
- 9stateless點餐單寫紙上
- 10data center分店
- 11message queue外帶看板
- 12sharding名冊分冊
- 13lock一次只准一人
- 14connection pool門口排隊繩
第 1–3 階 · 一家店開張
客人怎麼找到店?點單和帳本放哪?
第 4–6 階 · 一位廚師不夠
廚師請病假、帳本燒掉怎麼辦?
第 7–9 階 · 讓客人更快拿到
怎麼不用每次翻帳本、跑總店?
第 10–12 階 · 長成連鎖店
分店、慢工作、名冊太厚怎麼辦?
第 13–14 階 · Triton 的基本功
為什麼大店多半死在細節?
全程只用一家店:阿花小吃店(虛構)
每爬 3 階,有一頁「到這裡你已經會了」。頁首標「延伸基礎」的頁是補基礎,懂的人可以跳過。
原書路線圖本章沒有面試問答與估算
原書的十一站:每一站解決上一站留下的問題
- 1Single server setupFig 1–2 · p.7
- 2DatabaseFig 3 · p.9
- 3Load balancerFig 4 · p.13
- 4Database replicationFig 5–6 · p.15
- 5CacheFig 7–8 · p.19
- 6CDNFig 9–11 · p.22
- 7Stateless web tierFig 12–14 · p.25
- 8Data centersFig 15–16 · p.29
- 9Message queueFig 17–18 · p.31
- 10Logging, metrics, automationFig 19 · p.32
- 11Database scaling / shardingFig 20–23 · p.33
- ★Millions of users and beyond收尾 · p.38
📖 原書 這章的寫法
和後面的設計題不同,這章沒有「應徵者 × 面試官」的需求釐清、也沒有流量估算。原書直接說:「我們建立一個支援單一用戶的系統,並逐步擴展到服務數百萬用戶」,讀完後「您將掌握幾項技巧,幫助您破解系統設計面試問題」。
每一站的固定格式
- 上一個設計有什麼問題(例如:web server 掛了,使用者就連不上)
- 加一個元件解決它
- 這個元件的考量(cache、CDN 都有一份清單)
- 一張「目前完整架構」的圖:Figure 6 → 11 → 14 → 19 → 23
點左邊任一站可以直接跳過去。每一站前面有延伸基礎頁,後半從第 39 頁開始是 Triton 的看法。
延伸基礎第 1 階 · request懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
客人在手機上按「點餐」,送出去的是什麼?
① 先想像
客人在手機上按一下「點牛肉麵」。這張點單送到店裡,廚房做好,再把結果送回客人手上。
你猜猜看:店裡只有一位廚師,每張單做 1 分鐘。同時來 3 張單,第 3 張要等幾分鐘才開始做?
前兩張各做 1 分鐘,第 3 張排在後面等 2 分鐘。廚師只有一位,單子只能一張一張做。
③ 這叫做 request、server
request:從客人那端送出的一張點單。server:接單、做事、回覆的那台電腦,就是廚房。
④ 跟這章的關係
這一章的每一站,都是在讓 server 接得住更多 request。
② 動手玩:送點單給一位廚師
延伸基礎第 2 階 · DNS懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
客人只記得店名,不記得地址,怎麼找到店?
① 先想像
你只記得「阿花小吃店」,導航卻需要地址。先打給查號台問地址,再照地址過去。
你猜猜看:查號台負責的是哪一件事?
查號台只負責「店名換地址」。拿到地址之後,你直接去店裡,點單不會經過查號台。
③ 這叫做 DNS、IP
DNS:網路上的查號台,把網址換成地址。IP:那個地址,例如 15.125.23.214。
④ 跟這章的關係
原書第 1 站的第一步就是問 DNS。後面的帶位員、分店,也都是靠 DNS 把客人指過去。
② 動手玩:問查號台
原書 第 1 站Single server setup · Figure 1、2
一台 server 包辦一切
這一步要解決的問題一個人開店,最簡單的系統長什麼樣?客人怎麼找到店、點單怎麼送進來?
白話:web server=接 request 的 server;HTML=網頁內容;JSON=給 app 看的資料格式(右下那段);Java、Python=寫程式的語言。
📖 原書 一開始 web app、database、cache 全部跑在同一台 server。請求流程:
- 使用者用網域名稱(例如
api.mysite.com)連網站。DNS 通常是第三方的付費服務,不在我們的 server 上 - DNS 回傳 IP 位址,例子是
15.125.23.214 - 拿到 IP 後,HTTP 請求直接送到你的 web server
- web server 回傳 HTML 頁面或 JSON 回應
📖 原書 流量來源有兩個:Web application(server 端語言如 Java、Python 處理商業邏輯與儲存;client 端用 HTML、JavaScript 呈現)和 Mobile application(走 HTTP,回應格式常用 JSON)。
GET /users/12 – Retrieve user object for id = 12
{"id":12, "firstName":"John", "lastName":"Smith",
"address":{"streetAddress":"21 2nd Street", "city":"New York",
"state":"NY", "postalCode":10021},
"phoneNumbers":["212 555-1234", "646 555-4567"]}
延伸基礎第 3 階 · database懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
收銀機一停電,今天的訂單還在嗎?
① 先想像
老闆把訂單記在收銀機螢幕上,沒存檔。晚上停電,一重開,螢幕一片空白。
你猜猜看:同樣停電,寫進帳本的訂單還剩幾筆?
帳本寫在不會因為斷電而消失的地方。電腦的「記憶體」像螢幕,一斷電就空;「硬碟」像帳本。
③ 這叫做 database、RDBMS
database(DB):專門存資料、不怕重開機的帳本。RDBMS:最常見的一種,資料排成一張張表格,例如 MySQL。
④ 跟這章的關係
第 2 站把帳本搬到另一台機器。Triton 整章的態度:不能掉的資料放 RDBMS。
② 動手玩:記幾筆訂單,然後停電
原書 第 2 站Database · Figure 3 · Which databases to use?
把資料庫搬到另一台:web tier 和 data tier 分開長大
這一步要解決的問題客人變多,廚房和帳本擠在同一台,誰都長不大。
白話:web tier=接客人的那一層;data tier=放帳本的那一層;NoSQL=不排成表格的資料庫;join=把兩張表對起來查;serialize=把資料打包成文字。
📖 原書 使用者變多,一台不夠:一台處理 web/mobile 流量,另一台當資料庫。分開之後,兩層可以各自獨立擴展。
📖 原書 RDBMS 還是 NoSQL?
| Relational(RDBMS / SQL) | Non-relational(NoSQL) | |
|---|---|---|
| 代表 | MySQL、Oracle、PostgreSQL | CouchDB、Neo4j、Cassandra、HBase、DynamoDB |
| 形式 | tables 與 rows | key-value、graph、column、document 四類 |
| join | 可以跨表 join | 通常不支援 |
原書:對大多數開發者,RDBMS 是最佳選擇,「已存在超過 40 年,且歷史上運作良好」。
動手勾:你的情況符合幾條?
到這裡你已經會了小結 1 / 5
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
到這裡你已經會了:一家店開張
- 客人送出的點單叫 request;接單、做事、回覆的廚房叫 server。
- 客人用店名找店:DNS 把網址換成 IP 地址。
- 不能掉的東西寫進帳本(database),最常見的是排成表格的 RDBMS。
下一階要解決的問題
只有一位廚師:他請病假,店就關。客人變多,要換大鍋還是多請人?
延伸基礎第 4 階 · scale up/out懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
客人變多:換一口大鍋,還是多請一位廚師?
① 先想像
一位廚師每分鐘做 5 碗,不夠了。可以換更大的鍋讓他一次多做,也可以多請一位廚師。
你猜猜看:A 店一位超強廚師每分鐘 10 碗;B 店兩位廚師各 5 碗。今天各有一位請病假,各剩幾碗?
A 店只有一位,他請假就全停;B 店還有另一位撐著。可是 A 店只要管一個人,簡單很多。
③ 這叫做 scale up、scale out
scale up(vertical):把同一台機器換大。scale out(horizontal):多開幾台機器一起做。
④ 跟這章的關係
原書第 3 站說 web server 要 scale out。Triton 說資料庫這一層反過來,先 scale up(第 40 頁)。
② 動手玩:你來決定怎麼長大
延伸基礎第 5 階 · load balancer懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
兩位廚師,客人要找誰?請一位帶位員
① 先想像
門口站一位帶位員,客人進門先找他,他輪流把客人帶給兩位廚師。一位廚師不在,就全帶給另一位。
你猜猜看:帶位員輪流帶,第 1 位給廚師 A、第 2 位給 B……第 5 位客人給誰?
A、B、A、B、A,單數給 A。真正的帶位員還會先確認廚師在不在。
③ 這叫做 load balancer、failover
load balancer(LB):帶位員,把 request 平均分給好幾台 server。failover:一台壞了,自動改送到別台。
④ 跟這章的關係
第 3 站就是加這位帶位員。DNS 回給客人的,是帶位員的地址。
② 動手玩:帶 6 位客人入座
原書 第 3 站Vertical vs horizontal scaling · Load balancer · Figure 4
一個廚師請病假,店就關了?請個帶位員,再請一個廚師
這一步要解決的問題只有一台 web server:它離線,客人就連不上;客人太多,就變慢。
白話:CPU=電腦的大腦;RAM=記憶體;redundancy=多備一份;pool=一群輪流用的 server。
📖 原書 Scale up vs scale out
Vertical(scale up):替 server 加 CPU、RAM。流量低時很好,主要優點是簡單。但有嚴重限制:
- 有硬性上限,不可能無限加 CPU 和記憶體
- 沒有 failover 與 redundancy:一台掛了,網站整個掛
Horizontal(scale out):把更多 server 加進資源池。原書:大型應用「更具吸引力」。
📖 原書 先前的設計裡,使用者直接連 web server:它離線,使用者就連不上;同時太多人連到負載上限,就變慢或連不上。原書說 load balancer 是解決這兩個問題的「最佳技術」。
📖 原書 使用者連的是 LB 的 public IP;LB 和 web server 之間用 private IP(只在同一網路內可達,網際網路連不到),比較安全。server 1 離線,流量全部導向 server 2,再補一台健康的;流量長大,只要把 server 加進 pool,LB 會自動開始分給它。
延伸基礎第 6 階 · replication懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
帳本只有一本,燒掉怎麼辦?影印幾本
① 先想像
總帳房只有一位,只有他能改帳。另外放三本影印本給查帳的人看;總帳本一改,影印本跟著抄。
你猜猜看:一天 90 次查帳、10 次改帳。查帳平均分給 3 本影印本,每本被查幾次?總帳房處理幾次?
查帳 90 ÷ 3 = 30;改帳只能找總帳房,10 次。查的比改的多很多,所以影印本可以多放幾本。
③ 這叫做 replication、master / slave
replication:把一份資料自動抄到別台。master:唯一能改的正本;slave(也叫 replica):只能讀的抄本。
④ 跟這章的關係
第 4 站。抄寫要一點時間:剛改完那一瞬間,影印本可能還是舊的。
② 動手玩:改一筆帳,馬上去影印本查
影印本每 2 秒才抄一次總帳本(示意)。
原書 第 4 站Database replication · Figure 5
帳本只有一本太危險:master 寫、slave 讀
這一步要解決的問題帳本只有一本:機器壞了資料就沒了,所有查帳的人也擠在同一本。
白話:insert / delete / update=新增/刪除/修改一筆;data recovery script=把缺的資料補回來的小程式。
📖 原書 引用 Wikipedia:replication「通常在原始資料庫(master)與複本(slaves)間建立主從關係」。master 通常只支援寫;slave 從 master 拿資料複本,只支援讀。insert、delete、update 一律送 master。大多數應用讀遠多於寫,所以 slave 通常比 master 多。
📖 原書 三個優點
- 效能:寫在 master、讀分散到 slaves,更多查詢可以並行
- 可靠:颱風、地震毀掉一台,資料還在其他地點
- 高可用:一台 DB 離線,網站還能從別台讀
📖 原書 某一台掛了怎麼辦
- slave 掛:只有一台 slave 時,讀暫時改打 master;有多台就改打其他健康的 slave;再換一台新的上來
- master 掛:一台 slave 升為新 master,所有操作暫時在它身上;再補一台新 slave。原書也承認 production 裡比較複雜:slave 的資料可能不是最新,要跑 data recovery script 補;multi-master、circular replication「超出本課程範圍」
原書 第 4 站加上 LB 與 replication 後 · Figure 6
第一張完整平面圖:web tier × data tier
這一步要解決的問題前幾站的零件拼起來:一個「讀」和一個「寫」的 request,各走哪條路?
- 使用者從 DNS 拿到 load balancer 的 IP
- 用這個 IP 連到 load balancer
- HTTP 請求被導向 Server 1 或 Server 2
- web server 從 slave 讀使用者資料
- 任何修改資料的操作(write、update、delete)導向 master
📖 原書 web 和 data tier 都有了,下一步是改善載入與回應時間:加 cache 層,並把靜態內容(JavaScript、CSS、圖片、影片)移到 CDN。
到這裡你已經會了小結 2 / 5
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
到這裡你已經會了:一位廚師不夠的時候
- 把機器換大叫 scale up,多開幾台叫 scale out。
- 多台 server 前面放帶位員(load balancer);一台壞了自動改送別台(failover)。
- 帳本影印幾本(replication):master 寫、slave 讀,抄寫有一點時間差。
下一階要解決的問題
每位客人都去翻帳本,太慢了。熱門的東西能不能先備好?
延伸基礎第 7 階 · cache懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
每一碗都現煮太慢:熱門的先備好放保溫台
① 先想像
牛肉麵現煮要 5 分鐘。中午大家都點牛肉麵,老闆先煮一鍋放保溫台,舀一碗只要幾秒。
你猜猜看:保溫台一開始是空的。10 位客人都點牛肉麵,廚房要從頭煮幾次?
第 1 位到時保溫台是空的,廚房煮一鍋放上去;後面 9 位直接舀。
③ 這叫做 cache、hit / miss
cache:放在手邊、拿得很快的暫存區,正本在 database。hit / miss:保溫台上有(hit)/沒有,要回廚房做(miss)。
④ 跟這章的關係
第 5 站加 cache,server 不用每次都翻帳本。菜放太久會不新鮮:這就是後面的 TTL。
② 動手玩:10 位客人點牛肉麵
原書 第 5 站Cache · Cache tier · Figure 7
熱門的菜先備好放保溫台
這一步要解決的問題每載入一頁就要翻一次以上的帳本(DB),客人一多就慢。
白話:Memcached=常用的 cache 軟體;3600 * SECONDS=放 3600 秒(1 小時)後過期。
📖 原書 Cache 是暫存區,把昂貴的回應或常被存取的資料放在記憶體,讓後續請求更快。Figure 6 裡每載入一頁就要打一次以上的 DB,反覆呼叫 DB 會大幅影響效能。
📖 原書 獨立 cache tier 的好處:效能更好、減輕 DB 負擔、cache 層可以獨立擴展。
📖 原書 收到請求後,web server 先看 cache 有沒有;有就直接回;沒有就查 DB、把結果存進 cache、再回傳。這叫 read-through cache。還有其他策略,依資料類型、大小與存取模式而定。
原書的 Memcached API 範例(照原書原文,第一行的引號原書就少了一個):
SECONDS = 1
cache.set('myKey, 'hi there', 3600 * SECONDS)
cache.get('myKey')
原書 第 5 站Considerations for using cache · Figure 8
用 cache 前要想的五件事
這一步要解決的問題保溫台很好用,但什麼該放、放多久、放滿了、壞了怎麼辦?
白話:transaction=要嘛全做、要嘛全不做的一組動作;LRU/LFU/FIFO=最久沒人用/最少人用/最早放的先丟。
- 何時用:讀很多、改很少的資料。cache 在揮發性記憶體裡,重啟就全沒了,重要資料要放持久性的資料庫
- Expiration policy:過期就移除;沒有 expiration,資料會永久留在記憶體。別太短(太常回 DB 重載),也別太長(資料變舊)
- Consistency:DB 和 cache 的修改不在同一個 transaction,可能不一致;跨多個 region 更難,原書推薦 Facebook 的〈Scaling Memcache at Facebook〉
- Mitigating failures:單一 cache server 是 SPOF(Wikipedia:「若失效將導致整個系統停止運作的部分」)。建議在不同 data center 放多台;另外把記憶體超額配置一定比例當緩衝
- Eviction policy:cache 滿了,新增項目會擠掉舊的。最流行的是 LRU,也可以用 LFU、FIFO
動手調 TTL
延伸基礎第 8 階 · CDN懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
圖片和影片,為什麼要客人跑回總店拿?
① 先想像
總店很遠。客人每要一雙筷子、一瓶飲料,都得跑一趟總店。在客人家巷口的便利商店先放一些就好。
你猜猜看:回總店拿一樣東西要 120ms,巷口要 30ms。網頁上有 10 張圖,一張一張拿,巷口版省多少?
每張省 120 − 30 = 90ms,10 張省 900ms,將近一秒。ms 是毫秒,千分之一秒。
③ 這叫做 CDN、latency
CDN:開在各地、離客人很近的一群 server,放大家拿的都一樣的東西。latency:從送出到收到的等待時間。
④ 跟這章的關係
第 6 站把圖片、CSS、JavaScript 搬到 CDN。每個人看到都不一樣的資料,不適合放。
② 動手玩:載入一頁 10 張圖
原書 第 6 站Content delivery network · Figure 9、10
飲料和餐具放到離客人最近的便利商店
這一步要解決的問題客人離總店很遠,光是拿圖片、影片就要等很久。
白話:static content=每個人拿到都一樣的檔案;Origin=放正本的自家 server。
📖 原書 CDN 是地理上分散的一群 server,用來傳遞靜態內容(圖片、影片、CSS、JavaScript)。使用者造訪時,最近的 CDN server 送靜態內容;離得越遠越慢。例子:CDN 在舊金山,洛杉磯的使用者比歐洲的快。動態內容快取(依 request path、query string、cookie、header 快取 HTML)是較新的概念,超出本課程範圍。
原書 第 6 站Considerations of using a CDN · Figure 11
CDN 的四個考量,和第二張完整平面圖
這一步要解決的問題便利商店要付錢、貨會過期、偶爾會關門,換新貨又怎麼辦?
白話:fallback=CDN 不通時改回總店拿;invalidate=提早把舊貨下架。
📖 原書 使用 CDN 的考量
- Cost:第三方營運,進出 CDN 的傳輸都要付費;不常用的資產放 CDN 沒什麼好處,考慮移出
- Cache expiry:時效性內容要設,不能太長(不新鮮)也不能太短(一直回 origin 重載)
- CDN fallback:CDN 暫時中斷時,client 要能偵測到並改向 origin 要資源
- Invalidating files:過期前移除檔案,兩種做法:① 用 CDN 供應商的 API 讓物件失效;② object versioning,URL 加版本參數,例如
image.png?v=2
動手:換一張新 logo
image.png?v=1CDN 裡現在放的是 v1。
延伸基礎第 9 階 · stateless懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
客人點了什麼,記在服務生腦袋裡,還是寫在單子上?
① 先想像
你跟服務生 A 點了一碗麵加滷蛋。A 突然下班,換服務生 B 來上菜。
你猜猜看:A 只把你點的記在腦袋裡。B 知道你點了什麼嗎?
只有 A 記得。如果寫在大家都看得到的點餐單上,誰來都能接手。
③ 這叫做 session、stateless
session:server 替某位客人記住的事,例如「他登入了」。stateless:server 自己什麼都不記,要用時去共用的地方拿。
④ 跟這章的關係
第 7 站把 session 從 web server 搬出去。這樣帶位員把客人帶給誰都可以。
② 動手玩:換人服務
原書 第 7 站Stateless web tier · Figure 12、13
點餐單寫在紙上,不要只記在某個服務生腦袋裡
這一步要解決的問題客人的 session 只記在某一台 server,帶位員把他帶到別台就認不得。
白話:shared storage=大家共用的點餐單架。
📖 原書 要水平擴展 web tier,就得把狀態(例如 user session)搬出 web tier。好做法是存到持久性儲存,如 RDBMS 或 NoSQL;每台 web server 都從那裡拿狀態。
📖 原書 Stateful server 記得 client 上一個 request 的資料;stateless 不保留任何狀態。Figure 12 裡 User A 的 session 在 Server 1,要驗證 User A,request 必須送到 Server 1;送到 Server 2 就驗證失敗。
📖 原書 多數 LB 可以用 sticky sessions 做到「同一 client 永遠送同一台」,但會增加負擔,加減 server 困難很多,server 故障也難處理。
📖 原書 Stateless:HTTP request 可以送到任何一台,狀態放在共用的 data store。原書:「無狀態系統較為簡單、更具韌性且易於擴展」。
原書 第 7 站Stateless 之後的設計 · Figure 14
第三張平面圖:session 搬去 NoSQL,web tier 可以 auto scale
這一步要解決的問題session 搬出去之後,web server 都一樣了,可以照流量自動加減。
白話:Memcached / Redis=常用的 cache 軟體。
📖 原書 把 session data 從 web tier 移到持久性的 data store。共用 data store 可以是 RDBMS、Memcached/Redis、NoSQL 等;原書選 NoSQL,因為容易擴展。
📖 原書 Autoscaling:依流量自動增減 web server。狀態搬出去之後,web tier 的 auto-scaling 就很容易做到。
動手:流量變大,server 自動變多
每台 server 示意可扛 2 單位,現在需要 1 台。
📖 原書 接著網站快速成長、吸引大量國際用戶,「支援多個資料中心是關鍵」。
到這裡你已經會了小結 3 / 5
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
到這裡你已經會了:讓客人更快拿到
- 熱門的先放保溫台(cache):有就 hit,沒有就 miss 回廚房。
- 大家拿的都一樣的圖片放巷口便利商店(CDN),等待時間(latency)變短。
- 客人點了什麼不記在服務生腦中(stateless),誰來都能接手,server 可以自動加減。
下一階要解決的問題
整個城市停電,或客人遍布全世界,一家店撐不住。
延伸基礎第 10 階 · data center懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
台北一停電,全台客人都吃不到?開一家高雄分店
① 先想像
北部客人去台北店,南部客人去高雄店。一家停電,客人全部改去另一家。
你猜猜看:平常台北店接 60% 的客人、高雄店 40%。高雄停電,台北店要接幾 %?
所有客人都導到還開著的那一家,所以台北店要準備好撐 100%。
③ 這叫做 data center、geoDNS
data center:放一大群電腦的機房,就是一家分店。geoDNS:看客人在哪裡,回不同分店地址的查號台。
④ 跟這章的關係
第 8 站。最難的不是導流,是兩家分店的帳本要同步(跨城市版的 replication)。
② 動手玩:分配客人
原書 第 8 站Data centers · Figure 15、16
台北店和高雄店:一家停電,客人導去另一家
這一步要解決的問題整個城市停電,或客人遍布全世界,一家店撐不住。
白話:Traffic redirection=導流;Data synchronization=分店帳本同步;deployment=把新版程式裝上機器。
📖 原書 正常時,使用者被 geoDNS(也叫 geo-routed)導到最近的 data center。geoDNS 是依使用者位置把網域解析成不同 IP 的 DNS 服務。重大中斷時,把所有流量導向健康的 data center。
📖 原書 要解決的三個技術挑戰
- Traffic redirection:要有工具把流量導到對的 data center,GeoDNS 可以依使用者位置導到最近的
- Data synchronization:不同地區可能用不同的本地 DB 或 cache;failover 時可能被導到沒有資料的 data center。常見策略是跨 data center 複製資料,原書舉 Netflix 的非同步多 data center replication
- Test and deployment:要在不同地點測試;自動化部署工具對保持所有 data center 一致「至關重要」
📖 原書 要再擴展,就要把系統的不同元件解耦,讓它們能獨立擴展:message queue 是關鍵策略。
延伸基礎第 11 階 · message queue懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
修照片要 3 分鐘,前台要站著等嗎?
① 先想像
客人送照片來修,一張 3 分鐘。前台若站著等修完才招呼下一位,後面全卡住。改成把單子貼看板,師傅照順序修。
你猜猜看:5 位客人同時到,前台站著等。第 5 位要等幾分鐘才被前台招呼?
前 4 位各等 3 分鐘:4 × 3 = 12。貼看板的話,前台幾秒就能招呼下一位。
③ 這叫做 message queue、async
message queue(MQ):工作的看板,先貼上去,後面的人照順序拿來做。async(非同步):交出去就先忙別的,不站著等結果。
④ 跟這章的關係
第 9 站用它處理照片。看板越貼越長,就多請幾位師傅。
② 動手玩:5 位客人送照片
原書 第 9 站Message queue · Figure 17、18
外帶單貼在看板上,備料師傅照順序做
這一步要解決的問題修照片這種慢工作,web server 不該站著等它做完。
白話:publisher / subscriber=producer / consumer 的另一種叫法;worker=在背景做事的程式(修照片的師傅)。
📖 原書 Message queue 是「持久化元件,儲存在記憶體中,支援非同步通訊」,當緩衝區並分配非同步請求。Producer / publisher 建立訊息並發布到 queue;consumer / subscriber 連到 queue,執行訊息定義的動作。
📖 原書 解耦:consumer 不在時 producer 照樣發;producer 不在時 consumer 照樣讀。例子:照片的裁切、銳化、模糊很花時間,web server 把工作發到 queue,photo processing workers 非同步處理。queue 變長就加 worker;大多時候是空的就減。
原書 第 10 站Logging, metrics, automation · Figure 19
店大了,要裝監視器、做報表、寫 SOP
這一步要解決的問題店大了:出事時怎麼知道哪裡壞?怎麼避免人手出錯?
白話:DAU=每天有幾個人來;retention=客人會不會回來;revenue=營收;check-in=把改好的程式交上去。
📖 原書 小網站時這些是好習慣但非必要;網站成長到服務大型企業,投資這些工具「變得不可或缺」。
- Logging:監控 error log 幫你找到錯誤;可以每台各看,或用工具集中到一個服務方便搜尋
- Metrics:(CPU、Memory、disk I/O)(整個 DB tier、cache tier 的效能)(DAU、retention、revenue)
- Automation:continuous integration,每次 check-in 都自動驗證,及早發現問題;自動化 build、test、deploy 大幅提升生產力
點上面三個 metrics 類型,看例子。
📖 原書 Figure 19 的兩個重點:① 加入 message queue,讓系統更鬆耦合、更能承受故障;② 加入 logging、monitoring、metrics、automation 工具。因為版面,只畫一個 data center。
原書 第 11 站Database scaling · Vertical scaling · Figure 20
資料庫要長大:換一台更大的,還是多開幾台?
這一步要解決的問題資料一天天變多,帳本越來越重:換一台更大的,還是多開幾台?
白話:DISK=硬碟;stackoverflow.com=工程師的問答網站。
📖 原書 Vertical scaling(scaling up)
替現有機器加 CPU、RAM、DISK。市面上有很強的 DB server:依 Amazon RDS,可以拿到 24 TB RAM 的資料庫伺服器。例子:stackoverflow.com 在 2013 年每月超過 1,000 萬獨立訪客,但只有 1 台 master database。
原書列的嚴重缺點:
- 硬體有極限,使用者很多時一台不夠
- 單點故障風險較高
- 整體成本高,高效能 server 貴很多
📖 原書 Horizontal scaling(sharding)
增加更多 server。下一頁看原書怎麼切。
注意原書自己舉的例子:stackoverflow 一台 master 撐千萬訪客。這個例子會在第 40 頁變成 Triton 的論點。
延伸基礎第 12 階 · sharding懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
會員名冊太厚:依編號尾數分成四本
① 先想像
會員 4,000 人,名冊一翻就是半天。用會員編號除以 4 的餘數分成四本:餘 0 放第 0 本,餘 1 放第 1 本……
你猜猜看:會員編號 6 號在第幾本?
6 ÷ 4 = 1 餘 2,所以在第 2 本。知道編號就知道翻哪一本,不用四本都翻。
③ 這叫做 sharding、shard key
sharding:把一個大資料庫依規則切成幾個小的(shard),各放一台。shard key:決定放哪一本的欄位,這裡是會員編號。
④ 跟這章的關係
第 11 站。麻煩在於:某一本特別熱門(名人都在第 2 本),或要從 4 本改成 5 本。
② 動手玩:找會員在哪一本
原書 第 11 站Horizontal scaling · Sharding · Figure 21、22
會員名冊太厚:依會員編號分成四本
這一步要解決的問題一本名冊太厚,要拆成幾本;客人來了,要翻哪一本?
白話:schema=每一本的欄位格式;hash function=把編號換成「第幾本」的算法,這裡就是除以 4 取餘數。
📖 原書 Sharding 把大資料庫拆成較小、易管理的部分,叫 shards。每個 shard schema 相同,但資料各自唯一。
📖 原書 例子:依 user ID 分配,每次存取都用 hash function 找 shard,本例是 user_id % 4:結果 0 就用 shard 0,結果 1 就用 shard 1,依此類推。
📖 原書 Sharding key 最重要
實作 sharding 時最重要的因素是 sharding key(也叫 partition key)的選擇:由一個或多個欄位組成,決定資料怎麼分布。Figure 22 的 sharding key 是 user_id。它讓查詢被導到對的 DB,有效率地讀寫。選 key 時最重要的標準之一:能把資料平均分散。
原書 第 11 站Sharding 的新挑戰 · Figure 23
分冊之後的三個麻煩,和第五張平面圖
這一步要解決的問題拆成好幾本之後,出現三個新麻煩。
📖 原書 Sharding「遠非完美」
- Resharding data:① 某個 shard 成長太快放不下;② 資料分布不均,某些 shard 比別人更快 shard exhaustion。這時要改 sharding function、搬資料。常用解法:consistent hashing
- Celebrity problem(hotspot key):Katy Perry、Justin Bieber、Lady Gaga 的資料都在同一個 shard,社群應用的讀取會淹沒它。可能要每位名人一個 shard,甚至再切
- Join and de-normalization:跨 shard 很難 join,常見做法是 de-normalize,讓查詢在單一 table 完成
動手:從 4 本加到 5 本
📖 原書 對資料庫分片以支撐快速增加的流量;同時把部分「非關聯」功能移到 NoSQL 減輕 DB 負擔。
到這裡你已經會了小結 4 / 5
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
到這裡你已經會了:長成連鎖店
- 開分店(data center),用 geoDNS 把客人導到最近的一家;一家停電導去另一家。
- 很慢的工作貼看板(message queue),前台交出去就招呼下一位(async)。
- 名冊太厚就分冊(sharding),用 shard key 決定放哪一本;名人、加冊是新麻煩。
下一階要解決的問題
原書 11 站講完了。下一頁是原書的八句總結,接著換 Triton:你的系統現在需要第幾站?
原書 收尾Millions of users and beyond
原書的八句總結
這一步要解決的問題把 11 站濃縮成 8 句。
- Keep web tier stateless
- Build redundancy at every tier
- Cache data as much as you can
- Support multiple data centers
- Host static assets in CDN
- Scale your data tier by sharding
- Split tiers into individual services
- Monitor your system and use automation tools
📖 原書 「系統擴展是一個反覆進行的過程。」
要超過數百萬用戶,需要更多微調與新策略,例如優化系統、把系統拆成更小的服務。原書說本章的技術「應為應對新挑戰提供良好基礎」,最後一句是:「恭喜您已經走到這一步!現在給自己一個讚。做得好!」
到這裡,原書講完了
接下來換 Triton。他的問題不是「這八句對不對」,而是:你的系統現在需要第幾句?第 54 頁會把這八句逐條對照 Triton 的看法。
Triton 總評積木沒錯,順序錯了
原書的終點,是 Triton 眼中大部分公司「不需要」的地方
原書這樣做會出什麼事?小網站一開始就把 11 站全做齊,會怎樣?
每多一個元件,就多一個會壞、要維護的地方。Triton 的經驗是每秒 1 萬個 request 以前,架構都差不多。
「在 10K Request / Sec之前,你的架構一般網站不會有太大差別」
「木桶能載多少水,是最矮那片木板來決定……請花精力去肯定每一環節都做好所有基本功夫,而不是去談什麼假大空 distributed system / big data」🗣️ Triton 本人說 051-concurrency.pdf.md · 小秘密
「有人問C10K的系統跟C100系統的系統架構有什麼分別嘛。其實分別真的不太大的,還不是一樣的load balancer(看你想玩AWS ELB還是自架HAproxy),Application Server,然後便配上RDBMS」🗣️ Triton 本人說 041-Triton 閒聊 C10K.md
Triton 自己畫過一張「最終架構圖」
073 的後端課第三課,先秀一張有 Load Balancer ×2、Stateless AS ×4、Master + 2 Slave、Cache Cluster、Redis ×3、MQ Cluster、Worker Farm、Long Polling Server、Search / File / Report DB 的大圖,下一頁就是:
「WTF!? 我只是想寫一個小網站而己」
「所以才叫你們不要看見別人的架構很漂亮便立即閉上眼睛跟著做啊」🗣️ 073-lesson3.pdf.md · 第 4–5 頁
同一份講義:「facebook 的架構,跟路邊八卦一樣,聽聽便好」。
後半的讀法
原書每一站,Triton 大多同意那塊積木。差別在:什麼時候才需要、要先做好什麼基本功、還有幾個原書沒寫的坑。每一頁都標出是 🗣️ 原話 還是 🔭 推論。
Triton 不同意第 3、11 站 · 資料庫先 scale up
❌ 原書 「horizontal scaling 更具吸引力」
原書這樣做會出什麼事?資料庫一開始就拆成很多台,會怎樣?
今天租得到幾十 core、幾百 GB RAM 的機器。資料能整份放進記憶體,一台就很快;拆開之後跨台查詢、搬資料都變難。
「如果是小型系統,單純scale up便算了」「正常沒亂來的系統,在20core + 200GB RAM的暴力機器下,絕大部份都沒需要玩clustering」「很認真:今天你要租到20core, 300GB RAM的伺服器不是什麼大問題 除非你要面對C100K,何必自找麻煩做db clustering呢」🗣️ Triton 本人說 106-喵 data.md
「當Main memory比你的系統會用上的Active data都要多時,你的Data和index就會長期以OS cache和DB cache方式留在Memory。」「然後一堆很賺錢的商業系統(像銀行),其總資料庫連1TB都不到下。」🗣️ Triton 本人說 116-喵看 RDS.md
連 NoSQL 也一樣:「在使用 SSTable的 noSQL(像 Hbase, Cassandra),你應該先 scale up,直到 server cost會 non-linearly增加時才 scale-out」080
動手:你的 active data 放得進一台嗎?
🔭 推論 原書自己的兩個例子其實站在 Triton 這邊:RDS 有 24 TB RAM、stackoverflow 2013 年一台 master 撐千萬月訪客。原書寫的 vertical 缺點「單點故障」,Triton 的答案是 replication + managed failover(第 43 頁),不是 sharding。
Triton 不同意第 2、7 站 · 什麼該放 RDBMS
原書在 Figure 14 選 NoSQL 是「因為它易於擴展」
原書這樣做會出什麼事?把「好擴展」當理由,把訂單、錢也放進不重視一致的儲存,掉了一筆會怎樣?
Triton 先問「這筆資料掉了會不會死人」,再決定放哪裡。不能掉的放 RDBMS。
📖 原書 NoSQL 的四個條件、session 放 NoSQL
第 2 站原書說 RDBMS 對多數人是最佳選擇;但第 7 站存 session 時,共用 data store「可以是 RDBMS、Memcached/Redis、NoSQL」,最後選 NoSQL,因為容易擴展。Figure 23 又把「非關聯功能」移到 NoSQL 減輕 DB 負擔。
原書沒說清楚:哪些資料不能掉?選 NoSQL 的代價是什麼?
🗣️ Triton 本人說 不能不見的,一定放 RDBMS
「主要還是一句:不能不見的data,我一定存到RDBMS」106
「別輕易使用 noSQL」「大部份時間,是系統瓶頸所在 – 別以為換成 noSQL 便能安心……」073 · Main DB
「現實上,毫不介意 consistency的商業應用很少的」080
「資料量不夠大 (<100GB) 就乖乖回去用 RDBMS 就好啦」054 · 談 data analysis
如果原書說的 shared store 是 Redis
「Redis的預設,是每 10000個WRITE才會寫入 Harddisk的」「想單用 Redis做到 zero data loss,跟在沙漠中吃生魚片一樣」087;「如果跟錢有關的話,千萬不要用 redis」029
文組翻譯
帳本(訂單、錢、會員)一定寫在有裝訂、會備份的帳簿裡;便條紙(熱門排行、暫存狀態)可以用白板。原書把「好擴展」當選擇理由,Triton 先問「這筆資料掉了會不會死人」。
Triton 不同意第 7 站 · session 放哪裡
❌ 原書 session 搬去共用 store ✅ Triton 根本不要 session
原書這樣做會出什麼事?每個 request 都去共用 store 查 session。有人灌爆假 request,誰先忙死?
假的 request 也要查了才知道是假的。改用 JWT(客人自己帶著、蓋了店章的通行證),在門口看章就能擋。
「除非你在維護古老系統,否則今天你不應該還用session ID based auth的。……使用jwt是不用redis-access就能知道這個request是否系統用戶。 而Session ID就一定要檢查redis才知道現在request的SessionID是否真正存在。」🗣️ Triton 本人說 131-喵談 jwt和Session ID.md · 第 1 點
「如果你的backend會面對DDOS的,jwt可以在更早期的階段便被擋掉,完全不用連上redis。」「(這個middleware layer是指CDN / cloudflare / ngnix)」🗣️ 131 · 第 2 點
要即時停權怎麼辦?131 第 6 點:在 Redis 放「24h 內被改過權限的 UserID」的 bloomfilter,AS 放 local cache(TTL 5 秒),「應該可以有效省下本來99%的redis-access」。但「系統流量不夠,真的乾脆就回到第4點的bruteforce approach就算了」。
Triton 補充第 4 站 · replication 與 HA
「slave 升為新 master」這一句,背後有數不清的地方會出錯
原書這樣做會出什麼事?master 掛了就讓 slave 升級。實際上這個切換要多久?
要先等「沒回應」確認、再升級、再改路由。HA 不是零停機,只是不需要人半夜起床。
「傳統上我們談High Availability(以下簡稱HA)我們是指:1. 系統中沒有single point of failure 2. 如果single component掛掉,是不需要人類即時行動。」「有HA不代表系統完全零秒的Downtime, 有HA只代表有single component掛了後系統能自動短時間內回復。(一般來說「短時間」=數分鐘內)」🗣️ Triton 本人說 017-High Availability stateful component vs stateless component.md
原書沒寫的兩件事
- 「Master/Slave Replication 保護不了壞人刪除數據」「只有以離線儲存的備份數據,才是真正安全的」073(原書說「無需擔心資料遺失」)
- PostgreSQL 是 block-level、MySQL 是 statement-level replication。block-level 傳整個 8KB block,跨地區流量大,但比較可信;「對一般中小型公司來說,很多時Master-Slave是在同一datacenter內,而且資料可靠度比效能更加重要」136
017:PostgreSQL master 掛掉之後
- postgreSQL main掛了
- 一分鐘後因為main db沒有回應heartbeat,觸發系統行動
- pg standby node現在promotion變成新的main DB
- pgpool middleware改變configuration,把incoming transaction改丟給新的main DB
「小吐嘈:整個過程有數不清的地方可以出錯,請使用像AWS RDS multi-AZ這些別人建好的方案,而不要輕易自己」🗣️ 017
🔭 推論 原書「讀打 slave、寫打 master」沒錯,但 slave 讀到的一定是舊一點的資料。像搶座位這種判斷,要靠 master 上的 atomic update:「如果updated record為1,則代表用戶成功保留了這座位」164。
延伸基礎第 13 階 · lock懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
保溫台空了,100 位客人同時發現:誰去叫廚房?
① 先想像
中午保溫台的牛肉麵剛好賣完。10 秒內進來 100 位客人,每個人都看到空的,每個人都跑去跟廚房說「煮一鍋」。
你猜猜看:沒人管的話,廚房會接到幾張「煮一鍋牛肉麵」?
大家都看到保溫台空的,都去叫。其實煮一鍋就夠所有人吃。
③ 這叫做 lock、cache stampede
lock:一次只准一個人做某件事,其他人先等。cache stampede:cache 一空,大家同時衝進 database。
④ 跟這章的關係
原書的 read-through cache 沒處理這件事。下一頁是 Triton 的處方:先拿鎖,再看一次 cache。
② 動手玩:保溫台剛好空了
Triton 補充第 5 站 · read-through cache 的坑
原書的 read-through,就是 Triton 說的「一般」caching
原書這樣做會出什麼事?熱門資料每秒 1000 人看,DB 要 80ms 才算好。它從 cache 過期的那一瞬間,幾個 request 衝進 DB?
80ms 內進來 1000 × 0.08 = 80 人,都看到 cache 是空的,全部去 DB。這就是第 13 階的 cache stampede。
「如果資料X的 QPS是 1000……如果主資料庫需要 80ms回傳資料X,那麼便有 80個 request進了主資料庫」「如果資料X需要複雜運算,需要 8000ms,那便有 8000 個 request進了主資料庫」「現實上,你的資料庫已經死了」🗣️ Triton 本人說 087-redis-2019.pdf.md · 「一般」的 caching 問題
087 的「進階的 caching 方法」
- 從 Redis 拿資料X;如有則直接回傳
- 拿到資料X的鎖(在離開時釋放)
- 再次從 Redis 拿資料X;如有則直接回傳
- 從主資料拿資料X
- 把資料X放回 Redis
- 把資料X回傳
087 說「一般」寫法「看起來很正常,很合理吧~ 結果我跟老婆約會時,要拿筆電來救火」。
Triton 補充第 5 站 · 原書的五個考量,Triton 寫得更具體
TTL、mod n、預熱、cache 放哪台
原書這樣做會出什麼事?原書只說 TTL「別太短也別太長」。如果乾脆不設,會怎樣?
不設 TTL,cache 會塞滿,要在最忙的時候邊清邊寫,反而變慢。
TTL:不設比設錯更糟
「有笨蛋會設 cache TTL = 一年 – 不設 TTL後果更嚴重,唉~」cache eviction「是在 peak hours的寫入觸發 – 必須先做 eviction 清出空間才能寫入,引發超高 latency」087
📖 原書 說 eviction 用 LRU;🗣️「LRU不是萬能的……」051,而且「Redis不是純 LRU algorithm」087
多台 cache:別用 mod n
「別使用mod( md5(cacheKey), n )來決定某一 keyValue 位置」「用這方法,當你系統繁忙要加開 redis時,n的改動會讓你的 caching全滅」「請學習 consistent hash – 其實 redis cluster內建了」087
這和原書 Figure 21 的 user_id % 4 是同一個問題(第 36 頁的 80%)。
預熱:土法煉鋼
首頁排行榜要 5 秒才算得出來,一 cache miss 一堆人等。「土法煉鋼但是有效的做法: – 寫一個 crontab,在 cache miss前到主資料庫拿資料放到 redis」087
cache 放哪台:Triton 的實戰數字
hypebeast.com 把 Memcache 從 AWS ElastiCache 搬到每台 AS 的 localhost:「Application server is CPU-bound, Cache server is RAM-bound – Combining them is perfect」「the avg time on cache decreased from 30ms to 8ms」046
🔭 推論 原書說獨立 cache tier 的好處是能獨立擴展;Triton 的經驗是小系統合在一起更快更省。087 也提醒「只用 local cache」的缺點:新開的 AS「其 local cache是全空的」。
Triton 不同意第 6、7 站 · auto-scaling 與 CDN
❌ 原書 「web tier 的 auto-scaling 就很容易做到」
原書這樣做會出什麼事?熱門商品開賣,幾秒內湧進百萬人,加開一台要 3 分鐘,會怎樣?
自動加開追得上「慢慢變多」的流量,追不上「幾秒內爆量」。要事先開好機器。
「先說結論: Auto-scaling是用來省錢的」「一般用在 App. Server層,別用在 DB層」「流量上升是慢慢的,不是爆發性的」
無法 auto-scaling 的問題:「電商網站開賣受歡迎商品 – 數秒內百萬用戶流入」;解法:「跟市場推廣同事合作,預先加開機器」🗣️ Triton 本人說 051-concurrency.pdf.md · Auto-scaling
「動態加開 AS 會有幫助,但是加開的速度不一定能追上流量成長」「READ 能用 Cache 支撐, WRITE 不行」🗣️ 073 · 對 Surge 有抵抗性
CDN 同理:「Write不能用CDN,Read可以。」所以寫入重的電商比 blog、討論區更花錢 166。原書的 CDN 只談靜態檔,Triton 談的是讀寫比。
延伸基礎第 14 階 · connection pool懂的人可以跳過
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
廚房只有 4 個爐子,40 位客人一起擠進廚房會怎樣?
① 先想像
廚房有 4 個爐子。門口拉一條排隊繩:最多 4 張單在煮,其他人在門外排。沒有繩子,所有人都衝進廚房。
你猜猜看:40 位客人一起擠進只有 4 個爐子的廚房,會比排隊快嗎?
爐子還是只有 4 個,人擠在廚房只會互相卡住。在門外排隊,廚房才能照速度出餐。
③ 這叫做 connection pool、max connection
connection pool:事先開好、數量固定的幾條線通往 database,用完要排隊。max connection:database 最多同時接幾條線。
④ 跟這章的關係
原書沒講這個。Triton 說系統不會因為流量大就當,前提是每一層都有排隊繩(下一頁)。
② 動手玩:有沒有排隊繩
Triton 補充原書沒講 · 每一層都要會說「請排隊」
小店不會因為上了米其林就倒,前提是門口有人管
原書沒講會出什麼事?尖峰時每個 request 都直接開一條線衝進資料庫,同時 1 萬條,會怎樣?
沒有排隊繩,大家一起擠進廚房。connection pool 讓多出來的人在 application 這層排隊。
「database connection pool其中一個功能,是系統爆炸性高流量時,其max_conn設定讓資料庫無法負擔的流量卡在application layer乖乖排隊。而不是全衝一起把資料庫炸掉!」🗣️ Triton 本人說 155
動手:connection pool 該設多少?
155 的規則:「你的application有多少個thread能同時在跑,把這個數字除2到除4就是「一般」系統的default setting了」,例子是 I7 7700(4 core 8 thread)→ 2 到 4。
155:Triton 三年內見證的當機原因
都不是因為流量。「如果有正確設定好的系統,其實是不會因為高流量而當掉的。」
🔭 推論 原書的「Build redundancy at every tier」講的是多一台備援;Triton 講的是每一層都要限量:「database要不炸掉是要application layer去保護。那麼要application layer不被大量在排隊等待的request炸掉?當然是更上方的load balancer那一層囉。」155 041 也說 C10K 死掉的原因「其實都是細節地方沒做好」:nginx、connection pool、file descriptor。
Triton 補充第 9 站 · message queue
原書的照片處理是對的例子,但 MQ 不是「解耦」萬靈丹
原書這樣做會出什麼事?如果 MQ 真的只存在記憶體,機器重開機,還沒處理的工作會?
記憶體一重開就空了。所以真正的 MQ 收到訊息先寫進硬碟才回成功,做完才刪。
動手:這個工作該丟 MQ 嗎?
185:丟 MQ 的三個原因
- 「這Request需要拿大量資源,而且很可能跑很久,不適合在App. Server上直接來跑。(例子:報表類的工作)」
- 「這工作是慢慢做也死不了人的,我想把MQ當成一個buffer,讓peak hours的工作可以在non-peak hours時來做。」
- 「你家主管不知從那邊聽到MQ好棒棒高大上,強迫你來用MQ。」
📖 原書 MQ「儲存在記憶體中」
原書定義:message queue 是「持久化元件,儲存在記憶體中」。
🗣️ Triton 本人說 真正的 MQ 先寫磁碟
「所以正常的MQ Server – 會把收到的Message先存到HDD,然後才回應成功 – 會等待收件者回傳「工作完成」,才真的把訊息刪掉」078
Signal「要高度即時性 – 丟失沒太大差」;Message「可以排隊一個一個工作慢慢來~ – 絕對不能丟失」078
「你的MQ只是把Request先存起來,系統對單一商品的處理能力其實沒變過。」185
Triton 補充第 8、10 站 · metrics、log、多 data center、拆服務
原書說「投資工具」,Triton 說清楚每樣工具放哪
原書這樣做會出什麼事?老闆說「系統很慢」,你手上沒有任何 metrics 數字。這是誰的錯?
沒有數據,就說不出慢在哪裡。有數據證明 CPU、IO 用滿了,才輪到老闆要不要加錢。
Metrics 和 log 是兩回事
「Metrics是用來告知系統是否出事 / log是讓人們重組案情的」;太多 HTTP 5XX「應該放在 Metrics,不應放在 log」051
「當你的老闆跟你說「系統很慢」時…… – 你沒有數據=你的錯 – CPU / IO 已經用滿了=老闆不肯給錢的錯」051
log 放哪:「沒錢就單純 logrotate時存到 AWS S3 / 有錢就建 ELK」051;別用 RDBMS 當 logging server,「txt檔案是 log 的理想存放位置」012
Automation:人才是最大風險
「你應該使用 ansible來替你的 server 安裝東西 – 人類錯誤永遠是 production最大風險」「永不在 server上跑 do-release-upgrade」051 · Blue-Green Deployment
155 的當機原因裡,「有人直接連進production database / redis,然後做了笨事」佔 20%、devops 流程錯誤 10%。
多 data center 是誰的需求
「Uber會使用MySQL,很大的理由是其全球性業務和分散在多個地區的database server。但是,對一般中小型公司來說,很多時Master-Slave是在同一datacenter內」136
🔭 推論 原書的三個挑戰(導流、同步、部署)都是真的;Triton 的問題是:你的使用者真的在兩個大陸嗎?
「Split tiers into individual services」
「好主意:根據商業邏輯做垂直切割」「壞主意:根據內部架構做水平切割 – 用戶 → ServA → ServB → Database – ServB一旦死掉,依賴 ServB的 service會全滅」「一份工作要用上的 component 越多,它的Availability 就會越低」051
073:理想的 backend「越少模組越好」。
Triton 補充第 11 站 · sharding 與名人問題
同意 sharding,但它是 scale up 走到盡頭之後的事
原書這樣做會出什麼事?名人問題:每位名人一個 shard。如果是同一篇貼文的按讚數,1 秒 10 萬人按,切再多 shard 有用嗎?
同一筆資料只能有一台負責寫。要改的是資料怎麼拆,不是多切幾份。
🗣️ 同意 真要水平擴展,走傳統 sharding
「如果到了scale up盡頭又不想走Hbase那些noSQL 要RDBMS的clustering其中雷區冒險,我還不如走傳統的sharding路線」106
🗣️ 補充 名人問題的本質:寫入沒法分散
「如果你需要 Consistency,不管你是 RDBMS 還是 noSQL,一份資料只會存放在一個 master node內」「重點: hotspot是卡在 single thread效能,你沒法以加開機器來解決的」051 · Hotspot
「同一份的資料,如果你需要維持strong consistency,最終你的Write是沒法distributed,讓你的系統出現hotspot的。」126
📖 原書 跨 shard 難 join → de-normalize
「常見的解決方法是去正規化資料庫,使查詢能在單一資料表中完成。」
🗣️ Triton 本人說 先守 3NF
「用children table來存你的array data,別為了小事輕易違反3NF」106
🔭 推論 原書名人問題的解法
原書的解法是「每位名人一個 shard,甚至再切」。如果名人的資料是讀多(追蹤者看貼文),讀可以靠 cache 和 replica 撐;如果是寫多(同一筆按讚數、庫存),依 051 和 126,再怎麼切 shard 也只是讓那一筆住在一台機器上,要改的是資料怎麼拆(例如把一份數量拆成數份獨立的來賣,185 開頭的「建議1」)。
到這裡你已經會了小結 5 / 5
- request
- DNS
- database
- scale up/out
- load balancer
- replication
- cache
- CDN
- stateless
- data center
- message queue
- sharding
- lock
- connection pool
到這裡你已經會了:Triton 的基本功
- 資料庫先 scale up:active data 放得進一台的 RAM,就別急著 sharding。不能掉的資料放 RDBMS。
- cache 一空,別讓大家衝進 database:先拿 lock 再看一次 cache,而且一定設 TTL。
- 每一層用 connection pool 讓多的人排隊。系統多半死在細節,不是死在流量。
14 階全部走完了
下一頁把原書八句逐條對照 Triton;接著是一句話總結和名詞小卡。
對照表原書八句 × Triton
八句總結,Triton 會怎麼改寫
| 📖 原書 | Triton 的態度 | 出處 |
|---|---|---|
| Keep web tier stateless | 同意。「好的 AS ,應該是 Stateless 的 – 這樣才能閉上眼睛,視流量來加開/關掉 AS」;但 session 改用 JWT | 073 · 131 |
| Build redundancy at every tier | 同意要無 SPOF,再加上:每一層都要限量(max_conn、connection pool),而且 failover 交給 managed 服務 | 017 · 155 |
| Cache data as much as you can | 要 cache,但要上鎖防 stampede、一定設 TTL、用 consistent hash、預熱 | 087 |
| Support multiple data centers | 全球性業務才需要;一般中小型公司 master-slave 在同一個 datacenter | 136 |
| Host static assets in CDN | 同意,而且讀都可以想辦法走 CDN;寫不行 | 166 · 041 |
| Scale your data tier by sharding | 先 scale up;到盡頭才 sharding(比 clustering 好);寫熱點切 shard 也解不了 | 106 · 116 · 051 |
| Split tiers into individual services | 依商業邏輯垂直切可以,依內部架構水平切是壞主意;越少模組越好 | 051 · 073 |
| Monitor your system and use automation tools | 同意;metrics 與 log 分開、log 別放 RDBMS、用 ansible 避免人為錯誤 | 051 · 012 |
一句話記住
積木照原書,
順序照 Triton:先把一台機器的基本功做滿。
原書對的地方
- web tier stateless、LB + 健康檢查
- 讀寫分離、master 只收寫
- CDN 放靜態檔、object versioning
- cache 要設 expiration、注意 SPOF
- 照片處理這種長工作丟 MQ
Triton 不同意的地方
- DB 先 scale out:先 scale up
- session 存 NoSQL:改用 JWT
- 「auto-scaling 很容易」:只能省錢,擋不住開賣
- 多 data center、拆 services:多數公司不需要
- MQ「存在記憶體」:真正的 MQ 先寫磁碟
Triton 加上的
- 不能掉的資料放 RDBMS
- cache 上鎖再查一次、crontab 預熱
- 每一層設 max_conn,connection pool = thread ÷ 2~4
- failover 用 RDS multi-AZ,另做離線備份
- metrics 告訴你壞了,log 讓你重組案情
本章名詞小卡課後複習用 · 每個名詞一句白話
今天出現的名詞,一句話講完
給工程師的重點出處與原書段落對照
引述來源(materials/core)
Triton 本人的講義 / 文章
- 051-concurrency.pdf.md:10K req/s 前架構差不多、木桶理論、auto-scaling 是省錢、metrics vs log、hotspot、TTL、micro-service 切法、blue-green
- 073-lesson3.pdf.md:最終架構圖與「WTF!?」、越少模組、LB / Stateless AS、別輕易用 noSQL、replication 擋不住刪資料、surge、MQ 流程
- 087-redis-2019.pdf.md:「一般」caching 的 stampede、上鎖再查、mod n 與 consistent hash、crontab 預熱、TTL、Redis persistence
- 017-High Availability…md:HA 定義、PG failover 四步、RDS multi-AZ、Redis cache 當 stateful
- 106-喵 data.md:不能不見的放 RDBMS、scale up、sharding 優於 clustering、3NF
- 116-喵看 RDS.md:RAM 大於 active data、銀行 DB 不到 1TB 041-Triton 閒聊 C10K.md:C10K 與 C100 架構差不多、32core 512GB(檔案後半混入 126 與第三方文章,未引)
- 131-喵談 jwt和Session ID.md:JWT vs session、DDoS 在 CDN 擋、bloomfilter 省 99%
- 155-如果有正確設定好的系統….md:米其林小店、connection pool、當機原因比例
- 136 PG/MySQL replication、Uber 185 MQ 三原因 078 MQ 先寫 HDD、Signal vs Message 046 hypebeast localhost memcache 166 CDN 讀寫 080 NoSQL 先 scale up、consistency 054 <100GB 029 錢別放 Redis 012 log 別放 RDBMS 126 寫入無法 distributed 164 atomic update
循序漸進(文組版)的頁面
學習地圖(第 3 頁);延伸基礎 14 階:request(5)、DNS(6)、database(8)、scale up/out(11)、load balancer(12)、replication(14)、cache(18)、CDN(21)、stateless(24)、data center(28)、MQ(30)、sharding(34)、lock(44)、connection pool(48);小結(10、17、27、37、53);名詞小卡(56)。阿花小吃店是虛構情境,示意數字不是實測值。
原書對照
Alex Xu, System Design Interview Vol.1 Ch.1(本章沒有需求問答與估算)。Single server 與 Figure 1–2(第 7 頁)、Database / Which databases 與 Figure 3(9)、Vertical vs horizontal、Load balancer 與 Figure 4(13)、Database replication 與 Figure 5–6(15–16)、Cache、Considerations 與 Figure 7–8(19–20)、CDN 與 Figure 9–11(22–23)、Stateless web tier 與 Figure 12–14(25–26)、Data centers 與 Figure 15–16(29)、Message queue 與 Figure 17–18(31)、Logging/metrics/automation 與 Figure 19(32)、Database scaling 與 Figure 20–23(33–36)、Millions of users and beyond(38)。23 張圖都依原書圖說與描述重繪,不是原圖。
沒有引用的
164 留言串裡「update是寫,始終在master」那段無法確認作者,只引正文。131 文末反駁 JWT 的是留言者,不是 Triton。021、036、040、174、179、187–195、014、022 依規範不當成 Triton 觀點。
一個可以直接問自己的問題
你的 DB 的 active data 有多大?它放得進一台現在租得到的機器的 RAM 嗎?