System Design Interview · 第 1 章Triton 覆蓋度:🟢 高Triton 線

Scale From Zero To Millions Of Users
一家小吃店怎麼長成連鎖店

原書從「一台 server 包辦一切」開始,一路加上 load balancer、replication、cache、CDN、stateless、多個 data center、message queue、sharding。Triton 不反對這些積木,他反對的是順序:「在 10K Request / Sec 之前,你的架構一般網站不會有太大差別」。

給文組

全程只用一家小吃店,一階一階爬 14 個概念。頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。原書 23 張圖全部重畫成可以播放的版本。

給工程師

前半完整照原書;後半是 Triton 的批判與補充,最後一頁列出所有出處(materials/core)與原書段落對照。

標籤怎麼看

📖 原書 🗣️ Triton 本人說 🔭 依 Triton 原則推論

先用生活理解小吃店長大的 11 個階段

老闆一個人顧店,到全台連鎖

原書這一章,其實就是一家店每遇到一個新麻煩,就多加一樣東西。

拉左邊的滑桿:客人變多,店裡就多一個帶位員、一本帳本副本、一個保溫台……每一樣都對應原書的一個元件。

「一家只能坐10人的的小店,某天突然上了Michelin Guide,然後近千人看到新聞後跑去吃。小店會不會當掉?當然不會啊!」🗣️ Triton 本人說 155-如果有正確設定好的系統,其實是不會因為高流量而當掉的。.md

Triton 的提醒:店不是因為客人多就倒,而是因為門口沒人管排隊。這句話在後半會回來。

學習地圖本章的概念階梯

今天爬 14 階。每一階只用前面講過的東西。

  1. 1request一張點單
  2. 2DNS店名查地址
  3. 3database帳本
  4. 4scale up/out換大鍋或多請人
  5. 5load balancer帶位員
  6. 6replication帳本影印本
  7. 7cache保溫台
  8. 8CDN巷口便利商店
  9. 9stateless點餐單寫紙上
  10. 10data center分店
  11. 11message queue外帶看板
  12. 12sharding名冊分冊
  13. 13lock一次只准一人
  14. 14connection pool門口排隊繩

第 1–3 階 · 一家店開張

客人怎麼找到店?點單和帳本放哪?

第 4–6 階 · 一位廚師不夠

廚師請病假、帳本燒掉怎麼辦?

第 7–9 階 · 讓客人更快拿到

怎麼不用每次翻帳本、跑總店?

第 10–12 階 · 長成連鎖店

分店、慢工作、名冊太厚怎麼辦?

第 13–14 階 · Triton 的基本功

為什麼大店多半死在細節?

全程只用一家店:阿花小吃店(虛構)

點單 = request廚房 = server查號台 = DNS帳本 = database帶位員 = load balancer保溫台 = cache巷口便利商店 = CDN分店 = data center外帶看板 = message queue

每爬 3 階,有一頁「到這裡你已經會了」。頁首標「延伸基礎」的頁是補基礎,懂的人可以跳過。

原書路線圖本章沒有面試問答與估算

原書的十一站:每一站解決上一站留下的問題

📖 原書 這章的寫法

和後面的設計題不同,這章沒有「應徵者 × 面試官」的需求釐清、也沒有流量估算。原書直接說:「我們建立一個支援單一用戶的系統,並逐步擴展到服務數百萬用戶」,讀完後「您將掌握幾項技巧,幫助您破解系統設計面試問題」。

每一站的固定格式

  • 上一個設計有什麼問題(例如:web server 掛了,使用者就連不上)
  • 加一個元件解決它
  • 這個元件的考量(cache、CDN 都有一份清單)
  • 一張「目前完整架構」的圖:Figure 6 → 11 → 14 → 19 → 23

點左邊任一站可以直接跳過去。每一站前面有延伸基礎頁,後半從第 39 頁開始是 Triton 的看法。

延伸基礎第 1 階 · request懂的人可以跳過

  1. request
  2. DNS
  3. database
  4. scale up/out
  5. load balancer
  6. replication
  7. cache
  8. CDN
  9. stateless
  10. data center
  11. message queue
  12. sharding
  13. lock
  14. connection pool

客人在手機上按「點餐」,送出去的是什麼?

① 先想像

客人在手機上按一下「點牛肉麵」。這張點單送到店裡,廚房做好,再把結果送回客人手上。

你猜猜看:店裡只有一位廚師,每張單做 1 分鐘。同時來 3 張單,第 3 張要等幾分鐘才開始做?

③ 這叫做 request、server

request:從客人那端送出的一張點單。server:接單、做事、回覆的那台電腦,就是廚房。

④ 跟這章的關係

這一章的每一站,都是在讓 server 接得住更多 request。

② 動手玩:送點單給一位廚師


      
0廚房收到的 request0 分最後一張要等多久才開始做

延伸基礎第 2 階 · DNS懂的人可以跳過

  1. request
  2. DNS
  3. database
  4. scale up/out
  5. load balancer
  6. replication
  7. cache
  8. CDN
  9. stateless
  10. data center
  11. message queue
  12. sharding
  13. lock
  14. connection pool

客人只記得店名,不記得地址,怎麼找到店?

① 先想像

你只記得「阿花小吃店」,導航卻需要地址。先打給查號台問地址,再照地址過去。

你猜猜看:查號台負責的是哪一件事?

③ 這叫做 DNS、IP

DNS:網路上的查號台,把網址換成地址。IP:那個地址,例如 15.125.23.214。

④ 跟這章的關係

原書第 1 站的第一步就是問 DNS。後面的帶位員、分店,也都是靠 DNS 把客人指過去。

② 動手玩:問查號台

    原書 第 1 站Single server setup · Figure 1、2

    一台 server 包辦一切

    這一步要解決的問題一個人開店,最簡單的系統長什麼樣?客人怎麼找到店、點單怎麼送進來?

    白話:web server=接 request 的 server;HTML=網頁內容;JSON=給 app 看的資料格式(右下那段);Java、Python=寫程式的語言。

    📖 原書 Figure 1Web browser 與 Mobile app 都連到同一台 web server(依原書內容重繪)

    📖 原書 一開始 web app、database、cache 全部跑在同一台 server。請求流程:

    1. 使用者用網域名稱(例如 api.mysite.com)連網站。DNS 通常是第三方的付費服務,不在我們的 server 上
    2. DNS 回傳 IP 位址,例子是 15.125.23.214
    3. 拿到 IP 後,HTTP 請求直接送到你的 web server
    4. web server 回傳 HTML 頁面或 JSON 回應

    📖 原書 流量來源有兩個:Web application(server 端語言如 Java、Python 處理商業邏輯與儲存;client 端用 HTML、JavaScript 呈現)和 Mobile application(走 HTTP,回應格式常用 JSON)。

    GET /users/12 – Retrieve user object for id = 12
    {"id":12, "firstName":"John", "lastName":"Smith",
     "address":{"streetAddress":"21 2nd Street", "city":"New York",
                "state":"NY", "postalCode":10021},
     "phoneNumbers":["212 555-1234", "646 555-4567"]}

    延伸基礎第 3 階 · database懂的人可以跳過

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    收銀機一停電,今天的訂單還在嗎?

    ① 先想像

    老闆把訂單記在收銀機螢幕上,沒存檔。晚上停電,一重開,螢幕一片空白。

    你猜猜看:同樣停電,寫進帳本的訂單還剩幾筆?

    ③ 這叫做 database、RDBMS

    database(DB):專門存資料、不怕重開機的帳本。RDBMS:最常見的一種,資料排成一張張表格,例如 MySQL。

    ④ 跟這章的關係

    第 2 站把帳本搬到另一台機器。Triton 整章的態度:不能掉的資料放 RDBMS。

    ② 動手玩:記幾筆訂單,然後停電

    原書 第 2 站Database · Figure 3 · Which databases to use?

    把資料庫搬到另一台:web tier 和 data tier 分開長大

    這一步要解決的問題客人變多,廚房和帳本擠在同一台,誰都長不大。

    白話:web tier=接客人的那一層;data tier=放帳本的那一層;NoSQL=不排成表格的資料庫;join=把兩張表對起來查;serialize=把資料打包成文字。

    📖 原書 Figure 3Web server 對 DB 送 read/write/update,DB 回 return data(依原書內容重繪)

    📖 原書 使用者變多,一台不夠:一台處理 web/mobile 流量,另一台當資料庫。分開之後,兩層可以各自獨立擴展。

    📖 原書 RDBMS 還是 NoSQL?

    Relational(RDBMS / SQL)Non-relational(NoSQL)
    代表MySQL、Oracle、PostgreSQLCouchDB、Neo4j、Cassandra、HBase、DynamoDB
    形式tables 與 rowskey-value、graph、column、document 四類
    join可以跨表 join通常不支援

    原書:對大多數開發者,RDBMS 是最佳選擇,「已存在超過 40 年,且歷史上運作良好」。

    動手勾:你的情況符合幾條?

    到這裡你已經會了小結 1 / 5

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    到這裡你已經會了:一家店開張

    下一階要解決的問題

    只有一位廚師:他請病假,店就關。客人變多,要換大鍋還是多請人?

    延伸基礎第 4 階 · scale up/out懂的人可以跳過

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    客人變多:換一口大鍋,還是多請一位廚師?

    ① 先想像

    一位廚師每分鐘做 5 碗,不夠了。可以換更大的鍋讓他一次多做,也可以多請一位廚師。

    你猜猜看:A 店一位超強廚師每分鐘 10 碗;B 店兩位廚師各 5 碗。今天各有一位請病假,各剩幾碗?

    ③ 這叫做 scale up、scale out

    scale up(vertical):把同一台機器換大。scale out(horizontal):多開幾台機器一起做。

    ④ 跟這章的關係

    原書第 3 站說 web server 要 scale out。Triton 說資料庫這一層反過來,先 scale up(第 40 頁)。

    ② 動手玩:你來決定怎麼長大

    5每分鐘做幾碗1要管幾位廚師

    延伸基礎第 5 階 · load balancer懂的人可以跳過

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    兩位廚師,客人要找誰?請一位帶位員

    ① 先想像

    門口站一位帶位員,客人進門先找他,他輪流把客人帶給兩位廚師。一位廚師不在,就全帶給另一位。

    你猜猜看:帶位員輪流帶,第 1 位給廚師 A、第 2 位給 B……第 5 位客人給誰?

    ③ 這叫做 load balancer、failover

    load balancer(LB):帶位員,把 request 平均分給好幾台 server。failover:一台壞了,自動改送到別台。

    ④ 跟這章的關係

    第 3 站就是加這位帶位員。DNS 回給客人的,是帶位員的地址。

    ② 動手玩:帶 6 位客人入座

    廚師 A
    廚師 B

    原書 第 3 站Vertical vs horizontal scaling · Load balancer · Figure 4

    一個廚師請病假,店就關了?請個帶位員,再請一個廚師

    這一步要解決的問題只有一台 web server:它離線,客人就連不上;客人太多,就變慢。

    白話:CPU=電腦的大腦;RAM=記憶體;redundancy=多備一份;pool=一群輪流用的 server。

    📖 原書 Scale up vs scale out

    Vertical(scale up):替 server 加 CPU、RAM。流量低時很好,主要優點是簡單。但有嚴重限制:

    • 有硬性上限,不可能無限加 CPU 和記憶體
    • 沒有 failover 與 redundancy:一台掛了,網站整個掛

    Horizontal(scale out):把更多 server 加進資源池。原書:大型應用「更具吸引力」。

    📖 原書 先前的設計裡,使用者直接連 web server:它離線,使用者就連不上;同時太多人連到負載上限,就變慢或連不上。原書說 load balancer 是解決這兩個問題的「最佳技術」。

    📖 原書 使用者連的是 LB 的 public IP;LB 和 web server 之間用 private IP(只在同一網路內可達,網際網路連不到),比較安全。server 1 離線,流量全部導向 server 2,再補一台健康的;流量長大,只要把 server 加進 pool,LB 會自動開始分給它。

    📖 原書 Figure 4DNS 把 mywebsite.com 解析成 LB 的 public IP 88.88.88.1;LB 用 private IP 轉給 Server1 / Server2(依原書內容重繪)

    延伸基礎第 6 階 · replication懂的人可以跳過

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    帳本只有一本,燒掉怎麼辦?影印幾本

    ① 先想像

    總帳房只有一位,只有他能改帳。另外放三本影印本給查帳的人看;總帳本一改,影印本跟著抄。

    你猜猜看:一天 90 次查帳、10 次改帳。查帳平均分給 3 本影印本,每本被查幾次?總帳房處理幾次?

    ③ 這叫做 replication、master / slave

    replication:把一份資料自動抄到別台。master:唯一能改的正本;slave(也叫 replica):只能讀的抄本。

    ④ 跟這章的關係

    第 4 站。抄寫要一點時間:剛改完那一瞬間,影印本可能還是舊的。

    ② 動手玩:改一筆帳,馬上去影印本查

    0總帳本(master)0影印本(slave)

    影印本每 2 秒才抄一次總帳本(示意)。

    原書 第 4 站Database replication · Figure 5

    帳本只有一本太危險:master 寫、slave 讀

    這一步要解決的問題帳本只有一本:機器壞了資料就沒了,所有查帳的人也擠在同一本。

    白話:insert / delete / update=新增/刪除/修改一筆;data recovery script=把缺的資料補回來的小程式。

    📖 原書 Figure 5Web servers 寫入 Master DB,從 Slave DB1–3 讀取(依原書內容重繪)

    📖 原書 引用 Wikipedia:replication「通常在原始資料庫(master)與複本(slaves)間建立主從關係」。master 通常只支援寫;slave 從 master 拿資料複本,只支援讀。insert、delete、update 一律送 master。大多數應用讀遠多於寫,所以 slave 通常比 master 多。

    📖 原書 三個優點

    • 效能:寫在 master、讀分散到 slaves,更多查詢可以並行
    • 可靠:颱風、地震毀掉一台,資料還在其他地點
    • 高可用:一台 DB 離線,網站還能從別台讀

    📖 原書 某一台掛了怎麼辦

    • slave 掛:只有一台 slave 時,讀暫時改打 master;有多台就改打其他健康的 slave;再換一台新的上來
    • master 掛:一台 slave 升為新 master,所有操作暫時在它身上;再補一台新 slave。原書也承認 production 裡比較複雜:slave 的資料可能不是最新,要跑 data recovery script 補;multi-master、circular replication「超出本課程範圍」

    原書 第 4 站加上 LB 與 replication 後 · Figure 6

    第一張完整平面圖:web tier × data tier

    這一步要解決的問題前幾站的零件拼起來:一個「讀」和一個「寫」的 request,各走哪條路?

    📖 原書 Figure 6User → DNS → Load balancer → Server 1 / 2 → Master DB / Slave DB(依原書內容重繪)
    1. 使用者從 DNS 拿到 load balancer 的 IP
    2. 用這個 IP 連到 load balancer
    3. HTTP 請求被導向 Server 1 或 Server 2
    1. web server 從 slave 讀使用者資料
    2. 任何修改資料的操作(write、update、delete)導向 master

    📖 原書 web 和 data tier 都有了,下一步是改善載入與回應時間:加 cache 層,並把靜態內容(JavaScript、CSS、圖片、影片)移到 CDN。

    到這裡你已經會了小結 2 / 5

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    到這裡你已經會了:一位廚師不夠的時候

    下一階要解決的問題

    每位客人都去翻帳本,太慢了。熱門的東西能不能先備好?

    延伸基礎第 7 階 · cache懂的人可以跳過

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    每一碗都現煮太慢:熱門的先備好放保溫台

    ① 先想像

    牛肉麵現煮要 5 分鐘。中午大家都點牛肉麵,老闆先煮一鍋放保溫台,舀一碗只要幾秒。

    你猜猜看:保溫台一開始是空的。10 位客人都點牛肉麵,廚房要從頭煮幾次?

    ③ 這叫做 cache、hit / miss

    cache:放在手邊、拿得很快的暫存區,正本在 database。hit / miss:保溫台上有(hit)/沒有,要回廚房做(miss)。

    ④ 跟這章的關係

    第 5 站加 cache,server 不用每次都翻帳本。菜放太久會不新鮮:這就是後面的 TTL。

    ② 動手玩:10 位客人點牛肉麵

    0廚房從頭煮幾次010 位加起來等幾分鐘

    原書 第 5 站Cache · Cache tier · Figure 7

    熱門的菜先備好放保溫台

    這一步要解決的問題每載入一頁就要翻一次以上的帳本(DB),客人一多就慢。

    白話:Memcached=常用的 cache 軟體;3600 * SECONDS=放 3600 秒(1 小時)後過期。

    📖 原書 Cache 是暫存區,把昂貴的回應或常被存取的資料放在記憶體,讓後續請求更快。Figure 6 裡每載入一頁就要打一次以上的 DB,反覆呼叫 DB 會大幅影響效能。

    📖 原書 獨立 cache tier 的好處:效能更好、減輕 DB 負擔、cache 層可以獨立擴展。

    📖 原書 收到請求後,web server 先看 cache 有沒有;有就直接回;沒有就查 DB、把結果存進 cache、再回傳。這叫 read-through cache。還有其他策略,依資料類型、大小與存取模式而定。

    原書的 Memcached API 範例(照原書原文,第一行的引號原書就少了一個):

    SECONDS = 1
    cache.set('myKey, 'hi there', 3600 * SECONDS)
    cache.get('myKey')
    📖 原書 Figure 71. 有就從 cache 讀;2.1 沒有就去 DB…;2.2 回傳給 web server(依原書內容重繪,圖上文字依原圖截斷)
    0hit0miss(要打 DB)

    原書 第 5 站Considerations for using cache · Figure 8

    用 cache 前要想的五件事

    這一步要解決的問題保溫台很好用,但什麼該放、放多久、放滿了、壞了怎麼辦?

    白話:transaction=要嘛全做、要嘛全不做的一組動作;LRU/LFU/FIFO=最久沒人用/最少人用/最早放的先丟。

    1. 何時用:讀很多、改很少的資料。cache 在揮發性記憶體裡,重啟就全沒了,重要資料要放持久性的資料庫
    2. Expiration policy:過期就移除;沒有 expiration,資料會永久留在記憶體。別太短(太常回 DB 重載),也別太長(資料變舊)
    3. Consistency:DB 和 cache 的修改不在同一個 transaction,可能不一致;跨多個 region 更難,原書推薦 Facebook 的〈Scaling Memcache at Facebook〉
    4. Mitigating failures:單一 cache server 是 SPOF(Wikipedia:「若失效將導致整個系統停止運作的部分」)。建議在不同 data center 放多台;另外把記憶體超額配置一定比例當緩衝
    5. Eviction policy:cache 滿了,新增項目會擠掉舊的。最流行的是 LRU,也可以用 LFU、FIFO
    📖 原書 Figure 8三個使用者都連到同一台 Single Server:Single Point of Failure(依原書內容重繪)

    動手調 TTL

    延伸基礎第 8 階 · CDN懂的人可以跳過

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    圖片和影片,為什麼要客人跑回總店拿?

    ① 先想像

    總店很遠。客人每要一雙筷子、一瓶飲料,都得跑一趟總店。在客人家巷口的便利商店先放一些就好。

    你猜猜看:回總店拿一樣東西要 120ms,巷口要 30ms。網頁上有 10 張圖,一張一張拿,巷口版省多少?

    ③ 這叫做 CDN、latency

    CDN:開在各地、離客人很近的一群 server,放大家拿的都一樣的東西。latency:從送出到收到的等待時間。

    ④ 跟這章的關係

    第 6 站把圖片、CSS、JavaScript 搬到 CDN。每個人看到都不一樣的資料,不適合放。

    ② 動手玩:載入一頁 10 張圖

    0 ms10 張圖總共等多久

    原書 第 6 站Content delivery network · Figure 9、10

    飲料和餐具放到離客人最近的便利商店

    這一步要解決的問題客人離總店很遠,光是拿圖片、影片就要等很久。

    白話:static content=每個人拿到都一樣的檔案;Origin=放正本的自家 server。

    📖 原書 Figure 9直接連 Origin 120ms;經過 CDN 30ms(依原書內容重繪)

    📖 原書 CDN 是地理上分散的一群 server,用來傳遞靜態內容(圖片、影片、CSS、JavaScript)。使用者造訪時,最近的 CDN server 送靜態內容;離得越遠越慢。例子:CDN 在舊金山,洛杉磯的使用者比歐洲的快。動態內容快取(依 request path、query string、cookie、header 快取 HTML)是較新的概念,超出本課程範圍。

    📖 原書 Figure 10CDN workflow:User A 第一次拿 image.png、User B 第二次拿(依原書內容重繪)

    原書 第 6 站Considerations of using a CDN · Figure 11

    CDN 的四個考量,和第二張完整平面圖

    這一步要解決的問題便利商店要付錢、貨會過期、偶爾會關門,換新貨又怎麼辦?

    白話:fallback=CDN 不通時改回總店拿;invalidate=提早把舊貨下架。

    📖 原書 使用 CDN 的考量

    • Cost:第三方營運,進出 CDN 的傳輸都要付費;不常用的資產放 CDN 沒什麼好處,考慮移出
    • Cache expiry:時效性內容要設,不能太長(不新鮮)也不能太短(一直回 origin 重載)
    • CDN fallback:CDN 暫時中斷時,client 要能偵測到並改向 origin 要資源
    • Invalidating files:過期前移除檔案,兩種做法:① 用 CDN 供應商的 API 讓物件失效;② object versioning,URL 加版本參數,例如 image.png?v=2

    動手:換一張新 logo

    image.png?v=1

    CDN 裡現在放的是 v1。

    📖 原書 Figure 11加上 CDN 與 cache 之後的設計(依原書內容重繪)
    ① 靜態資產(JS、CSS、圖片)改從 CDN 拿 ② 快取資料減輕 DB 負載

    延伸基礎第 9 階 · stateless懂的人可以跳過

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    客人點了什麼,記在服務生腦袋裡,還是寫在單子上?

    ① 先想像

    你跟服務生 A 點了一碗麵加滷蛋。A 突然下班,換服務生 B 來上菜。

    你猜猜看:A 只把你點的記在腦袋裡。B 知道你點了什麼嗎?

    ③ 這叫做 session、stateless

    session:server 替某位客人記住的事,例如「他登入了」。stateless:server 自己什麼都不記,要用時去共用的地方拿。

    ④ 跟這章的關係

    第 7 站把 session 從 web server 搬出去。這樣帶位員把客人帶給誰都可以。

    ② 動手玩:換人服務

    
        

    原書 第 7 站Stateless web tier · Figure 12、13

    點餐單寫在紙上,不要只記在某個服務生腦袋裡

    這一步要解決的問題客人的 session 只記在某一台 server,帶位員把他帶到別台就認不得。

    白話:shared storage=大家共用的點餐單架。

    📖 原書 Figure 12每位使用者的 session data 與 profile image 只存在「他那台」server(依原書內容重繪)

    📖 原書 要水平擴展 web tier,就得把狀態(例如 user session)搬出 web tier。好做法是存到持久性儲存,如 RDBMS 或 NoSQL;每台 web server 都從那裡拿狀態。

    📖 原書 Stateful server 記得 client 上一個 request 的資料;stateless 不保留任何狀態。Figure 12 裡 User A 的 session 在 Server 1,要驗證 User A,request 必須送到 Server 1;送到 Server 2 就驗證失敗。

    📖 原書 多數 LB 可以用 sticky sessions 做到「同一 client 永遠送同一台」,但會增加負擔,加減 server 困難很多,server 故障也難處理。

    📖 原書 Stateless:HTTP request 可以送到任何一台,狀態放在共用的 data store。原書:「無狀態系統較為簡單、更具韌性且易於擴展」。

    原書 第 7 站Stateless 之後的設計 · Figure 14

    第三張平面圖:session 搬去 NoSQL,web tier 可以 auto scale

    這一步要解決的問題session 搬出去之後,web server 都一樣了,可以照流量自動加減。

    白話:Memcached / Redis=常用的 cache 軟體。

    📖 原書 把 session data 從 web tier 移到持久性的 data store。共用 data store 可以是 RDBMS、Memcached/Redis、NoSQL 等;原書選 NoSQL,因為容易擴展。

    📖 原書 Autoscaling:依流量自動增減 web server。狀態搬出去之後,web tier 的 auto-scaling 就很容易做到。

    動手:流量變大,server 自動變多

    每台 server 示意可扛 2 單位,現在需要 1 台。

    📖 原書 接著網站快速成長、吸引大量國際用戶,「支援多個資料中心是關鍵」。

    📖 原書 Figure 14CDN、LB、Server1–4(① Auto scale)、Master + 2 Slaves、Cache、NoSQL(依原書內容重繪)

    到這裡你已經會了小結 3 / 5

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    到這裡你已經會了:讓客人更快拿到

    下一階要解決的問題

    整個城市停電,或客人遍布全世界,一家店撐不住。

    延伸基礎第 10 階 · data center懂的人可以跳過

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    台北一停電,全台客人都吃不到?開一家高雄分店

    ① 先想像

    北部客人去台北店,南部客人去高雄店。一家停電,客人全部改去另一家。

    你猜猜看:平常台北店接 60% 的客人、高雄店 40%。高雄停電,台北店要接幾 %?

    ③ 這叫做 data center、geoDNS

    data center:放一大群電腦的機房,就是一家分店。geoDNS:看客人在哪裡,回不同分店地址的查號台。

    ④ 跟這章的關係

    第 8 站。最難的不是導流,是兩家分店的帳本要同步(跨城市版的 replication)。

    ② 動手玩:分配客人

    台北店
    高雄店

    原書 第 8 站Data centers · Figure 15、16

    台北店和高雄店:一家停電,客人導去另一家

    這一步要解決的問題整個城市停電,或客人遍布全世界,一家店撐不住。

    白話:Traffic redirection=導流;Data synchronization=分店帳本同步;deployment=把新版程式裝上機器。

    📖 原書 Figure 15geoDNS 把使用者導到最近的 data center:US-East x%、US-West (100 – x)%(依原書內容重繪)

    📖 原書 正常時,使用者被 geoDNS(也叫 geo-routed)導到最近的 data center。geoDNS 是依使用者位置把網域解析成不同 IP 的 DNS 服務。重大中斷時,把所有流量導向健康的 data center。

    📖 原書 要解決的三個技術挑戰

    • Traffic redirection:要有工具把流量導到對的 data center,GeoDNS 可以依使用者位置導到最近的
    • Data synchronization:不同地區可能用不同的本地 DB 或 cache;failover 時可能被導到沒有資料的 data center。常見策略是跨 data center 複製資料,原書舉 Netflix 的非同步多 data center replication
    • Test and deployment:要在不同地點測試;自動化部署工具對保持所有 data center 一致「至關重要」

    📖 原書 要再擴展,就要把系統的不同元件解耦,讓它們能獨立擴展:message queue 是關鍵策略。

    延伸基礎第 11 階 · message queue懂的人可以跳過

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    修照片要 3 分鐘,前台要站著等嗎?

    ① 先想像

    客人送照片來修,一張 3 分鐘。前台若站著等修完才招呼下一位,後面全卡住。改成把單子貼看板,師傅照順序修。

    你猜猜看:5 位客人同時到,前台站著等。第 5 位要等幾分鐘才被前台招呼?

    ③ 這叫做 message queue、async

    message queue(MQ):工作的看板,先貼上去,後面的人照順序拿來做。async(非同步):交出去就先忙別的,不站著等結果。

    ④ 跟這章的關係

    第 9 站用它處理照片。看板越貼越長,就多請幾位師傅。

    ② 動手玩:5 位客人送照片

    原書 第 9 站Message queue · Figure 17、18

    外帶單貼在看板上,備料師傅照順序做

    這一步要解決的問題修照片這種慢工作,web server 不該站著等它做完。

    白話:publisher / subscriber=producer / consumer 的另一種叫法;worker=在背景做事的程式(修照片的師傅)。

    📖 原書 Message queue 是「持久化元件,儲存在記憶體中,支援非同步通訊」,當緩衝區並分配非同步請求。Producer / publisher 建立訊息並發布到 queue;consumer / subscriber 連到 queue,執行訊息定義的動作。

    📖 原書 Figure 17Producer publish → Message Queue → consume → Consumer;Consumer subscribe(依原書內容重繪)

    📖 原書 解耦:consumer 不在時 producer 照樣發;producer 不在時 consumer 照樣讀。例子:照片的裁切、銳化、模糊很花時間,web server 把工作發到 queue,photo processing workers 非同步處理。queue 變長就加 worker;大多時候是空的就減。

    📖 原書 Figure 18Web servers(Producer)→ queue for photo processing → Photo processing workers(Consumer)(依原書內容重繪,加上可調的模擬)
    0queue 長度0已處理

    原書 第 10 站Logging, metrics, automation · Figure 19

    店大了,要裝監視器、做報表、寫 SOP

    這一步要解決的問題店大了:出事時怎麼知道哪裡壞?怎麼避免人手出錯?

    白話:DAU=每天有幾個人來;retention=客人會不會回來;revenue=營收;check-in=把改好的程式交上去。

    📖 原書 小網站時這些是好習慣但非必要;網站成長到服務大型企業,投資這些工具「變得不可或缺」。

    • Logging:監控 error log 幫你找到錯誤;可以每台各看,或用工具集中到一個服務方便搜尋
    • Metrics:(CPU、Memory、disk I/O)(整個 DB tier、cache tier 的效能)(DAU、retention、revenue)
    • Automation:continuous integration,每次 check-in 都自動驗證,及早發現問題;自動化 build、test、deploy 大幅提升生產力

    點上面三個 metrics 類型,看例子。

    📖 原書 Figure 19 的兩個重點:① 加入 message queue,讓系統更鬆耦合、更能承受故障;② 加入 logging、monitoring、metrics、automation 工具。因為版面,只畫一個 data center。

    📖 原書 Figure 19加上 message queue、workers、NoSQL 與 Tools 的設計(DC1)(依原書內容重繪)

    原書 第 11 站Database scaling · Vertical scaling · Figure 20

    資料庫要長大:換一台更大的,還是多開幾台?

    這一步要解決的問題資料一天天變多,帳本越來越重:換一台更大的,還是多開幾台?

    白話:DISK=硬碟;stackoverflow.com=工程師的問答網站。

    📖 原書 Vertical scaling(scaling up)

    替現有機器加 CPU、RAM、DISK。市面上有很強的 DB server:依 Amazon RDS,可以拿到 24 TB RAM 的資料庫伺服器。例子:stackoverflow.com 在 2013 年每月超過 1,000 萬獨立訪客,但只有 1 台 master database。

    原書列的嚴重缺點:

    • 硬體有極限,使用者很多時一台不夠
    • 單點故障風險較高
    • 整體成本高,高效能 server 貴很多

    📖 原書 Horizontal scaling(sharding)

    增加更多 server。下一頁看原書怎麼切。

    📖 原書 Figure 20Vertical Scaling(Increase CPU, RAM, DISK, etc)VS Horizontal Scaling(Add more servers)(依原書內容重繪)

    注意原書自己舉的例子:stackoverflow 一台 master 撐千萬訪客。這個例子會在第 40 頁變成 Triton 的論點。

    延伸基礎第 12 階 · sharding懂的人可以跳過

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    會員名冊太厚:依編號尾數分成四本

    ① 先想像

    會員 4,000 人,名冊一翻就是半天。用會員編號除以 4 的餘數分成四本:餘 0 放第 0 本,餘 1 放第 1 本……

    你猜猜看:會員編號 6 號在第幾本?

    ③ 這叫做 sharding、shard key

    sharding:把一個大資料庫依規則切成幾個小的(shard),各放一台。shard key:決定放哪一本的欄位,這裡是會員編號。

    ④ 跟這章的關係

    第 11 站。麻煩在於:某一本特別熱門(名人都在第 2 本),或要從 4 本改成 5 本。

    ② 動手玩:找會員在哪一本

    原書 第 11 站Horizontal scaling · Sharding · Figure 21、22

    會員名冊太厚:依會員編號分成四本

    這一步要解決的問題一本名冊太厚,要拆成幾本;客人來了,要翻哪一本?

    白話:schema=每一本的欄位格式;hash function=把編號換成「第幾本」的算法,這裡就是除以 4 取餘數。

    📖 原書 Figure 21user_id % 4 決定資料放在 shard 0–3(依原書內容重繪)

    📖 原書 Sharding 把大資料庫拆成較小、易管理的部分,叫 shards。每個 shard schema 相同,但資料各自唯一。

    📖 原書 例子:依 user ID 分配,每次存取都用 hash function 找 shard,本例是 user_id % 4:結果 0 就用 shard 0,結果 1 就用 shard 1,依此類推。

    📖 原書 Sharding key 最重要

    實作 sharding 時最重要的因素是 sharding key(也叫 partition key)的選擇:由一個或多個欄位組成,決定資料怎麼分布。Figure 22 的 sharding key 是 user_id。它讓查詢被導到對的 DB,有效率地讀寫。選 key 時最重要的標準之一:能把資料平均分散。

    原書 第 11 站Sharding 的新挑戰 · Figure 23

    分冊之後的三個麻煩,和第五張平面圖

    這一步要解決的問題拆成好幾本之後,出現三個新麻煩。

    📖 原書 Sharding「遠非完美」

    • Resharding data:① 某個 shard 成長太快放不下;② 資料分布不均,某些 shard 比別人更快 shard exhaustion。這時要改 sharding function、搬資料。常用解法:consistent hashing
    • Celebrity problem(hotspot key):Katy Perry、Justin Bieber、Lady Gaga 的資料都在同一個 shard,社群應用的讀取會淹沒它。可能要每位名人一個 shard,甚至再切
    • Join and de-normalization:跨 shard 很難 join,常見做法是 de-normalize,讓查詢在單一 table 完成

    動手:從 4 本加到 5 本

    📖 原書 Figure 23① 分片的 Databases ② 非關聯功能移到 NoSQL(依原書內容重繪)

    📖 原書 對資料庫分片以支撐快速增加的流量;同時把部分「非關聯」功能移到 NoSQL 減輕 DB 負擔。

    到這裡你已經會了小結 4 / 5

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    到這裡你已經會了:長成連鎖店

    下一階要解決的問題

    原書 11 站講完了。下一頁是原書的八句總結,接著換 Triton:你的系統現在需要第幾站?

    原書 收尾Millions of users and beyond

    原書的八句總結

    這一步要解決的問題把 11 站濃縮成 8 句。

    1. Keep web tier stateless
    2. Build redundancy at every tier
    3. Cache data as much as you can
    4. Support multiple data centers
    5. Host static assets in CDN
    6. Scale your data tier by sharding
    7. Split tiers into individual services
    8. Monitor your system and use automation tools

    📖 原書 「系統擴展是一個反覆進行的過程。」

    要超過數百萬用戶,需要更多微調與新策略,例如優化系統、把系統拆成更小的服務。原書說本章的技術「應為應對新挑戰提供良好基礎」,最後一句是:「恭喜您已經走到這一步!現在給自己一個讚。做得好!」

    到這裡,原書講完了

    接下來換 Triton。他的問題不是「這八句對不對」,而是:你的系統現在需要第幾句?第 54 頁會把這八句逐條對照 Triton 的看法。

    Triton 總評積木沒錯,順序錯了

    原書的終點,是 Triton 眼中大部分公司「不需要」的地方

    原書這樣做會出什麼事?小網站一開始就把 11 站全做齊,會怎樣?

    「在 10K Request / Sec之前,你的架構一般網站不會有太大差別」
    「木桶能載多少水,是最矮那片木板來決定……請花精力去肯定每一環節都做好所有基本功夫,而不是去談什麼假大空 distributed system / big data」🗣️ Triton 本人說 051-concurrency.pdf.md · 小秘密

    「有人問C10K的系統跟C100系統的系統架構有什麼分別嘛。其實分別真的不太大的,還不是一樣的load balancer(看你想玩AWS ELB還是自架HAproxy),Application Server,然後便配上RDBMS」🗣️ Triton 本人說 041-Triton 閒聊 C10K.md

    Triton 自己畫過一張「最終架構圖」

    073 的後端課第三課,先秀一張有 Load Balancer ×2、Stateless AS ×4、Master + 2 Slave、Cache Cluster、Redis ×3、MQ Cluster、Worker Farm、Long Polling Server、Search / File / Report DB 的大圖,下一頁就是:

    「WTF!? 我只是想寫一個小網站而己」
    「所以才叫你們不要看見別人的架構很漂亮便立即閉上眼睛跟著做啊」🗣️ 073-lesson3.pdf.md · 第 4–5 頁

    同一份講義:「facebook 的架構,跟路邊八卦一樣,聽聽便好」。

    後半的讀法

    原書每一站,Triton 大多同意那塊積木。差別在:什麼時候才需要、要先做好什麼基本功、還有幾個原書沒寫的坑。每一頁都標出是 🗣️ 原話 還是 🔭 推論。

    Triton 不同意第 3、11 站 · 資料庫先 scale up

    ❌ 原書 「horizontal scaling 更具吸引力」

    原書這樣做會出什麼事?資料庫一開始就拆成很多台,會怎樣?

    「如果是小型系統,單純scale up便算了」「正常沒亂來的系統,在20core + 200GB RAM的暴力機器下,絕大部份都沒需要玩clustering」「很認真:今天你要租到20core, 300GB RAM的伺服器不是什麼大問題 除非你要面對C100K,何必自找麻煩做db clustering呢」🗣️ Triton 本人說 106-喵 data.md

    「當Main memory比你的系統會用上的Active data都要多時,你的Data和index就會長期以OS cache和DB cache方式留在Memory。」「然後一堆很賺錢的商業系統(像銀行),其總資料庫連1TB都不到下。」🗣️ Triton 本人說 116-喵看 RDS.md

    連 NoSQL 也一樣:「在使用 SSTable的 noSQL(像 Hbase, Cassandra),你應該先 scale up,直到 server cost會 non-linearly增加時才 scale-out」080

    動手:你的 active data 放得進一台嗎?

    🔭 推論 原書自己的兩個例子其實站在 Triton 這邊:RDS 有 24 TB RAM、stackoverflow 2013 年一台 master 撐千萬月訪客。原書寫的 vertical 缺點「單點故障」,Triton 的答案是 replication + managed failover(第 43 頁),不是 sharding。

    Triton 不同意第 2、7 站 · 什麼該放 RDBMS

    原書在 Figure 14 選 NoSQL 是「因為它易於擴展」

    原書這樣做會出什麼事?把「好擴展」當理由,把訂單、錢也放進不重視一致的儲存,掉了一筆會怎樣?

    📖 原書 NoSQL 的四個條件、session 放 NoSQL

    第 2 站原書說 RDBMS 對多數人是最佳選擇;但第 7 站存 session 時,共用 data store「可以是 RDBMS、Memcached/Redis、NoSQL」,最後選 NoSQL,因為容易擴展。Figure 23 又把「非關聯功能」移到 NoSQL 減輕 DB 負擔。

    原書沒說清楚:哪些資料不能掉?選 NoSQL 的代價是什麼?

    🗣️ Triton 本人說 不能不見的,一定放 RDBMS

    「主要還是一句:不能不見的data,我一定存到RDBMS」106

    「別輕易使用 noSQL」「大部份時間,是系統瓶頸所在 – 別以為換成 noSQL 便能安心……」073 · Main DB

    「現實上,毫不介意 consistency的商業應用很少的」080

    「資料量不夠大 (<100GB) 就乖乖回去用 RDBMS 就好啦」054 · 談 data analysis

    如果原書說的 shared store 是 Redis

    「Redis的預設,是每 10000個WRITE才會寫入 Harddisk的」「想單用 Redis做到 zero data loss,跟在沙漠中吃生魚片一樣」087;「如果跟錢有關的話,千萬不要用 redis」029

    文組翻譯

    帳本(訂單、錢、會員)一定寫在有裝訂、會備份的帳簿裡;便條紙(熱門排行、暫存狀態)可以用白板。原書把「好擴展」當選擇理由,Triton 先問「這筆資料掉了會不會死人」。

    Triton 不同意第 7 站 · session 放哪裡

    ❌ 原書 session 搬去共用 store ✅ Triton 根本不要 session

    原書這樣做會出什麼事?每個 request 都去共用 store 查 session。有人灌爆假 request,誰先忙死?

    「除非你在維護古老系統,否則今天你不應該還用session ID based auth的。……使用jwt是不用redis-access就能知道這個request是否系統用戶。 而Session ID就一定要檢查redis才知道現在request的SessionID是否真正存在。」🗣️ Triton 本人說 131-喵談 jwt和Session ID.md · 第 1 點

    「如果你的backend會面對DDOS的,jwt可以在更早期的階段便被擋掉,完全不用連上redis。」「(這個middleware layer是指CDN / cloudflare / ngnix)」🗣️ 131 · 第 2 點

    要即時停權怎麼辦?131 第 6 點:在 Redis 放「24h 內被改過權限的 UserID」的 bloomfilter,AS 放 local cache(TTL 5 秒),「應該可以有效省下本來99%的redis-access」。但「系統流量不夠,真的乾脆就回到第4點的bruteforce approach就算了」。

    10,000Redis 每秒被問幾次0在 CDN / nginx 就擋掉

    Triton 補充第 4 站 · replication 與 HA

    「slave 升為新 master」這一句,背後有數不清的地方會出錯

    原書這樣做會出什麼事?master 掛了就讓 slave 升級。實際上這個切換要多久?

    「傳統上我們談High Availability(以下簡稱HA)我們是指:1. 系統中沒有single point of failure 2. 如果single component掛掉,是不需要人類即時行動。」「有HA不代表系統完全零秒的Downtime, 有HA只代表有single component掛了後系統能自動短時間內回復。(一般來說「短時間」=數分鐘內)」🗣️ Triton 本人說 017-High Availability stateful component vs stateless component.md

    原書沒寫的兩件事

    • 「Master/Slave Replication 保護不了壞人刪除數據」「只有以離線儲存的備份數據,才是真正安全的」073(原書說「無需擔心資料遺失」)
    • PostgreSQL 是 block-level、MySQL 是 statement-level replication。block-level 傳整個 8KB block,跨地區流量大,但比較可信;「對一般中小型公司來說,很多時Master-Slave是在同一datacenter內,而且資料可靠度比效能更加重要」136

    017:PostgreSQL master 掛掉之後

    1. postgreSQL main掛了
    2. 一分鐘後因為main db沒有回應heartbeat,觸發系統行動
    3. pg standby node現在promotion變成新的main DB
    4. pgpool middleware改變configuration,把incoming transaction改丟給新的main DB

    「小吐嘈:整個過程有數不清的地方可以出錯,請使用像AWS RDS multi-AZ這些別人建好的方案,而不要輕易自己」🗣️ 017

    🔭 推論 原書「讀打 slave、寫打 master」沒錯,但 slave 讀到的一定是舊一點的資料。像搶座位這種判斷,要靠 master 上的 atomic update:「如果updated record為1,則代表用戶成功保留了這座位」164。

    延伸基礎第 13 階 · lock懂的人可以跳過

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    保溫台空了,100 位客人同時發現:誰去叫廚房?

    ① 先想像

    中午保溫台的牛肉麵剛好賣完。10 秒內進來 100 位客人,每個人都看到空的,每個人都跑去跟廚房說「煮一鍋」。

    你猜猜看:沒人管的話,廚房會接到幾張「煮一鍋牛肉麵」?

    ③ 這叫做 lock、cache stampede

    lock:一次只准一個人做某件事,其他人先等。cache stampede:cache 一空,大家同時衝進 database。

    ④ 跟這章的關係

    原書的 read-through cache 沒處理這件事。下一頁是 Triton 的處方:先拿鎖,再看一次 cache。

    ② 動手玩:保溫台剛好空了

    100廚房接到幾張「煮一鍋」廚房塞爆廚房狀態(示意上限 10 張)

    Triton 補充第 5 站 · read-through cache 的坑

    原書的 read-through,就是 Triton 說的「一般」caching

    原書這樣做會出什麼事?熱門資料每秒 1000 人看,DB 要 80ms 才算好。它從 cache 過期的那一瞬間,幾個 request 衝進 DB?

    「如果資料X的 QPS是 1000……如果主資料庫需要 80ms回傳資料X,那麼便有 80個 request進了主資料庫」「如果資料X需要複雜運算,需要 8000ms,那便有 8000 個 request進了主資料庫」「現實上,你的資料庫已經死了」🗣️ Triton 本人說 087-redis-2019.pdf.md · 「一般」的 caching 問題

    087 的「進階的 caching 方法」

    1. 從 Redis 拿資料X;如有則直接回傳
    2. 拿到資料X的鎖(在離開時釋放)
    3. 再次從 Redis 拿資料X;如有則直接回傳
    4. 從主資料拿資料X
    5. 把資料X放回 Redis
    6. 把資料X回傳

    087 說「一般」寫法「看起來很正常,很合理吧~ 結果我跟老婆約會時,要拿筆電來救火」。

    Triton 補充第 5 站 · 原書的五個考量,Triton 寫得更具體

    TTL、mod n、預熱、cache 放哪台

    原書這樣做會出什麼事?原書只說 TTL「別太短也別太長」。如果乾脆不設,會怎樣?

    TTL:不設比設錯更糟

    「有笨蛋會設 cache TTL = 一年 – 不設 TTL後果更嚴重,唉~」cache eviction「是在 peak hours的寫入觸發 – 必須先做 eviction 清出空間才能寫入,引發超高 latency」087

    📖 原書 說 eviction 用 LRU;🗣️「LRU不是萬能的……」051,而且「Redis不是純 LRU algorithm」087

    多台 cache:別用 mod n

    「別使用mod( md5(cacheKey), n )來決定某一 keyValue 位置」「用這方法,當你系統繁忙要加開 redis時,n的改動會讓你的 caching全滅」「請學習 consistent hash – 其實 redis cluster內建了」087

    這和原書 Figure 21 的 user_id % 4 是同一個問題(第 36 頁的 80%)。

    預熱:土法煉鋼

    首頁排行榜要 5 秒才算得出來,一 cache miss 一堆人等。「土法煉鋼但是有效的做法: – 寫一個 crontab,在 cache miss前到主資料庫拿資料放到 redis」087

    cache 放哪台:Triton 的實戰數字

    hypebeast.com 把 Memcache 從 AWS ElastiCache 搬到每台 AS 的 localhost:「Application server is CPU-bound, Cache server is RAM-bound – Combining them is perfect」「the avg time on cache decreased from 30ms to 8ms」046

    🔭 推論 原書說獨立 cache tier 的好處是能獨立擴展;Triton 的經驗是小系統合在一起更快更省。087 也提醒「只用 local cache」的缺點:新開的 AS「其 local cache是全空的」。

    Triton 不同意第 6、7 站 · auto-scaling 與 CDN

    ❌ 原書 「web tier 的 auto-scaling 就很容易做到」

    原書這樣做會出什麼事?熱門商品開賣,幾秒內湧進百萬人,加開一台要 3 分鐘,會怎樣?

    0%來不及服務的流量(示意)

    「先說結論: Auto-scaling是用來省錢的」「一般用在 App. Server層,別用在 DB層」「流量上升是慢慢的,不是爆發性的」
    無法 auto-scaling 的問題:「電商網站開賣受歡迎商品 – 數秒內百萬用戶流入」;解法:「跟市場推廣同事合作,預先加開機器」🗣️ Triton 本人說 051-concurrency.pdf.md · Auto-scaling

    「動態加開 AS 會有幫助,但是加開的速度不一定能追上流量成長」「READ 能用 Cache 支撐, WRITE 不行」🗣️ 073 · 對 Surge 有抵抗性

    CDN 同理:「Write不能用CDN,Read可以。」所以寫入重的電商比 blog、討論區更花錢 166。原書的 CDN 只談靜態檔,Triton 談的是讀寫比。

    延伸基礎第 14 階 · connection pool懂的人可以跳過

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    廚房只有 4 個爐子,40 位客人一起擠進廚房會怎樣?

    ① 先想像

    廚房有 4 個爐子。門口拉一條排隊繩:最多 4 張單在煮,其他人在門外排。沒有繩子,所有人都衝進廚房。

    你猜猜看:40 位客人一起擠進只有 4 個爐子的廚房,會比排隊快嗎?

    ③ 這叫做 connection pool、max connection

    connection pool:事先開好、數量固定的幾條線通往 database,用完要排隊。max connection:database 最多同時接幾條線。

    ④ 跟這章的關係

    原書沒講這個。Triton 說系統不會因為流量大就當,前提是每一層都有排隊繩(下一頁)。

    ② 動手玩:有沒有排隊繩

    40擠在廚房裡0門外排隊塞爆廚房狀態

    Triton 補充原書沒講 · 每一層都要會說「請排隊」

    小店不會因為上了米其林就倒,前提是門口有人管

    原書沒講會出什麼事?尖峰時每個 request 都直接開一條線衝進資料庫,同時 1 萬條,會怎樣?

    「database connection pool其中一個功能,是系統爆炸性高流量時,其max_conn設定讓資料庫無法負擔的流量卡在application layer乖乖排隊。而不是全衝一起把資料庫炸掉!」🗣️ Triton 本人說 155

    動手:connection pool 該設多少?

    155 的規則:「你的application有多少個thread能同時在跑,把這個數字除2到除4就是「一般」系統的default setting了」,例子是 I7 7700(4 core 8 thread)→ 2 到 4。

    155:Triton 三年內見證的當機原因

    都不是因為流量。「如果有正確設定好的系統,其實是不會因為高流量而當掉的。」

    🔭 推論 原書的「Build redundancy at every tier」講的是多一台備援;Triton 講的是每一層都要限量:「database要不炸掉是要application layer去保護。那麼要application layer不被大量在排隊等待的request炸掉?當然是更上方的load balancer那一層囉。」155 041 也說 C10K 死掉的原因「其實都是細節地方沒做好」:nginx、connection pool、file descriptor。

    Triton 補充第 9 站 · message queue

    原書的照片處理是對的例子,但 MQ 不是「解耦」萬靈丹

    原書這樣做會出什麼事?如果 MQ 真的只存在記憶體,機器重開機,還沒處理的工作會?

    動手:這個工作該丟 MQ 嗎?

    185:丟 MQ 的三個原因

    1. 「這Request需要拿大量資源,而且很可能跑很久,不適合在App. Server上直接來跑。(例子:報表類的工作)」
    2. 「這工作是慢慢做也死不了人的,我想把MQ當成一個buffer,讓peak hours的工作可以在non-peak hours時來做。」
    3. 「你家主管不知從那邊聽到MQ好棒棒高大上,強迫你來用MQ。」

    📖 原書 MQ「儲存在記憶體中」

    原書定義:message queue 是「持久化元件,儲存在記憶體中」。

    🗣️ Triton 本人說 真正的 MQ 先寫磁碟

    「所以正常的MQ Server – 會把收到的Message先存到HDD,然後才回應成功 – 會等待收件者回傳「工作完成」,才真的把訊息刪掉」078

    Signal「要高度即時性 – 丟失沒太大差」;Message「可以排隊一個一個工作慢慢來~ – 絕對不能丟失」078

    「你的MQ只是把Request先存起來,系統對單一商品的處理能力其實沒變過。」185

    Triton 補充第 8、10 站 · metrics、log、多 data center、拆服務

    原書說「投資工具」,Triton 說清楚每樣工具放哪

    原書這樣做會出什麼事?老闆說「系統很慢」,你手上沒有任何 metrics 數字。這是誰的錯?

    Metrics 和 log 是兩回事

    「Metrics是用來告知系統是否出事 / log是讓人們重組案情的」;太多 HTTP 5XX「應該放在 Metrics,不應放在 log」051

    「當你的老闆跟你說「系統很慢」時…… – 你沒有數據=你的錯 – CPU / IO 已經用滿了=老闆不肯給錢的錯」051

    log 放哪:「沒錢就單純 logrotate時存到 AWS S3 / 有錢就建 ELK」051;別用 RDBMS 當 logging server,「txt檔案是 log 的理想存放位置」012

    Automation:人才是最大風險

    「你應該使用 ansible來替你的 server 安裝東西 – 人類錯誤永遠是 production最大風險」「永不在 server上跑 do-release-upgrade」051 · Blue-Green Deployment

    155 的當機原因裡,「有人直接連進production database / redis,然後做了笨事」佔 20%、devops 流程錯誤 10%。

    多 data center 是誰的需求

    「Uber會使用MySQL,很大的理由是其全球性業務和分散在多個地區的database server。但是,對一般中小型公司來說,很多時Master-Slave是在同一datacenter內」136

    🔭 推論 原書的三個挑戰(導流、同步、部署)都是真的;Triton 的問題是:你的使用者真的在兩個大陸嗎?

    「Split tiers into individual services」

    「好主意:根據商業邏輯做垂直切割」「壞主意:根據內部架構做水平切割 – 用戶 → ServA → ServB → Database – ServB一旦死掉,依賴 ServB的 service會全滅」「一份工作要用上的 component 越多,它的Availability 就會越低」051

    073:理想的 backend「越少模組越好」。

    Triton 補充第 11 站 · sharding 與名人問題

    同意 sharding,但它是 scale up 走到盡頭之後的事

    原書這樣做會出什麼事?名人問題:每位名人一個 shard。如果是同一篇貼文的按讚數,1 秒 10 萬人按,切再多 shard 有用嗎?

    🗣️ 同意 真要水平擴展,走傳統 sharding

    「如果到了scale up盡頭又不想走Hbase那些noSQL 要RDBMS的clustering其中雷區冒險,我還不如走傳統的sharding路線」106

    🗣️ 補充 名人問題的本質:寫入沒法分散

    「如果你需要 Consistency,不管你是 RDBMS 還是 noSQL,一份資料只會存放在一個 master node內」「重點: hotspot是卡在 single thread效能,你沒法以加開機器來解決的」051 · Hotspot

    「同一份的資料,如果你需要維持strong consistency,最終你的Write是沒法distributed,讓你的系統出現hotspot的。」126

    📖 原書 跨 shard 難 join → de-normalize

    「常見的解決方法是去正規化資料庫,使查詢能在單一資料表中完成。」

    🗣️ Triton 本人說 先守 3NF

    「用children table來存你的array data,別為了小事輕易違反3NF」106

    🔭 推論 原書名人問題的解法

    原書的解法是「每位名人一個 shard,甚至再切」。如果名人的資料是讀多(追蹤者看貼文),讀可以靠 cache 和 replica 撐;如果是寫多(同一筆按讚數、庫存),依 051 和 126,再怎麼切 shard 也只是讓那一筆住在一台機器上,要改的是資料怎麼拆(例如把一份數量拆成數份獨立的來賣,185 開頭的「建議1」)。

    到這裡你已經會了小結 5 / 5

    1. request
    2. DNS
    3. database
    4. scale up/out
    5. load balancer
    6. replication
    7. cache
    8. CDN
    9. stateless
    10. data center
    11. message queue
    12. sharding
    13. lock
    14. connection pool

    到這裡你已經會了:Triton 的基本功

    14 階全部走完了

    下一頁把原書八句逐條對照 Triton;接著是一句話總結和名詞小卡。

    對照表原書八句 × Triton

    八句總結,Triton 會怎麼改寫

    📖 原書Triton 的態度出處
    Keep web tier stateless同意。「好的 AS ,應該是 Stateless 的 – 這樣才能閉上眼睛,視流量來加開/關掉 AS」;但 session 改用 JWT073 · 131
    Build redundancy at every tier同意要無 SPOF,再加上:每一層都要限量(max_conn、connection pool),而且 failover 交給 managed 服務017 · 155
    Cache data as much as you can要 cache,但要上鎖防 stampede、一定設 TTL、用 consistent hash、預熱087
    Support multiple data centers全球性業務才需要;一般中小型公司 master-slave 在同一個 datacenter136
    Host static assets in CDN同意,而且讀都可以想辦法走 CDN;寫不行166 · 041
    Scale your data tier by sharding先 scale up;到盡頭才 sharding(比 clustering 好);寫熱點切 shard 也解不了106 · 116 · 051
    Split tiers into individual services依商業邏輯垂直切可以,依內部架構水平切是壞主意;越少模組越好051 · 073
    Monitor your system and use automation tools同意;metrics 與 log 分開、log 別放 RDBMS、用 ansible 避免人為錯誤051 · 012

    一句話記住

    積木照原書,
    順序照 Triton:先把一台機器的基本功做滿。

    原書對的地方

    • web tier stateless、LB + 健康檢查
    • 讀寫分離、master 只收寫
    • CDN 放靜態檔、object versioning
    • cache 要設 expiration、注意 SPOF
    • 照片處理這種長工作丟 MQ

    Triton 不同意的地方

    • DB 先 scale out:先 scale up
    • session 存 NoSQL:改用 JWT
    • 「auto-scaling 很容易」:只能省錢,擋不住開賣
    • 多 data center、拆 services:多數公司不需要
    • MQ「存在記憶體」:真正的 MQ 先寫磁碟

    Triton 加上的

    • 不能掉的資料放 RDBMS
    • cache 上鎖再查一次、crontab 預熱
    • 每一層設 max_conn,connection pool = thread ÷ 2~4
    • failover 用 RDS multi-AZ,另做離線備份
    • metrics 告訴你壞了,log 讓你重組案情

    本章名詞小卡課後複習用 · 每個名詞一句白話

    今天出現的名詞,一句話講完

    request客人送出的一張點單
    client客人那一端:手機 app、瀏覽器
    server接單、做事、回覆的電腦(廚房)
    HTTP、JSON網路上約好的點單格式/給 app 看的資料格式
    DNS查號台:把網址換成 IP
    IP網路上的門牌號碼
    database(DB)不怕重開機的帳本
    RDBMS排成表格的資料庫,例如 MySQL、PostgreSQL
    NoSQL不排成表格的資料庫,例如 Cassandra
    scale up(vertical)把同一台機器換大
    scale out(horizontal)多開幾台一起做
    load balancer(LB)帶位員:把 request 分給多台 server
    failover一台壞了,自動改送別台
    public / private IP外面連得到/只有店內連得到的地址
    replication把資料自動抄到別台
    master / slave唯一能改的正本/只能讀的抄本

    給工程師的重點出處與原書段落對照

    引述來源(materials/core)

    Triton 本人的講義 / 文章

    • 051-concurrency.pdf.md:10K req/s 前架構差不多、木桶理論、auto-scaling 是省錢、metrics vs log、hotspot、TTL、micro-service 切法、blue-green
    • 073-lesson3.pdf.md:最終架構圖與「WTF!?」、越少模組、LB / Stateless AS、別輕易用 noSQL、replication 擋不住刪資料、surge、MQ 流程
    • 087-redis-2019.pdf.md:「一般」caching 的 stampede、上鎖再查、mod n 與 consistent hash、crontab 預熱、TTL、Redis persistence
    • 017-High Availability…md:HA 定義、PG failover 四步、RDS multi-AZ、Redis cache 當 stateful
    • 106-喵 data.md:不能不見的放 RDBMS、scale up、sharding 優於 clustering、3NF
    • 116-喵看 RDS.md:RAM 大於 active data、銀行 DB 不到 1TB 041-Triton 閒聊 C10K.md:C10K 與 C100 架構差不多、32core 512GB(檔案後半混入 126 與第三方文章,未引)
    • 131-喵談 jwt和Session ID.md:JWT vs session、DDoS 在 CDN 擋、bloomfilter 省 99%
    • 155-如果有正確設定好的系統….md:米其林小店、connection pool、當機原因比例
    • 136 PG/MySQL replication、Uber 185 MQ 三原因 078 MQ 先寫 HDD、Signal vs Message 046 hypebeast localhost memcache 166 CDN 讀寫 080 NoSQL 先 scale up、consistency 054 <100GB 029 錢別放 Redis 012 log 別放 RDBMS 126 寫入無法 distributed 164 atomic update

    循序漸進(文組版)的頁面

    學習地圖(第 3 頁);延伸基礎 14 階:request(5)、DNS(6)、database(8)、scale up/out(11)、load balancer(12)、replication(14)、cache(18)、CDN(21)、stateless(24)、data center(28)、MQ(30)、sharding(34)、lock(44)、connection pool(48);小結(10、17、27、37、53);名詞小卡(56)。阿花小吃店是虛構情境,示意數字不是實測值。

    原書對照

    Alex Xu, System Design Interview Vol.1 Ch.1(本章沒有需求問答與估算)。Single server 與 Figure 1–2(第 7 頁)、Database / Which databases 與 Figure 3(9)、Vertical vs horizontal、Load balancer 與 Figure 4(13)、Database replication 與 Figure 5–6(15–16)、Cache、Considerations 與 Figure 7–8(19–20)、CDN 與 Figure 9–11(22–23)、Stateless web tier 與 Figure 12–14(25–26)、Data centers 與 Figure 15–16(29)、Message queue 與 Figure 17–18(31)、Logging/metrics/automation 與 Figure 19(32)、Database scaling 與 Figure 20–23(33–36)、Millions of users and beyond(38)。23 張圖都依原書圖說與描述重繪,不是原圖。

    沒有引用的

    164 留言串裡「update是寫,始終在master」那段無法確認作者,只引正文。131 文末反駁 JWT 的是留言者,不是 Triton。021、036、040、174、179、187–195、014、022 依規範不當成 Triton 觀點。

    一個可以直接問自己的問題

    你的 DB 的 active data 有多大?它放得進一台現在租得到的機器的 RAM 嗎?

    ← → 翻頁 · S 講者備註 · D 深/淺色
    1 / 1目錄