System Design Interview · 第 12 章Triton 覆蓋度:🟢 高Triton 線

Design A Chat System
寄信的路,和按門鈴的路,要分開

原書設計一個 5,000 萬 DAU、像 Facebook Messenger 的聊天系統:client 和 stateful 的 chat server 之間開一條 WebSocket,送訊息、收訊息都走它;訊息用 Snowflake 這類 ID 排序,存進 key-value store。Triton 在〈System Design 淺談 以 Instant messenger 為例〉走另一條路:寫訊息走 stateless 的 RESTful API,WebSocket 只負責推,中間用 RabbitMQ 依 chatroom fanout,PK「一定是 (chatroomId, createTs)」。

給文組

全程只用一個社區管理室代收包裹,一階一階爬 12 個概念。頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。

給工程師

第 4–32 頁完整講原書,中間穿插延伸基礎頁(19 張圖除了 Figure 1 的 App logo,全部重繪),後面是 Triton 的批判與補充,最後一頁列出所有出處(materials/core)。

標籤怎麼看

📖 原書 🗣️ Triton 本人說 📝 上課筆記 🔭 依 Triton 原則推論 📅 2026 補充

先用生活理解社區管理室代收包裹

住戶在家就送上樓,不在家就先收著

點住戶切換「在家/外出」
0直接送上樓0管理室代收中0打電話通知

住戶之間不會直接把東西塞進對方家裡,一律交給管理室。管理室做三件事:收下包裹、找到收件人送上去、收件人不在就先收著,等他回來再給。

這一章的對照表

管理室聊天系統
管理室chat service
在家:直接送上樓online:從 server 推給 client(WebSocket)
外出:先放管理室offline:訊息先存在 server
打電話說「你有包裹」push notification
住戶記得「我領到第幾號」cur_max_message_id / minMsgId

學習地圖本章的概念階梯

今天爬 12 階。每一階只用前面講過的東西。

  1. 1HTTP住戶先問,櫃台才答
  2. 2polling每 5 分鐘下樓問
  3. 3long polling坐在管理室等
  4. 4WebSocket家裡裝對講機
  5. 5stateful線接在某一間室
  6. 6sequence ID包裹流水號
  7. 7service discovery報到處分配房間
  8. 8message sync收件簿記到第幾號
  9. 9fanout公告影印幾份
  10. 10heartbeat定時報平安
  11. 11Signal / Message門鈴 vs 包裹
  12. 12dedupe重複的丟掉

第 1–4 階 · server 怎麼先開口

要回答:管理室要怎麼主動叫住戶?

第 5–7 階 · 對講機接在哪一間

要回答:連線綁在某台 server 上,會有什麼麻煩?

第 8–10 階 · 同步、群組、綠點

要回答:手機和筆電怎麼對齊?群組寄幾份?綠點怎麼亮?

第 11–12 階 · Triton 的拆法

要回答:門鈴沒響,包裹會不會不見?

全程只用一個社區:幸福社區管理室(虛構)

住戶手上的 app = client管理室 = chat service對講機 = WebSocket對講機室 = chat server包裹流水號 = message ID倉庫 = key-value store門口燈號板 = presence

每爬 3–4 階,有一頁「到這裡你已經會了」。

原書 Step 1釐清需求 · Figure 1

先問清楚:一對一還是群組?多大規模?存多久?

這一步要解決的問題要做哪一種聊天?一對一或群組、規模多大、存多久,答案不同,設計就不同。

📖 原書 應徵者 × 面試官

應徵者問面試官答
一對一還是群組?兩種都要
Mobile app、web app,還是都要?都要
規模多大?5,000 萬 DAU
群組人數上限?最多 100 人
重要功能?支援附件嗎?一對一、群組、online indicator;只有文字
訊息大小限制?少於 100,000 字元
要 end-to-end encryption 嗎?目前不用,有時間再談
聊天紀錄存多久?永久

白話:DAU=每天至少打開一次的人數(第 2 章第 22 頁);online indicator=頭像旁的綠點;end-to-end encryption=只有寄件人和收件人看得懂。

📖 原書 Figure 1 不重繪:原圖是五個 App 的 logo(WhatsApp、Facebook messenger、WeChat、Line、Discord),沒有任何流程或關係。商標不適合重畫,這裡只列名字。

📖 原書 本章做一個像 Facebook Messenger 的 App

  • 一對一聊天,傳送延遲低
  • 小群組聊天(最多 100 人)
  • Online presence
  • 多裝置:同一帳號同時登入多台裝置
  • Push notification(App 沒開也會跳出來的通知)

📖 原書 先確認是哪一種聊天

一對一:Facebook Messenger、WeChat、WhatsApp;辦公室群組:Slack;遊戲:Discord,重點是大群組互動和低語音延遲。原書提醒:面試官想的是一對一,你卻設計成群組,就白做了。

延伸基礎第 1 階 · HTTP懂的人可以跳過

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

管理室收到包裹,可以自己上樓叫你嗎?

① 先想像

社區規矩:住戶下樓問,櫃台才回答。櫃台不會自己爬上樓找人。

你猜猜看:管理室收到一件給小明的包裹。照這個規矩,小明什麼時候會知道?

③ 這叫做 client、HTTP

client:住戶手上的 app。HTTP:網路上一問一答的規矩,一定是 client 先問、server 才答。

④ 跟這章的關係

寄訊息是住戶先開口,HTTP 很順。收訊息要管理室先開口,就卡住了(下一頁)。

② 動手玩:誰可以先開口?


      
0小明下樓問了幾次0管理室裡等著的包裹0小明拿到幾件

原書 Step 2Client 和 server 怎麼溝通 · Figure 2

Client 不直接互傳,一律經過 chat service

這一步要解決的問題寄訊息很簡單,收訊息才難:HTTP 只能 client 先開口,server 要怎麼主動送?

📖 原書 Figure 2sender → Chat service(store、relay)→ receiver(依原書內容重繪)

文組翻譯

寄件人到管理室寄東西很簡單:走過去交給櫃台就好(client 主動發 HTTP)。難的是反方向:管理室要怎麼「主動」通知住戶?HTTP 只能由 client 開口,server 沒辦法先開口。

📖 原書 Chat service 必須做到三件事:

  1. 接收其他 client 送來的訊息
  2. 替每則訊息找到正確的收件人,轉送過去
  3. 收件人不在線上,就把訊息留在 server,等他上線

📖 原書 Sender 端:大多數 client/server 應用由 client 發起 request,聊天的發送端也一樣。用經過時間考驗的 HTTP:client 開一條 HTTP 連線送出訊息。keep-alive header 讓 client 和 chat service 維持持久連線,減少 TCP handshake。Facebook 一開始也是用 HTTP 送訊息。

白話:keep-alive=問完先不掛電話,下次直接用;TCP handshake=每次接通前先打招呼,要花時間。HTTP 一問一答見第 5 頁。

📖 原書 Receiver 端比較複雜:HTTP 由 client 發起,server 不容易主動送。多年來有三種技術模擬 server 發起的連線:polling、long polling、WebSocket。

延伸基礎第 2 階 · polling懂的人可以跳過

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

每 5 分鐘下樓問一次「有我的包裹嗎?」

① 先想像

櫃台不能先開口,那小明就勤勞一點:每 5 分鐘下樓問一次。

你猜猜看:一小時只來 2 件包裹。每 5 分鐘問一次,一小時問幾次、白跑幾次?

③ 這叫做 polling

polling:client 每隔固定時間問 server 一次「有新的嗎?」

④ 跟這章的關係

原書 Figure 3 就是它。缺點:大部分時候答案是「沒有」,櫃台還是得回答。

② 動手玩:多久下樓一次?

12一小時下樓幾次10白跑幾次3.5包裹平均晚幾分鐘才拿到

延伸基礎第 3 階 · long polling懂的人可以跳過

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

乾脆坐在管理室等,等到包裹才上樓

① 先想像

小明下樓後不走了,坐在櫃台前等。包裹一到馬上拿;坐滿 30 分鐘沒來,就上樓再下來重坐。

你猜猜看:小明從第 0 分鐘坐著等,包裹第 7 分鐘到。他第幾分鐘拿到?

③ 這叫做 long polling、timeout

long polling:client 問了之後,server 先不答,有新東西才回。timeout:等多久就放棄重來。

④ 跟這章的關係

原書 Figure 4。比 polling 快,但小明坐的櫃台,不一定是收到包裹的那個櫃台。

② 動手玩:小明坐在 1 號櫃台等

延伸基礎第 4 階 · WebSocket懂的人可以跳過

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

家裡裝一支對講機,兩邊都能先開口

① 先想像

小明家裝一支對講機,線一直接通管理室。包裹一到,管理員按對講機叫他。

你猜猜看:裝好對講機後,一小時來 2 件包裹,小明還要下樓「問」幾次?

③ 這叫做 WebSocket

WebSocket:一條一直開著、兩邊都能先開口的線。先用 HTTP 打招呼(handshake),再「升級」成這條線。

④ 跟這章的關係

原書 Figure 5–6 選它,收、送都走這條線。Triton 同意「推」用它,不同意「送」也用它(第 36 頁)。

② 動手玩:裝對講機


      
未接通對講機0管理室主動叫人幾次

到這裡你已經會了小結 1 / 4

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

到這裡你已經會了:server 怎麼先開口

下一階要解決的問題

先看原書怎麼比較這三種方法。然後問:對講機的線是接在哪一間對講機室?

原書 Step 2Polling · Long polling · WebSocket · Figure 3–5

三種讓 server「主動說話」的方法

這一步要解決的問題原書比較三種讓 server「主動說話」的方法:各自付出什麼代價?

📖 原書 Figure 3Client 一直問「New messages?」,多數時候答 NO(依原書內容重繪)

📖 原書 Polling

Client 定期問 server 有沒有新訊息。依頻率而定,可能很貴:大部分時間答案都是「沒有」,卻要耗費寶貴的 server 資源來回答。

📖 原書 Long polling

Client 把連線開著,直到真的有新訊息或到達 timeout 門檻。收到新訊息後,client 立刻再送一個 request,重新開始。

📖 原書 WebSocket

由 client 發起,雙向、持久。一開始是 HTTP 連線,經過定義好的 handshake「升級」成 WebSocket。用 port 80 或 443,所以有防火牆通常也能用。

白話:port 80/443=一般網頁用的門號,防火牆通常放行。三種方法的生活版在第 7–9 頁。

原書 Step 2 · 動手玩同樣 60 秒、同樣幾則訊息

問了幾次?白問幾次?訊息晚到多久?

這一步要解決的問題同樣 60 秒、同樣幾則訊息,三種方法要問幾次、訊息晚到多久?

📖 原書 Long polling 的三個缺點

  • Sender 和 receiver 可能不在同一台 chat server:HTTP server 通常是 stateless,用 round robin 做 load balancing,收到訊息的那台不一定握著收件人的 long-polling 連線
  • Server 沒有好方法判斷 client 是否已經斷線
  • 沒效率:使用者很少聊天,long polling 仍然在每次 timeout 後定期重連

白話:round robin=輪流分配;load balancing=把 request 分給不同 server(第 1 章第 12 頁)。

文組翻譯

Polling:每 5 分鐘下樓問管理室「有我的包裹嗎?」。Long polling:下樓坐在管理室等,等到包裹或等滿 30 分鐘才上樓,然後馬上再下來坐。WebSocket:家裡裝一支對講機,有包裹管理室直接叫你。

延伸基礎第 5 階 · stateful懂的人可以跳過

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

對講機的線,接在某一間對講機室

① 先想像

小明的對講機線,接在 2 號對講機室。2 號室記得「小明在我這條線上」。

你猜猜看:2 號室關門整修,小明的對講機會怎樣?

③ 這叫做 stateful、stateless

stateful:server 身上記著某些使用者(握著他們的連線)。stateless:server 身上什麼都不記,哪一台都一樣。

④ 跟這章的關係

原書說 chat service 是唯一 stateful 的服務(下一頁 Figure 7)。Triton 認為麻煩就從這裡開始(第 35 頁)。

② 動手玩:關掉 2 號

0受影響的住戶(9 戶中)

原書 Step 2WebSocket 兩邊都用 · 高階設計 · Figure 6–7

原書:收也用 WebSocket、送也用 WebSocket

這一步要解決的問題登入、改資料也要走 WebSocket 嗎?哪一種服務會「記住」使用者?

📖 原書 Figure 6sender、receiver 都用 WebSocket(ws)連 Chat service(依原書內容重繪)

📖 原書 前面說 sender 端用 HTTP 很好,但 WebSocket 是雙向的,「沒有強烈的技術理由不把它也用在發送端」。兩邊都用 WebSocket 讓設計更簡單、client 和 server 的實作更直接。WebSocket 連線是持久的,server 端的連線管理效率很關鍵。 Triton 不同意,見第 36 頁

📖 原書 其他功能不必用 WebSocket:註冊、登入、user profile 等大多數功能都用傳統 HTTP request/response。系統分三大類:

  • Stateless services:登入、註冊、user profile。放在 load balancer 後面,依 request path 導到正確的服務;可以是 monolith 或 microservice,很多能直接用現成的。要深入談的是 service discovery:給 client 可連的 chat server DNS host name 清單。
  • Stateful service:唯一的 stateful service 是 chat service,因為每個 client 都和某台 chat server 維持持久連線;只要那台還活著,client 通常不換。Service discovery 和 chat service 密切配合,避免 server 過載。
  • Third-party integration:最重要的是 push notification,App 沒在跑也能通知新訊息,詳見〈Design a notification system〉。

白話:monolith=全部功能做成一個大程式;microservice=拆成很多小服務;DNS host name=server 的網址名字;stateful 見第 13 頁。

原書 Step 2 · 動手算Scalability

一百萬條連線,一台機器其實放得下

這一步要解決的問題一台機器放得下 100 萬條連線,那為什麼不能只用一台?

📖 原書 小規模時,上面所有服務都放得進一台 server。就算是本章的規模,理論上也能把所有使用者連線放進一台現代雲端 server,同時連線數才是限制。1M 同時在線、每條連線假設 10K 記憶體(很粗略,非常看語言),只要約 10GB。

📖 原書 但提出「全部放一台」會在面試官心裡升起大紅旗:沒有工程師會這樣設計,最大的理由是 single point of failure。不過從單台開始談完全沒問題,只要讓面試官知道這是起點。

白話:single point of failure(SPOF)=只有一個、它倒了全部倒(第 7 章第 9 頁)。

文組翻譯

一個管理室放得下全社區的包裹,不代表只要一個管理員。他感冒請假那天,全社區都收不到東西。

原書 Step 2調整後的高階設計 · Figure 8

全部組起來:API servers、chat servers、presence servers、KV store

這一步要解決的問題把前面的元件組起來:誰負責即時訊息、誰負責綠點、誰負責存?

📖 原書 Figure 8調整後的高階設計(依原書內容重繪;依原圖描述,http 與 ws 都經過 load balancer)

📖 原書 Client 和某台 chat server 維持一條持久的 WebSocket 連線,做即時訊息。

  • Chat servers:負責收送訊息
  • Presence servers:管理 online / offline 狀態
  • API servers:其他所有事:登入、註冊、改 profile 等
  • Notification servers:送 push notification
  • Key-value store:存聊天紀錄。離線的使用者上線後,看得到之前所有的聊天紀錄

白話:key-value store=用一個名字(key)存取一筆資料的倉庫(第 6 章第 4 頁)。

文組翻譯

櫃台(API servers)辦一般手續;對講機室(chat servers)負責叫人;門口的燈號(presence)顯示誰在家;倉庫(KV store)存所有包裹的紀錄。

原書 Step 2Storage

聊天紀錄放哪?原書選 key-value store

這一步要解決的問題聊天紀錄一天幾百億筆、大多只讀最近的,該放哪一種資料庫?

📖 原書 兩種資料

一般資料:user profile、設定、好友名單。放在穩健可靠的 relational database,用 replication 和 sharding 滿足可用性與擴展性。

聊天紀錄:聊天系統特有,要先看讀寫模式。

  • 資料量巨大:Facebook Messenger 和 WhatsApp 一天處理 600 億則訊息
  • 只有最近的聊天常被讀,很少人去翻舊的
  • 但搜尋、看提到你的訊息、跳到某則訊息這類功能需要 random access,資料存取層也要支援
  • 一對一聊天的讀寫比約 1:1

白話:relational database=一格一格的表格帳本(第 1 章第 8 頁);replication=抄一份到別台(第 14 頁);sharding=太厚就拆成好幾本(第 34 頁);random access=直接跳到任一筆。

📖 原書 推薦 key-value store 的四個理由

  1. 容易 horizontal scaling
  2. 存取延遲很低
  3. Relational database 處理不好資料的 long tail:index 變大後,random access 很貴
  4. 可靠的聊天 App 都在用:Facebook Messenger 用 HBase,Discord 用 Cassandra

白話:horizontal scaling=加機器分擔(第 1 章第 11 頁);long tail=很少被讀、又多又舊的那一大串資料;index=目錄。

Triton 的看法見第 37–38 頁

文組翻譯

住戶資料(姓名、門牌)放在登記簿:量小、要準。包裹紀錄每天幾百億筆,而且大家只翻最近幾頁,偶爾才要「找三年前那個包裹」。原書的結論是:包裹紀錄另外放一種「容易加櫃子、找得快」的倉庫。

原書沒說錯的一點:先看讀寫模式,再選資料庫。後面 Triton 也是這樣做,只是結論長得不一樣。

延伸基礎第 6 階 · sequence ID懂的人可以跳過

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

每件包裹貼一張流水號

① 先想像

管理室每收一件包裹,就貼一張流水號:#651、#652、#653……

你猜猜看:小明和小華在同一秒寄出,收件時間都寫「10:00:05」。誰排前面?

③ 這叫做 message ID、sequence number

每則訊息一個號碼:唯一,而且越晚越大。

④ 跟這章的關係

原書的訊息表靠它排序(下一頁)。號碼機放哪,決定會不會重號:右邊三種就是原書的三種做法。

② 動手玩:號碼機放哪裡?

家族群

球隊群

0同一個群組裡重號幾次

原書 Step 2Data models · Message ID · Figure 9–10

訊息表長什麼樣?誰先誰後靠 message_id

這一步要解決的問題訊息要排出先後。兩則在同一毫秒送出時,靠什麼排?

📖 原書 Figure 9message 表,PK 是 message_id(依原書內容重繪;原圖 message_to 的型別寫成 bitint)

動手試:兩則訊息同一毫秒送出

ORDER BY created_at

ORDER BY message_id

📖 原書 一對一:PK 是 message_id,用它決定訊息順序。不能靠 created_at,因為兩則訊息可能同時建立。群組:composite PK (channel_id, message_id),channel 和 group 同義;channel_id 是 partition key,因為群組的查詢都在一個 channel 內。

白話:PK(primary key)=每筆資料獨一無二的編號(第 7 章第 4 頁);partition key=決定資料放哪一台的欄位;流水號見第 18 頁。

📖 原書 Message ID 的兩個要求

① ID 必須唯一;② ID 要能依時間排序:新的 row ID 比舊的大

📖 原書 三種做法 Triton 對 PK 的看法見第 37 頁

  1. MySQL 的 auto_increment:但 NoSQL 通常沒有
  2. 全域 64-bit 序號產生器,例如 Snowflake(見〈Design a unique ID generator〉)
  3. Local sequence number generator:ID 只在一個群組內唯一。一對一或群組 channel 內維持順序就夠了,比全域 ID 好做

延伸基礎第 7 階 · service discovery懂的人可以跳過

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

報到處替你挑一間比較閒的對講機室

① 先想像

新住戶到報到處登記。報到處看哪間對講機室比較閒,給他一張「請接 2 號室」的條子。

你猜猜看:1 號室接了 9 戶、2 號室 3 戶、3 號室 6 戶。新住戶該接哪間?

③ 這叫做 service discovery、Zookeeper

service discovery:一份「哪些 server 還活著、各自多忙」的名冊,替 client 挑一台。Zookeeper:做這件事的常見工具。

④ 跟這章的關係

原書 Figure 11:登入後由它挑 chat server(下一頁)。因為線是 stateful 的,一接上就不換,挑錯很難改。

② 動手玩:每間最多接 10 戶

9最忙那間3最閒那間0被塞爆的間數

原書 Step 3Deep dive:Service discovery · Figure 11

登入之後,Zookeeper 幫你挑一台 chat server

這一步要解決的問題client 登入之後,要連哪一台 chat server?

📖 原書 Figure 11Service discovery(Zookeeper)(依原書內容重繪)

📖 原書 Deep dive 要談三件事:service discovery、message flows、online/offline indicator。

📖 原書 Service discovery 的主要工作是依地理位置、server 容量等條件,替 client 推薦最好的 chat server。Apache Zookeeper 是常見的開源方案:註冊所有可用的 chat server,依預先定義的條件挑一台。

  1. User A 嘗試登入 App
  2. Load balancer 把登入 request 送到 API servers
  3. 後端驗證使用者後,service discovery 替 User A 找最好的 chat server。這個例子選了 server 2,資訊回傳給 User A
  4. User A 透過 WebSocket 連到 chat server 2

文組翻譯

報到處(API servers)驗明身分後,查一下哪間對講機室比較閒、離你近,給你一張「請到 2 號室」的條子。之後你就一直待在 2 號室。

到這裡你已經會了小結 2 / 4

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

到這裡你已經會了:線接在哪、號碼怎麼編

下一階要解決的問題

一則訊息從小明送到小華,原書要走六步。小華有手機又有筆電,兩台怎麼各自知道「我看到哪」?

原書 Step 31 on 1 chat flow · Figure 12

User A 傳一則訊息給 User B,經過六步

這一步要解決的問題一則訊息從 A 送到 B,中間經過哪些元件?B 不在線上怎麼辦?

📖 原書 Figure 12一對一聊天流程(依原書內容重繪)
  1. User A 把訊息送到 Chat server 1
  2. Chat server 1 向 ID generator 拿一個 message ID
  3. Chat server 1 把訊息送進 message sync queue
  4. 訊息存進 key-value store
  5. 5.a User B 在線上:訊息轉到 User B 連著的 Chat server 2
    5.b User B 離線:由 push notification (PN) servers 送推播
  6. Chat server 2 把訊息轉給 User B;兩者之間有持久的 WebSocket 連線

白話:ID generator=號碼機(第 18 頁);message sync queue=先排隊的輸送帶,每個收件人一條(MQ 見第 1 章第 30 頁);PN=push notification。

文組翻譯

A 把包裹交給 1 號對講機室;1 號室先去領一個流水號,把包裹放上輸送帶;輸送帶一邊把包裹送進倉庫,一邊送到 B 所在的 2 號室,2 號室用對講機叫 B。B 不在家,就改打電話。

Triton 的訊息路徑見第 35–36 頁

延伸基礎第 8 階 · message sync懂的人可以跳過

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

收件簿上寫著:我領到第幾號

① 先想像

小明家裡和公司各有一本收件簿,各自寫著「我領到第幾號」。

你猜猜看:家裡的收件簿寫「領到 #653」。倉庫裡給小明的有 #650、#655、#660。回家要領哪幾件?

③ 這叫做 cur_max_message_id

這台裝置看過的最大流水號。同步 = 只拿比它大的。

④ 跟這章的關係

原書 Figure 13 的多裝置同步就靠它(下一頁)。Triton 的 minMsgId 是同一個想法(第 44 頁)。

② 動手玩:每次同步要搬幾件?

原書 Step 3 · 動手玩多裝置同步 · Figure 13

手機和筆電,各自記得看到第幾則

這一步要解決的問題同一個人有手機和筆電,兩台怎麼各自補到漏掉的訊息?

📖 原書 Figure 13同一個使用者的兩台裝置,各有自己的 cur_max_message_id(依原書內容重繪)

📖 原書 User A 有手機和筆電。手機登入時和 Chat server 1 建立 WebSocket 連線,筆電也是。

📖 原書 每台裝置維護一個變數 cur_max_message_id,記錄這台裝置上最新的 message ID。符合兩個條件的訊息就是新訊息:

  • 收件人 ID 等於目前登入的使用者 ID
  • KV store 裡的 message ID 大於 cur_max_message_id

每台裝置各有自己的 cur_max_message_id,同步就很簡單:各自去 KV store 拿新訊息。

文組翻譯

你在家裡和公司各有一本收件簿,各自記著「我領到第 653 號」「我領到第 842 號」。到管理室只要說「給我 653 號之後、寫我名字的包裹」。

延伸基礎第 9 階 · fanout懂的人可以跳過

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

群組公告:影印給每一戶,還是貼在公布欄?

① 先想像

群組公告要給大家看。可以影印塞進每戶信箱;也可以貼一張在公布欄,有訂閱的人自己會收到。

你猜猜看:100 人的群組,每人一個信箱。有人發一則,要影印幾份?

③ 這叫做 fanout、publish-subscribe

fanout:一則訊息複製給很多人。publish-subscribe:丟進一個頻道,訂閱的人都收到。

④ 跟這章的關係

原書 Figure 14 用信箱,Figure 19 用頻道。人一多都很貴;Triton 的版本在第 39 頁。

② 動手玩:一天要印幾份?

99每一則要印幾份9,900一天印幾份(信箱做法)100一天貼幾張(公布欄)

原書 Step 3Small group chat flow · Figure 14–15

群組訊息:每個成員一個 inbox,各放一份

這一步要解決的問題群組訊息要給每個成員,原書怎麼複製?人多了會怎樣?

📖 原書 Figure 14User A 的訊息複製到 B、C 各自的 message sync queue(依原書內容重繪)
2每則訊息要寫幾份

📖 原書 群組比一對一複雜。群組有 A、B、C 三人。A 送出的訊息被複製到每個成員的 message sync queue:一份給 B、一份給 C。可以把 message sync queue 想成收件人的 inbox。這對小群組是好設計:

  • 同步流程簡單:每個 client 只要看自己的 inbox
  • 群組人數少,每個收件人存一份不會太貴

白話:inbox=每個收件人自己的信箱;fanout=一則複製給很多人(第 26 頁)。

📖 原書 WeChat 用類似做法,群組上限 500 人。成員很多的群組,每人存一份就不可接受。

📖 原書 接收端:一個收件人會收到很多人的訊息。每個收件人有一個 inbox(message sync queue),裝著不同寄件人的訊息(Figure 15)。

Triton 的 fanout 做法見第 39 頁

原書 Step 3Online presence:登入、登出 · Figure 16–17

頭像旁邊的綠點,背後是 presence servers

這一步要解決的問題頭像旁的綠點,什麼時候亮、什麼時候滅?

📖 原書 Figure 16User A 建立 ws 連線,presence servers 把狀態寫進 KV store(依原書內容重繪)
User A:offline

📖 原書 高階設計裡,presence servers 負責管理 online 狀態,並透過 WebSocket 和 client 溝通。有幾種流程會觸發狀態變化:

User login

登入流程在 service discovery 那節講過。client 和 real-time service 建好 WebSocket 連線後,User A 的 online 狀態和 last_active_at 時間戳存進 KV store,presence indicator 顯示她在線上。

白話:last_active_at=最後一次活動的時間;presence indicator=頭像旁的綠點。

User logout

登出走 Figure 17 的流程:KV store 裡的狀態改成 offline,presence indicator 顯示她離線。

文組翻譯

住戶回家刷卡,管理室的燈號板就亮綠燈;出門刷卡,燈號變灰。

延伸基礎第 10 階 · heartbeat懂的人可以跳過

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

對講機每 5 秒「嗶」一聲:我還在

① 先想像

在家的對講機每 5 秒自動嗶一聲。管理室規定:30 秒沒聽到嗶,燈號就改成「外出」。

你猜猜看:小明過隧道,斷線 10 秒又接回來。燈號會變外出嗎?

③ 這叫做 heartbeat

heartbeat:client 定期送一個「我還活著」的小訊號;太久沒收到才判定離線。

④ 跟這章的關係

原書 Figure 18 用它防止綠點閃爍(下一頁)。x 秒要設多長,是一個取捨(第 47 頁)。

② 動手玩:你來當小明的對講機

0 秒現在時間0 秒距離上次嗶● 在家燈號板

原書 Step 3 · 動手玩User disconnection · Heartbeat · Figure 18

過隧道時斷斷續續,綠點要不要跟著閃?

這一步要解決的問題一斷線就標離線,過隧道時綠點會一直閃。怎麼辦?

📖 原書 Figure 18每 5 秒一次 heartbeat,30 秒沒收到就改 offline(依原書內容重繪;原圖最後一句截斷在「Change statu...」)
0直接標離線:綠點變了幾次0heartbeat:綠點變了幾次

📖 原書 斷線時持久連線就斷了。天真的做法是斷線就標 offline、重連再標 online,但使用者常在短時間內斷斷續續(例如過隧道),綠點跳來跳去,體驗很差。解法是 heartbeat:在線的 client 定期送 heartbeat 給 presence servers;x 秒內收到就算 online,否則 offline。Figure 18:每 5 秒一次,送了 3 次後斷線,x = 30 秒內沒有重連(原書說這個數字是隨便選來示範的),狀態改成 offline。

原書 Step 3Online status fanout · Figure 19

A 上線了,朋友們怎麼知道?

這一步要解決的問題A 上線了,要怎麼讓每個朋友知道?朋友很多時怎麼辦?

📖 原書 Figure 19每對朋友一個 channel,A 發佈、B / C / D 訂閱(依原書內容重繪)
3一次狀態變化產生幾個 event

📖 原書 Presence servers 用 publish-subscribe,每一對朋友維護一個 channel。User A 狀態改變時,把 event 發佈到 channel A-B、A-C、A-D 三個 channel,分別由 B、C、D 訂閱。client 和 server 之間用即時的 WebSocket 溝通。

白話:publish-subscribe=丟進一個頻道,訂閱的人都收到(第 26 頁);event=一則「狀態變了」的通知。

📖 原書 這對小群組有效,WeChat 用類似做法,因為群組上限是 500。大群組通知所有成員很貴:一個 100,000 人的群組,每次狀態變化產生 100,000 個 event。可能的解法:只有在使用者進入群組或手動刷新好友清單時才去拿 online 狀態。

文組翻譯

你回家時,管理室替你的每個朋友各打一通電話「他回來了」。朋友 3 個沒問題;全社區 10 萬人都要打,管理員一整天什麼事都不用做了。所以大群組改成:誰想知道,自己來看燈號板。

原書 Step 4Wrap up · Additional talking points

原書的收尾:五個元件,和還有時間可以談的事

這一步要解決的問題原書怎麼收尾?面試還有時間,可以多談什麼?

📖 原書 總結

支援一對一和小群組聊天,client 和 server 之間用 WebSocket 即時通訊。元件:

  • chat servers:即時訊息
  • presence servers:管理 online presence
  • push notification servers:送推播
  • key-value stores:保存聊天紀錄
  • API servers:其他功能

📖 原書 還有時間可以談

  • 媒體檔:照片、影片比文字大很多,可以談壓縮、雲端儲存、縮圖
  • End-to-end encryption:WhatsApp 支援,只有寄件人和收件人讀得到
  • Client 端快取訊息:減少 client 和 server 之間的資料傳輸
  • 改善載入時間:Slack 建了地理分散的網路快取使用者資料、channel 等

📖 原書 Error handling

  • Chat server 出錯:一台 chat server 可能有幾十萬條以上的持久連線。掛掉時,service discovery(Zookeeper)會給 client 一台新的 chat server 重新連線
  • 訊息重送機制:retry 和 queueing 是常見做法

📅 2026 補充 原書沒提的 server push:Server-Sent Events(瀏覽器內建的 EventSource,單向、走一般 HTTP)。WhatsApp 的 end-to-end encryption 用的是 Signal Protocol。

到這裡你已經會了小結 3 / 4

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

到這裡你已經會了:原書的整個設計

下一階要解決的問題

原書講完了。Triton 要問:對講機室握著連線、又負責寄件,改一行程式要重開時,會怎樣?

Triton 觀點先看全貌

Triton 同意 WebSocket 推、HBase 存,不同意「送也走 WebSocket」

✅ 一致 原書做對的地方

  • 要即時更新就用 WebSocket,不要定期 GET:113 第 6 題;「每秒 polling問一下 server最新狀態,在 2019不是一個可被接受的方案」090
  • HBase 可以存聊天紀錄:「MySQL / HBase 請你挑一個~」062;「HBase 強項:Range Scan with PK」080
  • 群組表依 channel 分區:原書 Figure 10 的 (channel_id, message_id) 已經很接近 Triton 的 PK
  • 裝置記住看到哪、上線再補拉:原書的 cur_max_message_id ≈ 078 的 minMsgId

❌ 不同意 / 原書沒講

  • Server 跟著 room 或使用者走:「Epic fail」(第 35 頁)062 · 090
  • 送訊息也走 WebSocket:應該走 stateless REST,WebSocket 只推(第 36 頁)062 · 090 · 113
  • PK 與資料庫:一定是 (chatroomId, createTs),PostgreSQL 不行(第 37–38 頁)062
  • 每個收件人一個 inbox → 依 chatroom fanout、每台 server 一個 queue(第 39–41 頁)062
  • 即時送達是 Signal,斷線靠 GET 補、再 dedupe(第 42–44 頁)078 · 062

比較之前先說清楚規模:🗣️ 062「今天目的是教學 不是求職面試 所以不採用 top-down approach」「今天的設計不是用來面對上百萬在線用戶的」;不包「能容納 10 萬人的 chatroom」「要 50ms 內的 notification」。🗣️ 078「警告:現實 chatroom會用MQTT機制,這篇單純教學MQ,請勿真的實作」。所以下面比的是架構原則,不是誰能撐 5,000 萬 DAU。

Triton 不同意直球 · 062「Epic fail system design」 · 動手玩

一台 server 掛掉、或要部署新版,誰會斷線?

0斷線人數(6 人中)

🔭 推論 原書不是 Epic fail:它不把整個 room 綁在一台,chat server 之間用 message sync queue。但原書的 chat server 同時握著連線和送訊息的邏輯(拿 ID、進 queue),所以改一行商業邏輯就要重啟它,上面的 WebSocket 全斷。

原書這樣做會出什麼事?chat server 握著 WebSocket,又負責拿 ID、進 queue。要部署新版「發訊息」的程式時……

「Epic fail system design – 同一個 chatroom 的用戶全由同一台 App. Server 負責 – 其中一個用戶發新訊息時 其他同用戶的 notifications,是以 process 內 local memory 來傳送 – 呃,一堆 node.JS bootcamp 就這樣子亂教」🗣️ Triton 本人說 062-im-system design.pdf.md · 第 6 頁

「由單一AS負責一個牌局,那代表在這AS上的全部牌局都結束前,這台AS沒法 graceful shutdown」「名句:死人是不能說「我死了」」🗣️ Triton 本人說 090-restful-demo.pdf.md · 第 8 頁(UNO 範例)

Triton 的做法寫訊息走 RESTful,WebSocket 只推

✅ Triton 送包裹走櫃台,對講機只負責叫人

你猜猜看:Triton 讓「發一則訊息」走哪一條路?

🗣️ Triton 本人說 062 的 RESTful API(第 7–9 頁):

GET    /v1/chatrooms?keyword=<keyword>
GET    /v1/chatrooms/<roomId>
POST   /v1/chatrooms
GET    /v1/users/<userId>/chatrooms
POST   /v1/users/<userId>/chatrooms/<roomId>
DELETE /v1/users/<userId>/chatrooms/<roomId>
GET    /v1/chatrooms/<roomId>/messages   # lastTs、約 50 則、nextPageTs
POST   /v1/chatrooms/<roomId>/messages   # 發一個新的 message

🗣️ WebSocket 只有三個指令(第 17 頁):

auth <jwt>
subscribe chatroom <chatroomId>
unsubscribe chatroom <chatroomId>

白話:RESTful API=用 GET、POST 這類 HTTP 單子操作資料的窗口;JWT=蓋了鋼印的門禁卡(第 46 頁)。

「如果Websocket只用來接收 server push,那麼websocket可以非常簡單 – 單純簡單用戶身份驗證後, listen RabbitMQ特定 channel,把收到的東西全部 relay給用戶 就好 – 幾乎沒有Application Logic,所以極少改動」「如果WebSocket有Application Logic – 那麼,你就會因為App Logic Change / Bug Fix 而需要做production deployment」🗣️ Triton 本人說 090 · 第 10 頁「WebSocket來出牌壞處」

同一份講義的「WebSocket來出牌好處」只有一行:「你的 Application層只有一個 Component 我想不出來了~」090 · 第 9 頁

🗣️「你知道跟為何跟客戶建立websocket的伺服器,最好跟處理普通HTTP Request的伺服器最好別放在同一台機器上嗎?」113 · 第 7 題

📝 上課筆記 062 留的 open question「為何不用 websocket server 來接受 RESTful request?」,課堂上的回答:「api(指圖上as), 負責傳訊與 business ws(指圖上的ws), 負責訊息轉發」「但 WSS 死,使用者 scroll down 會透過沒死 api server 拿資料」009 · Roy 的筆記

🔭 推論 原書說送訊息也用 WebSocket「沒有強烈的技術理由」不行。Triton 的理由本來就不是技術做不到,而是部署和責任分工:商業邏輯天天改,對講機室最好永遠不用重開。

Triton 不同意062「Database」「Message Primary Key」 · 動手玩

「跟我說 auto increment id 的,你的大腦被汪吃掉了嗎」

3要讀幾個 data blockSeq IOIO 方式

白話:data block=硬碟一次讀一整格;heap=依寫入順序隨便放;IOT(index-organized table)=依 PK 排好放(第 7 章第 33 頁);seq IO=一次讀一整段,random IO=東翻西找。

原書這樣做會出什麼事?一對一表只用 message_id 當 PK,訊息照寫入順序放、各對話混在一起。查「小明和小華最近 50 則」時……

「database 最常用的 query 應該是 – query message of SAME chatroom, order by createTs asc 所以:– 相同 chatroom 的 message record,他們的 phyiscal storage position 應該是相鄰的 這樣子才是 seq IO 而不是 Random IO PostgreSQL 不是好選擇,因為其 table 底層是 heap MySQL / HBase 請你挑一個~」🗣️ Triton 本人說 062 · 第 10 頁

「跟我說 auto increment id 的,你的大腦被汪吃掉了嗎 一定是 (chatroomId, createTs) – 相同 chatroom 的 message 一定會物理相鄰 而且相同 chatroom 的 message 會以時間來排序」🗣️ Triton 本人說 062 · 第 11 頁

🗣️ IOT「因為 rows 全都順序整理好了,在 range scan 時非常快」015;「Random IO是Sequential IO的1 / 10效能也沒有。」104

Triton 對照原書資料庫、PK、排序、補拉

原書和 Triton 的訊息表,差在哪裡?

📖 原書🗣️ Triton
資料庫Key-value store(HBase、Cassandra);RDBMS「處理不好 long tail」MySQL 或 HBase(index-organized);PostgreSQL 不行,因為 heap 062
一對一 PKmessage_id沒有分一對一和群組,訊息一律屬於 chatroom:(chatroomId, createTs) 062
群組 PK(channel_id, message_id),channel_id 是 partition key(chatroomId, createTs) 062
排序用什麼message_id:Snowflake 或 channel 內的 local sequence;每則先問 ID generator(Figure 12 第 2 步)createTs。📝「createTs ⇒ ms」「若一樣時間 就 failed 掉,再重發」009
補拉新訊息message_id > cur_max_message_idGET …/messages?minMsgId=X 078;分頁用 lastTs、nextPageTs 062
message ID 誰決定chat server 向 ID generator 拿POST /v1/chatrooms/{roomId}/messages/{messageId}:ID 在 client 送出的 URL 裡 078
保存多久永久MVP 只看最近 30 日 062;📝「要留存超過 30 天就要 partition」009

🔭 推論 真正的差別在一對一表

原書的群組表已經用 channel 分區,跟 Triton 很像。差別在 Figure 9 的一對一表只以 message_id 為 PK:同一段對話的訊息不會物理相鄰,要靠 message_to 篩出來。照 062 的原則,一對一就是一個兩人的 chatroom,PK 一樣是 (chatroomId, createTs)。

🔭 推論 少一個元件

用 createTs 排序,就不需要原書 Figure 12 的 ID generator:每則訊息少一次網路來回,也少一個要做 HA 的元件。代價是同一毫秒的衝突要處理(筆記的做法是讓後到的失敗重送)。

🔭 推論 client 決定 messageId 的好處

原書收尾說訊息重送靠「retry and queueing」。078 的 URL 裡帶 messageId,同一則訊息重送時 ID 相同,server 可以認出重複,不會存成兩則。078 本身沒有解釋這一點。

Triton 的做法 · 動手玩062「Message Queue」 · RabbitMQ fanout

一個 chatroom 一個 exchange,一台 server 一個 queue

3queue 數3MQ connection 數–這則在 MQ 裡複製幾份–原書 inbox 要寫幾份

白話:RabbitMQ=一套現成的 MQ(第 1 章第 30 頁);exchange=廣播中心的頻道;queue=每台 server 的小籃子;dispatcher=server 裡的總機;Kafka topic/consumer group=Kafka 版的頻道和籃子。

🔭 推論 原書 Figure 14 是每個成員一個 inbox、存 (人數 − 1) 份;這裡 MQ 只複製到「有成員連著的那幾台 server」,訊息本身只在 DB 存一份。

你猜猜看:100 人的群組,成員連在 3 台 WebSocket server 上。照 Triton 的做法,一則訊息在 MQ 裡複製幾份?

「需要 MQ 讓 Message 從 RESTful server 傳到 websocket server chatroom 是對應 RabbitMQ exchange / Kafka topic 每一個 App. Server 對應 RabbitMQ queue / Kafka consumer group RabbitMQ Exchange 和 topic 之間,是使用 fanout 機制 不管 App. Server 上有多少個 websocket 連線 都只會共用一個 MQ connection – 所以,你很可能需要 implement message dispatcher」🗣️ Triton 本人說 062 · 第 20 頁

📝 上課筆記「不是每個 user 都有自己的 queeue 這樣 cost 太多 是每一個 AS 會有自己的 queue」「接到 1000 client 1000 mq connection 的架構過…真的會死」;課堂上修正投影片:這裡的 App. Server 指的是 WS server,「因為只有一個 connection,所以要有一個 dispatcher 去解析 到對的 websocket channel」009

延伸基礎第 11 階 · Signal / Message懂的人可以跳過

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

按門鈴和放包裹,是兩件不一樣的事

① 先想像

包裹到了,管理室做兩件事:把包裹放進倉庫、按小明的門鈴。

你猜猜看:門鈴壞了沒響。小明的包裹會不見嗎?

③ 這叫做 Signal、Message

Signal:通知,要快,丟了沒太大差。Message:要被處理的工作,絕對不能丟。

④ 跟這章的關係

Triton 說聊天室的即時推送是 Signal(第 42 頁),所以下一頁的 RabbitMQ 可以設成「會丟」。

② 動手玩:先放倉庫,還是先按門鈴?🔭 示意

0倉庫裡有幾件0小明看到幾件0永遠不見

Triton 的做法062「MQ 延伸」 · RabbitMQ 要怎麼設

四個設定:這條 queue 是「可以丟」的

「你應該設定 RabbitMQ:– 有固定長度的 queue length – 當 consumer disconnect 時,queue 自動消滅 – 高 prefetch count – no acknowledgement」🗣️ Triton 本人說 062 · 第 21 頁

點卡片看為什麼。062 只列了設定,沒寫理由;卡片裡的理由是依 078 的 Signal vs Message 推論的。

🗣️ Triton 本人說 為什麼是 RabbitMQ

「rabbitMQ跟kafka的關係,某程度上就跟postgreSQL和HBase一樣相似。RabbitMQ你可以用到很很複雜的功能,這是像Kafka給不了你的。(其router功能強得變態)」「如果系統還沒到每秒1K Message的,kafka對你會是overkill。」138

📝「rabbitMQ 可以做很複雜的 routing」「Kfkka routing 很 simple 可以做 scale up」009

文組翻譯

每間對講機室只拉一條專線到廣播中心(一個 MQ connection),室內有一個總機(dispatcher)把廣播分給各個住戶的對講機。廣播中心替每間室放一個小籃子(queue),籃子滿了就把最舊的丟掉;那間室關門了,籃子直接收走。反正包裹本身在倉庫,漏聽一次廣播,住戶自己去倉庫查就好。

Triton 補充078 MQ 淺談 · Signal vs Message

即時送達是 Signal,不是 Message

「Signal – 要高度即時性 – 丟失沒太大差 Message – 可以排隊一個一個工作慢慢來~ – 絕對不能丟失」🗣️ Triton 本人說 078-mq-intro.pdf.md · 第 8 頁

「如果 UserB斷線了,用 GET API也能得到斷線期間的留言 – i.e. 斷線期間的留言,不經WebSocket重傳也沒差啊 – 所以, chatroom系統內的是 Signal,不是Message」「Redis的 PubSub … 可以用在 Signal的傳遞」🗣️ Triton 本人說 078 · 第 9–10 頁

🗣️ 078 的流程:寫留言 POST /v1/chatrooms/{roomId}/messages/{messageId},「留言會寫進MariaDB / HBase中」;即時通知走「Firebase / APNS / Websocket」。078 · 第 4 頁

🗣️ 062 留給聽眾的 open question:「為何別用 Redis 作為 MQ server?如果 MQ 連線斷掉怎麼辦?」062 · 第 22 頁(062 沒有附答案;078 則說 Pub/Sub 可以傳 Signal)

猜猜看:Signal 還是 Message?

🔭 推論 對照原書 Figure 12

原書的訊息先進 message sync queue,第 4 步才存進 KV store:queue 在寫入路徑上,queue 出事,訊息可能沒存到。Triton 的順序反過來:POST 先寫進 DB 才回成功,MQ 只是事後按門鈴。門鈴沒響,包裹還在倉庫。

延伸基礎第 12 階 · dedupe懂的人可以跳過

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

同一件包裹拿到兩次,丟掉一件

① 先想像

小明出隧道後同時做兩件事:對講機繼續叫(#44、#45、#46),他也去倉庫拿斷線期間的(#41–#45)。

你猜猜看:兩邊加起來拿到 8 件。螢幕上該顯示幾則?

③ 這叫做 sorting、deduplication

sorting:依號碼排好。deduplication(dedupe):同一個號碼只留一份。

④ 跟這章的關係

Triton 的重連流程就是「sorting + deduplication」(下一頁)。號碼要唯一,第 6 階的流水號這時派上用場。

② 動手玩:整理小明拿到的 8 件

8螢幕上的則數

Triton 的做法 · 一步一步062「用戶流程」 · 078「面對WebSocket斷線」

出隧道之後:先收著、再 GET、最後 sort + dedupe

DB(chatroom 42)

WebSocket buffer

使用者的螢幕

✅ 一致 這和原書的 cur_max_message_id(第 25 頁)是同一個想法。原書沒講的是 WebSocket 和 GET 同時在跑時的重複與順序。

原書沒講的事:出隧道後 WebSocket 和補拉同時送來訊息。client 收到什麼就直接顯示,螢幕會怎樣?

「建立 websocket 連線 有加入的 chatrooms – 在 websocket 對 subscription – 把收到的 message 先 buffer 起來 – 拿最近 50 個 messages GET /v1/chatrooms/<roomId>/messages – 把最近 50 個 messsage 和 buffered message 作 sorting + deduplication 然後顯示給用戶 – 之後,所有收到的 message 直接顯示給用戶」🗣️ Triton 本人說 062 · 第 18 頁「用戶流程」

「呼叫 /v1/chatrooms/{roomId}/messages?minMsgId=X GET(註:X為斷線前在 chatroom最後的留言的 Id)補回斷線期間留言 – 在拿到Get response前,WebSocket所收到的東西全前保留下來 – 拿到Get response後 WebSocket收到的訊息,其MsgId少於GET response的MsgId全都丟掉 不用管」🗣️ Triton 本人說 078 · 第 11 頁

Triton 補充062「Caching with pagination」 · 原書沒有的部分

同一個 chatroom,大家看到的歷史都一樣:正好 cache

062 第 14 頁「Cache demo(GET)」的流程(簡報依原文畫成流程圖)

「在同一個 chatroom,所有用戶都應該看到相同的聊天歷史 – 這明顯是 caching 的好機會 用戶 scroll-up 時,返回大約 50 個 record 就好」🗣️ Triton 本人說 062 · 第 12 頁

cache key(062 第 13 頁)裝什麼
chatroomId-<id>-pageList之前 N 個 cache-page 的 lastTs
chatroomId-<id>-now最近(最多)50 個 messages、上一個 page 的 nextPageTs
chatroomId-<id>-<lastTs>從 lastTs 往前的 50 個 messages、上一個 page 的 nextPageTs

🗣️ POST 時(第 15 頁):「先拿 global lock on chatroomId」,-now 沒滿 50 就 append;滿了就以那 50 筆最後一個 lastTs 建立新的 cache-page,「清空並重建 chatroomId-<id>-now」。

📝 為什麼用時間戳不用頁碼:「若用 page id 會隨著時間回傳內容不同,因為下一秒又發新的 msg 這樣很難做 cache」;「lastTs ⇒ lastMs (毫秒」009

Triton 補充WebSocket 怎麼認人 · 什麼叫 stateful

WebSocket 第一句話是 auth <jwt>

🗣️ Triton 本人說 為什麼是 JWT

「使用jwt是不用redis-access就能知道這個request是否系統用戶。而Session ID就一定要檢查redis才知道現在request的SessionID是否真正存在。」「如果你的backend會面對DDOS的,jwt可以在更早期的階段便被擋掉,完全不用連上redis。」131 · 主文第 1–2 點

🔭 推論 062 的用戶流程是先「以 RESTful endpoint 拿到 authentication token」,再建 WebSocket、送 auth <jwt>。WS server 只要有 public key 就能驗,不用連 DB 或 Redis,正好符合「幾乎沒有 Application Logic」的 WS server。

131 底下的留言(refresh token、DPoP、opaque token)不是 Triton 寫的,不引用。

🗣️ Triton 本人說 Stateless vs stateful

「stateless component就是指像:Application Server(AS) / Ngnix 這些不會存放application state的component stateful component是指像:postgresql database / kafka / rabbitMQ 這些會存放application state的component」「stateless component算是很簡單的,就單純有N個相同的node就好」017

📝「我們追求 backend system 只有 data layer(DB) 是 statefull 其他 component 都是要 statelessfull」009

🔭 推論 原書因為「握著連線」就把 chat service 歸為 stateful。Triton 的 WS server 一樣握著連線,但不存 application state:掉了就重連到任何一台、GET 補回來,用起來就像 017 說的「N 個相同的 node」。

🗣️ Triton 本人說 一份後端自我檢測

「你懂得寫一個簡單(同時在線<1000人好了)的對話軟體的後端,而這個後端是由2台Application Server組成的?」113 · 第 5 題

「如果你的客戶端需要持續更新資料(比如說股票價格,籃球比賽分數),你知道不應該每數秒做一次Get request,而是應該打開websocket / Firebase push notification(或是相似的技術)」113 · 第 6 題

文組翻譯:住戶的門禁卡(JWT)上有管理委員會的鋼印,對講機室看鋼印就知道是不是住戶,不用每次打電話回總部查名冊。

依 Triton 原則推論Service discovery 與 presence:Triton 沒有直接談

Zookeeper 挑 server、heartbeat 判斷離線,套用 Triton 的原則

Triton 有說過的

  • 🗣️「好的 AS,應該是 Stateless 的 – 這樣才能閉上眼睛,視流量來加開/關掉 AS – AS 當掉了也完全不會痛 ~ – LB 便不用昂貴的 sticky mode 了」073
  • 🗣️「名句:死人是不能說「我死了」 – 一台AS趴掉後,在 heartbeat判定其真的死亡前,在這台AS上全部牌局都沒法轉給別的AS負責 – 如果 heartbeat設定太短,則容易有 false positive,觸發不必要 AS轉移」090
  • 🗣️「如果你是要把 Message 推送到手機上,請使用 GCM / APNS,別自行來架 Server」「除非你的系統流量很大,用 AS處理 Long Polling 便好」073
  • 📝「websocket connection 都需要 ping pong 會吃很多 io」009

🔭 推論 Service discovery

原書需要 Zookeeper 替每個 client 挑「最好的」chat server,是因為 chat server 有狀態、client 連上就不換。WS server 若只是 relay、彼此可互換,load balancer 隨便分配就好,掛了就重連到另一台;不需要另外一個要做 HA 的協調元件。

🔭 推論 原書收尾說 chat server 掛掉時「Zookeeper 給 client 一台新的」。090 的提醒是:在 heartbeat 判定它死之前,系統不知道它死了。

🔭 推論 Presence

原書的 heartbeat + x 秒正是 090 說的取捨:x 太短,過隧道就誤判(false positive);x 太長,真的離線很久才變灰。綠點漏一次、晚幾秒沒關係,照 078 的分類是 Signal:用 Redis Pub/Sub 這類「丟失沒太大差」的管道就夠了,不必當成不能掉的資料。

Triton 的講義沒有 presence 的設計,這一欄全是推論,不要說成 Triton 的主張。

到這裡你已經會了小結 4 / 4

  1. HTTP
  2. polling
  3. long polling
  4. WebSocket
  5. stateful
  6. sequence ID
  7. service discovery
  8. message sync
  9. fanout
  10. heartbeat
  11. Signal / Message
  12. dedupe

到這裡你已經會了:Triton 怎麼拆

12 階全部走完了

下一頁用一句話收尾;再下一頁是名詞小卡,給大家課後複習。

一句話記住

包裹交給櫃台、先放進倉庫;
對講機只負責叫人,漏叫了,住戶自己去倉庫查。

原書對的地方

  • 先釐清一對一或群組、規模、保存多久
  • Server push 用 WebSocket,不用 polling
  • 群組表依 channel 分區、HBase 能存
  • 裝置記住看到哪(cur_max_message_id)、heartbeat 防閃爍、大群組不 fanout presence

Triton 不同意 / 原書沒講

  • 送訊息也走 WebSocket,chat server 握著商業邏輯:部署就全斷
  • 一對一表只以 message_id 為 PK、每則先問 ID generator
  • 每個成員一個 inbox 各存一份
  • WebSocket 和補拉同時進來時的重複與順序

Triton 的做法

  • POST 走 stateless AS,寫進 MySQL / HBase,PK (chatroomId, createTs)
  • RabbitMQ:room = fanout exchange,一台 WS server 一個 queue、一條 connection + dispatcher
  • queue 固定長度、自動消滅、no-ack:它是 Signal
  • 重連:先 buffer、GET 補、sort + dedupe

本章名詞小卡課後複習用 · 每個名詞一句白話

今天出現的名詞,一句話講完

client住戶手上的 app:手機、筆電、瀏覽器
server管理室裡真正做事的電腦
HTTP一問一答的規矩:client 先問,server 才答
keep-alive問完先不掛電話,下次直接用同一條線
TCP handshake每次接通前雙方先打招呼,要花時間
polling每隔固定時間問一次「有新的嗎?」
long polling問了之後 server 先不答,有新東西才回
timeout等多久就放棄、重來
WebSocket一直開著、兩邊都能先開口的線
DAU每天至少打開一次的人數
push notificationApp 沒開也會跳出來的通知
online presence頭像旁的綠點:誰在線上

給工程師的重點出處與標籤

引述來源(materials/core)與原書對照

Triton 本人的講義 / 文章

  • 062-im-system design.pdf.md — System Design 淺談 以 Instant messenger 為例:MVP 範圍、Epic fail、RESTful endpoints、PostgreSQL heap / MySQL・HBase、PK (chatroomId, createTs)、caching with pagination、WebSocket 的 auth / subscribe、用戶流程、RabbitMQ fanout、一條 MQ connection + dispatcher、MQ 設定、open questions
  • 078-mq-intro.pdf.md — MQ 淺談:MQTT 警告、POST …/messages/{messageId}、minMsgId、stateless AS 需要 MQ、Signal vs Message、Redis Pub/Sub、WebSocket 斷線流程
  • 090-restful-demo.pdf.md — RESTful 範例(UNO):同一 AS 的壞處、「死人是不能說我死了」、WebSocket 來出牌的好處 / 壞處、polling 不可接受
  • 113-喵的 backend 測驗.md 第 5–7 題 · 131-喵談 jwt和Session ID.md 主文第 1–2 點(留言不引) · 017-High Availability stateful component vs stateless component.md
  • 015-From_MySQL_to_postgreSQL.pdf.md IOT vs heap · 104-利用Range Scan on Primary Key的好處.md random IO · 080-nosql-intro.pdf.md HBase Range Scan with PK · 073-lesson3.pdf.md stateless AS、GCM/APNS、long polling · 138-喵談 rabbitMQ 和 kafka.md

上課筆記:009 System Design on a MVP IM(Roy 的 Notion,📝 非原文)。不引用:179〈網路〉作者不明;131 的留言者;061、092、095(Roy 的專案報告)。

原書對照

Alex Xu, System Design Interview Vol.1 Ch.12。開頭、Step 1 與 Figure 1(第 4 頁,logo 不重繪);Step 2 溝通方式與 Figure 2(6);Polling / Long polling / WebSocket 與 Figure 3–5(11–12);Figure 6、High-level design、Stateless / Stateful / Third-party 與 Figure 7(14);Scalability(15)與 Figure 8(16);Storage(17);Data models、Message ID 與 Figure 9–10(19);Service discovery 與 Figure 11(21);1 on 1 flow 與 Figure 12(23);多裝置同步與 Figure 13(25);Small group flow 與 Figure 14–15(27);Online presence 登入登出與 Figure 16–17(28)、斷線與 Figure 18(30)、fanout 與 Figure 19(31);Wrap up(32)。Figure 2–19 依圖說與 alt 描述重繪,不是原圖。

循序漸進(文組版)的頁面

學習地圖(第 3 頁);延伸基礎 12 階:HTTP(5)、polling(7)、long polling(8)、WebSocket(9)、stateful(13)、sequence ID(18)、service discovery(20)、message sync(24)、fanout(26)、heartbeat(29)、Signal / Message(40)、dedupe(43);小結(10、22、33、48);名詞小卡(50)。幸福社區是虛構的示範情境;延伸基礎頁的數字都是示意。

一個可以直接問自己的問題

你的聊天系統要改一行「發訊息」的商業邏輯,部署時會斷掉幾條 WebSocket?訊息是先寫進 DB,還是先進 queue?

← → 翻頁 · S 講者備註 · D 深/淺色
1 / 1目錄