System Design Interview · 第 12 章Triton 覆蓋度:🟢 高Triton 線
Design A Chat System
寄信的路,和按門鈴的路,要分開
原書設計一個 5,000 萬 DAU、像 Facebook Messenger 的聊天系統:client 和 stateful 的 chat server 之間開一條 WebSocket,送訊息、收訊息都走它;訊息用 Snowflake 這類 ID 排序,存進 key-value store。Triton 在〈System Design 淺談 以 Instant messenger 為例〉走另一條路:寫訊息走 stateless 的 RESTful API,WebSocket 只負責推,中間用 RabbitMQ 依 chatroom fanout,PK「一定是 (chatroomId, createTs)」。
給文組
全程只用一個社區管理室代收包裹,一階一階爬 12 個概念。頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。
給工程師
第 4–32 頁完整講原書,中間穿插延伸基礎頁(19 張圖除了 Figure 1 的 App logo,全部重繪),後面是 Triton 的批判與補充,最後一頁列出所有出處(materials/core)。
標籤怎麼看
📖 原書 🗣️ Triton 本人說 📝 上課筆記 🔭 依 Triton 原則推論 📅 2026 補充
先用生活理解社區管理室代收包裹
住戶在家就送上樓,不在家就先收著
住戶之間不會直接把東西塞進對方家裡,一律交給管理室。管理室做三件事:收下包裹、找到收件人送上去、收件人不在就先收著,等他回來再給。
這一章的對照表
| 管理室 | 聊天系統 |
|---|---|
| 管理室 | chat service |
| 在家:直接送上樓 | online:從 server 推給 client(WebSocket) |
| 外出:先放管理室 | offline:訊息先存在 server |
| 打電話說「你有包裹」 | push notification |
| 住戶記得「我領到第幾號」 | cur_max_message_id / minMsgId |
學習地圖本章的概念階梯
今天爬 12 階。每一階只用前面講過的東西。
- 1HTTP住戶先問,櫃台才答
- 2polling每 5 分鐘下樓問
- 3long polling坐在管理室等
- 4WebSocket家裡裝對講機
- 5stateful線接在某一間室
- 6sequence ID包裹流水號
- 7service discovery報到處分配房間
- 8message sync收件簿記到第幾號
- 9fanout公告影印幾份
- 10heartbeat定時報平安
- 11Signal / Message門鈴 vs 包裹
- 12dedupe重複的丟掉
第 1–4 階 · server 怎麼先開口
要回答:管理室要怎麼主動叫住戶?
第 5–7 階 · 對講機接在哪一間
要回答:連線綁在某台 server 上,會有什麼麻煩?
第 8–10 階 · 同步、群組、綠點
要回答:手機和筆電怎麼對齊?群組寄幾份?綠點怎麼亮?
第 11–12 階 · Triton 的拆法
要回答:門鈴沒響,包裹會不會不見?
全程只用一個社區:幸福社區管理室(虛構)
每爬 3–4 階,有一頁「到這裡你已經會了」。
原書 Step 1釐清需求 · Figure 1
先問清楚:一對一還是群組?多大規模?存多久?
這一步要解決的問題要做哪一種聊天?一對一或群組、規模多大、存多久,答案不同,設計就不同。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 一對一還是群組? | 兩種都要 |
| Mobile app、web app,還是都要? | 都要 |
| 規模多大? | 5,000 萬 DAU |
| 群組人數上限? | 最多 100 人 |
| 重要功能?支援附件嗎? | 一對一、群組、online indicator;只有文字 |
| 訊息大小限制? | 少於 100,000 字元 |
| 要 end-to-end encryption 嗎? | 目前不用,有時間再談 |
| 聊天紀錄存多久? | 永久 |
白話:DAU=每天至少打開一次的人數(第 2 章第 22 頁);online indicator=頭像旁的綠點;end-to-end encryption=只有寄件人和收件人看得懂。
📖 原書 Figure 1 不重繪:原圖是五個 App 的 logo(WhatsApp、Facebook messenger、WeChat、Line、Discord),沒有任何流程或關係。商標不適合重畫,這裡只列名字。
📖 原書 本章做一個像 Facebook Messenger 的 App
- 一對一聊天,傳送延遲低
- 小群組聊天(最多 100 人)
- Online presence
- 多裝置:同一帳號同時登入多台裝置
- Push notification(App 沒開也會跳出來的通知)
📖 原書 先確認是哪一種聊天
一對一:Facebook Messenger、WeChat、WhatsApp;辦公室群組:Slack;遊戲:Discord,重點是大群組互動和低語音延遲。原書提醒:面試官想的是一對一,你卻設計成群組,就白做了。
延伸基礎第 1 階 · HTTP懂的人可以跳過
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
管理室收到包裹,可以自己上樓叫你嗎?
① 先想像
社區規矩:住戶下樓問,櫃台才回答。櫃台不會自己爬上樓找人。
你猜猜看:管理室收到一件給小明的包裹。照這個規矩,小明什麼時候會知道?
櫃台只能回答問題,不能先開口。小明不來問,就不知道。右邊按「管理員想主動叫小明」試試。
③ 這叫做 client、HTTP
client:住戶手上的 app。HTTP:網路上一問一答的規矩,一定是 client 先問、server 才答。
④ 跟這章的關係
寄訊息是住戶先開口,HTTP 很順。收訊息要管理室先開口,就卡住了(下一頁)。
② 動手玩:誰可以先開口?
原書 Step 2Client 和 server 怎麼溝通 · Figure 2
Client 不直接互傳,一律經過 chat service
這一步要解決的問題寄訊息很簡單,收訊息才難:HTTP 只能 client 先開口,server 要怎麼主動送?
文組翻譯
寄件人到管理室寄東西很簡單:走過去交給櫃台就好(client 主動發 HTTP)。難的是反方向:管理室要怎麼「主動」通知住戶?HTTP 只能由 client 開口,server 沒辦法先開口。
📖 原書 Chat service 必須做到三件事:
- 接收其他 client 送來的訊息
- 替每則訊息找到正確的收件人,轉送過去
- 收件人不在線上,就把訊息留在 server,等他上線
📖 原書 Sender 端:大多數 client/server 應用由 client 發起 request,聊天的發送端也一樣。用經過時間考驗的 HTTP:client 開一條 HTTP 連線送出訊息。keep-alive header 讓 client 和 chat service 維持持久連線,減少 TCP handshake。Facebook 一開始也是用 HTTP 送訊息。
白話:keep-alive=問完先不掛電話,下次直接用;TCP handshake=每次接通前先打招呼,要花時間。HTTP 一問一答見第 5 頁。
📖 原書 Receiver 端比較複雜:HTTP 由 client 發起,server 不容易主動送。多年來有三種技術模擬 server 發起的連線:polling、long polling、WebSocket。
延伸基礎第 2 階 · polling懂的人可以跳過
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
每 5 分鐘下樓問一次「有我的包裹嗎?」
① 先想像
櫃台不能先開口,那小明就勤勞一點:每 5 分鐘下樓問一次。
你猜猜看:一小時只來 2 件包裹。每 5 分鐘問一次,一小時問幾次、白跑幾次?
60 ÷ 5 = 12 次,只有 2 次拿到東西。問得越勤,白跑越多;問得越少,包裹等越久。
③ 這叫做 polling
polling:client 每隔固定時間問 server 一次「有新的嗎?」
④ 跟這章的關係
原書 Figure 3 就是它。缺點:大部分時候答案是「沒有」,櫃台還是得回答。
② 動手玩:多久下樓一次?
延伸基礎第 3 階 · long polling懂的人可以跳過
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
乾脆坐在管理室等,等到包裹才上樓
① 先想像
小明下樓後不走了,坐在櫃台前等。包裹一到馬上拿;坐滿 30 分鐘沒來,就上樓再下來重坐。
你猜猜看:小明從第 0 分鐘坐著等,包裹第 7 分鐘到。他第幾分鐘拿到?
人就坐在櫃台前,包裹一到就交給他,完全不晚。代價是他一直佔著一張椅子。
③ 這叫做 long polling、timeout
long polling:client 問了之後,server 先不答,有新東西才回。timeout:等多久就放棄重來。
④ 跟這章的關係
原書 Figure 4。比 polling 快,但小明坐的櫃台,不一定是收到包裹的那個櫃台。
② 動手玩:小明坐在 1 號櫃台等
延伸基礎第 4 階 · WebSocket懂的人可以跳過
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
家裡裝一支對講機,兩邊都能先開口
① 先想像
小明家裝一支對講機,線一直接通管理室。包裹一到,管理員按對講機叫他。
你猜猜看:裝好對講機後,一小時來 2 件包裹,小明還要下樓「問」幾次?
不用問,管理員有事直接叫。只有一開始裝對講機時跑一趟。
③ 這叫做 WebSocket
WebSocket:一條一直開著、兩邊都能先開口的線。先用 HTTP 打招呼(handshake),再「升級」成這條線。
④ 跟這章的關係
原書 Figure 5–6 選它,收、送都走這條線。Triton 同意「推」用它,不同意「送」也用它(第 36 頁)。
② 動手玩:裝對講機
到這裡你已經會了小結 1 / 4
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
到這裡你已經會了:server 怎麼先開口
- HTTP 是一問一答:住戶(client)先問,櫃台才答。管理室沒辦法先開口。
- polling 一直下樓問,白跑很多;long polling 坐著等,但可能坐錯櫃台。
- WebSocket 是家裡的對講機:一直接通、兩邊都能先開口。
下一階要解決的問題
先看原書怎麼比較這三種方法。然後問:對講機的線是接在哪一間對講機室?
原書 Step 2Polling · Long polling · WebSocket · Figure 3–5
三種讓 server「主動說話」的方法
這一步要解決的問題原書比較三種讓 server「主動說話」的方法:各自付出什麼代價?
📖 原書 Polling
Client 定期問 server 有沒有新訊息。依頻率而定,可能很貴:大部分時間答案都是「沒有」,卻要耗費寶貴的 server 資源來回答。
📖 原書 Long polling
Client 把連線開著,直到真的有新訊息或到達 timeout 門檻。收到新訊息後,client 立刻再送一個 request,重新開始。
📖 原書 WebSocket
由 client 發起,雙向、持久。一開始是 HTTP 連線,經過定義好的 handshake「升級」成 WebSocket。用 port 80 或 443,所以有防火牆通常也能用。
白話:port 80/443=一般網頁用的門號,防火牆通常放行。三種方法的生活版在第 7–9 頁。
原書 Step 2 · 動手玩同樣 60 秒、同樣幾則訊息
問了幾次?白問幾次?訊息晚到多久?
這一步要解決的問題同樣 60 秒、同樣幾則訊息,三種方法要問幾次、訊息晚到多久?
📖 原書 Long polling 的三個缺點
- Sender 和 receiver 可能不在同一台 chat server:HTTP server 通常是 stateless,用 round robin 做 load balancing,收到訊息的那台不一定握著收件人的 long-polling 連線
- Server 沒有好方法判斷 client 是否已經斷線
- 沒效率:使用者很少聊天,long polling 仍然在每次 timeout 後定期重連
白話:round robin=輪流分配;load balancing=把 request 分給不同 server(第 1 章第 12 頁)。
文組翻譯
Polling:每 5 分鐘下樓問管理室「有我的包裹嗎?」。Long polling:下樓坐在管理室等,等到包裹或等滿 30 分鐘才上樓,然後馬上再下來坐。WebSocket:家裡裝一支對講機,有包裹管理室直接叫你。
延伸基礎第 5 階 · stateful懂的人可以跳過
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
對講機的線,接在某一間對講機室
① 先想像
小明的對講機線,接在 2 號對講機室。2 號室記得「小明在我這條線上」。
你猜猜看:2 號室關門整修,小明的對講機會怎樣?
線是接在 2 號室的,別間不知道小明在哪。櫃台就不一樣:換哪個櫃台員都能回答問題。
③ 這叫做 stateful、stateless
stateful:server 身上記著某些使用者(握著他們的連線)。stateless:server 身上什麼都不記,哪一台都一樣。
④ 跟這章的關係
原書說 chat service 是唯一 stateful 的服務(下一頁 Figure 7)。Triton 認為麻煩就從這裡開始(第 35 頁)。
② 動手玩:關掉 2 號
原書 Step 2WebSocket 兩邊都用 · 高階設計 · Figure 6–7
原書:收也用 WebSocket、送也用 WebSocket
這一步要解決的問題登入、改資料也要走 WebSocket 嗎?哪一種服務會「記住」使用者?
📖 原書 前面說 sender 端用 HTTP 很好,但 WebSocket 是雙向的,「沒有強烈的技術理由不把它也用在發送端」。兩邊都用 WebSocket 讓設計更簡單、client 和 server 的實作更直接。WebSocket 連線是持久的,server 端的連線管理效率很關鍵。 Triton 不同意,見第 36 頁
📖 原書 其他功能不必用 WebSocket:註冊、登入、user profile 等大多數功能都用傳統 HTTP request/response。系統分三大類:
- Stateless services:登入、註冊、user profile。放在 load balancer 後面,依 request path 導到正確的服務;可以是 monolith 或 microservice,很多能直接用現成的。要深入談的是 service discovery:給 client 可連的 chat server DNS host name 清單。
- Stateful service:唯一的 stateful service 是 chat service,因為每個 client 都和某台 chat server 維持持久連線;只要那台還活著,client 通常不換。Service discovery 和 chat service 密切配合,避免 server 過載。
- Third-party integration:最重要的是 push notification,App 沒在跑也能通知新訊息,詳見〈Design a notification system〉。
白話:monolith=全部功能做成一個大程式;microservice=拆成很多小服務;DNS host name=server 的網址名字;stateful 見第 13 頁。
原書 Step 2 · 動手算Scalability
一百萬條連線,一台機器其實放得下
這一步要解決的問題一台機器放得下 100 萬條連線,那為什麼不能只用一台?
📖 原書 小規模時,上面所有服務都放得進一台 server。就算是本章的規模,理論上也能把所有使用者連線放進一台現代雲端 server,同時連線數才是限制。1M 同時在線、每條連線假設 10K 記憶體(很粗略,非常看語言),只要約 10GB。
📖 原書 但提出「全部放一台」會在面試官心裡升起大紅旗:沒有工程師會這樣設計,最大的理由是 single point of failure。不過從單台開始談完全沒問題,只要讓面試官知道這是起點。
白話:single point of failure(SPOF)=只有一個、它倒了全部倒(第 7 章第 9 頁)。
文組翻譯
一個管理室放得下全社區的包裹,不代表只要一個管理員。他感冒請假那天,全社區都收不到東西。
原書 Step 2調整後的高階設計 · Figure 8
全部組起來:API servers、chat servers、presence servers、KV store
這一步要解決的問題把前面的元件組起來:誰負責即時訊息、誰負責綠點、誰負責存?
📖 原書 Client 和某台 chat server 維持一條持久的 WebSocket 連線,做即時訊息。
- Chat servers:負責收送訊息
- Presence servers:管理 online / offline 狀態
- API servers:其他所有事:登入、註冊、改 profile 等
- Notification servers:送 push notification
- Key-value store:存聊天紀錄。離線的使用者上線後,看得到之前所有的聊天紀錄
白話:key-value store=用一個名字(key)存取一筆資料的倉庫(第 6 章第 4 頁)。
文組翻譯
櫃台(API servers)辦一般手續;對講機室(chat servers)負責叫人;門口的燈號(presence)顯示誰在家;倉庫(KV store)存所有包裹的紀錄。
原書 Step 2Storage
聊天紀錄放哪?原書選 key-value store
這一步要解決的問題聊天紀錄一天幾百億筆、大多只讀最近的,該放哪一種資料庫?
📖 原書 兩種資料
一般資料:user profile、設定、好友名單。放在穩健可靠的 relational database,用 replication 和 sharding 滿足可用性與擴展性。
聊天紀錄:聊天系統特有,要先看讀寫模式。
- 資料量巨大:Facebook Messenger 和 WhatsApp 一天處理 600 億則訊息
- 只有最近的聊天常被讀,很少人去翻舊的
- 但搜尋、看提到你的訊息、跳到某則訊息這類功能需要 random access,資料存取層也要支援
- 一對一聊天的讀寫比約 1:1
白話:relational database=一格一格的表格帳本(第 1 章第 8 頁);replication=抄一份到別台(第 14 頁);sharding=太厚就拆成好幾本(第 34 頁);random access=直接跳到任一筆。
📖 原書 推薦 key-value store 的四個理由
- 容易 horizontal scaling
- 存取延遲很低
- Relational database 處理不好資料的 long tail:index 變大後,random access 很貴
- 可靠的聊天 App 都在用:Facebook Messenger 用 HBase,Discord 用 Cassandra
白話:horizontal scaling=加機器分擔(第 1 章第 11 頁);long tail=很少被讀、又多又舊的那一大串資料;index=目錄。
Triton 的看法見第 37–38 頁
文組翻譯
住戶資料(姓名、門牌)放在登記簿:量小、要準。包裹紀錄每天幾百億筆,而且大家只翻最近幾頁,偶爾才要「找三年前那個包裹」。原書的結論是:包裹紀錄另外放一種「容易加櫃子、找得快」的倉庫。
原書沒說錯的一點:先看讀寫模式,再選資料庫。後面 Triton 也是這樣做,只是結論長得不一樣。
延伸基礎第 6 階 · sequence ID懂的人可以跳過
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
每件包裹貼一張流水號
① 先想像
管理室每收一件包裹,就貼一張流水號:#651、#652、#653……
你猜猜看:小明和小華在同一秒寄出,收件時間都寫「10:00:05」。誰排前面?
時間一樣就排不出先後。流水號一定一大一小,誰先拿到號誰就在前面。
③ 這叫做 message ID、sequence number
每則訊息一個號碼:唯一,而且越晚越大。
④ 跟這章的關係
原書的訊息表靠它排序(下一頁)。號碼機放哪,決定會不會重號:右邊三種就是原書的三種做法。
② 動手玩:號碼機放哪裡?
家族群
球隊群
原書 Step 2Data models · Message ID · Figure 9–10
訊息表長什麼樣?誰先誰後靠 message_id
這一步要解決的問題訊息要排出先後。兩則在同一毫秒送出時,靠什麼排?
動手試:兩則訊息同一毫秒送出
ORDER BY created_at
ORDER BY message_id
📖 原書 一對一:PK 是 message_id,用它決定訊息順序。不能靠 created_at,因為兩則訊息可能同時建立。群組:composite PK (channel_id, message_id),channel 和 group 同義;channel_id 是 partition key,因為群組的查詢都在一個 channel 內。
白話:PK(primary key)=每筆資料獨一無二的編號(第 7 章第 4 頁);partition key=決定資料放哪一台的欄位;流水號見第 18 頁。
📖 原書 Message ID 的兩個要求
① ID 必須唯一;② ID 要能依時間排序:新的 row ID 比舊的大
📖 原書 三種做法 Triton 對 PK 的看法見第 37 頁
- MySQL 的
auto_increment:但 NoSQL 通常沒有 - 全域 64-bit 序號產生器,例如 Snowflake(見〈Design a unique ID generator〉)
- Local sequence number generator:ID 只在一個群組內唯一。一對一或群組 channel 內維持順序就夠了,比全域 ID 好做
延伸基礎第 7 階 · service discovery懂的人可以跳過
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
報到處替你挑一間比較閒的對講機室
① 先想像
新住戶到報到處登記。報到處看哪間對講機室比較閒,給他一張「請接 2 號室」的條子。
你猜猜看:1 號室接了 9 戶、2 號室 3 戶、3 號室 6 戶。新住戶該接哪間?
2 號最閒。報到處的工作就是替你挑,不讓某一間被塞爆。
③ 這叫做 service discovery、Zookeeper
service discovery:一份「哪些 server 還活著、各自多忙」的名冊,替 client 挑一台。Zookeeper:做這件事的常見工具。
④ 跟這章的關係
原書 Figure 11:登入後由它挑 chat server(下一頁)。因為線是 stateful 的,一接上就不換,挑錯很難改。
② 動手玩:每間最多接 10 戶
原書 Step 3Deep dive:Service discovery · Figure 11
登入之後,Zookeeper 幫你挑一台 chat server
這一步要解決的問題client 登入之後,要連哪一台 chat server?
📖 原書 Deep dive 要談三件事:service discovery、message flows、online/offline indicator。
📖 原書 Service discovery 的主要工作是依地理位置、server 容量等條件,替 client 推薦最好的 chat server。Apache Zookeeper 是常見的開源方案:註冊所有可用的 chat server,依預先定義的條件挑一台。
- User A 嘗試登入 App
- Load balancer 把登入 request 送到 API servers
- 後端驗證使用者後,service discovery 替 User A 找最好的 chat server。這個例子選了 server 2,資訊回傳給 User A
- User A 透過 WebSocket 連到 chat server 2
文組翻譯
報到處(API servers)驗明身分後,查一下哪間對講機室比較閒、離你近,給你一張「請到 2 號室」的條子。之後你就一直待在 2 號室。
到這裡你已經會了小結 2 / 4
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
到這裡你已經會了:線接在哪、號碼怎麼編
- stateful:對講機線接在某一間室,那間室關門,上面的人全斷線。
- 每則訊息貼一個流水號(message ID):唯一、越晚越大,才排得出先後。
- service discovery:報到處看哪間對講機室最閒,替你挑一間。
下一階要解決的問題
一則訊息從小明送到小華,原書要走六步。小華有手機又有筆電,兩台怎麼各自知道「我看到哪」?
原書 Step 31 on 1 chat flow · Figure 12
User A 傳一則訊息給 User B,經過六步
這一步要解決的問題一則訊息從 A 送到 B,中間經過哪些元件?B 不在線上怎麼辦?
- User A 把訊息送到 Chat server 1
- Chat server 1 向 ID generator 拿一個 message ID
- Chat server 1 把訊息送進 message sync queue
- 訊息存進 key-value store
- 5.a User B 在線上:訊息轉到 User B 連著的 Chat server 2
5.b User B 離線:由 push notification (PN) servers 送推播 - Chat server 2 把訊息轉給 User B;兩者之間有持久的 WebSocket 連線
白話:ID generator=號碼機(第 18 頁);message sync queue=先排隊的輸送帶,每個收件人一條(MQ 見第 1 章第 30 頁);PN=push notification。
文組翻譯
A 把包裹交給 1 號對講機室;1 號室先去領一個流水號,把包裹放上輸送帶;輸送帶一邊把包裹送進倉庫,一邊送到 B 所在的 2 號室,2 號室用對講機叫 B。B 不在家,就改打電話。
Triton 的訊息路徑見第 35–36 頁
延伸基礎第 8 階 · message sync懂的人可以跳過
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
收件簿上寫著:我領到第幾號
① 先想像
小明家裡和公司各有一本收件簿,各自寫著「我領到第幾號」。
你猜猜看:家裡的收件簿寫「領到 #653」。倉庫裡給小明的有 #650、#655、#660。回家要領哪幾件?
比 653 大的才是新的,#650 早就領過了。只要記一個數字,就知道要拿什麼。
③ 這叫做 cur_max_message_id
這台裝置看過的最大流水號。同步 = 只拿比它大的。
④ 跟這章的關係
原書 Figure 13 的多裝置同步就靠它(下一頁)。Triton 的 minMsgId 是同一個想法(第 44 頁)。
② 動手玩:每次同步要搬幾件?
原書 Step 3 · 動手玩多裝置同步 · Figure 13
手機和筆電,各自記得看到第幾則
這一步要解決的問題同一個人有手機和筆電,兩台怎麼各自補到漏掉的訊息?
📖 原書 User A 有手機和筆電。手機登入時和 Chat server 1 建立 WebSocket 連線,筆電也是。
📖 原書 每台裝置維護一個變數 cur_max_message_id,記錄這台裝置上最新的 message ID。符合兩個條件的訊息就是新訊息:
- 收件人 ID 等於目前登入的使用者 ID
- KV store 裡的 message ID 大於
cur_max_message_id
每台裝置各有自己的 cur_max_message_id,同步就很簡單:各自去 KV store 拿新訊息。
文組翻譯
你在家裡和公司各有一本收件簿,各自記著「我領到第 653 號」「我領到第 842 號」。到管理室只要說「給我 653 號之後、寫我名字的包裹」。
延伸基礎第 9 階 · fanout懂的人可以跳過
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
群組公告:影印給每一戶,還是貼在公布欄?
① 先想像
群組公告要給大家看。可以影印塞進每戶信箱;也可以貼一張在公布欄,有訂閱的人自己會收到。
你猜猜看:100 人的群組,每人一個信箱。有人發一則,要影印幾份?
寄件人自己不用,其他 99 人各一份。群組越大,每一則要印的越多。
③ 這叫做 fanout、publish-subscribe
fanout:一則訊息複製給很多人。publish-subscribe:丟進一個頻道,訂閱的人都收到。
④ 跟這章的關係
原書 Figure 14 用信箱,Figure 19 用頻道。人一多都很貴;Triton 的版本在第 39 頁。
② 動手玩:一天要印幾份?
原書 Step 3Small group chat flow · Figure 14–15
群組訊息:每個成員一個 inbox,各放一份
這一步要解決的問題群組訊息要給每個成員,原書怎麼複製?人多了會怎樣?
📖 原書 群組比一對一複雜。群組有 A、B、C 三人。A 送出的訊息被複製到每個成員的 message sync queue:一份給 B、一份給 C。可以把 message sync queue 想成收件人的 inbox。這對小群組是好設計:
- 同步流程簡單:每個 client 只要看自己的 inbox
- 群組人數少,每個收件人存一份不會太貴
白話:inbox=每個收件人自己的信箱;fanout=一則複製給很多人(第 26 頁)。
📖 原書 WeChat 用類似做法,群組上限 500 人。成員很多的群組,每人存一份就不可接受。
📖 原書 接收端:一個收件人會收到很多人的訊息。每個收件人有一個 inbox(message sync queue),裝著不同寄件人的訊息(Figure 15)。
Triton 的 fanout 做法見第 39 頁
原書 Step 3Online presence:登入、登出 · Figure 16–17
頭像旁邊的綠點,背後是 presence servers
這一步要解決的問題頭像旁的綠點,什麼時候亮、什麼時候滅?
📖 原書 高階設計裡,presence servers 負責管理 online 狀態,並透過 WebSocket 和 client 溝通。有幾種流程會觸發狀態變化:
User login
登入流程在 service discovery 那節講過。client 和 real-time service 建好 WebSocket 連線後,User A 的 online 狀態和 last_active_at 時間戳存進 KV store,presence indicator 顯示她在線上。
白話:last_active_at=最後一次活動的時間;presence indicator=頭像旁的綠點。
User logout
登出走 Figure 17 的流程:KV store 裡的狀態改成 offline,presence indicator 顯示她離線。
文組翻譯
住戶回家刷卡,管理室的燈號板就亮綠燈;出門刷卡,燈號變灰。
延伸基礎第 10 階 · heartbeat懂的人可以跳過
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
對講機每 5 秒「嗶」一聲:我還在
① 先想像
在家的對講機每 5 秒自動嗶一聲。管理室規定:30 秒沒聽到嗶,燈號就改成「外出」。
你猜猜看:小明過隧道,斷線 10 秒又接回來。燈號會變外出嗎?
10 秒後又嗶了,沒超過 30 秒。管理室根本不用知道他斷過線,綠點就不會閃。
③ 這叫做 heartbeat
heartbeat:client 定期送一個「我還活著」的小訊號;太久沒收到才判定離線。
④ 跟這章的關係
原書 Figure 18 用它防止綠點閃爍(下一頁)。x 秒要設多長,是一個取捨(第 47 頁)。
② 動手玩:你來當小明的對講機
原書 Step 3 · 動手玩User disconnection · Heartbeat · Figure 18
過隧道時斷斷續續,綠點要不要跟著閃?
這一步要解決的問題一斷線就標離線,過隧道時綠點會一直閃。怎麼辦?
📖 原書 斷線時持久連線就斷了。天真的做法是斷線就標 offline、重連再標 online,但使用者常在短時間內斷斷續續(例如過隧道),綠點跳來跳去,體驗很差。解法是 heartbeat:在線的 client 定期送 heartbeat 給 presence servers;x 秒內收到就算 online,否則 offline。Figure 18:每 5 秒一次,送了 3 次後斷線,x = 30 秒內沒有重連(原書說這個數字是隨便選來示範的),狀態改成 offline。
原書 Step 3Online status fanout · Figure 19
A 上線了,朋友們怎麼知道?
這一步要解決的問題A 上線了,要怎麼讓每個朋友知道?朋友很多時怎麼辦?
📖 原書 Presence servers 用 publish-subscribe,每一對朋友維護一個 channel。User A 狀態改變時,把 event 發佈到 channel A-B、A-C、A-D 三個 channel,分別由 B、C、D 訂閱。client 和 server 之間用即時的 WebSocket 溝通。
白話:publish-subscribe=丟進一個頻道,訂閱的人都收到(第 26 頁);event=一則「狀態變了」的通知。
📖 原書 這對小群組有效,WeChat 用類似做法,因為群組上限是 500。大群組通知所有成員很貴:一個 100,000 人的群組,每次狀態變化產生 100,000 個 event。可能的解法:只有在使用者進入群組或手動刷新好友清單時才去拿 online 狀態。
文組翻譯
你回家時,管理室替你的每個朋友各打一通電話「他回來了」。朋友 3 個沒問題;全社區 10 萬人都要打,管理員一整天什麼事都不用做了。所以大群組改成:誰想知道,自己來看燈號板。
原書 Step 4Wrap up · Additional talking points
原書的收尾:五個元件,和還有時間可以談的事
這一步要解決的問題原書怎麼收尾?面試還有時間,可以多談什麼?
📖 原書 總結
支援一對一和小群組聊天,client 和 server 之間用 WebSocket 即時通訊。元件:
- chat servers:即時訊息
- presence servers:管理 online presence
- push notification servers:送推播
- key-value stores:保存聊天紀錄
- API servers:其他功能
📖 原書 還有時間可以談
- 媒體檔:照片、影片比文字大很多,可以談壓縮、雲端儲存、縮圖
- End-to-end encryption:WhatsApp 支援,只有寄件人和收件人讀得到
- Client 端快取訊息:減少 client 和 server 之間的資料傳輸
- 改善載入時間:Slack 建了地理分散的網路快取使用者資料、channel 等
📖 原書 Error handling
- Chat server 出錯:一台 chat server 可能有幾十萬條以上的持久連線。掛掉時,service discovery(Zookeeper)會給 client 一台新的 chat server 重新連線
- 訊息重送機制:retry 和 queueing 是常見做法
📅 2026 補充 原書沒提的 server push:Server-Sent Events(瀏覽器內建的 EventSource,單向、走一般 HTTP)。WhatsApp 的 end-to-end encryption 用的是 Signal Protocol。
到這裡你已經會了小結 3 / 4
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
到這裡你已經會了:原書的整個設計
- 每台裝置記著看過的最大流水號(cur_max_message_id),同步只拿比它大的。
- 群組訊息要 fanout:每人信箱一份(Figure 14)或頻道訂閱(Figure 19),人越多越貴。
- heartbeat:定期報平安,x 秒沒收到才算離線,過隧道綠點不會閃。
下一階要解決的問題
原書講完了。Triton 要問:對講機室握著連線、又負責寄件,改一行程式要重開時,會怎樣?
Triton 觀點先看全貌
Triton 同意 WebSocket 推、HBase 存,不同意「送也走 WebSocket」
✅ 一致 原書做對的地方
- 要即時更新就用 WebSocket,不要定期 GET:113 第 6 題;「每秒 polling問一下 server最新狀態,在 2019不是一個可被接受的方案」090
- HBase 可以存聊天紀錄:「MySQL / HBase 請你挑一個~」062;「HBase 強項:Range Scan with PK」080
- 群組表依 channel 分區:原書 Figure 10 的
(channel_id, message_id)已經很接近 Triton 的 PK - 裝置記住看到哪、上線再補拉:原書的
cur_max_message_id≈ 078 的minMsgId
❌ 不同意 / 原書沒講
- Server 跟著 room 或使用者走:「Epic fail」(第 35 頁)062 · 090
- 送訊息也走 WebSocket:應該走 stateless REST,WebSocket 只推(第 36 頁)062 · 090 · 113
- PK 與資料庫:一定是
(chatroomId, createTs),PostgreSQL 不行(第 37–38 頁)062 - 每個收件人一個 inbox → 依 chatroom fanout、每台 server 一個 queue(第 39–41 頁)062
- 即時送達是 Signal,斷線靠 GET 補、再 dedupe(第 42–44 頁)078 · 062
比較之前先說清楚規模:🗣️ 062「今天目的是教學 不是求職面試 所以不採用 top-down approach」「今天的設計不是用來面對上百萬在線用戶的」;不包「能容納 10 萬人的 chatroom」「要 50ms 內的 notification」。🗣️ 078「警告:現實 chatroom會用MQTT機制,這篇單純教學MQ,請勿真的實作」。所以下面比的是架構原則,不是誰能撐 5,000 萬 DAU。
Triton 不同意直球 · 062「Epic fail system design」 · 動手玩
一台 server 掛掉、或要部署新版,誰會斷線?
🔭 推論 原書不是 Epic fail:它不把整個 room 綁在一台,chat server 之間用 message sync queue。但原書的 chat server 同時握著連線和送訊息的邏輯(拿 ID、進 queue),所以改一行商業邏輯就要重啟它,上面的 WebSocket 全斷。
原書這樣做會出什麼事?chat server 握著 WebSocket,又負責拿 ID、進 queue。要部署新版「發訊息」的程式時……
程式在 chat server 裡,換程式就得重開它,重開就斷線(🔭 推論:原書沒談部署)。左邊按「部署新版商業邏輯」比較三種架構。
「Epic fail system design – 同一個 chatroom 的用戶全由同一台 App. Server 負責 – 其中一個用戶發新訊息時 其他同用戶的 notifications,是以 process 內 local memory 來傳送 – 呃,一堆 node.JS bootcamp 就這樣子亂教」🗣️ Triton 本人說 062-im-system design.pdf.md · 第 6 頁
「由單一AS負責一個牌局,那代表在這AS上的全部牌局都結束前,這台AS沒法 graceful shutdown」「名句:死人是不能說「我死了」」🗣️ Triton 本人說 090-restful-demo.pdf.md · 第 8 頁(UNO 範例)
Triton 的做法寫訊息走 RESTful,WebSocket 只推
✅ Triton 送包裹走櫃台,對講機只負責叫人
你猜猜看:Triton 讓「發一則訊息」走哪一條路?
下面第一段 code 的最後一行就是 POST。WebSocket 只認得 auth 和 subscribe 兩種指令。
🗣️ Triton 本人說 062 的 RESTful API(第 7–9 頁):
GET /v1/chatrooms?keyword=<keyword> GET /v1/chatrooms/<roomId> POST /v1/chatrooms GET /v1/users/<userId>/chatrooms POST /v1/users/<userId>/chatrooms/<roomId> DELETE /v1/users/<userId>/chatrooms/<roomId> GET /v1/chatrooms/<roomId>/messages # lastTs、約 50 則、nextPageTs POST /v1/chatrooms/<roomId>/messages # 發一個新的 message
🗣️ WebSocket 只有三個指令(第 17 頁):
auth <jwt> subscribe chatroom <chatroomId> unsubscribe chatroom <chatroomId>
白話:RESTful API=用 GET、POST 這類 HTTP 單子操作資料的窗口;JWT=蓋了鋼印的門禁卡(第 46 頁)。
「如果Websocket只用來接收 server push,那麼websocket可以非常簡單 – 單純簡單用戶身份驗證後, listen RabbitMQ特定 channel,把收到的東西全部 relay給用戶 就好 – 幾乎沒有Application Logic,所以極少改動」「如果WebSocket有Application Logic – 那麼,你就會因為App Logic Change / Bug Fix 而需要做production deployment」🗣️ Triton 本人說 090 · 第 10 頁「WebSocket來出牌壞處」
同一份講義的「WebSocket來出牌好處」只有一行:「你的 Application層只有一個 Component 我想不出來了~」090 · 第 9 頁
🗣️「你知道跟為何跟客戶建立websocket的伺服器,最好跟處理普通HTTP Request的伺服器最好別放在同一台機器上嗎?」113 · 第 7 題
📝 上課筆記 062 留的 open question「為何不用 websocket server 來接受 RESTful request?」,課堂上的回答:「api(指圖上as), 負責傳訊與 business ws(指圖上的ws), 負責訊息轉發」「但 WSS 死,使用者 scroll down 會透過沒死 api server 拿資料」009 · Roy 的筆記
🔭 推論 原書說送訊息也用 WebSocket「沒有強烈的技術理由」不行。Triton 的理由本來就不是技術做不到,而是部署和責任分工:商業邏輯天天改,對講機室最好永遠不用重開。
Triton 不同意062「Database」「Message Primary Key」 · 動手玩
「跟我說 auto increment id 的,你的大腦被汪吃掉了嗎」
白話:data block=硬碟一次讀一整格;heap=依寫入順序隨便放;IOT(index-organized table)=依 PK 排好放(第 7 章第 33 頁);seq IO=一次讀一整段,random IO=東翻西找。
原書這樣做會出什麼事?一對一表只用 message_id 當 PK,訊息照寫入順序放、各對話混在一起。查「小明和小華最近 50 則」時……
同一段對話的訊息被別人的訊息隔開,散在很多 data block。左邊切換三種排法看看。
「database 最常用的 query 應該是 – query message of SAME chatroom, order by createTs asc 所以:– 相同 chatroom 的 message record,他們的 phyiscal storage position 應該是相鄰的 這樣子才是 seq IO 而不是 Random IO PostgreSQL 不是好選擇,因為其 table 底層是 heap MySQL / HBase 請你挑一個~」🗣️ Triton 本人說 062 · 第 10 頁
「跟我說 auto increment id 的,你的大腦被汪吃掉了嗎 一定是 (chatroomId, createTs) – 相同 chatroom 的 message 一定會物理相鄰 而且相同 chatroom 的 message 會以時間來排序」🗣️ Triton 本人說 062 · 第 11 頁
🗣️ IOT「因為 rows 全都順序整理好了,在 range scan 時非常快」015;「Random IO是Sequential IO的1 / 10效能也沒有。」104
Triton 對照原書資料庫、PK、排序、補拉
原書和 Triton 的訊息表,差在哪裡?
| 📖 原書 | 🗣️ Triton | |
|---|---|---|
| 資料庫 | Key-value store(HBase、Cassandra);RDBMS「處理不好 long tail」 | MySQL 或 HBase(index-organized);PostgreSQL 不行,因為 heap 062 |
| 一對一 PK | message_id | 沒有分一對一和群組,訊息一律屬於 chatroom:(chatroomId, createTs) 062 |
| 群組 PK | (channel_id, message_id),channel_id 是 partition key | (chatroomId, createTs) 062 |
| 排序用什麼 | message_id:Snowflake 或 channel 內的 local sequence;每則先問 ID generator(Figure 12 第 2 步) | createTs。📝「createTs ⇒ ms」「若一樣時間 就 failed 掉,再重發」009 |
| 補拉新訊息 | message_id > cur_max_message_id | GET …/messages?minMsgId=X 078;分頁用 lastTs、nextPageTs 062 |
| message ID 誰決定 | chat server 向 ID generator 拿 | POST /v1/chatrooms/{roomId}/messages/{messageId}:ID 在 client 送出的 URL 裡 078 |
| 保存多久 | 永久 | MVP 只看最近 30 日 062;📝「要留存超過 30 天就要 partition」009 |
🔭 推論 真正的差別在一對一表
原書的群組表已經用 channel 分區,跟 Triton 很像。差別在 Figure 9 的一對一表只以 message_id 為 PK:同一段對話的訊息不會物理相鄰,要靠 message_to 篩出來。照 062 的原則,一對一就是一個兩人的 chatroom,PK 一樣是 (chatroomId, createTs)。
🔭 推論 少一個元件
用 createTs 排序,就不需要原書 Figure 12 的 ID generator:每則訊息少一次網路來回,也少一個要做 HA 的元件。代價是同一毫秒的衝突要處理(筆記的做法是讓後到的失敗重送)。
🔭 推論 client 決定 messageId 的好處
原書收尾說訊息重送靠「retry and queueing」。078 的 URL 裡帶 messageId,同一則訊息重送時 ID 相同,server 可以認出重複,不會存成兩則。078 本身沒有解釋這一點。
Triton 的做法 · 動手玩062「Message Queue」 · RabbitMQ fanout
一個 chatroom 一個 exchange,一台 server 一個 queue
白話:RabbitMQ=一套現成的 MQ(第 1 章第 30 頁);exchange=廣播中心的頻道;queue=每台 server 的小籃子;dispatcher=server 裡的總機;Kafka topic/consumer group=Kafka 版的頻道和籃子。
🔭 推論 原書 Figure 14 是每個成員一個 inbox、存 (人數 − 1) 份;這裡 MQ 只複製到「有成員連著的那幾台 server」,訊息本身只在 DB 存一份。
你猜猜看:100 人的群組,成員連在 3 台 WebSocket server 上。照 Triton 的做法,一則訊息在 MQ 裡複製幾份?
一台 server 一個 queue,只複製給有成員連著的那 3 台;server 裡的總機(dispatcher)再分給各條 WebSocket。原書的 inbox 要存 99 份。
「需要 MQ 讓 Message 從 RESTful server 傳到 websocket server chatroom 是對應 RabbitMQ exchange / Kafka topic 每一個 App. Server 對應 RabbitMQ queue / Kafka consumer group RabbitMQ Exchange 和 topic 之間,是使用 fanout 機制 不管 App. Server 上有多少個 websocket 連線 都只會共用一個 MQ connection – 所以,你很可能需要 implement message dispatcher」🗣️ Triton 本人說 062 · 第 20 頁
📝 上課筆記「不是每個 user 都有自己的 queeue 這樣 cost 太多 是每一個 AS 會有自己的 queue」「接到 1000 client 1000 mq connection 的架構過…真的會死」;課堂上修正投影片:這裡的 App. Server 指的是 WS server,「因為只有一個 connection,所以要有一個 dispatcher 去解析 到對的 websocket channel」009
延伸基礎第 11 階 · Signal / Message懂的人可以跳過
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
按門鈴和放包裹,是兩件不一樣的事
① 先想像
包裹到了,管理室做兩件事:把包裹放進倉庫、按小明的門鈴。
你猜猜看:門鈴壞了沒響。小明的包裹會不見嗎?
門鈴只是通知。只要包裹先放進倉庫,門鈴沒響頂多晚一點知道。
③ 這叫做 Signal、Message
Signal:通知,要快,丟了沒太大差。Message:要被處理的工作,絕對不能丟。
④ 跟這章的關係
Triton 說聊天室的即時推送是 Signal(第 42 頁),所以下一頁的 RabbitMQ 可以設成「會丟」。
② 動手玩:先放倉庫,還是先按門鈴?🔭 示意
Triton 的做法062「MQ 延伸」 · RabbitMQ 要怎麼設
四個設定:這條 queue 是「可以丟」的
「你應該設定 RabbitMQ:– 有固定長度的 queue length – 當 consumer disconnect 時,queue 自動消滅 – 高 prefetch count – no acknowledgement」🗣️ Triton 本人說 062 · 第 21 頁
點卡片看為什麼。062 只列了設定,沒寫理由;卡片裡的理由是依 078 的 Signal vs Message 推論的。
🗣️ Triton 本人說 為什麼是 RabbitMQ
「rabbitMQ跟kafka的關係,某程度上就跟postgreSQL和HBase一樣相似。RabbitMQ你可以用到很很複雜的功能,這是像Kafka給不了你的。(其router功能強得變態)」「如果系統還沒到每秒1K Message的,kafka對你會是overkill。」138
📝「rabbitMQ 可以做很複雜的 routing」「Kfkka routing 很 simple 可以做 scale up」009
文組翻譯
每間對講機室只拉一條專線到廣播中心(一個 MQ connection),室內有一個總機(dispatcher)把廣播分給各個住戶的對講機。廣播中心替每間室放一個小籃子(queue),籃子滿了就把最舊的丟掉;那間室關門了,籃子直接收走。反正包裹本身在倉庫,漏聽一次廣播,住戶自己去倉庫查就好。
Triton 補充078 MQ 淺談 · Signal vs Message
即時送達是 Signal,不是 Message
「Signal – 要高度即時性 – 丟失沒太大差 Message – 可以排隊一個一個工作慢慢來~ – 絕對不能丟失」🗣️ Triton 本人說 078-mq-intro.pdf.md · 第 8 頁
「如果 UserB斷線了,用 GET API也能得到斷線期間的留言 – i.e. 斷線期間的留言,不經WebSocket重傳也沒差啊 – 所以, chatroom系統內的是 Signal,不是Message」「Redis的 PubSub … 可以用在 Signal的傳遞」🗣️ Triton 本人說 078 · 第 9–10 頁
🗣️ 078 的流程:寫留言 POST /v1/chatrooms/{roomId}/messages/{messageId},「留言會寫進MariaDB / HBase中」;即時通知走「Firebase / APNS / Websocket」。078 · 第 4 頁
🗣️ 062 留給聽眾的 open question:「為何別用 Redis 作為 MQ server?如果 MQ 連線斷掉怎麼辦?」062 · 第 22 頁(062 沒有附答案;078 則說 Pub/Sub 可以傳 Signal)
猜猜看:Signal 還是 Message?
🔭 推論 對照原書 Figure 12
原書的訊息先進 message sync queue,第 4 步才存進 KV store:queue 在寫入路徑上,queue 出事,訊息可能沒存到。Triton 的順序反過來:POST 先寫進 DB 才回成功,MQ 只是事後按門鈴。門鈴沒響,包裹還在倉庫。
延伸基礎第 12 階 · dedupe懂的人可以跳過
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
同一件包裹拿到兩次,丟掉一件
① 先想像
小明出隧道後同時做兩件事:對講機繼續叫(#44、#45、#46),他也去倉庫拿斷線期間的(#41–#45)。
你猜猜看:兩邊加起來拿到 8 件。螢幕上該顯示幾則?
#44、#45 拿到兩次。同一個號碼只留一則:#41–#46 共 6 則。
③ 這叫做 sorting、deduplication
sorting:依號碼排好。deduplication(dedupe):同一個號碼只留一份。
④ 跟這章的關係
Triton 的重連流程就是「sorting + deduplication」(下一頁)。號碼要唯一,第 6 階的流水號這時派上用場。
② 動手玩:整理小明拿到的 8 件
Triton 的做法 · 一步一步062「用戶流程」 · 078「面對WebSocket斷線」
出隧道之後:先收著、再 GET、最後 sort + dedupe
DB(chatroom 42)
WebSocket buffer
使用者的螢幕
✅ 一致 這和原書的 cur_max_message_id(第 25 頁)是同一個想法。原書沒講的是 WebSocket 和 GET 同時在跑時的重複與順序。
原書沒講的事:出隧道後 WebSocket 和補拉同時送來訊息。client 收到什麼就直接顯示,螢幕會怎樣?
WebSocket 的 #44–#46 比 GET 的 #41–#45 早到。左上切到「直接顯示」走一次看看。
「建立 websocket 連線 有加入的 chatrooms – 在 websocket 對 subscription – 把收到的 message 先 buffer 起來 – 拿最近 50 個 messages GET /v1/chatrooms/<roomId>/messages – 把最近 50 個 messsage 和 buffered message 作 sorting + deduplication 然後顯示給用戶 – 之後,所有收到的 message 直接顯示給用戶」🗣️ Triton 本人說 062 · 第 18 頁「用戶流程」
「呼叫 /v1/chatrooms/{roomId}/messages?minMsgId=X GET(註:X為斷線前在 chatroom最後的留言的 Id)補回斷線期間留言 – 在拿到Get response前,WebSocket所收到的東西全前保留下來 – 拿到Get response後 WebSocket收到的訊息,其MsgId少於GET response的MsgId全都丟掉 不用管」🗣️ Triton 本人說 078 · 第 11 頁
Triton 補充062「Caching with pagination」 · 原書沒有的部分
同一個 chatroom,大家看到的歷史都一樣:正好 cache
「在同一個 chatroom,所有用戶都應該看到相同的聊天歷史 – 這明顯是 caching 的好機會 用戶 scroll-up 時,返回大約 50 個 record 就好」🗣️ Triton 本人說 062 · 第 12 頁
| cache key(062 第 13 頁) | 裝什麼 |
|---|---|
chatroomId-<id>-pageList | 之前 N 個 cache-page 的 lastTs |
chatroomId-<id>-now | 最近(最多)50 個 messages、上一個 page 的 nextPageTs |
chatroomId-<id>-<lastTs> | 從 lastTs 往前的 50 個 messages、上一個 page 的 nextPageTs |
🗣️ POST 時(第 15 頁):「先拿 global lock on chatroomId」,-now 沒滿 50 就 append;滿了就以那 50 筆最後一個 lastTs 建立新的 cache-page,「清空並重建 chatroomId-<id>-now」。
📝 為什麼用時間戳不用頁碼:「若用 page id 會隨著時間回傳內容不同,因為下一秒又發新的 msg 這樣很難做 cache」;「lastTs ⇒ lastMs (毫秒」009
Triton 補充WebSocket 怎麼認人 · 什麼叫 stateful
WebSocket 第一句話是 auth <jwt>
🗣️ Triton 本人說 為什麼是 JWT
「使用jwt是不用redis-access就能知道這個request是否系統用戶。而Session ID就一定要檢查redis才知道現在request的SessionID是否真正存在。」「如果你的backend會面對DDOS的,jwt可以在更早期的階段便被擋掉,完全不用連上redis。」131 · 主文第 1–2 點
🔭 推論 062 的用戶流程是先「以 RESTful endpoint 拿到 authentication token」,再建 WebSocket、送 auth <jwt>。WS server 只要有 public key 就能驗,不用連 DB 或 Redis,正好符合「幾乎沒有 Application Logic」的 WS server。
131 底下的留言(refresh token、DPoP、opaque token)不是 Triton 寫的,不引用。
🗣️ Triton 本人說 Stateless vs stateful
「stateless component就是指像:Application Server(AS) / Ngnix 這些不會存放application state的component stateful component是指像:postgresql database / kafka / rabbitMQ 這些會存放application state的component」「stateless component算是很簡單的,就單純有N個相同的node就好」017
📝「我們追求 backend system 只有 data layer(DB) 是 statefull 其他 component 都是要 statelessfull」009
🔭 推論 原書因為「握著連線」就把 chat service 歸為 stateful。Triton 的 WS server 一樣握著連線,但不存 application state:掉了就重連到任何一台、GET 補回來,用起來就像 017 說的「N 個相同的 node」。
🗣️ Triton 本人說 一份後端自我檢測
「你懂得寫一個簡單(同時在線<1000人好了)的對話軟體的後端,而這個後端是由2台Application Server組成的?」113 · 第 5 題
「如果你的客戶端需要持續更新資料(比如說股票價格,籃球比賽分數),你知道不應該每數秒做一次Get request,而是應該打開websocket / Firebase push notification(或是相似的技術)」113 · 第 6 題
文組翻譯:住戶的門禁卡(JWT)上有管理委員會的鋼印,對講機室看鋼印就知道是不是住戶,不用每次打電話回總部查名冊。
依 Triton 原則推論Service discovery 與 presence:Triton 沒有直接談
Zookeeper 挑 server、heartbeat 判斷離線,套用 Triton 的原則
Triton 有說過的
- 🗣️「好的 AS,應該是 Stateless 的 – 這樣才能閉上眼睛,視流量來加開/關掉 AS – AS 當掉了也完全不會痛 ~ – LB 便不用昂貴的 sticky mode 了」073
- 🗣️「名句:死人是不能說「我死了」 – 一台AS趴掉後,在 heartbeat判定其真的死亡前,在這台AS上全部牌局都沒法轉給別的AS負責 – 如果 heartbeat設定太短,則容易有 false positive,觸發不必要 AS轉移」090
- 🗣️「如果你是要把 Message 推送到手機上,請使用 GCM / APNS,別自行來架 Server」「除非你的系統流量很大,用 AS處理 Long Polling 便好」073
- 📝「websocket connection 都需要 ping pong 會吃很多 io」009
🔭 推論 Service discovery
原書需要 Zookeeper 替每個 client 挑「最好的」chat server,是因為 chat server 有狀態、client 連上就不換。WS server 若只是 relay、彼此可互換,load balancer 隨便分配就好,掛了就重連到另一台;不需要另外一個要做 HA 的協調元件。
🔭 推論 原書收尾說 chat server 掛掉時「Zookeeper 給 client 一台新的」。090 的提醒是:在 heartbeat 判定它死之前,系統不知道它死了。
🔭 推論 Presence
原書的 heartbeat + x 秒正是 090 說的取捨:x 太短,過隧道就誤判(false positive);x 太長,真的離線很久才變灰。綠點漏一次、晚幾秒沒關係,照 078 的分類是 Signal:用 Redis Pub/Sub 這類「丟失沒太大差」的管道就夠了,不必當成不能掉的資料。
Triton 的講義沒有 presence 的設計,這一欄全是推論,不要說成 Triton 的主張。
到這裡你已經會了小結 4 / 4
- HTTP
- polling
- long polling
- WebSocket
- stateful
- sequence ID
- service discovery
- message sync
- fanout
- heartbeat
- Signal / Message
- dedupe
到這裡你已經會了:Triton 怎麼拆
- 寄訊息走一般的 RESTful POST,先寫進 DB;WebSocket 只負責推,改程式不用斷線。
- 即時推送是 Signal:RabbitMQ 依 chatroom fanout、一台 server 一個 queue,丟了用 GET 補。
- 重連時先 buffer、GET 補,再 sort + dedupe;PK 用
(chatroomId, createTs),同一個 room 物理相鄰。
12 階全部走完了
下一頁用一句話收尾;再下一頁是名詞小卡,給大家課後複習。
一句話記住
包裹交給櫃台、先放進倉庫;
對講機只負責叫人,漏叫了,住戶自己去倉庫查。
原書對的地方
- 先釐清一對一或群組、規模、保存多久
- Server push 用 WebSocket,不用 polling
- 群組表依 channel 分區、HBase 能存
- 裝置記住看到哪(
cur_max_message_id)、heartbeat 防閃爍、大群組不 fanout presence
Triton 不同意 / 原書沒講
- 送訊息也走 WebSocket,chat server 握著商業邏輯:部署就全斷
- 一對一表只以 message_id 為 PK、每則先問 ID generator
- 每個成員一個 inbox 各存一份
- WebSocket 和補拉同時進來時的重複與順序
Triton 的做法
- POST 走 stateless AS,寫進 MySQL / HBase,PK
(chatroomId, createTs) - RabbitMQ:room = fanout exchange,一台 WS server 一個 queue、一條 connection + dispatcher
- queue 固定長度、自動消滅、no-ack:它是 Signal
- 重連:先 buffer、GET 補、sort + dedupe
本章名詞小卡課後複習用 · 每個名詞一句白話
今天出現的名詞,一句話講完
給工程師的重點出處與標籤
引述來源(materials/core)與原書對照
Triton 本人的講義 / 文章
- 062-im-system design.pdf.md — System Design 淺談 以 Instant messenger 為例:MVP 範圍、Epic fail、RESTful endpoints、PostgreSQL heap / MySQL・HBase、PK (chatroomId, createTs)、caching with pagination、WebSocket 的 auth / subscribe、用戶流程、RabbitMQ fanout、一條 MQ connection + dispatcher、MQ 設定、open questions
- 078-mq-intro.pdf.md — MQ 淺談:MQTT 警告、POST …/messages/{messageId}、minMsgId、stateless AS 需要 MQ、Signal vs Message、Redis Pub/Sub、WebSocket 斷線流程
- 090-restful-demo.pdf.md — RESTful 範例(UNO):同一 AS 的壞處、「死人是不能說我死了」、WebSocket 來出牌的好處 / 壞處、polling 不可接受
- 113-喵的 backend 測驗.md 第 5–7 題 · 131-喵談 jwt和Session ID.md 主文第 1–2 點(留言不引) · 017-High Availability stateful component vs stateless component.md
- 015-From_MySQL_to_postgreSQL.pdf.md IOT vs heap · 104-利用Range Scan on Primary Key的好處.md random IO · 080-nosql-intro.pdf.md HBase Range Scan with PK · 073-lesson3.pdf.md stateless AS、GCM/APNS、long polling · 138-喵談 rabbitMQ 和 kafka.md
上課筆記:009 System Design on a MVP IM(Roy 的 Notion,📝 非原文)。不引用:179〈網路〉作者不明;131 的留言者;061、092、095(Roy 的專案報告)。
原書對照
Alex Xu, System Design Interview Vol.1 Ch.12。開頭、Step 1 與 Figure 1(第 4 頁,logo 不重繪);Step 2 溝通方式與 Figure 2(6);Polling / Long polling / WebSocket 與 Figure 3–5(11–12);Figure 6、High-level design、Stateless / Stateful / Third-party 與 Figure 7(14);Scalability(15)與 Figure 8(16);Storage(17);Data models、Message ID 與 Figure 9–10(19);Service discovery 與 Figure 11(21);1 on 1 flow 與 Figure 12(23);多裝置同步與 Figure 13(25);Small group flow 與 Figure 14–15(27);Online presence 登入登出與 Figure 16–17(28)、斷線與 Figure 18(30)、fanout 與 Figure 19(31);Wrap up(32)。Figure 2–19 依圖說與 alt 描述重繪,不是原圖。
循序漸進(文組版)的頁面
學習地圖(第 3 頁);延伸基礎 12 階:HTTP(5)、polling(7)、long polling(8)、WebSocket(9)、stateful(13)、sequence ID(18)、service discovery(20)、message sync(24)、fanout(26)、heartbeat(29)、Signal / Message(40)、dedupe(43);小結(10、22、33、48);名詞小卡(50)。幸福社區是虛構的示範情境;延伸基礎頁的數字都是示意。
一個可以直接問自己的問題
你的聊天系統要改一行「發訊息」的商業邏輯,部署時會斷掉幾條 WebSocket?訊息是先寫進 DB,還是先進 queue?