System Design Interview · 第 15 章Triton 覆蓋度:🟡 中Triton 線
Design Google Drive
改一段字,不用重寄整本書
原書設計一個 5,000 萬註冊用戶、1,000 萬 DAU 的雲端硬碟:檔案切成最大 4MB 的 block,只同步改過的 block;metadata 放關聯式資料庫拿 ACID;用 long polling 通知其他裝置。Triton 沒有專門談過雲端硬碟,但這章用到的零件他都講過,而且難得大多站在原書同一邊。
給文組
全程用「全家共用一本食譜」比喻,一階一階爬 12 個概念。頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。
給工程師
第 4–36 頁完整講原書(15 張圖全部重繪),後面是 Triton 的補充與兩個不同意見,最後一頁列出所有出處(materials/core)。
標籤怎麼看
📖 原書 🗣️ Triton 本人說 🔭 依 Triton 原則推論 📅 2026 補充
先用生活理解全家共用一本食譜
食譜正本放在奶奶家,每個人手上有一份影本
媽媽在手機上改了「番茄湯」那一頁,爸爸的筆電和小孩的平板要自動拿到新版。沒開機的人,開機後要補上。兩個人同時改同一頁,不能悄悄蓋掉其中一個。
這一章的對照表
| 食譜 | Google Drive |
|---|---|
| 奶奶家的正本保險箱 | cloud storage(Amazon S3) |
| 目錄本:哪一頁、第幾版、誰改的 | metadata DB |
| 打電話說「有新版,來拿」 | notification service(long polling) |
| 沒接到電話,留一張紙條 | offline backup queue |
| 只影印改過的那一頁 | block + delta sync |
| 兩人同時改同一頁 | sync conflict |
學習地圖本章的概念階梯
今天爬 12 階。每一階只用前面講過的東西。
- 1前幾章的基礎DAU、database…
- 2metadata目錄本 vs 保險箱
- 3sharding / replication分箱、影印
- 4sync conflict兩人同時改
- 5block只寄改過的頁
- 6hash每頁的指紋
- 7strong consistency目錄本不能錯
- 8long polling電話先不掛
- 9dedup一樣的只存一份
- 10cold storage郊區倉庫
- 11stream一疊一疊抄
- 12signal漏接電話不要緊
第 1–4 階 · 檔案放哪裡
要回答:檔案和目錄本為什麼分開放?壞了怎麼辦?
第 5–7 階 · 同步得又快又準
要回答:改一頁,怎麼只傳那一頁?
第 8–10 階 · 通知與省空間
要回答:別台裝置怎麼馬上知道?空間怎麼省?
第 11–12 階 · Triton 的追問
要回答:10 GB 怎麼搬?通知掉了要緊嗎?
全程只用一本食譜:全家共用、正本放奶奶家
每爬 3–4 階,有一頁「到這裡你已經會了」。
原書開頭Google Drive 長什麼樣 · Figure 1–2
一個檔案儲存 + 同步服務
這一步要解決的問題雲端硬碟到底要做哪幾件事?先看產品長什麼樣。
📖 原書 近年 Google Drive、Dropbox、Microsoft OneDrive、Apple iCloud 這類雲端儲存服務非常流行。本章請你設計 Google Drive。
📖 原書 Google Drive 是檔案儲存與同步服務:把文件、照片、影片和其他檔案存在雲端;從任何電腦、手機、平板都能存取;可以輕鬆分享給朋友、家人、同事 [1]。
文組翻譯
「儲存」是把東西放進奶奶家的保險箱;「同步」是讓每個人手上的影本都跟正本一樣。前者像倉庫,後者像郵差。這一章大部分的難度在郵差那一邊。
原書這裡寫「Figure 1 和 15-2」,兩張圖的編號寫法不一致,照原書保留。
延伸基礎 · 複習第 1 階 · 前幾章的基礎懂的人可以跳過
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
「每天 1,000 萬人用」:先複習前幾份簡報的五個詞
① 先想像
全家的食譜做成 app,結果大受歡迎:全台每天 1,000 萬人打開它,每人每天上傳 2 個檔案。
你猜猜看:一天 2,000 萬次上傳,平均每秒大約幾次?
一天 86,400 秒,大約 10 萬秒。2,000 萬 ÷ 10 萬 ≈ 200;精算是 231,原書寫約 240。
③ 這叫做 DAU、QPS、database、cache、load balancer(複習)
DAU:每天實際來用的人數QPS:每秒幾個 request;看最忙那一秒database:記正本的帳本,停電也不會忘cache:放手邊的小抄,快但不是正本load balancer:帶位員,把流量分給好幾台
④ 跟這章的關係
原書估算(第 7 頁)用 DAU、QPS;架構圖用另外三個。
② 動手玩:每天的上傳量,換成每秒
原書 Step 1釐清需求
題目很大:先把範圍縮小
這一步要解決的問題「設計 Google Drive」太大了。先問清楚要做哪些功能、多少人用。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 最重要的功能是什麼? | 上傳與下載檔案、檔案同步、通知 |
| 行動 App、網頁,還是都要? | 都要 |
| 支援哪些檔案格式? | 任何檔案類型 |
| 檔案需要加密嗎? | 要,儲存中的檔案必須加密 |
| 有檔案大小限制嗎? | 有,10 GB 以下 |
| 有多少用戶? | 10M DAU |
📖 原書 本章不討論 Google Doc 的多人同時編輯與協作,超出範圍。
白話:DAU=每天實際來用的人數(第 5 頁);加密=把內容鎖起來,沒有鑰匙看不懂;revisions=改過的舊版本。
📖 原書 本章聚焦的功能
- 新增檔案:最簡單是拖放到 Google Drive
- 下載檔案
- 跨裝置同步:一台裝置新增,其他裝置自動同步
- 查看檔案的修訂版本(revisions)
- 分享給朋友、家人、同事
- 檔案被編輯、刪除或分享給你時發通知
📖 原書 非功能需求
原書 Step 1Back of the envelope estimation
500 PB 的空間,每秒只有 240 次上傳
這一步要解決的問題要準備多大的空間、多少流量?先用原書的數字估一下。
前三列是原書的算法;後兩列是簡報補充,原書沒算。
白話:1 PB=1,000 TB=100 萬 GB;QPS=每秒幾次;峰值=最忙的那一刻。
📖 原書 假設
- 5,000 萬註冊用戶、1,000 萬 DAU
- 每人 10 GB 免費空間
- 每人每天上傳 2 個檔案,平均 500 KB
- 讀寫比 1:1
- 總配置空間:50M × 10 GB = 500 PB
- 上傳 QPS:10M × 2 ÷ 24 小時 ÷ 3600 秒 ≈ 240;峰值 QPS = QPS × 2 = 480
文組翻譯:「配置」不等於「用掉」
500 PB 是「答應給每個人的櫃子加起來」,不是真的塞滿。照原書的上傳量,每天實際新增約 10 TB,一年約 3.65 PB。櫃子大多是空的,這也是後面「省空間」那一頁的伏筆。
延伸基礎第 2 階 · metadata懂的人可以跳過
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
奶奶家有兩樣東西:一本薄目錄本、一個大保險箱
① 先想像
奶奶家放著全家食譜的正本。旁邊還有一本薄薄的目錄本:每道菜第幾版、誰改的、正文放在保險箱哪一格。
你猜猜看:100 道菜,每道正文 4 MB,目錄本每道只寫一行(100 bytes)。只想列出所有菜名,要讀多少?
100 行 × 100 bytes = 10,000 bytes ≈ 10 KB,是正文的四萬分之一。目錄和正文分開放,查目錄就不用搬正文。
③ 這叫做 metadata、object storage
metadata:關於檔案的資料(名字、版本、誰改的、正文在哪),不是檔案本身。object storage:只管「放進去、用名字拿出來」的大保險箱,例如 Amazon S3。
④ 跟這章的關係
原書把 metadata 放 metadata database、檔案放 cloud storage。從第 9 頁開始,這兩條路一直分開走。
② 動手玩:點目錄本的一行
保險箱(12 格)
原書 Step 2從一台伺服器開始 · Figure 3
先把全部東西放在同一台機器上
這一步要解決的問題最簡單、能動的版本長什麼樣?先全部放在一台機器上。
📖 原書 原書不一開始就給高階設計圖,而是從單一伺服器開始,再一步步擴充到支援數百萬用戶,順便複習前面章節的重要主題。
📖 原書 單一伺服器的三樣東西
- 一個 web server:上傳和下載檔案
- 一個 database:記錄 user data、登入資訊、檔案資訊等 metadata
- 一個 storage system:放檔案,配置 1TB
白話:web server=收上傳、給下載的櫃台;database 記的是 metadata(第 8 頁);namespace=每個人自己的那一層抽屜。
📖 原書 花幾個小時架好 Apache web server、MySql database,和一個叫 drive/ 的根目錄。drive/ 底下每個目錄叫 namespace,裝著一個使用者上傳的所有檔案;伺服器上的檔名跟原始檔名一樣。namespace + 相對路徑就能唯一識別一個檔案或資料夾。
原書 Step 2APIs
三支 API:上傳、下載、看版本
這一步要解決的問題手機和網頁要用什麼窗口上傳、下載?大檔案傳到一半斷線怎麼辦?
動手玩:上傳 100 MB 時網路斷了
https://api.example.com/files/upload?uploadType=resumable
Params: uploadType=resumable
data: Local file to be uploaded.
📖 原書 1 · Upload
Simple upload:檔案小的時候用。Resumable upload:檔案大、網路容易中斷時用,三步 [2]:① 送初始 request 拿 resumable URL ② 上傳資料並監控上傳狀態 ③ 被打斷就續傳。
📖 原書 2 · Download · 3 · List revisions
https://api.example.com/files/download
{ "path": "/recipes/soup/best_soup.txt" }
https://api.example.com/files/list_revisions
{ "path": "/recipes/soup/best_soup.txt",
"limit": 20 }
path:檔案路徑;limit:最多回傳幾個版本。
📖 原書 所有 API 都要使用者驗證並使用 HTTPS;SSL 保護 client 與 backend 之間的資料傳輸。
白話:API=App 和伺服器約好的窗口;resumable URL=續傳專用的取件號碼;HTTPS=加了密的信封,路上的人看不到內容。
延伸基礎 · 複習第 3 階 · sharding / replication懂的人可以跳過
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
保險箱塞滿了、大樓停電了:分箱和影印(複習)
① 先想像
食譜越存越多,一個保險箱塞不下,只好依親戚編號分到 4 個箱子。可是大樓一停電,箱子全都打不開。
你猜猜看:用「編號 ÷ 4 的餘數」決定放幾號箱(0–3)。編號 1234 的親戚放幾號?
1234 = 4 × 308 + 2,餘數是 2。同一個人永遠去同一個箱子找。
③ 這叫做 sharding、replication(複習)
④ 跟這章的關係
原書 Figure 5 依 user_id 分到四台(第 12 頁);Figure 6 讓 S3 跨區複寫(第 13 頁)。
② 動手玩:分箱,再決定要不要影印
原書 Step 2Move away from single server · Figure 4–5
只剩 10 MB:先 shard 到多台 storage server
這一步要解決的問題一台機器的硬碟快滿了,怎麼辦?
📖 原書 檔案越傳越多,最後收到 Figure 4 的警告:只剩 10 MB!這是緊急狀況,使用者不能再上傳。第一個想到的解法是把資料 shard,分散存到多台 storage server。Figure 5 是依 user_id 做 sharding 的例子。
📖 原書 你熬夜設好 database sharding、緊盯著,一切又恢復正常。火是滅了,但你還是擔心 storage server 壞掉時會掉資料。
第二列是簡報補充:原書這裡沒談加機器,第 5 章 consistent hashing 講的就是這個問題。
原書 Step 2改用 Amazon S3 · Figure 6
朋友 Frank 說:Netflix 和 Airbnb 都用 S3
這一步要解決的問題檔案分到好幾台之後,一台壞掉就掉資料。怎麼讓檔案不會不見?
「Amazon Simple Storage Service(Amazon S3)是一種物件儲存服務,提供業界領先的擴展性、資料可用性、安全性與效能」📖 原書 引用 AWS 官網 [3]
- 📖 讀了很多資料後,你決定把檔案放到 S3。S3 支援 same-region 與 cross-region replication
- 📖 Region:AWS 設有資料中心的地理區域。多餘的副本放在多個 region,防止掉資料並確保可用性
- 📖 Bucket:就像檔案系統裡的資料夾
- 📖 把檔案放進 S3 之後,「你終於可以安心睡個好覺,不用擔心資料遺失」
文組翻譯
同區複寫:同一棟大樓的三個保險箱各放一份。跨區複寫:台北放一份,高雄放三份。大樓停電,高雄還有。最後那句「安心睡覺」,Triton 有不同意見,見第 47 頁。
原書 Step 2還能改進的地方 · Figure 7
把 web server、metadata DB、檔案儲存拆開
這一步要解決的問題全部擠在一台,一壞全停。怎麼拆開,讓每一部分各自加機器?
📖 Load balancer
分散網路流量,讓流量平均;一台 web server 掛了會把流量重新分配。
📖 Web servers
有了 load balancer,就能依流量輕鬆加減 web server。
📖 Metadata database
把 DB 移出伺服器避免 SPOF;同時設定 replication 和 sharding,滿足可用性與擴展性。
📖 File storage
用 Amazon S3;為了可用性與耐久性,檔案複寫到兩個不同地理區域。
白話:SPOF=只有一個、它一壞全部停;load balancer=帶位員(第 5 頁);replication、sharding 見第 11 頁。
延伸基礎第 4 階 · sync conflict懂的人可以跳過
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
爸爸在飛機上改了番茄湯,媽媽也在家改了
① 先想像
兩人都從第 3 版開始改。媽媽先交回奶奶家,變成第 4 版;爸爸下飛機才交回「我改的是第 3 版」。
你猜猜看:奶奶收到爸爸的修改,該怎麼辦?
蓋掉,媽媽的修改就悄悄不見;丟掉,爸爸的就不見。兩份都留、讓人決定,誰的都沒丟。
③ 這叫做 version、sync conflict
version:每改一次就加 1 的版本號。sync conflict:你改的那一版已經不是最新的,兩份修改撞在一起。
④ 跟這章的關係
原書的規則:先被處理的贏,後到的收到 sync conflict(下一頁 Figure 8–9)。
② 動手玩:比對版本號
原書 Step 2Sync conflicts · Figure 8–9
兩個人同時改同一個檔案:先處理的贏
這一步要解決的問題兩個人同時改同一個檔案,要聽誰的?
📖 原書 策略:先被處理的版本勝出,後處理的版本收到衝突。User 1 先被處理,更新成功;user 2 收到 sync conflict。系統呈現兩份:user 2 的本地版與伺服器最新版,user 2 可以合併,或用一份覆蓋另一份。多人同時編輯同一份文件要保持同步很難,有興趣看參考資料 [4][5](Differential Synchronization)。
動手玩:兩台裝置離線各改一次
到這裡你已經會了小結 1 / 4
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
到這裡你已經會了:檔案放哪裡、壞了怎麼辦
- 檔案本身放保險箱(object storage,例如 S3);關於檔案的資料(metadata)放目錄本。兩條路分開走。
- 放不下就分箱(sharding);怕停電就影印到別的城市(replication)。
- 每改一次版本加 1。你改的不是最新版,就是 sync conflict:先到的贏,後到的留一份副本。
下一階要解決的問題
一份 10 GB 的檔案只改了一點點,要整份重傳嗎?先看原書的全貌圖,再看 block server。
延伸基礎第 5 階 · block懂的人可以跳過
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
食譜改了一頁,要把整本重新影印寄出去嗎?
① 先想像
全家的食譜有 10 頁。媽媽只改了第 3 頁的番茄湯,要讓爸爸手上的影本也跟著更新。
你猜猜看:整本 40 MB,每頁 4 MB。媽媽改了 2 頁,只寄改過的那幾頁,要寄多少?
2 頁 × 4 MB = 8 MB,是整本的五分之一。改得越少,省得越多。
③ 這叫做 block、delta sync
block:把檔案切成的一塊一塊(原書每塊最大 4 MB)。delta sync:只同步改過的那幾個 block。
④ 跟這章的關係
原書的 block servers 就在做這件事(第 21–22 頁)。
② 動手玩:點一頁=「改了這一頁」
換成真的檔案:10 GB 切成 4 MB 一塊,是 2,500 塊;改了一塊,只要傳 4 MB。
延伸基礎第 6 階 · hash懂的人可以跳過
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
不逐字比對,怎麼知道哪一頁改了?
① 先想像
奶奶不想每次都把新舊兩頁逐字對照。她幫每一頁算一個短短的「指紋」:內容一樣,指紋就一樣。
你猜猜看:番茄湯那頁只把「鹽 1 匙」改成「鹽 2 匙」,指紋會怎樣?
改一個字,指紋就面目全非,一眼就看得出改過。反過來,指紋一樣,內容就一樣。
③ 這叫做 hash
hash:把任何長度的內容,變成一串固定長度的短代號,像指紋。內容相同,hash 一定相同。
④ 跟這章的關係
原書每個 block 都有 hash:比 hash 就知道哪塊改了(delta sync);hash 一樣就只存一份(第 32 頁)。
② 動手玩:兩頁比指紋
試試:在任何一格多打一個空白,或改一個字。
原書 Step 2High-level design · Figure 10
全貌:兩條路,一條管 metadata,一條管檔案
這一步要解決的問題前面的零件拼起來,全貌長什麼樣?點方塊、按播放,一條一條看。
📖 原書 有些元件很複雜,留到 deep dive 細講:block servers、metadata database、上傳流程、下載流程、通知服務、節省儲存空間、故障處理。
白話:API servers=處理一般請求的櫃台;metadata cache=目錄本的小抄;notification service=打電話通知的總機(第 29 頁);offline backup queue=沒接到電話時留的紙條;cold storage 見第 33 頁。
原書 Step 3Block servers · Figure 11
Block server:切塊、壓縮、加密,再上傳
這一步要解決的問題大檔案常常改,每次整份重傳太浪費。怎麼只傳改過的部分?
📖 原書 為什麼要 block server
經常更新的大檔案,每次都傳整份很耗頻寬。兩個優化:Delta sync:檔案改了,只同步改過的 block(用 sync 演算法 [7][8],即 rsync / librsync)。Compression:依檔案類型壓縮 block,文字檔用 gzip、bzip2,圖片和影片要用別的壓縮演算法。
📖 原書 Block 是什麼
一個檔案切成幾個 block,每個 block 有唯一的 hash 值,記在 metadata DB;每個 block 是獨立物件存在 S3。重建檔案時,依特定順序把 block 接起來。Block 大小參考 Dropbox:最大 4MB [6]。
📖 原書 四個步驟
- 檔案切成較小的 block
- 每個 block 用壓縮演算法壓縮
- 為了安全,送到 cloud storage 前每個 block 先加密
- block 上傳到 cloud storage
白話:compression=壓縮,把資料變小;加密=沒有鑰匙看不懂;rsync / librsync=專門找出「哪裡不一樣」的同步程式;hash 見第 19 頁。
原書 Step 3 · 動手玩Delta sync · Figure 12
改一段,只傳那一塊
這一步要解決的問題改一段,真的只傳那一塊嗎?自己動手改改看。
這份食譜切成 8 個 block(示意:每段當成一個 4MB 的 block)。直接改任何一段,再按「同步」。
跟上一頁的 hash 有什麼關係
每個 block 有自己的 hash。同步時 client 比對「這塊的 hash 伺服器有沒有」,有就不傳。所以改第 3 段,只有第 3 塊的 hash 變了。簡報補充:在檔案中間「插入」字時,固定大小切塊會讓後面每塊都位移;原書引用的 rsync [7] 用 rolling checksum 找出位移後仍相同的區段,這是它被引用的原因。
延伸基礎第 7 階 · strong consistency懂的人可以跳過
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
目錄本改到一半,停電了
① 先想像
媽媽存了新版番茄湯。奶奶要在目錄本改三個地方:版本號、新頁放哪一格、修改紀錄。改到第二個地方,停電了。
你猜猜看:目錄本寫著「第 4 版」,但新頁放哪一格還沒寫上。爸爸來拿第 4 版,會拿到什麼?
目錄本說有第 4 版,卻找不到那一頁。所以這三件事要嘛一起完成,要嘛當作沒發生。
③ 這叫做 transaction、strong consistency
transaction:幾個修改綁成一件事,要嘛全部成功、要嘛全部不算(關聯式資料庫的 ACID)。strong consistency:任何人、任何時候讀到的,都是同一個最新版本。
④ 跟這章的關係
原書要求 metadata 一定要 strong consistency,所以選關聯式資料庫(下一頁)。
② 動手玩:存一個新版本,中途停電
原書 Step 3High consistency requirement
同一時間,不同裝置不能看到不同的檔案
這一步要解決的問題兩台裝置在同一秒,會不會看到不同的版本?
動手玩:cache 沒跟著失效會怎樣
📖 原書 預設就要 strong consistency
「同一時間不同 client 看到不同的檔案」是不可接受的。系統要讓 metadata cache 與 database 層都提供 strong consistency。Memory cache 預設是 eventual consistency,不同 replica 可能資料不同。要做到 strong consistency 必須確保:
- cache replica 和 master 的資料一致
- 寫入 DB 時讓 cache 失效,確保 cache 和 DB 的值相同
白話:replica=副本;master=放正本的那一台;讓 cache 失效=寫入時把舊的小抄撕掉。
📖 原書 為什麼選關聯式資料庫
關聯式資料庫維持 ACID(Atomicity、Consistency、Isolation、Durability)[9],要 strong consistency 很容易。NoSQL 預設不支援 ACID,必須自己寫進同步邏輯裡。原書:「In our design, we choose relational databases because the ACID is natively supported.」
✅ 這是本章跟 Triton 最一致的地方,見第 39 頁。
原書 Step 3Metadata database · Figure 13
六張表:誰的、哪個檔、第幾版、由哪些 block 組成
這一步要解決的問題目錄本(metadata DB)裡要記哪些東西?
lastest_version 照原圖拼寫)。點一張表看說明讀原書時順手注意
內文說 user 表有 email、profile photo,device 表有 push_id,還有 namespace 表;圖裡沒有這些欄位,對應 namespace 的是 workspace。內文與圖不一致,兩者都照原書呈現。
白話:每張表像一張試算表,一行(row)是一筆資料;push_id=這台裝置收推播的地址。
原書 Step 3Upload flow · Figure 14
上傳:兩個 request 同時出發
這一步要解決的問題上傳一個檔案時,metadata 和檔案內容各走哪條路?
📖 原書 Add file metadata:1 client 1 送 request 新增 metadata;2 存進 metadata DB,上傳狀態改成 pending;3 通知 notification service 有新檔案正在新增;4 notification service 通知相關 client(client 2)有檔案正在上傳。
📖 原書 Upload files to cloud storage:2.1 client 1 把內容傳給 block servers;2.2 block servers 切塊、壓縮、加密後上傳;2.3 上傳完成,cloud storage 觸發 upload completion callback 送到 API servers;2.4 狀態改成 uploaded;2.5–2.6 通知 client 2 檔案已完全上傳。編輯檔案的流程類似,原書不重複。
白話:pending=上傳中、還沒完成;callback=事情做完,對方主動打來通知;uploaded=已完全上傳。
原書 Step 3Download flow · Figure 15
下載:先拿 metadata,再拿 block
這一步要解決的問題別台裝置怎麼把改過的檔案拿回來?
📖 原書 Client 怎麼知道檔案在別處被改了?
- 在線上:notification service 通知 client A「有地方改了」,要拉最新資料
- 離線:資料存進 cache;離線的 client 重新上線時,拉最新變更
知道檔案變了之後,client 先透過 API servers 要 metadata,再下載 blocks 組回檔案。
文組翻譯
接到電話「番茄湯改了」,先翻目錄本:改了哪幾頁、每頁的編號;再去保險箱只拿那幾頁,夾回自己的影本。
到這裡你已經會了小結 2 / 4
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
到這裡你已經會了:怎麼同步得又快又準
- 檔案切成 block,只同步改過的那幾塊(delta sync),再壓縮、加密。
- 每塊都有 hash(指紋):比 hash 就知道哪塊改了;重建時照順序把 block 接回來。
- metadata 要 strong consistency:放關聯式資料庫,用 transaction 一次改完;寫入時讓 cache 失效。
下一階要解決的問題
媽媽改好了。爸爸的筆電和小孩的平板,怎麼「馬上」知道有新版?
延伸基礎第 8 階 · long polling懂的人可以跳過
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
爸爸想知道有沒有新版,要一直打電話問嗎?
① 先想像
方法一:每 10 分鐘打電話問奶奶「有新版嗎?」。方法二:打一通說「有新版再跟我說」,電話先不掛。
你猜猜看:一小時內只有 1 次新版。每 10 分鐘問一次,要打幾通?大多聽到什麼?
60 ÷ 10 = 6 通,只有 1 通有消息。而且新版出來後,最久要等 10 分鐘才知道。
③ 這叫做 polling、long polling
polling:每隔一段時間主動問一次。long polling:問了先不掛,有消息才回;回完或等太久,馬上再問一次。
④ 跟這章的關係
原書的 notification service 用 long polling 告訴其他裝置「檔案改了」(下一頁)。
② 動手玩:一小時內,新版只出現一次
原書 Step 3Notification service
原書選 long polling,不選 WebSocket
這一步要解決的問題檔案在別處改了,其他裝置怎麼「馬上」知道?
📖 原書 兩個選項
本地的任何變更都要告訴其他 client,以減少衝突。Long polling:Dropbox 用這個 [10]。WebSocket:client 與 server 之間的持久連線,雙向溝通。兩種都可行,原書選 long polling,兩個理由:
- 通知不是雙向的:server 告訴 client 檔案變了,反過來沒有
- WebSocket 適合即時雙向溝通,例如聊天 App;Google Drive 的通知不頻繁、沒有突發的大量資料
📖 原書 Long polling 怎麼運作
每個 client 跟 notification service 建一條 long poll 連線。偵測到檔案變更,client 關掉這條連線,去 metadata server 下載最新變更。收到回應或連線逾時後,client 立刻再送一個新 request 讓連線保持開著。
動手比:兩分鐘內檔案在別處被改了三次
延伸基礎第 9 階 · dedup懂的人可以跳過
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
同一張全家福存了三次,保險箱要放三份嗎?
① 先想像
媽媽把同一張全家福(4 MB)存進「手機相簿」「家庭活動」「備份」三個資料夾。
你猜猜看:三份一模一樣,指紋(hash)也一樣。保險箱最少要放幾份?
正文只放一份,目錄本記三次「去拿那一份」。三個資料夾都看得到,空間只用 4 MB。
③ 這叫做 de-duplication(dedup)
dedup:hash 一樣的 block 只存一份,其他地方只記「去拿那一份」。
④ 跟這章的關係
原書第一個省空間的方法:在帳號層級做 dedup(下一頁)。
② 動手玩:媽媽存檔
原書 Step 3Save storage space · De-duplicate
一模一樣的 block,只存一份
這一步要解決的問題版本越存越多,空間很快就滿。第一招:一樣的只存一份。
📖 原書 為什麼要省
為了版本歷史和可靠性,同一個檔案的多個版本會存在多個資料中心。頻繁備份所有版本,空間很快就滿。原書提出三個技巧,第一個:
📖 原書 De-duplicate data blocks
在帳號層級消除重複的 block,是省空間的簡單方法。兩個 block 的 hash 值相同就視為相同。
簡報補充:為什麼原書只說帳號層級
跨帳號去重省更多,但有兩個代價:① 上傳一個檔案「瞬間完成」,等於告訴你「別人也有這個檔案」,可以拿來探測別人的資料(side channel);② 原書要求每個 block 加密,如果每個帳號用自己的金鑰,相同內容加密後就不一樣,跨帳號根本比不出來。
延伸基礎第 10 階 · cold storage懂的人可以跳過
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
三年沒翻的舊相簿,要一直放在客廳嗎?
① 先想像
天天翻的食譜放客廳書架,伸手就拿到。三年沒翻的舊相簿,可以搬去郊區倉庫:租金便宜,但要看時得開車去拿。
你猜猜看:100 本相簿,客廳每本每月 10 元、倉庫每本 1 元。把 90 本沒翻的搬去倉庫,每月付多少?
10 本 × 10 元 + 90 本 × 1 元 = 190 元。全放客廳是 1,000 元,省了八成。
③ 這叫做 hot storage、cold storage
hot storage:常用的資料放這裡,拿得快、比較貴(例如一般的 S3)。cold storage:很少用的資料放這裡,便宜,但取出要等。
④ 跟這章的關係
原書第三個省空間的方法:幾個月沒動的 cold data 搬到 S3 Glacier 這類 cold storage(下一頁)。
② 動手玩:100 本相簿(示意價格)
原書 Step 3Save storage space · 備份策略與 cold storage
一份文件短時間存了 1000 次,要全部留嗎?
這一步要解決的問題每改一次就存一版,要存幾版?很少用的舊資料放哪?(第二、三招)
示意假設:冷儲存單價是 S3 的 1/10;檔案多久沒被存取的分布是虛構的。
📖 原書 智慧的備份策略
- Set a limit:設定版本數上限,達到上限時最舊的版本被新版本取代
- Keep valuable versions only:有些檔案改很頻繁,每次都存可能短時間內存超過 1000 次。限制保留的數量,近期的版本權重較高;最佳數量要靠實驗找出來
📖 原書 不常用的搬到 cold storage
Cold data 是幾個月甚至幾年沒有動過的資料。像 Amazon S3 Glacier [11] 這樣的 cold storage 比 S3 便宜很多。
文組翻譯
日記本每寫一個字就影印一次,一天印一千份。設上限:只留最新 20 份。留有價值的:今天的每份都留、昨天每小時留一份、上週每天留一份。三年沒翻的舊相簿,搬去便宜的倉庫。
原書 Step 3Failure handling
每個元件壞了,原書怎麼接手
這一步要解決的問題每個元件都會壞。壞了誰接手?
點一個元件把它弄壞:
動手算:notification server 掛了,大家要多久才連回來?
每台約一百萬條連線是原書引用的 Dropbox 2012 年分享 [6];重連速率是示意值。
📖 原書 大型系統一定會有故障,要有設計策略來應對;面試官可能想聽你怎麼處理這些故障。
原書 Step 4Wrap up
原書的收尾:兩條流程,加兩個可以聊的設計選擇
這一步要解決的問題主體設計完,面試最後還能聊什麼?
📖 原書 這章做了什麼
Strong consistency、低頻寬、快速同步的組合讓這個設計有趣。設計有兩條流程:管理檔案 metadata 和檔案同步。Notification service 是另一個重要元件,用 long polling 讓 client 隨時知道檔案變更。沒有完美的解法,每家公司有自己的限制;知道設計與技術選擇的取捨很重要。
📖 原書 另一個有趣的演進:把上線 / 離線的邏輯搬到獨立的 presence service。從 notification servers 拆出來之後,其他服務也能輕鬆整合上線 / 離線功能。
白話:presence service=專門記「誰在線上」的服務。
動手比:讓 client 直接上傳到 cloud storage?
到這裡你已經會了小結 3 / 4
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
到這裡你已經會了:原書的完整設計
- 別台裝置靠 notification service 知道檔案改了。原書用 long polling:問了先不掛,有消息才回。
- 省空間三招:hash 一樣只存一份(dedup)、版本數設上限、冷資料搬去 cold storage。
- 原書還講了每個元件壞了誰接手,以及「client 直接上傳」的取捨。
下一階要解決的問題
原書講完了。Triton 會追問什麼?他大多同意,但有四個細節要補。
Triton 觀點先看全貌
這一章,原書和 Triton 大多站在同一邊
✅ 同意 原書做對的地方
- metadata 放關聯式資料庫、要 ACID(第 39 頁)106 · 073
- 檔案不放 DB,DB 只放 metadata(第 40 頁)181 · 144 · 073
- 通知用 server push / long polling,不讓 client 一直問(第 43 頁)185 · 113 · 073 · 071
- block 用 hash 識別:073 也提到在檔名加 MD5 解決 file caching(第 40 頁)073
❌ 不同意 / 原書沒講
- 10 GB 的檔案怎麼在 block server 裡流動:要當 stream,不能整份讀進記憶體(第 42 頁)130 · 128
- 通知是 Signal,掉了可以補;offline backup queue 不一定需要(第 45 頁)078
- upload callback 掉了,檔案永遠 pending(第 46 頁)020
- 「放進 S3 就能安心睡覺」:replication 擋不住刪除(第 47 頁)073 · 019
文組版:原書教的「正本放保險箱、目錄本要準、有新版打電話」,Triton 都同意。他會追問的是細節:影印一本 10 GB 的書時,你是不是先把整本搬上桌(記憶體)?電話沒打通,紙條真的需要嗎?保險箱複製了三份,有人拿碎紙機進去怎麼辦?
Triton 同意106 · 073 · metadata 放 RDBMS
✅ 不能不見的 data,放 RDBMS
「主要還是一句:不能不見的data,我一定存到RDBMS」🗣️ Triton 本人說 106-喵 data.md
「別輕易使用noSQL」「大部份時間,是系統瓶頸所在 – 別以為換成noSQL便能安心……」🗣️ Triton 本人說 073-lesson3.pdf.md · 第 24–25 頁〈Main DB〉
🔭 推論 原書選 RDBMS 的理由是「ACID 原生支援」,metadata 掉了或錯了,檔案就等於不見(block 還在 S3,但沒人知道怎麼拼回去)。這正是 106 說的「不能不見的 data」。
「如果是小型系統,單純scale up便算了 如果是大型系統,始終還是要走Hbase那些方向的」「要RDBMS的clustering其中雷區冒險,我還不如走傳統的sharding路線」「正常沒亂來的系統,在20core + 200GB RAM的暴力機器下,絕大部份都沒需要玩clustering」🗣️ Triton 本人說 106
🔭 原書說 metadata DB 要 sharding,shard key 選什麼?
🔭 block 表的 PK 若是 (file_version_id, block_order),重建一個版本就是一次 Range Scan on Primary Key(104:「MySQL innoDB的底層結構是Index-organized-table,資料是以Primary Key來順序排列的」)。
Triton 同意181 · 144 · 073 · 檔案不要塞進 DB row
✅ DB 只放 metadata,檔案放外面
「請先理解在RDBMS世界中…storage會被切割成8KB(Oracle, PostgreSQL, MSSQL) / 16KB的data blocks 而一個row必須要完整地存到某一個data block內 像是text / blob這些很可能很會大的data type,很可能會>8KB的,所以,RDBMS會把這些text / blob的內客externalize,然後在row record內只存放externalized address 這樣做的後果,是讓本來能一次disk IO解決東西,變成了需要二次disk IO才能解決」🗣️ Triton 本人說 181(檔名即首句)· 「內客」照原文
🗣️ 「(postgresql該機制名字叫TOAST,default觸發點為單一column 2KB)」144-喵談分表.md
🗣️ 「有人說:File應該以BLOB物件放到Main DB,但是 – File一般建立後極少被改動 – RDBMS一般用上系統中最高級的SSD,而File一般不需要這種效能」「延伸思考:在檔案名字中額外加上MD5,許多能解決很多File caching問題」073 · 第 30 頁 File DB
動手看:列出一個資料夾的 50 個檔案
延伸基礎第 11 階 · stream懂的人可以跳過
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
要抄一本 1,000 頁的書,整本搬上書桌嗎?
① 先想像
書桌只放得下一小疊。方法一:整本搬上桌再抄。方法二:一次拿 10 頁,抄完寄出,再拿下 10 頁。
你猜猜看:書桌放得下 100 頁。同時有 5 本 1,000 頁的書要抄,每次拿 10 頁,書桌上最多放幾頁?
5 本 × 10 頁 = 50 頁,放得下。整本搬上桌是 5,000 頁,桌子早就垮了。
③ 這叫做 memory、stream
memory:電腦的書桌,很快,但很小。stream:資料像水管裡的水,一段一段流過,手上只握固定的一小段。
④ 跟這章的關係
block server 要切塊、壓縮、加密 10 GB 的檔案。Triton:當 stream,不要整份放進 memory(下一頁)。
② 動手玩:書桌放得下 100 頁
Triton 補充130 · 128 · 原書沒說 block server 怎麼讀檔案
10 GB 的檔案,記憶體只用固定的一小塊
你猜猜看:原書沒說 block server 怎麼讀檔案。如果每個階段都把整份讀進 memory,64 GB 的機器同時收 20 個 10 GB 的檔案,會怎樣?
20 × 10 GB = 200 GB,還沒算壓縮、加密後的另外幾份,早就超過 64 GB。Triton 的說法在右邊。
「即使你看完總共23GB的影片也好,你也只用上了固定的很小塊Memory。」(原文連說五次)「如果這份data要做多個階段的…你的Application code應該是把不同階段的上下游,用 Reader(如果是data input)/Writer(如果是data output)串接起來。千萬不要先做一個階段再把整份data放memory。」🗣️ Triton 本人說 130-喵談 io streaming.md
🗣️ 「我們應該把File當成Stream而不是ByteArray」(原文連說五次)128 · 主文;同串其餘留言與 139 的內文是 ChatGPT 回答,不引用
🔭 推論 Figure 11 的「切塊 → 壓縮 → 加密 → 上傳」正是 130 說的多階段處理。每一段用 Reader / Writer 接起來,一個 block server 同時處理幾十個 10 GB 檔案也只用固定的 buffer;130 也提醒解壓時的 zip bomb:「unzippedData是100TB的你怎麼辦?」
Triton 同意185 · 113 · 073 · 071 · 推,不要一直問
✅ 原書的 long polling,Triton 的架構圖裡也有
你猜猜看:B 想知道 A 買菜回來沒,每 2 秒問一次「我的食材呢」。A 買菜要 10 分鐘,B 問了幾次?
10 分鐘 = 600 秒,600 ÷ 2 = 300 次,只有最後一次有答案。Triton 的說法在下面。
「不好架構: B使用polling,每2秒就問A:「我的食材呢」 好架構: A建立websocket(或任何server push技術),安靜地等A去買東西和告訴結果。」🗣️ Triton 本人說 185-電商用 queue-.md
「如果你的客戶端需要持續更新資料(比如說股票價格,籃球比賽分數),你知道不應該每數秒做一次Get request,而是應該打開websocket / Firebase push notification(或是相似的技術)」🗣️ Triton 本人說 113-喵的 backend 測驗.md · 第 6 題
🗣️ 「20年前,大家看網上即時籃球比賽,那時大部份網站還沒有long-polling…… – 為了知道自己心愛球隊是否得分,大家只好不停按<F5>」071-lesson2.pdf.md · 第 41 頁
🗣️ 「應該先告訴用戶:你的請求收到了,工作做好了我會告訴你的」;同一份投影片的「Asynchronous API and Server Push」架構圖也畫了 Long Polling Server。012-Advanced_Database_Skills.pdf.md · Async IO
🗣️ Triton 本人說 Long Polling Server(LPS)
「如果你是要把Message推送到手機上,請使用GCM / APNS,別自行來架Server」「除非你的系統流量很大,用AS處理Long Polling便好」「使用獨立LPS的好處 – 你能改用專精負責Long Polling的語言 – 你不用擔心AS的execution worker pool被用光光」073 · 第 23 頁;第 4 頁的「最終系統架構圖」也有 Long Polling Server
🗣️ 但是:越少模組越好
「越少模組,便代表 – 你需要監控和管理的模組便越少 – 代表你的團隊需要掌握的語言/技術便越少」「WTF!? 我只是想寫一個小網站而己 所以才叫你們不要看見別人的架構很漂亮便立即閉上眼睛跟著做啊」073 · 第 5、8 頁
🔭 推論 原書的 notification service 一台撐一百萬條連線,是 Dropbox 等級。流量沒到那裡,long polling 先放在 AS;手機端照原書 device 表的 push_id,交給 APNs / FCM。
延伸基礎第 12 階 · signal懂的人可以跳過
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
漏接了「有新版」的電話,要緊嗎?
① 先想像
奶奶打電話說「番茄湯有新版」。爸爸手機沒電,漏接了。可是新版好好地放在奶奶家,目錄本也記著。
你猜猜看:爸爸開機後,要怎麼知道漏了什麼?
電話只是提醒「快來看」。真正的資料在目錄本:問一句「上次看到 v3,之後有什麼?」就補回來了。
③ 這叫做 signal、message
signal:「有事了,快來看」的提醒;掉了,自己去查就補回來。message:本身就是資料,絕對不能掉,要用 message queue 這類會先存起來的系統送。
④ 跟這章的關係
原書的「檔案改了」通知是哪一種?下一頁 078 揭曉。
② 動手玩:漏接幾通電話看看
Triton 補充078 Signal vs Message · offline backup queue 真的需要嗎
「檔案改了」是 Signal:掉了,上線時 GET 補回來
「Signal – 要高度即時性 – 丟失沒太大差 Message – 可以排隊一個一個工作慢慢來~ – 絕對不能丟失」🗣️ Triton 本人說 078-mq-intro.pdf.md · 第 8 頁
「如果UserB斷線了,用GET API也能得到斷線期間的留言 – i.e. 斷線期間的留言,不經WebSocket重傳也沒差啊 – 所以,chatroom系統內的是Signal,不是Message」「Message一定用MQ Server來傳,Signal有很多手段的~」🗣️ Triton 本人說 078 · 第 9 頁「反思問題」
🔭 推論 原書的下載流程本來就是「收到通知 → 去 metadata DB 拿變更」,真正的資料在 RDBMS。通知只是叫你去看,跟 078 的聊天室一樣是 Signal。離線的 client 上線時用 GET /changes?since=<上次看到的 version> 就能補齊,不一定需要另一條會壞、要複寫的 offline backup queue。
你猜猜看:原書:client 離線時,通知先放進 offline backup queue。如果這個 queue 壞了、通知掉了,檔案會不見嗎?
通知只是說「快來看」,真正的資料在 metadata DB 和 cloud storage。Triton 的分類在左邊。
動手分類:點卡片看答案
Triton 補充020 MQ解法 · upload completion callback 掉了怎麼辦
檔案卡在 pending:用一張 outstanding_tasks 表
你猜猜看:上傳流程的 2.3:上傳完成時 cloud storage 送 callback 給 API servers。如果 block server 中途當機,callback 永遠沒來,檔案會?
狀態只會被 callback 改成 uploaded。callback 沒來,就沒有人知道這件工作沒做完。Triton 020 的解法在右邊。
🗣️ Triton 本人說 020 的原題與解法
讀者來信:第三方 async task「只能不停地發HTTP GET去看看工作做完了沒有」。最佳解:「換一家有支持Callback的服務供應商便好。」暴力解:「建立一個outstanding_tasks的table(不使用redis的原因是怕redis當掉後data loss有工作變成孤兒)」。哭哭解:outstanding_tasks 加 create_time 與 index,把 create_time 丟進 MQ;「第三方服務上做完的工作,便把其ID丟到message queue,然後讓另一個worker來做後續工作,做完後才刪掉對應的outstanding_tasks。」「(補充:如果這個worker死掉,重新起來時對outstanding_tasks整個拿便好)」
020-MQ解法.md
🔭 推論 原書有 callback(步驟 2.3),屬於 020 的「最佳解」;但原書沒說 callback 沒送到、或 block server 中途當機時怎麼辦,只寫「其他 server 會接手未完成的工作」。誰知道哪些工作沒完成?就是這張放在 RDBMS 的表。
Triton 不同意073 · 019 · 「放進 S3 就能安心睡覺」
❌ Replication 會連刪除和加密一起複製
你猜猜看:原書:檔案放進 S3、跨兩個區域複寫,「終於可以安心睡覺」。爸爸的電腦中了勒索軟體,所有食譜被加密後同步上去。跨區複寫救得了嗎?
複寫會忠實地複製每一個修改,包括壞的。Triton 的說法在右邊。
動手選一個災難,看哪道防線救得了
「RAID只能保護單一SSD故障 – 電源短路/打翻泡麵時,所有SSD都會一起陣亡」「Master/Slave Replication保護不了壞人刪除數據」「只有以離線儲存的備份數據,才是真正安全的」🗣️ Triton 本人說 073-lesson3.pdf.md · 第 24 頁 Main DB
「Amazon S3只保證資料流失機會率<10^-9 – 這世界沒東西是永久的(包括愛情?)」「軍事戰略:defense in depth(縱深防禦)」「不要把所有氣力放在一條防線上,而是建立多層防線」🗣️ Triton 本人說 019-Introduction_to_database.pdf.md「勇敢地面對數據流失」
🔭 推論 原書的跨區複寫擋的是「一個 region 掛了」。雲端硬碟最可怕的反而是同步本身:使用者電腦中了勒索軟體,加密後的檔案會被當成「新版本」同步到所有裝置、所有 region。原書的 file_version「既有 row 唯讀」是好的第二道防線,但 metadata DB 本身也要有離線備份。
到這裡你已經會了小結 4 / 4
- 前幾章的基礎
- metadata
- sharding / replication
- sync conflict
- block
- hash
- strong consistency
- long polling
- dedup
- cold storage
- stream
- signal
到這裡你已經會了:Triton 的追問
- 不能不見的 metadata 放 RDBMS,檔案放在 DB 外面:這兩點 Triton 和原書一致。
- 10 GB 的檔案要當 stream 處理:每個階段用 Reader / Writer 接起來,memory 只用固定的一小塊。
- 「檔案改了」是 signal,掉了上線再 GET 補;callback 沒來,要有一張表記得哪些工作沒做完;replication 擋不住刪除和勒索軟體,要有離線備份。
12 階全部走完了
下一頁是 2026 補充,再來是一句話總結和名詞小卡。
📅 2026 補充書本身的時間差
S3、Glacier、SSL 這幾個名詞都變了
S3 現在是 strong consistency
Amazon S3 從 2020 年 12 月起,所有 GET、PUT、LIST 都提供 strong read-after-write consistency,不用額外設定。原書要求的 strong consistency 主要在 metadata DB 與 cache,這點不受影響;但「剛上傳完的 block 立刻讀得到」現在不用自己擔心了。
Glacier 變成 S3 的 storage class
原書引用的 S3 Glacier,現在分成 Glacier Instant Retrieval、Flexible Retrieval、Deep Archive 幾種 S3 storage class,取回時間從毫秒到數小時不等。另有 S3 Intelligent-Tiering 依存取頻率自動搬移,原書「把冷資料搬過去」可以交給它做。
SSL 已經退場,HTTPS 用的是 TLS
原書寫「Secure Sockets Layer (SSL) protects data transfer」。SSL 3.0 在 2015 年被 IETF 正式棄用,現在的 HTTPS 是 TLS 1.2 / 1.3。原書引用的 Google Drive API 是 v2 文件,現行版本是 v3,resumable upload 的三步驟概念不變。
一句話記住
只寄改過的那一頁,目錄本要準;
影印時一頁一頁來,正本另外鎖一份。
原書對的地方
- 檔案切成 block、用 hash 識別、delta sync + 壓縮 + 加密
- metadata 放關聯式資料庫,cache 寫入時失效,要 strong consistency
- 先處理的版本贏,衝突留副本讓使用者選
- long polling 通知,dedupe、版本上限、cold storage 省空間
Triton 也這樣做
- 不能不見的 data 放 RDBMS,先 scale up,再走傳統 sharding
- 檔案不塞進 DB row,DB 只放 metadata,檔名加 MD5
- server push,不要讓 client 每幾秒問一次
Triton 會追問
- 10 GB 的檔案有沒有當 stream 處理?
- 通知掉了,能不能靠 GET 補回來?
- callback 沒來,誰記得哪些工作沒做完?
- 有人刪掉或加密了檔案,replication 救不了
本章名詞小卡課後複習用 · 每個名詞一句白話
今天出現的名詞,一句話講完
給工程師的重點出處與標籤
引述來源(materials/core)與原書對照
Triton 本人的講義 / 文章
- 130-喵談 io streaming.md — 固定 buffer、23GB 只用固定的很小塊 Memory、多階段用 Reader / Writer 串接、zip bomb
- 128-喵談 buffer stream and local cache.md — 主文「我們應該把File當成Stream而不是ByteArray」;同串其他留言與 ChatGPT 段落不引用
- 181(8KB data block、text / blob externalize、二次 disk IO)· 144-喵談分表.md(PostgreSQL TOAST,2KB 觸發)
- 073-lesson3.pdf.md — 最終架構圖(Long Polling Server、File Database)、越少模組越好、LPS、Main DB 別輕易用 noSQL、Replication 保護不了刪除、離線備份、File DB 不放 BLOB、檔名加 MD5
- 106-喵 data.md — 不能不見的 data 存 RDBMS、先 scale up、傳統 sharding、20core + 200GB RAM
- 185 polling vs server push · 113 第 6、7 題 · 071 long polling 與 TCP 連線變爛 · 078 Signal vs Message、斷線用 GET 補 · 020 outstanding_tasks · 019 S3 10^-9、defense in depth · 104 Range Scan on PK · 012 Async IO 與 server push 架構
不引用:139(內文是 ChatGPT 回答,只有標題是 Triton 的話,與 128 同句)、145(144 的改寫版)、190–195(AI 生成)、061(Roy 的專案報告,用了 S3 + presigned URL,可當實作參考但不是 Triton 觀點)。
原書對照
Alex Xu, System Design Interview Vol.1 Ch.15。開頭與 Figure 1–2(第 4 頁);Step 1 需求(6)與估算(7);單一伺服器與 Figure 3(9);APIs(10);Move away from single server 與 Figure 4–5(12)、Figure 6(13)、Figure 7(14);Sync conflicts 與 Figure 8–9(16);High-level design 與 Figure 10(20);Block servers 與 Figure 11–12(21–22);High consistency(24);Metadata database 與 Figure 13(25);Upload flow 與 Figure 14(26);Download flow 與 Figure 15(27);Notification service(30);Save storage space(32–34);Failure handling(35);Wrap up(36)。15 張圖都依圖說與 alt 描述重繪,不是原圖;Figure 1–2 是產品截圖,只畫線框。
循序漸進(文組版)的頁面
學習地圖(第 3 頁);延伸基礎 12 階:前幾章的基礎(5)、metadata(8)、sharding / replication(11)、sync conflict(15)、block(18)、hash(19)、strong consistency(23)、long polling(29)、dedup(31)、cold storage(33)、stream(41)、signal(44);小結(17、28、37、48);名詞小卡(51)。第 1、3 階是複習頁,連到 01、02 章。食譜情境與相簿租金、書桌頁數等是示意數字,不是實測值。
一個可以直接問自己的問題
你的上傳服務同時收 50 個 10 GB 的檔案時,記憶體用多少?如果明天有人把所有檔案加密後同步上來,你能回到昨天嗎?