System Design Interview · 第 15 章Triton 覆蓋度:🟡 中Triton 線

Design Google Drive
改一段字,不用重寄整本書

原書設計一個 5,000 萬註冊用戶、1,000 萬 DAU 的雲端硬碟:檔案切成最大 4MB 的 block,只同步改過的 block;metadata 放關聯式資料庫拿 ACID;用 long polling 通知其他裝置。Triton 沒有專門談過雲端硬碟,但這章用到的零件他都講過,而且難得大多站在原書同一邊。

給文組

全程用「全家共用一本食譜」比喻,一階一階爬 12 個概念。頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。

給工程師

第 4–36 頁完整講原書(15 張圖全部重繪),後面是 Triton 的補充與兩個不同意見,最後一頁列出所有出處(materials/core)。

標籤怎麼看

📖 原書 🗣️ Triton 本人說 🔭 依 Triton 原則推論 📅 2026 補充

先用生活理解全家共用一本食譜

食譜正本放在奶奶家,每個人手上有一份影本

🏠 奶奶家(雲端)

試試:先讓爸爸離線,媽媽和爸爸都改,再讓爸爸上線

媽媽在手機上改了「番茄湯」那一頁,爸爸的筆電和小孩的平板要自動拿到新版。沒開機的人,開機後要補上。兩個人同時改同一頁,不能悄悄蓋掉其中一個。

這一章的對照表

食譜Google Drive
奶奶家的正本保險箱cloud storage(Amazon S3)
目錄本:哪一頁、第幾版、誰改的metadata DB
打電話說「有新版,來拿」notification service(long polling)
沒接到電話,留一張紙條offline backup queue
只影印改過的那一頁block + delta sync
兩人同時改同一頁sync conflict

學習地圖本章的概念階梯

今天爬 12 階。每一階只用前面講過的東西。

  1. 1前幾章的基礎DAU、database…
  2. 2metadata目錄本 vs 保險箱
  3. 3sharding / replication分箱、影印
  4. 4sync conflict兩人同時改
  5. 5block只寄改過的頁
  6. 6hash每頁的指紋
  7. 7strong consistency目錄本不能錯
  8. 8long polling電話先不掛
  9. 9dedup一樣的只存一份
  10. 10cold storage郊區倉庫
  11. 11stream一疊一疊抄
  12. 12signal漏接電話不要緊

第 1–4 階 · 檔案放哪裡

要回答:檔案和目錄本為什麼分開放?壞了怎麼辦?

第 5–7 階 · 同步得又快又準

要回答:改一頁,怎麼只傳那一頁?

第 8–10 階 · 通知與省空間

要回答:別台裝置怎麼馬上知道?空間怎麼省?

第 11–12 階 · Triton 的追問

要回答:10 GB 怎麼搬?通知掉了要緊嗎?

全程只用一本食譜:全家共用、正本放奶奶家

奶奶家 = 雲端目錄本 = metadata DB保險箱 = cloud storage(S3)食譜的一頁 = block每頁的指紋 = hash打電話說有新版 = notification郊區倉庫 = cold storage

每爬 3–4 階,有一頁「到這裡你已經會了」。

原書開頭Google Drive 長什麼樣 · Figure 1–2

一個檔案儲存 + 同步服務

這一步要解決的問題雲端硬碟到底要做哪幾件事?先看產品長什麼樣。

📖 原書 Figure 1瀏覽器上的 Google Drive(依原書內容重繪;原圖是產品截圖,這裡只畫線框,文字取自原書圖的描述)

📖 原書 近年 Google Drive、Dropbox、Microsoft OneDrive、Apple iCloud 這類雲端儲存服務非常流行。本章請你設計 Google Drive。

📖 原書 Google Drive 是檔案儲存與同步服務:把文件、照片、影片和其他檔案存在雲端;從任何電腦、手機、平板都能存取;可以輕鬆分享給朋友、家人、同事 [1]。

文組翻譯

「儲存」是把東西放進奶奶家的保險箱;「同步」是讓每個人手上的影本都跟正本一樣。前者像倉庫,後者像郵差。這一章大部分的難度在郵差那一邊。

原書這裡寫「Figure 1 和 15-2」,兩張圖的編號寫法不一致,照原書保留。

延伸基礎 · 複習第 1 階 · 前幾章的基礎懂的人可以跳過

  1. 前幾章的基礎
  2. metadata
  3. sharding / replication
  4. sync conflict
  5. block
  6. hash
  7. strong consistency
  8. long polling
  9. dedup
  10. cold storage
  11. stream
  12. signal

「每天 1,000 萬人用」:先複習前幾份簡報的五個詞

① 先想像

全家的食譜做成 app,結果大受歡迎:全台每天 1,000 萬人打開它,每人每天上傳 2 個檔案。

你猜猜看:一天 2,000 萬次上傳,平均每秒大約幾次?

④ 跟這章的關係

原書估算(第 7 頁)用 DAU、QPS;架構圖用另外三個。

② 動手玩:每天的上傳量,換成每秒

平均每秒
231
最忙時(×2)
463

原書 Step 1釐清需求

題目很大:先把範圍縮小

這一步要解決的問題「設計 Google Drive」太大了。先問清楚要做哪些功能、多少人用。

📖 原書 應徵者 × 面試官

應徵者問面試官答
最重要的功能是什麼?上傳與下載檔案、檔案同步、通知
行動 App、網頁,還是都要?都要
支援哪些檔案格式?任何檔案類型
檔案需要加密嗎?要,儲存中的檔案必須加密
有檔案大小限制嗎?有,10 GB 以下
有多少用戶?10M DAU

📖 原書 本章不討論 Google Doc 的多人同時編輯與協作,超出範圍。

白話:DAU=每天實際來用的人數(第 5 頁);加密=把內容鎖起來,沒有鑰匙看不懂;revisions=改過的舊版本。

📖 原書 本章聚焦的功能

  • 新增檔案:最簡單是拖放到 Google Drive
  • 下載檔案
  • 跨裝置同步:一台裝置新增,其他裝置自動同步
  • 查看檔案的修訂版本(revisions)
  • 分享給朋友、家人、同事
  • 檔案被編輯、刪除或分享給你時發通知

📖 原書 非功能需求

原書 Step 1Back of the envelope estimation

500 PB 的空間,每秒只有 240 次上傳

這一步要解決的問題要準備多大的空間、多少流量?先用原書的數字估一下。

前三列是原書的算法;後兩列是簡報補充,原書沒算。

白話:1 PB=1,000 TB=100 萬 GB;QPS=每秒幾次;峰值=最忙的那一刻。

📖 原書 假設

  • 5,000 萬註冊用戶、1,000 萬 DAU
  • 每人 10 GB 免費空間
  • 每人每天上傳 2 個檔案,平均 500 KB
  • 讀寫比 1:1
  • 總配置空間:50M × 10 GB = 500 PB
  • 上傳 QPS:10M × 2 ÷ 24 小時 ÷ 3600 秒 ≈ 240;峰值 QPS = QPS × 2 = 480

文組翻譯:「配置」不等於「用掉」

500 PB 是「答應給每個人的櫃子加起來」,不是真的塞滿。照原書的上傳量,每天實際新增約 10 TB,一年約 3.65 PB。櫃子大多是空的,這也是後面「省空間」那一頁的伏筆。

延伸基礎第 2 階 · metadata懂的人可以跳過

  1. 前幾章的基礎
  2. metadata
  3. sharding / replication
  4. sync conflict
  5. block
  6. hash
  7. strong consistency
  8. long polling
  9. dedup
  10. cold storage
  11. stream
  12. signal

奶奶家有兩樣東西:一本薄目錄本、一個大保險箱

① 先想像

奶奶家放著全家食譜的正本。旁邊還有一本薄薄的目錄本:每道菜第幾版、誰改的、正文放在保險箱哪一格。

你猜猜看:100 道菜,每道正文 4 MB,目錄本每道只寫一行(100 bytes)。只想列出所有菜名,要讀多少?

③ 這叫做 metadata、object storage

metadata:關於檔案的資料(名字、版本、誰改的、正文在哪),不是檔案本身。object storage:只管「放進去、用名字拿出來」的大保險箱,例如 Amazon S3。

④ 跟這章的關係

原書把 metadata 放 metadata database、檔案放 cloud storage。從第 9 頁開始,這兩條路一直分開走。

② 動手玩:點目錄本的一行

保險箱(12 格)

≈ 400 B目錄本 4 行≈ 32 MB保險箱裡 8 頁正文(示意)

原書 Step 2從一台伺服器開始 · Figure 3

先把全部東西放在同一台機器上

這一步要解決的問題最簡單、能動的版本長什麼樣?先全部放在一台機器上。

📖 原書 Figure 3/drive 目錄:左邊收合、右邊展開(依原書內容重繪)
展開後點右邊的檔案

📖 原書 原書不一開始就給高階設計圖,而是從單一伺服器開始,再一步步擴充到支援數百萬用戶,順便複習前面章節的重要主題。

📖 原書 單一伺服器的三樣東西

  • 一個 web server:上傳和下載檔案
  • 一個 database:記錄 user data、登入資訊、檔案資訊等 metadata
  • 一個 storage system:放檔案,配置 1TB

白話:web server=收上傳、給下載的櫃台;database 記的是 metadata(第 8 頁);namespace=每個人自己的那一層抽屜。

📖 原書 花幾個小時架好 Apache web server、MySql database,和一個叫 drive/ 的根目錄。drive/ 底下每個目錄叫 namespace,裝著一個使用者上傳的所有檔案;伺服器上的檔名跟原始檔名一樣。namespace + 相對路徑就能唯一識別一個檔案或資料夾。

原書 Step 2APIs

三支 API:上傳、下載、看版本

這一步要解決的問題手機和網頁要用什麼窗口上傳、下載?大檔案傳到一半斷線怎麼辦?

動手玩:上傳 100 MB 時網路斷了

0 MB總共傳了0 / 100 MB伺服器已收到
https://api.example.com/files/upload?uploadType=resumable
Params: uploadType=resumable
        data: Local file to be uploaded.

📖 原書 1 · Upload

Simple upload:檔案小的時候用。Resumable upload:檔案大、網路容易中斷時用,三步 [2]:① 送初始 request 拿 resumable URL ② 上傳資料並監控上傳狀態 ③ 被打斷就續傳。

📖 原書 2 · Download · 3 · List revisions

https://api.example.com/files/download
{ "path": "/recipes/soup/best_soup.txt" }

https://api.example.com/files/list_revisions
{ "path": "/recipes/soup/best_soup.txt",
  "limit": 20 }

path:檔案路徑;limit:最多回傳幾個版本。

📖 原書 所有 API 都要使用者驗證並使用 HTTPS;SSL 保護 client 與 backend 之間的資料傳輸。

白話:API=App 和伺服器約好的窗口;resumable URL=續傳專用的取件號碼;HTTPS=加了密的信封,路上的人看不到內容。

延伸基礎 · 複習第 3 階 · sharding / replication懂的人可以跳過

  1. 前幾章的基礎
  2. metadata
  3. sharding / replication
  4. sync conflict
  5. block
  6. hash
  7. strong consistency
  8. long polling
  9. dedup
  10. cold storage
  11. stream
  12. signal

保險箱塞滿了、大樓停電了:分箱和影印(複習)

① 先想像

食譜越存越多,一個保險箱塞不下,只好依親戚編號分到 4 個箱子。可是大樓一停電,箱子全都打不開。

你猜猜看:用「編號 ÷ 4 的餘數」決定放幾號箱(0–3)。編號 1234 的親戚放幾號?

④ 跟這章的關係

原書 Figure 5 依 user_id 分到四台(第 12 頁);Figure 6 讓 S3 跨區複寫(第 13 頁)。

② 動手玩:分箱,再決定要不要影印

原書 Step 2Move away from single server · Figure 4–5

只剩 10 MB:先 shard 到多台 storage server

這一步要解決的問題一台機器的硬碟快滿了,怎麼辦?

📖 原書 Figure 4空間快滿的警告(依原書內容重繪)

📖 原書 檔案越傳越多,最後收到 Figure 4 的警告:只剩 10 MB!這是緊急狀況,使用者不能再上傳。第一個想到的解法是把資料 shard,分散存到多台 storage server。Figure 5 是依 user_id 做 sharding 的例子。

📖 原書 你熬夜設好 database sharding、緊盯著,一切又恢復正常。火是滅了,但你還是擔心 storage server 壞掉時會掉資料。

📖 原書 Figure 5依 user_id % 4 分到 Server1–4(依原書內容重繪)

第二列是簡報補充:原書這裡沒談加機器,第 5 章 consistent hashing 講的就是這個問題。

原書 Step 2改用 Amazon S3 · Figure 6

朋友 Frank 說:Netflix 和 Airbnb 都用 S3

這一步要解決的問題檔案分到好幾台之後,一台壞掉就掉資料。怎麼讓檔案不會不見?

📖 原書 Figure 6左:same-region replication;右:cross-region replication(依原書內容重繪)

「Amazon Simple Storage Service(Amazon S3)是一種物件儲存服務,提供業界領先的擴展性、資料可用性、安全性與效能」📖 原書 引用 AWS 官網 [3]

  • 📖 讀了很多資料後,你決定把檔案放到 S3。S3 支援 same-region 與 cross-region replication
  • 📖 Region:AWS 設有資料中心的地理區域。多餘的副本放在多個 region,防止掉資料並確保可用性
  • 📖 Bucket:就像檔案系統裡的資料夾
  • 📖 把檔案放進 S3 之後,「你終於可以安心睡個好覺,不用擔心資料遺失」

文組翻譯

同區複寫:同一棟大樓的三個保險箱各放一份。跨區複寫:台北放一份,高雄放三份。大樓停電,高雄還有。最後那句「安心睡覺」,Triton 有不同意見,見第 47 頁。

原書 Step 2還能改進的地方 · Figure 7

把 web server、metadata DB、檔案儲存拆開

這一步要解決的問題全部擠在一台,一壞全停。怎麼拆開,讓每一部分各自加機器?

📖 原書 Figure 7User → Load balancer → API servers → Metadata DB 與 File storage(依原書內容重繪)

📖 Load balancer

分散網路流量,讓流量平均;一台 web server 掛了會把流量重新分配。

📖 Web servers

有了 load balancer,就能依流量輕鬆加減 web server。

📖 Metadata database

把 DB 移出伺服器避免 SPOF;同時設定 replication 和 sharding,滿足可用性與擴展性。

📖 File storage

用 Amazon S3;為了可用性與耐久性,檔案複寫到兩個不同地理區域。

白話:SPOF=只有一個、它一壞全部停;load balancer=帶位員(第 5 頁);replication、sharding 見第 11 頁。

延伸基礎第 4 階 · sync conflict懂的人可以跳過

  1. 前幾章的基礎
  2. metadata
  3. sharding / replication
  4. sync conflict
  5. block
  6. hash
  7. strong consistency
  8. long polling
  9. dedup
  10. cold storage
  11. stream
  12. signal

爸爸在飛機上改了番茄湯,媽媽也在家改了

① 先想像

兩人都從第 3 版開始改。媽媽先交回奶奶家,變成第 4 版;爸爸下飛機才交回「我改的是第 3 版」。

你猜猜看:奶奶收到爸爸的修改,該怎麼辦?

③ 這叫做 version、sync conflict

version:每改一次就加 1 的版本號。sync conflict:你改的那一版已經不是最新的,兩份修改撞在一起。

④ 跟這章的關係

原書的規則:先被處理的贏,後到的收到 sync conflict(下一頁 Figure 8–9)。

② 動手玩:比對版本號

原書 Step 2Sync conflicts · Figure 8–9

兩個人同時改同一個檔案:先處理的贏

這一步要解決的問題兩個人同時改同一個檔案,要聽誰的?

📖 原書 Figure 8兩人上傳 → User 1 synced → User 2 衝突(依原書內容重繪;原圖的標籤截斷為「Confli...」)

📖 原書 策略:先被處理的版本勝出,後處理的版本收到衝突。User 1 先被處理,更新成功;user 2 收到 sync conflict。系統呈現兩份:user 2 的本地版與伺服器最新版,user 2 可以合併,或用一份覆蓋另一份。多人同時編輯同一份文件要保持同步很難,有興趣看參考資料 [4][5](Differential Synchronization)。

動手玩:兩台裝置離線各改一次

到這裡你已經會了小結 1 / 4

  1. 前幾章的基礎
  2. metadata
  3. sharding / replication
  4. sync conflict
  5. block
  6. hash
  7. strong consistency
  8. long polling
  9. dedup
  10. cold storage
  11. stream
  12. signal

到這裡你已經會了:檔案放哪裡、壞了怎麼辦

下一階要解決的問題

一份 10 GB 的檔案只改了一點點,要整份重傳嗎?先看原書的全貌圖,再看 block server。

延伸基礎第 5 階 · block懂的人可以跳過

  1. 前幾章的基礎
  2. metadata
  3. sharding / replication
  4. sync conflict
  5. block
  6. hash
  7. strong consistency
  8. long polling
  9. dedup
  10. cold storage
  11. stream
  12. signal

食譜改了一頁,要把整本重新影印寄出去嗎?

① 先想像

全家的食譜有 10 頁。媽媽只改了第 3 頁的番茄湯,要讓爸爸手上的影本也跟著更新。

你猜猜看:整本 40 MB,每頁 4 MB。媽媽改了 2 頁,只寄改過的那幾頁,要寄多少?

③ 這叫做 block、delta sync

block:把檔案切成的一塊一塊(原書每塊最大 4 MB)。delta sync:只同步改過的那幾個 block。

④ 跟這章的關係

原書的 block servers 就在做這件事(第 21–22 頁)。

② 動手玩:點一頁=「改了這一頁」

40 MB寄整本0 MB只寄改過的–省下

換成真的檔案:10 GB 切成 4 MB 一塊,是 2,500 塊;改了一塊,只要傳 4 MB。

延伸基礎第 6 階 · hash懂的人可以跳過

  1. 前幾章的基礎
  2. metadata
  3. sharding / replication
  4. sync conflict
  5. block
  6. hash
  7. strong consistency
  8. long polling
  9. dedup
  10. cold storage
  11. stream
  12. signal

不逐字比對,怎麼知道哪一頁改了?

① 先想像

奶奶不想每次都把新舊兩頁逐字對照。她幫每一頁算一個短短的「指紋」:內容一樣,指紋就一樣。

你猜猜看:番茄湯那頁只把「鹽 1 匙」改成「鹽 2 匙」,指紋會怎樣?

③ 這叫做 hash

hash:把任何長度的內容,變成一串固定長度的短代號,像指紋。內容相同,hash 一定相同。

④ 跟這章的關係

原書每個 block 都有 hash:比 hash 就知道哪塊改了(delta sync);hash 一樣就只存一份(第 32 頁)。

② 動手玩:兩頁比指紋

試試:在任何一格多打一個空白,或改一個字。

原書 Step 2High-level design · Figure 10

全貌:兩條路,一條管 metadata,一條管檔案

這一步要解決的問題前面的零件拼起來,全貌長什麼樣?點方塊、按播放,一條一條看。

📖 原書 Figure 10高階設計(依原書內容重繪;原書 alt 寫 API servers 連到 Block servers,這裡依內文的上傳流程畫成 User → Block servers)
點圖上的元件看說明

📖 原書 有些元件很複雜,留到 deep dive 細講:block servers、metadata database、上傳流程、下載流程、通知服務、節省儲存空間、故障處理。

白話:API servers=處理一般請求的櫃台;metadata cache=目錄本的小抄;notification service=打電話通知的總機(第 29 頁);offline backup queue=沒接到電話時留的紙條;cold storage 見第 33 頁。

原書 Step 3Block servers · Figure 11

Block server:切塊、壓縮、加密,再上傳

這一步要解決的問題大檔案常常改,每次整份重傳太浪費。怎麼只傳改過的部分?

📖 原書 Figure 11新增檔案時 block server 的工作(依原書內容重繪)

📖 原書 為什麼要 block server

經常更新的大檔案,每次都傳整份很耗頻寬。兩個優化:Delta sync:檔案改了,只同步改過的 block(用 sync 演算法 [7][8],即 rsync / librsync)。Compression:依檔案類型壓縮 block,文字檔用 gzip、bzip2,圖片和影片要用別的壓縮演算法。

📖 原書 Block 是什麼

一個檔案切成幾個 block,每個 block 有唯一的 hash 值,記在 metadata DB;每個 block 是獨立物件存在 S3。重建檔案時,依特定順序把 block 接起來。Block 大小參考 Dropbox:最大 4MB [6]。

📖 原書 四個步驟

  1. 檔案切成較小的 block
  2. 每個 block 用壓縮演算法壓縮
  3. 為了安全,送到 cloud storage 前每個 block 先加密
  4. block 上傳到 cloud storage

白話:compression=壓縮,把資料變小;加密=沒有鑰匙看不懂;rsync / librsync=專門找出「哪裡不一樣」的同步程式;hash 見第 19 頁。

原書 Step 3 · 動手玩Delta sync · Figure 12

改一段,只傳那一塊

這一步要解決的問題改一段,真的只傳那一塊嗎?自己動手改改看。

這份食譜切成 8 個 block(示意:每段當成一個 4MB 的 block)。直接改任何一段,再按「同步」。

32 MB傳整份0 MBdelta sync 傳了v1伺服器版本
📖 原書 Figure 12只有改過的 block 2 和 block 5 上傳(依原書內容重繪;alt 寫「4x2 grid」但有十個 block,這裡依內文畫成兩排五個)

跟上一頁的 hash 有什麼關係

每個 block 有自己的 hash。同步時 client 比對「這塊的 hash 伺服器有沒有」,有就不傳。所以改第 3 段,只有第 3 塊的 hash 變了。簡報補充:在檔案中間「插入」字時,固定大小切塊會讓後面每塊都位移;原書引用的 rsync [7] 用 rolling checksum 找出位移後仍相同的區段,這是它被引用的原因。

延伸基礎第 7 階 · strong consistency懂的人可以跳過

  1. 前幾章的基礎
  2. metadata
  3. sharding / replication
  4. sync conflict
  5. block
  6. hash
  7. strong consistency
  8. long polling
  9. dedup
  10. cold storage
  11. stream
  12. signal

目錄本改到一半,停電了

① 先想像

媽媽存了新版番茄湯。奶奶要在目錄本改三個地方:版本號、新頁放哪一格、修改紀錄。改到第二個地方,停電了。

你猜猜看:目錄本寫著「第 4 版」,但新頁放哪一格還沒寫上。爸爸來拿第 4 版,會拿到什麼?

③ 這叫做 transaction、strong consistency

transaction:幾個修改綁成一件事,要嘛全部成功、要嘛全部不算(關聯式資料庫的 ACID)。strong consistency:任何人、任何時候讀到的,都是同一個最新版本。

④ 跟這章的關係

原書要求 metadata 一定要 strong consistency,所以選關聯式資料庫(下一頁)。

② 動手玩:存一個新版本,中途停電

    原書 Step 3High consistency requirement

    同一時間,不同裝置不能看到不同的檔案

    這一步要解決的問題兩台裝置在同一秒,會不會看到不同的版本?

    動手玩:cache 沒跟著失效會怎樣

    📖 原書 預設就要 strong consistency

    「同一時間不同 client 看到不同的檔案」是不可接受的。系統要讓 metadata cache 與 database 層都提供 strong consistency。Memory cache 預設是 eventual consistency,不同 replica 可能資料不同。要做到 strong consistency 必須確保:

    • cache replica 和 master 的資料一致
    • 寫入 DB 時讓 cache 失效,確保 cache 和 DB 的值相同

    白話:replica=副本;master=放正本的那一台;讓 cache 失效=寫入時把舊的小抄撕掉。

    📖 原書 為什麼選關聯式資料庫

    關聯式資料庫維持 ACID(Atomicity、Consistency、Isolation、Durability)[9],要 strong consistency 很容易。NoSQL 預設不支援 ACID,必須自己寫進同步邏輯裡。原書:「In our design, we choose relational databases because the ACID is natively supported.」

    ✅ 這是本章跟 Triton 最一致的地方,見第 39 頁。

    原書 Step 3Metadata database · Figure 13

    六張表:誰的、哪個檔、第幾版、由哪些 block 組成

    這一步要解決的問題目錄本(metadata DB)裡要記哪些東西?

    📖 原書 Figure 13高度簡化的 schema,只有最重要的表與欄位(依原書內容重繪;欄位名 lastest_version 照原圖拼寫)。點一張表看說明

    讀原書時順手注意

    內文說 user 表有 email、profile photo,device 表有 push_id,還有 namespace 表;圖裡沒有這些欄位,對應 namespace 的是 workspace。內文與圖不一致,兩者都照原書呈現。

    白話:每張表像一張試算表,一行(row)是一筆資料;push_id=這台裝置收推播的地址。

    原書 Step 3Upload flow · Figure 14

    上傳:兩個 request 同時出發

    這一步要解決的問題上傳一個檔案時,metadata 和檔案內容各走哪條路?

    📖 原書 Figure 14上傳的 sequence diagram(依原書內容重繪;原書 alt 的箭頭描述有些混亂,訊息與方向依內文的步驟)

    📖 原書 Add file metadata:1 client 1 送 request 新增 metadata;2 存進 metadata DB,上傳狀態改成 pending;3 通知 notification service 有新檔案正在新增;4 notification service 通知相關 client(client 2)有檔案正在上傳。

    📖 原書 Upload files to cloud storage:2.1 client 1 把內容傳給 block servers;2.2 block servers 切塊、壓縮、加密後上傳;2.3 上傳完成,cloud storage 觸發 upload completion callback 送到 API servers;2.4 狀態改成 uploaded;2.5–2.6 通知 client 2 檔案已完全上傳。編輯檔案的流程類似,原書不重複。

    白話:pending=上傳中、還沒完成;callback=事情做完,對方主動打來通知;uploaded=已完全上傳。

    原書 Step 3Download flow · Figure 15

    下載:先拿 metadata,再拿 block

    這一步要解決的問題別台裝置怎麼把改過的檔案拿回來?

    📖 原書 Figure 15下載的 sequence diagram,只畫最重要的元件(依原書內容重繪;虛線是回傳)

    📖 原書 Client 怎麼知道檔案在別處被改了?

    • 在線上:notification service 通知 client A「有地方改了」,要拉最新資料
    • 離線:資料存進 cache;離線的 client 重新上線時,拉最新變更

    知道檔案變了之後,client 先透過 API servers 要 metadata,再下載 blocks 組回檔案。

    文組翻譯

    接到電話「番茄湯改了」,先翻目錄本:改了哪幾頁、每頁的編號;再去保險箱只拿那幾頁,夾回自己的影本。

    到這裡你已經會了小結 2 / 4

    1. 前幾章的基礎
    2. metadata
    3. sharding / replication
    4. sync conflict
    5. block
    6. hash
    7. strong consistency
    8. long polling
    9. dedup
    10. cold storage
    11. stream
    12. signal

    到這裡你已經會了:怎麼同步得又快又準

    下一階要解決的問題

    媽媽改好了。爸爸的筆電和小孩的平板,怎麼「馬上」知道有新版?

    延伸基礎第 8 階 · long polling懂的人可以跳過

    1. 前幾章的基礎
    2. metadata
    3. sharding / replication
    4. sync conflict
    5. block
    6. hash
    7. strong consistency
    8. long polling
    9. dedup
    10. cold storage
    11. stream
    12. signal

    爸爸想知道有沒有新版,要一直打電話問嗎?

    ① 先想像

    方法一:每 10 分鐘打電話問奶奶「有新版嗎?」。方法二:打一通說「有新版再跟我說」,電話先不掛。

    你猜猜看:一小時內只有 1 次新版。每 10 分鐘問一次,要打幾通?大多聽到什麼?

    ③ 這叫做 polling、long polling

    polling:每隔一段時間主動問一次。long polling:問了先不掛,有消息才回;回完或等太久,馬上再問一次。

    ④ 跟這章的關係

    原書的 notification service 用 long polling 告訴其他裝置「檔案改了」(下一頁)。

    ② 動手玩:一小時內,新版只出現一次

    6打了幾通7 分鐘新版出來後多久才知道

    原書 Step 3Notification service

    原書選 long polling,不選 WebSocket

    這一步要解決的問題檔案在別處改了,其他裝置怎麼「馬上」知道?

    📖 原書 兩個選項

    本地的任何變更都要告訴其他 client,以減少衝突。Long polling:Dropbox 用這個 [10]。WebSocket:client 與 server 之間的持久連線,雙向溝通。兩種都可行,原書選 long polling,兩個理由:

    1. 通知不是雙向的:server 告訴 client 檔案變了,反過來沒有
    2. WebSocket 適合即時雙向溝通,例如聊天 App;Google Drive 的通知不頻繁、沒有突發的大量資料

    📖 原書 Long polling 怎麼運作

    每個 client 跟 notification service 建一條 long poll 連線。偵測到檔案變更,client 關掉這條連線,去 metadata server 下載最新變更。收到回應或連線逾時後,client 立刻再送一個新 request 讓連線保持開著。

    動手比:兩分鐘內檔案在別處被改了三次

    延伸基礎第 9 階 · dedup懂的人可以跳過

    1. 前幾章的基礎
    2. metadata
    3. sharding / replication
    4. sync conflict
    5. block
    6. hash
    7. strong consistency
    8. long polling
    9. dedup
    10. cold storage
    11. stream
    12. signal

    同一張全家福存了三次,保險箱要放三份嗎?

    ① 先想像

    媽媽把同一張全家福(4 MB)存進「手機相簿」「家庭活動」「備份」三個資料夾。

    你猜猜看:三份一模一樣,指紋(hash)也一樣。保險箱最少要放幾份?

    ③ 這叫做 de-duplication(dedup)

    dedup:hash 一樣的 block 只存一份,其他地方只記「去拿那一份」。

    ④ 跟這章的關係

    原書第一個省空間的方法:在帳號層級做 dedup(下一頁)。

    ② 動手玩:媽媽存檔

    媽媽看到的檔案
    保險箱實際放的
    0媽媽看到的檔案0 MB保險箱用掉

    原書 Step 3Save storage space · De-duplicate

    一模一樣的 block,只存一份

    這一步要解決的問題版本越存越多,空間很快就滿。第一招:一樣的只存一份。

    0使用者看到的 block0實際存了幾個–省下

    📖 原書 為什麼要省

    為了版本歷史和可靠性,同一個檔案的多個版本會存在多個資料中心。頻繁備份所有版本,空間很快就滿。原書提出三個技巧,第一個:

    📖 原書 De-duplicate data blocks

    在帳號層級消除重複的 block,是省空間的簡單方法。兩個 block 的 hash 值相同就視為相同。

    簡報補充:為什麼原書只說帳號層級

    跨帳號去重省更多,但有兩個代價:① 上傳一個檔案「瞬間完成」,等於告訴你「別人也有這個檔案」,可以拿來探測別人的資料(side channel);② 原書要求每個 block 加密,如果每個帳號用自己的金鑰,相同內容加密後就不一樣,跨帳號根本比不出來。

    延伸基礎第 10 階 · cold storage懂的人可以跳過

    1. 前幾章的基礎
    2. metadata
    3. sharding / replication
    4. sync conflict
    5. block
    6. hash
    7. strong consistency
    8. long polling
    9. dedup
    10. cold storage
    11. stream
    12. signal

    三年沒翻的舊相簿,要一直放在客廳嗎?

    ① 先想像

    天天翻的食譜放客廳書架,伸手就拿到。三年沒翻的舊相簿,可以搬去郊區倉庫:租金便宜,但要看時得開車去拿。

    你猜猜看:100 本相簿,客廳每本每月 10 元、倉庫每本 1 元。把 90 本沒翻的搬去倉庫,每月付多少?

    ③ 這叫做 hot storage、cold storage

    hot storage:常用的資料放這裡,拿得快、比較貴(例如一般的 S3)。cold storage:很少用的資料放這裡,便宜,但取出要等。

    ④ 跟這章的關係

    原書第三個省空間的方法:幾個月沒動的 cold data 搬到 S3 Glacier 這類 cold storage(下一頁)。

    ② 動手玩:100 本相簿(示意價格)

    1,000 元每月租金0%省下

    原書 Step 3Save storage space · 備份策略與 cold storage

    一份文件短時間存了 1000 次,要全部留嗎?

    這一步要解決的問題每改一次就存一版,要存幾版?很少用的舊資料放哪?(第二、三招)

    20保留的版本–最早能回到

    –每月儲存費(示意)

    示意假設:冷儲存單價是 S3 的 1/10;檔案多久沒被存取的分布是虛構的。

    📖 原書 智慧的備份策略

    • Set a limit:設定版本數上限,達到上限時最舊的版本被新版本取代
    • Keep valuable versions only:有些檔案改很頻繁,每次都存可能短時間內存超過 1000 次。限制保留的數量,近期的版本權重較高;最佳數量要靠實驗找出來

    📖 原書 不常用的搬到 cold storage

    Cold data 是幾個月甚至幾年沒有動過的資料。像 Amazon S3 Glacier [11] 這樣的 cold storage 比 S3 便宜很多。

    文組翻譯

    日記本每寫一個字就影印一次,一天印一千份。設上限:只留最新 20 份。留有價值的:今天的每份都留、昨天每小時留一份、上週每天留一份。三年沒翻的舊相簿,搬去便宜的倉庫。

    原書 Step 3Failure handling

    每個元件壞了,原書怎麼接手

    這一步要解決的問題每個元件都會壞。壞了誰接手?

    點一個元件把它弄壞:

    動手算:notification server 掛了,大家要多久才連回來?

    100 s全部連回來要多久

    每台約一百萬條連線是原書引用的 Dropbox 2012 年分享 [6];重連速率是示意值。

    📖 原書 大型系統一定會有故障,要有設計策略來應對;面試官可能想聽你怎麼處理這些故障。

    原書 Step 4Wrap up

    原書的收尾:兩條流程,加兩個可以聊的設計選擇

    這一步要解決的問題主體設計完,面試最後還能聊什麼?

    📖 原書 這章做了什麼

    Strong consistency、低頻寬、快速同步的組合讓這個設計有趣。設計有兩條流程:管理檔案 metadata 和檔案同步。Notification service 是另一個重要元件,用 long polling 讓 client 隨時知道檔案變更。沒有完美的解法,每家公司有自己的限制;知道設計與技術選擇的取捨很重要。

    📖 原書 另一個有趣的演進:把上線 / 離線的邏輯搬到獨立的 presence service。從 notification servers 拆出來之後,其他服務也能輕鬆整合上線 / 離線功能。

    白話:presence service=專門記「誰在線上」的服務。

    動手比:讓 client 直接上傳到 cloud storage?

    到這裡你已經會了小結 3 / 4

    1. 前幾章的基礎
    2. metadata
    3. sharding / replication
    4. sync conflict
    5. block
    6. hash
    7. strong consistency
    8. long polling
    9. dedup
    10. cold storage
    11. stream
    12. signal

    到這裡你已經會了:原書的完整設計

    下一階要解決的問題

    原書講完了。Triton 會追問什麼?他大多同意,但有四個細節要補。

    Triton 觀點先看全貌

    這一章,原書和 Triton 大多站在同一邊

    ✅ 同意 原書做對的地方

    • metadata 放關聯式資料庫、要 ACID(第 39 頁)106 · 073
    • 檔案不放 DB,DB 只放 metadata(第 40 頁)181 · 144 · 073
    • 通知用 server push / long polling,不讓 client 一直問(第 43 頁)185 · 113 · 073 · 071
    • block 用 hash 識別:073 也提到在檔名加 MD5 解決 file caching(第 40 頁)073

    ❌ 不同意 / 原書沒講

    • 10 GB 的檔案怎麼在 block server 裡流動:要當 stream,不能整份讀進記憶體(第 42 頁)130 · 128
    • 通知是 Signal,掉了可以補;offline backup queue 不一定需要(第 45 頁)078
    • upload callback 掉了,檔案永遠 pending(第 46 頁)020
    • 「放進 S3 就能安心睡覺」:replication 擋不住刪除(第 47 頁)073 · 019

    文組版:原書教的「正本放保險箱、目錄本要準、有新版打電話」,Triton 都同意。他會追問的是細節:影印一本 10 GB 的書時,你是不是先把整本搬上桌(記憶體)?電話沒打通,紙條真的需要嗎?保險箱複製了三份,有人拿碎紙機進去怎麼辦?

    Triton 同意106 · 073 · metadata 放 RDBMS

    ✅ 不能不見的 data,放 RDBMS

    「主要還是一句:不能不見的data,我一定存到RDBMS」🗣️ Triton 本人說 106-喵 data.md

    「別輕易使用noSQL」「大部份時間,是系統瓶頸所在 – 別以為換成noSQL便能安心……」🗣️ Triton 本人說 073-lesson3.pdf.md · 第 24–25 頁〈Main DB〉

    🔭 推論 原書選 RDBMS 的理由是「ACID 原生支援」,metadata 掉了或錯了,檔案就等於不見(block 還在 S3,但沒人知道怎麼拼回去)。這正是 106 說的「不能不見的 data」。

    「如果是小型系統,單純scale up便算了 如果是大型系統,始終還是要走Hbase那些方向的」「要RDBMS的clustering其中雷區冒險,我還不如走傳統的sharding路線」「正常沒亂來的系統,在20core + 200GB RAM的暴力機器下,絕大部份都沒需要玩clustering」🗣️ Triton 本人說 106

    🔭 原書說 metadata DB 要 sharding,shard key 選什麼?

    🔭 block 表的 PK 若是 (file_version_id, block_order),重建一個版本就是一次 Range Scan on Primary Key(104:「MySQL innoDB的底層結構是Index-organized-table,資料是以Primary Key來順序排列的」)。

    Triton 同意181 · 144 · 073 · 檔案不要塞進 DB row

    ✅ DB 只放 metadata,檔案放外面

    「請先理解在RDBMS世界中…storage會被切割成8KB(Oracle, PostgreSQL, MSSQL) / 16KB的data blocks 而一個row必須要完整地存到某一個data block內 像是text / blob這些很可能很會大的data type,很可能會>8KB的,所以,RDBMS會把這些text / blob的內客externalize,然後在row record內只存放externalized address 這樣做的後果,是讓本來能一次disk IO解決東西,變成了需要二次disk IO才能解決」🗣️ Triton 本人說 181(檔名即首句)· 「內客」照原文

    🗣️ 「(postgresql該機制名字叫TOAST,default觸發點為單一column 2KB)」144-喵談分表.md

    🗣️ 「有人說:File應該以BLOB物件放到Main DB,但是 – File一般建立後極少被改動 – RDBMS一般用上系統中最高級的SSD,而File一般不需要這種效能」「延伸思考:在檔案名字中額外加上MD5,許多能解決很多File caching問題」073 · 第 30 頁 File DB

    動手看:列出一個資料夾的 50 個檔案

    –要讀的 8KB page–DB 要裝下(原書 500 PB 配置)

    延伸基礎第 11 階 · stream懂的人可以跳過

    1. 前幾章的基礎
    2. metadata
    3. sharding / replication
    4. sync conflict
    5. block
    6. hash
    7. strong consistency
    8. long polling
    9. dedup
    10. cold storage
    11. stream
    12. signal

    要抄一本 1,000 頁的書,整本搬上書桌嗎?

    ① 先想像

    書桌只放得下一小疊。方法一:整本搬上桌再抄。方法二:一次拿 10 頁,抄完寄出,再拿下 10 頁。

    你猜猜看:書桌放得下 100 頁。同時有 5 本 1,000 頁的書要抄,每次拿 10 頁,書桌上最多放幾頁?

    ③ 這叫做 memory、stream

    memory:電腦的書桌,很快,但很小。stream:資料像水管裡的水,一段一段流過,手上只握固定的一小段。

    ④ 跟這章的關係

    block server 要切塊、壓縮、加密 10 GB 的檔案。Triton:當 stream,不要整份放進 memory(下一頁)。

    ② 動手玩:書桌放得下 100 頁

    50書桌上的頁數(上限 100)放得下書桌

    Triton 補充130 · 128 · 原書沒說 block server 怎麼讀檔案

    10 GB 的檔案,記憶體只用固定的一小塊

    你猜猜看:原書沒說 block server 怎麼讀檔案。如果每個階段都把整份讀進 memory,64 GB 的機器同時收 20 個 10 GB 的檔案,會怎樣?

    –block server 記憶體(示意:64 GB 機器)

    「即使你看完總共23GB的影片也好,你也只用上了固定的很小塊Memory。」(原文連說五次)「如果這份data要做多個階段的…你的Application code應該是把不同階段的上下游,用 Reader(如果是data input)/Writer(如果是data output)串接起來。千萬不要先做一個階段再把整份data放memory。」🗣️ Triton 本人說 130-喵談 io streaming.md

    🗣️ 「我們應該把File當成Stream而不是ByteArray」(原文連說五次)128 · 主文;同串其餘留言與 139 的內文是 ChatGPT 回答,不引用

    🔭 推論 Figure 11 的「切塊 → 壓縮 → 加密 → 上傳」正是 130 說的多階段處理。每一段用 Reader / Writer 接起來,一個 block server 同時處理幾十個 10 GB 檔案也只用固定的 buffer;130 也提醒解壓時的 zip bomb:「unzippedData是100TB的你怎麼辦?」

    Triton 同意185 · 113 · 073 · 071 · 推,不要一直問

    ✅ 原書的 long polling,Triton 的架構圖裡也有

    你猜猜看:B 想知道 A 買菜回來沒,每 2 秒問一次「我的食材呢」。A 買菜要 10 分鐘,B 問了幾次?

    「不好架構: B使用polling,每2秒就問A:「我的食材呢」 好架構: A建立websocket(或任何server push技術),安靜地等A去買東西和告訴結果。」🗣️ Triton 本人說 185-電商用 queue-.md

    「如果你的客戶端需要持續更新資料(比如說股票價格,籃球比賽分數),你知道不應該每數秒做一次Get request,而是應該打開websocket / Firebase push notification(或是相似的技術)」🗣️ Triton 本人說 113-喵的 backend 測驗.md · 第 6 題

    🗣️ 「20年前,大家看網上即時籃球比賽,那時大部份網站還沒有long-polling…… – 為了知道自己心愛球隊是否得分,大家只好不停按<F5>」071-lesson2.pdf.md · 第 41 頁

    🗣️ 「應該先告訴用戶:你的請求收到了,工作做好了我會告訴你的」;同一份投影片的「Asynchronous API and Server Push」架構圖也畫了 Long Polling Server。012-Advanced_Database_Skills.pdf.md · Async IO

    🗣️ Triton 本人說 Long Polling Server(LPS)

    「如果你是要把Message推送到手機上,請使用GCM / APNS,別自行來架Server」「除非你的系統流量很大,用AS處理Long Polling便好」「使用獨立LPS的好處 – 你能改用專精負責Long Polling的語言 – 你不用擔心AS的execution worker pool被用光光」073 · 第 23 頁;第 4 頁的「最終系統架構圖」也有 Long Polling Server

    🗣️ 但是:越少模組越好

    「越少模組,便代表 – 你需要監控和管理的模組便越少 – 代表你的團隊需要掌握的語言/技術便越少」「WTF!? 我只是想寫一個小網站而己 所以才叫你們不要看見別人的架構很漂亮便立即閉上眼睛跟著做啊」073 · 第 5、8 頁

    🔭 推論 原書的 notification service 一台撐一百萬條連線,是 Dropbox 等級。流量沒到那裡,long polling 先放在 AS;手機端照原書 device 表的 push_id,交給 APNs / FCM。

    延伸基礎第 12 階 · signal懂的人可以跳過

    1. 前幾章的基礎
    2. metadata
    3. sharding / replication
    4. sync conflict
    5. block
    6. hash
    7. strong consistency
    8. long polling
    9. dedup
    10. cold storage
    11. stream
    12. signal

    漏接了「有新版」的電話,要緊嗎?

    ① 先想像

    奶奶打電話說「番茄湯有新版」。爸爸手機沒電,漏接了。可是新版好好地放在奶奶家,目錄本也記著。

    你猜猜看:爸爸開機後,要怎麼知道漏了什麼?

    ③ 這叫做 signal、message

    signal:「有事了,快來看」的提醒;掉了,自己去查就補回來。message:本身就是資料,絕對不能掉,要用 message queue 這類會先存起來的系統送。

    ④ 跟這章的關係

    原書的「檔案改了」通知是哪一種?下一頁 078 揭曉。

    ② 動手玩:漏接幾通電話看看

    奶奶家的目錄本v3
    爸爸的筆電v3
    漏接的電話0 通

    Triton 補充078 Signal vs Message · offline backup queue 真的需要嗎

    「檔案改了」是 Signal:掉了,上線時 GET 補回來

    「Signal – 要高度即時性 – 丟失沒太大差 Message – 可以排隊一個一個工作慢慢來~ – 絕對不能丟失」🗣️ Triton 本人說 078-mq-intro.pdf.md · 第 8 頁

    「如果UserB斷線了,用GET API也能得到斷線期間的留言 – i.e. 斷線期間的留言,不經WebSocket重傳也沒差啊 – 所以,chatroom系統內的是Signal,不是Message」「Message一定用MQ Server來傳,Signal有很多手段的~」🗣️ Triton 本人說 078 · 第 9 頁「反思問題」

    🔭 推論 原書的下載流程本來就是「收到通知 → 去 metadata DB 拿變更」,真正的資料在 RDBMS。通知只是叫你去看,跟 078 的聊天室一樣是 Signal。離線的 client 上線時用 GET /changes?since=<上次看到的 version> 就能補齊,不一定需要另一條會壞、要複寫的 offline backup queue。

    你猜猜看:原書:client 離線時,通知先放進 offline backup queue。如果這個 queue 壞了、通知掉了,檔案會不見嗎?

    動手分類:點卡片看答案

    Triton 補充020 MQ解法 · upload completion callback 掉了怎麼辦

    檔案卡在 pending:用一張 outstanding_tasks 表

    你猜猜看:上傳流程的 2.3:上傳完成時 cloud storage 送 callback 給 API servers。如果 block server 中途當機,callback 永遠沒來,檔案會?

    file
    outstanding_tasks

      🗣️ Triton 本人說 020 的原題與解法

      讀者來信:第三方 async task「只能不停地發HTTP GET去看看工作做完了沒有」。最佳解:「換一家有支持Callback的服務供應商便好。」暴力解:「建立一個outstanding_tasks的table(不使用redis的原因是怕redis當掉後data loss有工作變成孤兒)」。哭哭解:outstanding_tasks 加 create_time 與 index,把 create_time 丟進 MQ;「第三方服務上做完的工作,便把其ID丟到message queue,然後讓另一個worker來做後續工作,做完後才刪掉對應的outstanding_tasks。」「(補充:如果這個worker死掉,重新起來時對outstanding_tasks整個拿便好)」

      020-MQ解法.md

      🔭 推論 原書有 callback(步驟 2.3),屬於 020 的「最佳解」;但原書沒說 callback 沒送到、或 block server 中途當機時怎麼辦,只寫「其他 server 會接手未完成的工作」。誰知道哪些工作沒完成?就是這張放在 RDBMS 的表。

      Triton 不同意073 · 019 · 「放進 S3 就能安心睡覺」

      ❌ Replication 會連刪除和加密一起複製

      你猜猜看:原書:檔案放進 S3、跨兩個區域複寫,「終於可以安心睡覺」。爸爸的電腦中了勒索軟體,所有食譜被加密後同步上去。跨區複寫救得了嗎?

      動手選一個災難,看哪道防線救得了

      「RAID只能保護單一SSD故障 – 電源短路/打翻泡麵時,所有SSD都會一起陣亡」「Master/Slave Replication保護不了壞人刪除數據」「只有以離線儲存的備份數據,才是真正安全的」🗣️ Triton 本人說 073-lesson3.pdf.md · 第 24 頁 Main DB

      「Amazon S3只保證資料流失機會率<10^-9 – 這世界沒東西是永久的(包括愛情?)」「軍事戰略:defense in depth(縱深防禦)」「不要把所有氣力放在一條防線上,而是建立多層防線」🗣️ Triton 本人說 019-Introduction_to_database.pdf.md「勇敢地面對數據流失」

      🔭 推論 原書的跨區複寫擋的是「一個 region 掛了」。雲端硬碟最可怕的反而是同步本身:使用者電腦中了勒索軟體,加密後的檔案會被當成「新版本」同步到所有裝置、所有 region。原書的 file_version「既有 row 唯讀」是好的第二道防線,但 metadata DB 本身也要有離線備份。

      到這裡你已經會了小結 4 / 4

      1. 前幾章的基礎
      2. metadata
      3. sharding / replication
      4. sync conflict
      5. block
      6. hash
      7. strong consistency
      8. long polling
      9. dedup
      10. cold storage
      11. stream
      12. signal

      到這裡你已經會了:Triton 的追問

      12 階全部走完了

      下一頁是 2026 補充,再來是一句話總結和名詞小卡。

      📅 2026 補充書本身的時間差

      S3、Glacier、SSL 這幾個名詞都變了

      📅 2026 補充

      S3 現在是 strong consistency

      Amazon S3 從 2020 年 12 月起,所有 GET、PUT、LIST 都提供 strong read-after-write consistency,不用額外設定。原書要求的 strong consistency 主要在 metadata DB 與 cache,這點不受影響;但「剛上傳完的 block 立刻讀得到」現在不用自己擔心了。

      📅 2026 補充

      Glacier 變成 S3 的 storage class

      原書引用的 S3 Glacier,現在分成 Glacier Instant Retrieval、Flexible Retrieval、Deep Archive 幾種 S3 storage class,取回時間從毫秒到數小時不等。另有 S3 Intelligent-Tiering 依存取頻率自動搬移,原書「把冷資料搬過去」可以交給它做。

      📅 2026 補充

      SSL 已經退場,HTTPS 用的是 TLS

      原書寫「Secure Sockets Layer (SSL) protects data transfer」。SSL 3.0 在 2015 年被 IETF 正式棄用,現在的 HTTPS 是 TLS 1.2 / 1.3。原書引用的 Google Drive API 是 v2 文件,現行版本是 v3,resumable upload 的三步驟概念不變。

      一句話記住

      只寄改過的那一頁,目錄本要準;
      影印時一頁一頁來,正本另外鎖一份。

      原書對的地方

      • 檔案切成 block、用 hash 識別、delta sync + 壓縮 + 加密
      • metadata 放關聯式資料庫,cache 寫入時失效,要 strong consistency
      • 先處理的版本贏,衝突留副本讓使用者選
      • long polling 通知,dedupe、版本上限、cold storage 省空間

      Triton 也這樣做

      • 不能不見的 data 放 RDBMS,先 scale up,再走傳統 sharding
      • 檔案不塞進 DB row,DB 只放 metadata,檔名加 MD5
      • server push,不要讓 client 每幾秒問一次

      Triton 會追問

      • 10 GB 的檔案有沒有當 stream 處理?
      • 通知掉了,能不能靠 GET 補回來?
      • callback 沒來,誰記得哪些工作沒做完?
      • 有人刪掉或加密了檔案,replication 救不了

      本章名詞小卡課後複習用 · 每個名詞一句白話

      今天出現的名詞,一句話講完

      DAU每天實際來用的人數
      QPS每秒幾個 request;看最忙那一秒
      database(DB)記正本的帳本,停電也不會忘
      cache放手邊的小抄,快但不是正本
      load balancer帶位員,把流量分給好幾台 server
      metadata關於檔案的資料:名字、版本、誰改的、正文在哪
      object storage用名字放進去、拿出來的大保險箱(Amazon S3)
      bucket、regionS3 裡的資料夾/雲端廠商的一個地理區域
      sharding依規則把資料分到好幾台機器
      replication同一份資料複製到好幾個地方
      SPOF只有一個、它一壞全部停
      version、sync conflict每改一次加 1/你改的那版已經不是最新的

      給工程師的重點出處與標籤

      引述來源(materials/core)與原書對照

      Triton 本人的講義 / 文章

      • 130-喵談 io streaming.md — 固定 buffer、23GB 只用固定的很小塊 Memory、多階段用 Reader / Writer 串接、zip bomb
      • 128-喵談 buffer stream and local cache.md — 主文「我們應該把File當成Stream而不是ByteArray」;同串其他留言與 ChatGPT 段落不引用
      • 181(8KB data block、text / blob externalize、二次 disk IO)· 144-喵談分表.md(PostgreSQL TOAST,2KB 觸發)
      • 073-lesson3.pdf.md — 最終架構圖(Long Polling Server、File Database)、越少模組越好、LPS、Main DB 別輕易用 noSQL、Replication 保護不了刪除、離線備份、File DB 不放 BLOB、檔名加 MD5
      • 106-喵 data.md — 不能不見的 data 存 RDBMS、先 scale up、傳統 sharding、20core + 200GB RAM
      • 185 polling vs server push · 113 第 6、7 題 · 071 long polling 與 TCP 連線變爛 · 078 Signal vs Message、斷線用 GET 補 · 020 outstanding_tasks · 019 S3 10^-9、defense in depth · 104 Range Scan on PK · 012 Async IO 與 server push 架構

      不引用:139(內文是 ChatGPT 回答,只有標題是 Triton 的話,與 128 同句)、145(144 的改寫版)、190–195(AI 生成)、061(Roy 的專案報告,用了 S3 + presigned URL,可當實作參考但不是 Triton 觀點)。

      原書對照

      Alex Xu, System Design Interview Vol.1 Ch.15。開頭與 Figure 1–2(第 4 頁);Step 1 需求(6)與估算(7);單一伺服器與 Figure 3(9);APIs(10);Move away from single server 與 Figure 4–5(12)、Figure 6(13)、Figure 7(14);Sync conflicts 與 Figure 8–9(16);High-level design 與 Figure 10(20);Block servers 與 Figure 11–12(21–22);High consistency(24);Metadata database 與 Figure 13(25);Upload flow 與 Figure 14(26);Download flow 與 Figure 15(27);Notification service(30);Save storage space(32–34);Failure handling(35);Wrap up(36)。15 張圖都依圖說與 alt 描述重繪,不是原圖;Figure 1–2 是產品截圖,只畫線框。

      循序漸進(文組版)的頁面

      學習地圖(第 3 頁);延伸基礎 12 階:前幾章的基礎(5)、metadata(8)、sharding / replication(11)、sync conflict(15)、block(18)、hash(19)、strong consistency(23)、long polling(29)、dedup(31)、cold storage(33)、stream(41)、signal(44);小結(17、28、37、48);名詞小卡(51)。第 1、3 階是複習頁,連到 01、02 章。食譜情境與相簿租金、書桌頁數等是示意數字,不是實測值。

      一個可以直接問自己的問題

      你的上傳服務同時收 50 個 10 GB 的檔案時,記憶體用多少?如果明天有人把所有檔案加密後同步上來,你能回到昨天嗎?

      ← → 翻頁 · S 講者備註 · D 深/淺色
      1 / 1目錄