Mobile System Design Interview · 第 8 章Triton 覆蓋度:🟠 低Triton 線

Design a Google Drive App
10 GB 的影片,過了隧道也要接著傳

原書設計一個 1,000 萬 DAU 的 Google Drive 手機 client:REST API 管檔案、資料夾與版本,SSE / WebSocket 收變更通知;手機用 relational DB 存 metadata、私有儲存放下載的檔案;最大 10 GB 的檔案用 resumable upload 一塊一塊傳,斷線就從最後確認的那塊接下去;版本衝突用 optimistic concurrency 偵測,再選 last-write-wins 或分叉。Triton 沒有寫過手機 client,也沒談過 chunked upload 的細節、離線同步或衝突解決,所以這份以原書為主,後段只在他講過的通用原則上做對照。

給文組

全程只用「把一本很厚的相簿寄到國外」一個比喻,一階一階爬 12 個概念。頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。

給工程師

前 41 頁完整講原書(7 張圖全部重繪;Figure 1、7 是 App 截圖,改畫成 wireframe)。後端的 block、delta sync、metadata DB 在 03 第 15 章 Google Drive 簡報,這裡不重講。

標籤怎麼看

📖 原書 🗣️ Triton 本人說 🔭 依 Triton 原則推論 📅 2026 補充

先用生活理解寄一本很厚的相簿 · 動手玩

10 公斤的相簿寄到國外:拆成十箱,每箱拿一張回條

0總共搬了幾箱的重量0白搬了幾箱

一本很厚的相簿要寄到國外。整本一次寄,路上郵局罷工就要整本重寄;拆成一箱一箱寄,每箱寄到都拿一張回條,罷工結束後從回條上的下一箱接著寄就好。

這一章的對照表

生活Google Drive App(原書用語)
一本很厚的相簿最大 10 GB 的檔案
拆成一箱一箱chunks,chunkSize 由 backend 決定
寄件單號uploadId(一個 upload session)
回條:「已收到前 3 箱」chunksProcessed
單號抄在筆記本上把 UploadResponse 存到磁碟
單號過期就從頭寄uploadExpiresAt
相簿改版,舊版留底FileRevision
兩個人同時改同一本409 Conflict、LWW、版本分叉

學習地圖本章的概念階梯

今天爬 12 階。每一階只用前面講過的東西。

  1. 1後端基礎櫃台、填單、總帳(複習)
  2. 2push倉庫主動傳簡訊(複習)
  3. 3metadata相簿的目錄本
  4. 4thumbnail郵票大小的小照片
  5. 5空間預算家裡的櫃子只有這麼大
  6. 6chunk拆成一箱一箱
  7. 7resumable單號和回條
  8. 8背景任務請管理員代寄
  9. 9block只寄改過的那頁(複習)
  10. 10sync conflict家裡和公司都改了
  11. 11加密保險箱和鑰匙
  12. 12stream / 重送一箱一箱搬、箱號認得出(複習)

第 1–4 階 · 相簿在雲端,手機怎麼看

要回答:手機跟雲端怎麼說話?清單和圖片從哪來?

第 5–7 階 · 櫃子小、網路會斷

要回答:10 GB 的影片,斷了怎麼接著傳?

第 8–10 階 · App 被關、兩台都改了

要回答:進度記在哪?誰的版本算數?

第 11–12 階 · 加密,和 Triton 的對照

要回答:手機掉了怎麼辦?Triton 的原則對得上嗎?

全程只用一個情境:把一本很厚的相簿寄到國外的倉庫

相簿 = 檔案(最大 10 GB)國外的倉庫 = backend(雲端)相簿的目錄本 = metadata家裡的櫃子 = 手機儲存空間一箱一箱 = chunk單號+回條 = uploadId+chunksProcessed家裡和公司各一本影本 = 同一個人的兩台裝置

每爬 3–4 階,有一頁「到這裡你已經會了」。

原書開場Cloud storage on mobile · Figure 1

雲端硬碟搬進手機:瀏覽、上傳、下載、離線看

這一步要解決的問題雲端硬碟的手機版到底要做哪些事?先看一個真的 App 長什麼樣。

📖 原書 Figure 1Google Drive 截圖(依原書內容重繪成 wireframe)

📖 原書 雲端儲存已經是跨裝置處理檔案的基礎。Google Drive、Dropbox、Microsoft OneDrive、Apple iCloud 把雲端儲存無縫接進日常工作,改變了檔案管理的方式。這一章設計 Google Drive 的行動 client。

📖 原書 Figure 1 是 Google Drive 的手機介面,說明複雜的需求怎麼變成簡潔好用的體驗。

原圖上有什麼

  • 左:Suggested 分頁,檔案依類型圖示(文件、試算表、簡報)列出,附「You edited · Apr 25, 2024」與編輯者名字
  • 上方:Search in Drive、頭像、Activity 分頁;下方:Home、Starred、Shared、Files
  • 右:My Drive,資料夾 Work、Holidays;底部選單有 Upload file、Scan document、Take photo、Create folder,以及新建 Google Docs、Sheets、Slides

為什麼畫成 wireframe

原圖是 iPhone 上兩張 App 截圖。產品截圖不適合重畫,這裡依 alt 描述畫成線框圖:檔名照原圖,畫面不是真的 App。

延伸基礎 · 複習第 1 階 · 後端基礎(複習)懂的人可以跳過

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

寄相簿之前:郵局櫃台、寄件單、總帳本(複習五個詞)

① 先想像

你到郵局櫃台填一張寄件單。櫃台把它記進總帳本;常被問的事,櫃台旁邊貼了一張小抄。

你猜猜看:App 被下載了 5,000 萬次,每天真的打開的有 1,000 萬人。原書說的「1,000 萬 DAU」是哪一個?

④ 跟這章的關係

這本書的主角是手機。雲端那一側懂到這裡,就看得懂原書的需求和 API。

② 動手玩:App 要列出「Work」資料夾

—多久拿到回覆(示意)

原書 Step 1Understand the problem and establish design scope

先問清楚:多大的檔案?要不要版本?一個人還是多人?

這一步要解決的問題檔案多大、要不要留舊版、幾台裝置?範圍沒定好,後面的設計全部會偏。

📖 原書 應徵者 × 面試官

應徵者問面試官答
核心功能:上傳、下載(需要時可取消)、建立與刪除資料夾、支援照片影片文件等常見格式,這樣起頭可以嗎?基本需求都有了。手機網路不穩,上傳要能續傳,斷線後從中斷處接著傳
續傳對大檔案、不穩的網路特別有用。檔案大小上限要設多少?10 GB
同一個檔案可能上傳很多次,要不要做版本控制,能追蹤變更、還原舊版?要,這是雲端儲存很重要的功能
使用者常在多台裝置上用,要無縫同步。是單一使用者多裝置,還是要考慮分享這類多使用者情境?簡化起見,單一使用者、多裝置;分享與權限管理先不做
非功能需求:大量使用者的 scalability,網路差時也能可靠存取檔案的 durability?完全正確。規模抓每日約 1,000 萬 DAU
Google Drive 的 Docs、Sheets 有即時編輯與協作,要做嗎?Docs、Sheets 當一般檔案,不做即時編輯與協作

白話:scalability=人變多也撐得住;durability=資料不會丟、拿得到;DAU=每天打開 App 的人數(第 5 頁);OT / CRDT=多人同時打字的合併技術,這章不做。

文組翻譯

接案前先問:相簿最重寄幾公斤(10 GB)?舊版要不要留(版本)?是你一個人用手機、平板、電腦三台輪流寄,還是全家一起改(單一使用者多裝置)?

和 03 第 15 章比

SDI 第 15 章也是 Google Drive,規模一樣抓 1,000 萬 DAU,重點在後端:block server、metadata DB、notification service。這一章只看手機 client 和它跟後端的 API,後端當成一個方塊。

問答裡最關鍵的一句

「Since this is a mobile app, network reliability can be an issue」:手機的網路會斷。整章的 resumable upload、背景任務、錯誤處理,都是從這一句長出來的。

原書 Step 1Requirements · 動手分類

五個功能需求、兩個非功能需求、兩件不做的事

這一步要解決的問題把面試聊出來的東西整理成清單:要做什麼、做到多好、什麼不做。

📖 原書 Functional

  • 上傳、下載最大 10 GB 的檔案,進行中可以取消
  • 建立、刪除資料夾來整理內容
  • 檢視並還原檔案的舊版本
  • 中斷的上傳可以續傳
  • 檔案在使用者的多台裝置間同步

📖 Non-functional

  • Scalability:1,000 萬 DAU、持續成長的使用者與資料量,各種網路與裝置都要撐住
  • Data durability:網路很差時,使用者也要能可靠地存取已下載的檔案

📖 Out of scope

  • 即時協作(Docs、Sheets 的多人編輯)
  • 使用者之間的協作功能,例如檔案分享與權限

猜猜看:這句是哪一類?

原書 Step 1UI sketch · Figure 2

三個畫面:上傳視窗、檔案清單、版本紀錄

這一步要解決的問題使用者會看到哪幾個畫面?先畫草圖,後面才知道 API 要提供什麼。

📖 原書 Figure 2我們的 Google Drive App 基本草圖(依原書內容重繪)

📖 原書 Figure 2 是 App 的核心畫面:

Files List screen(中)

App 的主要樞紐,使用者在這裡看、管理檔案和資料夾。

Upload Modal(左)

簡單、專注的上傳介面。

File Revisions screen(右)

某個檔案的版本歷史,可以檢視與還原。

原圖上有什麼

  • 每一列:小圖示、「Modified Jul 1, 2025」、「⋯」選項
  • 左邊清單下方有「Create folder」「File upload」;中間底部有「+」,彎箭頭從「+」指到左邊
  • 右邊每一列有 checkbox、「Modified Jan 10, 2025」、OPEN、RESTORE;最上面一列是「Current version」

延伸基礎 · 複習第 2 階 · push(複習)懂的人可以跳過

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

倉庫有新照片了:你每 5 分鐘打電話問,還是等倉庫傳簡訊?

① 先想像

你的相簿放在國外倉庫。平板剛剛加了一張新照片,手機想早點知道。

你猜猜看:每 5 分鐘打一通電話問「有新的嗎」,一天要打幾通?

③ 這叫做 polling、push(複習)

polling:每隔一段時間打去問push:有變化時對方主動通知你WebSocket:不掛斷的雙向電話原書另一種 push 是 SSE(Server-Sent Events):只有 server 能講的單向廣播線。

④ 跟這章的關係

原書:上傳、下載這些動作走 REST;「檔案變了」的通知走 SSE 或 WebSocket,只是訊號,不帶內容。

② 動手玩:一天之中,電話和簡訊

288一天的電話/簡訊285白打的

原書 Step 2API design · Network protocol

動作走 REST,「檔案變了」的通知走 SSE 或 WebSocket

這一步要解決的問題「我要做一件事」和「有變化時通知我」是兩種需求,各用什麼方式跟雲端說話?

📖 原書 Google Drive App 主要是 client 發起的動作:上傳、下載、整理資料夾。用 HTTP + REST API 是簡單又被廣泛採用的做法。

📖 原書 即時通知(例如共享的檔案被更新)要另外補上 WebSockets 或 Server-Sent Events(SSE)。這些通知主要是告訴你有變更,不傳檔案內容,所以兩種都能輕鬆處理這種輕量的更新。

📝 原書 Note gRPC 也是好選擇

這裡用 REST,但以這個規模,gRPC + Protocol Buffers 也很適合:

  • Binary encoding,效能更好
  • 強型別,API 更可靠
  • 有效率的雙向 streaming,支援即時檔案更新

熟 gRPC 的話可以照著改 API;後面討論的模式不管選哪個協定都適用。

📝 原書 Note 所有 request 都要

  • Authorization header 帶 JWT bearer token
  • JSON content type(application/json)

和一般 REST API 一樣:client 錯誤回 4xx(認證無效、資源不存在、格式錯誤),server 錯誤回 5xx。

白話:JWT=登入後拿到的通行證,每張 request 都出示;gRPC、Protocol Buffers=把資料印成「條碼」給機器讀的另一套說話方式(複習)。

猜猜看:這個動作走哪條路?

Triton 對「推,不要一直問」的說法見第 47 頁

延伸基礎第 3 階 · metadata懂的人可以跳過

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

相簿本身很重,目錄本很薄:列清單時要拿哪一個?

① 先想像

每本相簿配一本薄薄的目錄:一行寫一本,記名字、多重、放在哪個櫃子、上次哪天改的。

你猜猜看:你只想知道「Holidays 資料夾裡有哪些東西」,要把每本相簿都寄回來嗎?

③ 這叫做 metadata、fileId

metadata:描述檔案的資料,就是目錄本上的那一行。fileId:每個檔案獨一無二的編號,像身分證字號。

④ 跟這章的關係

原書的 File 物件就是一行 metadata(id、name、mimeType、size…);裡面的 downloadUrl 才指向檔案本身。

② 動手玩:打開一個有 4 個檔案的資料夾

—要下載多少—要等多久(示意:每秒 2 MB)

原書 Step 2Endpoints and data models · Files and folders · 動手點

資料夾也是一種檔案:同一組 endpoint 管兩種

這一步要解決的問題列清單、看細節、下載、新增、刪除、改名:每個動作要打哪個窗口?

📖 原書 Google Drive 的資料夾行為就像特殊類型的檔案,所以檔案和資料夾統一用一組 endpoint 管理。

動作Endpoint說明
List filesGET /v1/files?parentId={fileId}&page={page}&limit={limit}回 200 OK + GetFilesResponse;parentId 選填,沒給就是根目錄
Get file detailsGET /v1/files/{fileId}回 200 OK + File
Download fileGET {downloadUrl}網址由 File 物件提供
Create file or folderPOST /v1/filesBody:metadata(例如 name、mimeType、parentId)
Delete file or folderDELETE /v1/files/{fileId}
Update metadataPATCH /v1/files/{fileId}

白話:endpoint=API 的一個窗口網址;GET 拿、POST 新增、PATCH 改幾個欄位、DELETE 刪;mimeType=檔案類型(例如 image/png);checksum=檔案的指紋,下載完比對就知道有沒有壞。

原書表格是 Kotlin、Swift 兩欄並列
data class GetFilesResponse
  files: List<File>
  pagination: PaginationMetadata
data class File
  id: String
  name: String
  mimeType: String
  size: Long
  downloadUrl: String?
  checksum: String?
  ...

動手點:App 會送出哪個 request?


      

原書 Step 2File revisions · 動手還原

每個檔案有一串版本:列出、看細節、還原

這一步要解決的問題存檔蓋掉了想拿回舊版:舊版怎麼列出來、怎麼還原?

📖 原書 介紹完檔案管理,接著是版本控制:追蹤變更、還原過去的狀態。為了讓使用者看到並還原檔案歷史,加上綁在每個檔案底下的 revision endpoint。

# List revisions
GET /v1/files/{fileId}/revisions?page={page}&limit={limit}

# Get revision details
GET /v1/files/{fileId}/revisions/{revisionId}

# Restore revision
POST /v1/files/{fileId}/revisions/{revisionId}/restore
data class FileRevision
  revisionId: String
  fileId: String
  mimeType: String
  size: Long
  modifiedAt: String
  downloadUrl: String
  checksum: String

📖 原書 這樣 client 就能輕鬆檢視、還原文件的舊版本。

動手點:File revisions 畫面


      

文組翻譯:相簿每次改版都拍一張照片存檔。想看舊版就翻那張照片(OPEN),想回到舊版就照著那張照片重做一本(RESTORE)。

延伸基礎第 4 階 · thumbnail懂的人可以跳過

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

翻目錄時,每張照片印成郵票大小就好

① 先想像

目錄本上,每張照片旁邊貼一張郵票大小的小照片。真的想看,才把原尺寸那張寄來。

你猜猜看:一頁清單 20 張照片,原圖每張 4 MB、小照片每張 0.04 MB。滑過一頁,兩種各要下載多少?

③ 這叫做 thumbnail、CDN

thumbnail:縮圖,清單上用的小照片。CDN:開在你家附近的分店倉庫,圖片從那裡拿最快(複習)。

④ 跟這章的關係

原書 Figure 3:手機的 Image Loader 直接向 CDN 拿圖,不經過 backend。「清單先拿縮圖」是常見做法,原書沒有展開。

② 動手玩:在手機上滑照片清單

—下載量—要等多久(示意:每秒 4 MB)—吃掉每月 5 GB 流量的

原書 Step 3High-level client architecture · Figure 3

手機裡兩層:UI layer 和 Data layer;外面是 Gateway、Backend、CDN

這一步要解決的問題前面的畫面和 API,在手機裡要分哪幾層接起來?外面接哪些服務?

📖 原書 Figure 3Google Drive App 的高階架構圖(依原書內容重繪)

白話:API Gateway=雲端的大門;repository=替畫面拿資料的管理員;State Holder=記住畫面現在的狀態;Network Dispatcher=統一把信寄出去的郵差;Image Loader=負責載入圖片(第 14 頁的縮圖)。

📖 原書 目標是模組化、可擴展的設計,支援現有功能,也留得住未來的成長。先看外部依賴,再看 client。

📖 External server-side components

  • Backend:核心系統,處理檔案儲存、metadata、商業邏輯;提供上傳、刪除等 REST API,和即時更新用的 SSE / WebSockets
  • CDN:把靜態檔案 cache 在離使用者近的地方,縮短下載時間
  • API Gateway:client 進入 backend 的唯一入口,管認證、request routing、安全

📖 Client architecture

分成 UI layer 和 Data layer,程式乾淨、好測、好維護。UI layer 三個主畫面:瀏覽內容的 File List Screen、新增檔案的 File Upload Modal、看歷史的 File Revisions Screen。Data layer 靠 Files 和 Revisions 兩個 repository,和 Network Dispatcher 一起處理與 backend 的 HTTP 溝通;Revisions Remote DataSource 透過 SSE 或 WebSockets 聽即時更新。

📖 原書 這個架構是穩固的基礎,接下來深入幾個比較複雜的部分。

到這裡你已經會了小結 1 / 4

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

到這裡你已經會了:手機怎麼看雲端上的相簿

下一階要解決的問題

目錄本和下載的檔案要放在手機的哪裡?手機的櫃子只有這麼大。

原書 Step 4Design deep dive · Data storage · File metadata storage · Figure 4

Metadata 放手機上的 relational DB,一張表一個 DAO

這一步要解決的問題目錄本(metadata)在手機裡要用什麼存,才查得快、檔案和資料夾的關係不會亂?

📖 原書 Deep dive 談四件事:data storage、resumable file uploads、version history、data encryption。

📖 原書 雲端儲存 App 要管兩種資料:metadata(檔名、資料夾階層、版本資訊)和下載下來的檔案內容。先看 metadata:瀏覽目錄時用 File model 的檔案與資料夾 metadata;追蹤變更時用 FileRevision model 的版本歷史與即時更新。

📖 為什麼選 relational database

這些 metadata 要頻繁查詢與更新:

  • 快速、結構化的查詢:列出檔案、找版本
  • 維持資料關聯(例如用 parentId 把檔案連到資料夾),保持完整性
  • metadata 變多時效能依然好,支援擴展

📖 Database design

File 和 FileRevision 結構明確,自然對應到資料表:跨檔案階層做複雜查詢、追蹤檔案和版本的關係、檔案變動時保持一致,都很直接。Figure 4 把架構更新成每張表一個 Data Access Object(DAO)。

白話:relational database=像試算表一樣一張一張表、表跟表能互相對照的資料庫;DAO=專門讀寫某一張表的小程式。

📖 原書 Figure 4Data layer 設計更新(依原書內容重繪)

文組翻譯

手機裡有一本目錄本(Files DB):每個檔案一行,寫著叫什麼、放在哪個資料夾、多大。DAO 是兩位專門翻這本目錄的管理員,一位管「檔案」那幾頁,一位管「版本」那幾頁。

延伸基礎第 5 階 · 空間預算懂的人可以跳過

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

家裡的櫃子只有這麼大:先看剩幾格,再決定放什麼

① 先想像

家裡只有一個櫃子,衣服和書(系統、其他 App)已經佔了大半。倉庫寄回來的相簿也要放這裡。

你猜猜看:手機只剩 4 GB。想下載 3 GB 和 2 GB 兩支影片,放得下嗎?

③ 這叫做 storage budget、LRU

storage budget:替 App 定的空間上限。LRU(least recently used):滿了就先清最久沒用的(複習)。

④ 跟這章的關係

原書:目錄本(metadata DB)上限 200MB、用 LRU 清;下載檔案前先檢查可用空間(下兩頁)。

② 動手玩:64 GB 的手機

—剩下的空間最久沒看 → 最近看過:

原書 Step 4 · 動手玩Caching approach · 200MB LRU

Metadata DB 設上限 200MB:最久沒看的資料夾先清掉

這一步要解決的問題目錄本不能無限長:滿了要清掉誰?

手機上的 metadata DB(左 = 最近用過,右 = 最久沒用)

0命中:馬上顯示0沒命中:去 backend 拿

📖 原書 為了在速度和儲存空間之間取得平衡,把 metadata 資料庫限制在一個可設定的大小,例如 200MB,用 LRU(Least Recently Used) 淘汰:最近存取的 metadata 留在裝置上,比較舊的清掉。每筆 metadata 都很小,所以只占一點空間就能 cache 大量資料。

算算看:200MB 放得下幾筆?

文組翻譯

目錄本只有 200 頁。寫滿了,就把最久沒翻過的那幾頁撕掉,騰出位置寫新的。常翻的資料夾永遠在手邊;很久沒看的,下次要看時再去郵局問一次。

Triton 對 cache 上限的說法見第 48 頁

原書 Step 4 · 動手玩Managing downloaded files · 下載前先檢查空間

下載的檔案放在 App 的私有儲存,用 fileId 當檔名

這一步要解決的問題下載的檔案放哪才安全、不撞名?空間不夠怎麼辦?

📖 原書 為了離線存取,使用者可以下載檔案,需要安全又實用的本地儲存。iOS 和 Android 都用 sandbox 隔開的 App 私有內部儲存最適合:

白話:sandbox=每個 App 自己上鎖的房間,別的 App 進不來。

  • 檔案不會被外部存取
  • App 可以刪除或更新檔案,不影響其他 App 或使用者目錄
  • App 內可以直接存取,必要時也能匯出到共用儲存

📖 How it works

檔案放在固定的資料夾,例如 Android 上的

/data/user/0/com.google.android.apps.drive/files/downloads/<fileId>

用 fileId 當唯一檔名,避免撞名。下載前 App 先檢查可用空間,不夠就提醒使用者,大檔案也能順利運作。

🔍 Industry insights

Box Drive 讓使用者把資料夾標記成離線可用;選了之後,內容會在背景自動下載、存在本地供離線使用。

動手下載

downloads/

延伸基礎第 6 階 · chunk懂的人可以跳過

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

10 公斤的相簿,拆成幾箱寄?

① 先想像

郵車可能半路翻車。整本一次寄,翻車就整本重寄;拆成小箱,只要重寄翻掉的那一箱。

你猜猜看:10 公斤拆成 10 箱,第 7 箱在路上丟了。要重寄幾公斤?

③ 這叫做 chunk、chunk size

chunk:檔案切出來的一塊。chunk size:每塊多大;原書由 backend 決定,client 照著切。

④ 跟這章的關係

原書:大於 5 MB、或網路容易斷(例如手機 App),就用 resumable upload 一塊一塊傳(下一頁)。

② 動手玩:拆成幾箱?

—丟一箱要重寄—要填幾張寄件單

原書 Step 4 · 動手選Resumable file uploads · Upload types

三種上傳方式:小檔一次傳完,大檔或網路不穩就續傳

這一步要解決的問題每個檔案都要拆箱寄嗎?小東西有沒有更簡單的寄法?

📖 原書 Resumable upload 是行動雲端儲存 App 的基石,尤其是大檔案和不穩的網路:使用者可以暫停、繼續而不用重來,從中斷無縫恢復,還能依網路或電池狀況管理上傳。

📖 原書 很多熱門 App 都用 resumable upload 處理大檔:Google Photos、X(前 Twitter)、Box、Dropbox、Microsoft OneDrive。以 Google Drive 為例,它的文件列了三種上傳方式(原書引文):

uploadType=media · Simple upload

「Use this upload type to transfer a small media file (5 MB or less) without supplying metadata.」

uploadType=multipart · Multipart upload

「Use this upload type to transfer a small file (5 MB or less) along with metadata that describes the file, in a single request.」

uploadType=resumable · Resumable upload

「Use this upload type for large files (greater than 5 MB) and when there's a high chance of network interruption, such as when creating a file from a mobile app. Resumable uploads are also a good choice for most applications because they also work for small files at a minimal cost of one additional HTTP request per upload.」

動手選:這個檔案該用哪一種?

文組翻譯:寄一張明信片,直接投進郵筒就好(simple);寄一個附說明書的小包裹,一次交給櫃台(multipart);寄一整櫃的家具,先拿單號、一箱一箱寄(resumable)。多拿一張單號只多跑一次櫃台,所以 Google 說小東西也可以這樣寄。

📖 原書 Simple upload 很直接,所以接下來專講 resumable upload。

延伸基礎第 7 階 · resumable懂的人可以跳過

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

單號和回條:斷線之後不要猜,去問郵局收到幾箱

① 先想像

開始寄之前,郵局給你一個單號。每箱寄到,郵局就在這個單號下記一筆「收到第幾箱」。

你猜猜看:寄到一半郵局罷工。你拿單號去問,櫃台說「收到 6 箱」(共 10 箱)。下一箱該寄第幾箱?

③ 這叫做 upload session、resumable upload

upload session:一次上傳開的一張單,單號叫 uploadId。resumable upload:斷了之後,從 server 記的下一塊接著傳。

④ 跟這章的關係

原書 Figure 5:Init(拿單號)→ Upload(一塊一塊傳,可暫停)→ Complete(全部到齊)。

② 動手玩:兩本帳:郵局記的、你記的

0白寄的箱數

原書 Step 4High-level steps · Figure 5 · 兩種 endpoint 結構

Init → Upload(可暫停、繼續)→ Complete

這一步要解決的問題一次可以續傳的上傳,從頭到尾分幾步?各家公司的 API 怎麼切?

📖 原書 Figure 5Resumable uploads 步驟(依原書內容重繪)
  1. Initiate:client 申請一個 upload session,從 server 拿到唯一的 upload ID 和 session 細節
  2. Upload chunks:檔案切成比較小的 chunk 傳送;連線中斷時,client 從最後一個成功的 chunk 之後接著傳
  3. Complete:所有 chunk 都上傳後,server 完成檔案,可以選擇做完整性檢查

📖 原書 各家公司實作這三步的方式不同,主要差在 endpoint 怎麼切:

X、Google(Drive、Photos)

全部透過同一個 endpoint,用 header 或 query parameter 管 metadata。例如 Google Photos 的 resumable upload:

X-Goog-Upload-Command=[start|upload, finalize]
X-Goog-Upload-Offset={bytes_offset}

POST /files?uploadType=resumable&uploadId={uploadId}

📖 原書 兩種都可行。接下來詳細看多個 endpoint 的做法。

原書 Step 4Implementation details · Initiate · Upload chunks · Resume · Cancel

四支 API:開 session、傳一塊、問進度、取消

這一步要解決的問題那三步落到 API,各要送什麼、回什麼?

📖 原書 Initiate upload

POST /v1/upload?uploadType=resumable
data class UploadRequest
  requestId: String
  name: String
  mimeType: String
  parentId: String
  size: Long
data class UploadResponse
  uploadId: String
  totalChunks: Int
  chunksProcessed: Int
  chunkSize: Long
  uploadUrl: String
  uploadExpiresAt: String

📖 原書 UploadResponse 引導整個上傳:檔案怎麼切、哪些已經傳了、新的部分該加到哪裡。不管是開始新的上傳還是恢復中斷的上傳,client 都靠它順利管理。

📖 原書 Upload chunks and verify steps

Content-Range: bytes start-end/total
PUT /v1/upload/{uploadId}/chunk
 Body: Raw binary data for a particular chunk.
 Response: 201 Created if this was the final chunk, or 308 Resume
 Incomplete if more chunks remain. Payload of type UploadResponse.

Content-Range header 告訴 backend 送的是檔案的哪一段。最後一塊到了,backend 組合全部、回完成確認;client 依成功的回應碼確認上傳成功。

白話:Content-Range=「這一塊是整份檔案的第幾個 byte 到第幾個 byte」;201=全部收齊、檔案建好了;308=這裡當「還沒完,請繼續」用(第 49 頁)。

📖 原書 Resume upload

GET /v1/upload/{uploadId}
 Description: Returns information about an upload session.
 Body: Empty.
 Response: 200 OK. Payload of type UploadResponse.

client 從 chunksProcessed 的下一塊接著傳。太久了、session 過期,就要從頭開一個新的上傳。

📖 原書 Cancel upload:DELETE /v1/upload/{uploadId},讓 client 中止上傳、釋放 server 資源。

原書 Step 4 · 動手玩把 10 GB 影片一塊塊傳上去 · 斷線、被殺、過期

斷線之後先問 server「收到幾塊了」,再從下一塊接著傳

這一步要解決的問題斷線、App 被關、單號過期:三種意外各要怎麼接回去?


      
0 / 40chunksProcessed / totalChunks0 GB總共送出0 GB白送

這個模擬的設定(簡報示意)

一支 10 GB 的影片(需求的上限),backend 回 chunkSize = 256 MB、totalChunks = 40。原書沒有給 chunk 大小,數字是示意。

試試這三種意外

  • ⚡ 斷線:路上那一塊不見了,已確認的不用重傳。再按一次恢復連線:GET /v1/upload/{uploadId},從 chunksProcessed 的下一塊接著傳
  • 💀 系統殺掉 App:記憶體全沒了;靠存在磁碟上的 UploadResponse,重新打開 App 時找到未完成的上傳
  • ⏰ 過期:到了 uploadExpiresAt,再問就失效,只能從頭開新的 session

文組翻譯

郵局罷工時,你不用猜寄到第幾箱:拿著單號去櫃台問「我的單號收到幾箱了」,櫃台說 17 箱,你就從第 18 箱開始。單號放太久過期了,就只能重新開單、從第一箱寄。

到這裡你已經會了小結 2 / 4

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

到這裡你已經會了:大檔案怎麼在不穩的網路上傳完

下一階要解決的問題

手機不只會斷線:你看不到的時候,作業系統還會把 App 關掉。還有,兩台裝置都改了同一個檔案,誰算數?

延伸基礎第 8 階 · 背景任務懂的人可以跳過

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

請大樓管理員代寄:可是他每次只能幫你一下子

① 先想像

你出門了,請管理員幫你把剩下的箱子寄完。管理員很忙,每次只能幫一小段時間,時間到就被叫走,換下一位。

你猜猜看:10 箱,每箱 5 秒,共 50 秒。管理員每次只幫 30 秒,進度只記在腦子裡(換人就忘)。寄得完嗎?

③ 這叫做 background task、OS

background task:App 不在畫面上時還在做的工作。OS(作業系統,iOS、Android)為了省電、省記憶體,隨時會暫停或關掉它。

④ 跟這章的關係

原書:把待傳的 UploadResponse 寫到磁碟(交接本),App 再起來時從那裡接著傳(下一頁)。

② 動手玩:管理員每次只能幫一下子

每箱 5 秒,共 10 箱
—幾次寄完

原書 Step 4 · 動手玩Mobile implementation challenges · Background tasks · Storage and permissions

背景上傳:作業系統隨時會殺掉你,進度要寫在磁碟上

這一步要解決的問題App 不在畫面上,上傳還要繼續;可是系統會關 App、電會沒、空間會滿、權限會被拒。

📖 Managing background tasks

上傳要在背景做,不能卡住 main UI thread。但行動作業系統隨時可能終止背景任務。為了不丟進度,要把待處理的 UploadResponse 物件存到磁碟,App 再次執行時恢復上傳。App 啟動時檢查未完成的上傳、恢復工作,同時監控電池和網路變化等系統狀態。

白話:main UI thread=負責畫畫面的那一位店員,被卡住畫面就凍住(複習);file picker=系統內建的「選檔案」視窗。

📖 Limited storage and permissions

儲存:上傳前會先暫存檔案。手機空間有限,要有低空間策略:監控可用空間,不夠時給清楚的選項,例如清除上傳 cache、刪除之前下載的檔案、顯示儲存用量統計。

檔案存取:用系統的 file picker,它給選到的檔案暫時的讀取權限;或者向使用者要直接的儲存權限。使用者拒絕的話,App 要停用上傳功能,並清楚說明怎麼到系統設定打開權限。

原書 Step 4 · 動手判斷Error handling and recovery · User experience and feedback

Server 回來的狀態不對勁,就從頭來;進度永遠讓使用者看得到

這一步要解決的問題出錯時,什麼情況接著傳、什麼情況從頭來?使用者怎麼知道傳到哪了?

📖 原書 chunk 的複雜度大多在 backend(決定 chunkSize、追蹤進度),但 client 還是要優雅地處理錯誤:

  • 連線問題:儲存目前的上傳狀態,連線恢復時從最後成功的 chunk 繼續,並顯示清楚的狀態訊息,例如「Connection lost, attempting to resume」
  • 無效的上傳狀態:uploadUrl 過期、backend 回應不一致(例如 chunksProcessed 比 totalChunks 還大)、或到了 uploadExpiresAt,client 要重新開始上傳流程

📖 原書 為了不讓重試壓垮 server,用 exponential backoff,重試之間的等待越拉越長;既能控制 server 負載,又能讓上傳最終完成。

白話:exponential backoff=重試越等越久,1、2、4、8 秒…(複習)。

點卡片:這個 UploadResponse,續傳還是重來?

📖 User experience and feedback

使用者要隨時知道上傳的進度,即使重新啟動 App:

  • 用已完成的部分(chunksProcessed)比 totalChunks 算進度
  • 更新 UI,顯示有意義的進度指示
  • App 在背景時顯示系統通知

動手拉:進度條和通知

文組翻譯:櫃台說「你的單號收到 45 箱」,可是你總共只寄 40 箱,這張單一定有問題,別硬接著寄,重新開一張單比較安全。

原書 Step 4Architecture changes in the diagram · Figure 6

為了上傳,架構多了五個元件

這一步要解決的問題選檔案、查權限、切塊、背景上傳,要放進架構圖的哪裡?

📖 原書 Figure 6Resumable file upload 對高階架構圖的更新(依原書內容重繪)

文組翻譯:多了一位選件員(Picker)、一位查證件的(Permissions Helper)、一位打包員(Splitter)、一位寄件主管(Uploader Service),主管把單號抄在筆記本上(Files DB),一箱一箱交給郵差(Network Dispatcher)。

📖 原書 把前面討論的新元件畫進架構圖,兩層都加強了:

UI layer

  • File Picker:處理使用者和裝置檔案系統的互動,從這裡開始上傳
  • File Permissions Helper:確認存取權限
  • File Upload State Holder:管理上傳進度,接收 File Upload Modal 的更新

Data layer

  • File Splitter:把大檔案切開
  • File Uploader Repository 和 File Uploader Service:在背景管理上傳流程

Repository 和 Files Local DataSource 互動;Service 經過 File Splitter 和 Network Dispatcher 跟 Files Remote DataSource 溝通。

延伸基礎 · 複習第 9 階 · block(複習)懂的人可以跳過

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

相簿 100 頁只改了 1 頁,要整本重寄嗎?

① 先想像

你在相簿第 37 頁換了一張照片。倉庫裡已經有改之前的那一本。

你猜猜看:100 頁、每頁 10 公克(整本 1 公斤)。改了 1 頁,「只寄那一頁」和「整本重寄」各寄多少?

④ 跟這章的關係

原書的版本歷史有兩種做法:整份重傳(full copy upload),或只傳改過的 block(block-level sync)。下一頁比較。

② 動手玩:點格子,改幾頁看看

1改了幾頁—這次要寄—倉庫多放

原書 Step 4 · 動手玩Version history · Full copy upload vs Block-level sync

新版本怎麼傳:整份重傳,還是只傳改過的 block?

這一步要解決的問題改了檔案要存成新版:整份重傳,還是只傳改的部分?

示意:block 大小用 4 MB(SDI 第 15 章原書的數字),本章原書沒給。

📖 原書 版本歷史讓使用者需要時能還原舊版。使用者改了檔案再上傳,App 要有效率地處理新版本,主要有兩種做法,對儲存、頻寬、App 複雜度的影響不同。

Full copy uploadBlock-level sync
Client不管改多小,整份檔案送到 server把檔案切成 block、找出不同、只送那些 block
Backend每個版本存成完整、獨立的副本維護一份 block registry,需要時重建版本
優點好實作,不用追蹤變更;可靠,每版都完整、好還原更有效率:省頻寬和儲存,適合大檔小改
缺點吃儲存:完整副本越堆越多,大檔更明顯;吃頻寬:每次全傳較複雜:要管理、重組 block;吃資源:兩端都要額外運算
誰在用Google Drive、Box、OneDrive、iCloud 等多數雲端硬碟,因為簡單可靠Dropbox 用 Broccoli 編碼系統和 block sync protocol 率先推動

文組翻譯:相簿改了一頁,full copy 是整本重寄、倉庫多放一整本;block-level 是只寄那一頁,倉庫記一張「第 2 版 = 第 1 版,但第 37 頁換成這張」的清單。

後端怎麼切 block、怎麼 dedupe,見 03 第 15 章簡報 的 delta sync。

延伸基礎第 10 階 · sync conflict懂的人可以跳過

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

家裡和公司各一本影本,兩邊都改了第 3 頁

① 先想像

同一本相簿,你在家裡和公司各放一本影本。出差沒網路時,兩邊都改了第 3 頁。

你猜猜看:兩本都寄回倉庫,倉庫只留最後寄到的那本。會怎樣?

③ 這叫做 sync conflict、version number

sync conflict:兩台裝置都改了同一份,彼此不知道。version number:每份標「第幾版」,寄回時說「我是從第幾版改的」。

④ 跟這章的關係

原書:上傳時帶 If-Match(我從哪一版改的),版本不對就回 409。先假設很少撞、撞到再處理,叫 optimistic concurrency control(下一頁)。

② 動手玩:兩本影本都寄回倉庫

原書 Step 4 · 一步一步Managing file conflicts · Conflict detection · Optimistic concurrency control

兩台裝置離線改同一個檔案:上傳時帶上「我是從第幾版改的」

這一步要解決的問題兩台裝置都改了同一個檔案,server 怎麼發現?


      

📖 優點

  • 只接受基於最新版的變更,防止 lost update
  • 可以做細緻的衝突解決,資料完整性通常更高

📖 缺點

  • 衝突處理流程增加延遲,在不穩的行動網路上更明顯
  • 衝突錯誤可能讓使用者挫折,有時要手動合併

📖 原書 多台裝置同時改同一個檔案,就會衝突:一台離線時改了、另一台在同步前也改了;兩台幾乎同時上傳;同步到一半中斷,檔案停在不一致的狀態。處理分兩部分:conflict detection(找出變更重疊)和 conflict resolution(決定怎麼處理競爭的版本)。

📖 Optimistic concurrency control

提交前先驗證變更是不是基於目前的版本。假設衝突很少,只在更新時檢查。Box 就用 HTTP header 做版本驗證。

白話:lost update=有一份改動被蓋掉、沒人發現;If-Match=「我是從這一版改的,不是的話請拒絕」;409 Conflict=版本對不上,退回。

  1. 每個檔案有一個 client 和 server 都追蹤的版本識別(版本號或 hash)
  2. 上傳新版時,連同目前的版本一起送,例如 If-Match: <version>
  3. Server 跟最新版比:一樣 → 上傳成功、版本遞增;不一樣 → 回 409 Conflict 拒絕
  4. 偵測到衝突時,client:用 GET /v1/files/{fileId} 拿最新版 → 合併變更(依檔案類型自動或由使用者決定)→ 用新版本重試上傳

原書 Step 4 · 動手選Conflict resolution · LWW · Version forking · Figure 7 · Dropbox API

衝突之後誰贏:最後寫的贏、兩份都留,或問使用者

這一步要解決的問題發現衝突之後,留哪一份?自動決定,還是問使用者?

📖 原書 Google Drive 這類雲端儲存常用 eventual consistency,優先考慮 availability,讓更新不必立刻同步到所有裝置就能進行。在這個模型裡,衝突是接受更新之後才偵測,再用策略解決。兩種常見策略:

  • Last-Write-Wins(LWW):自動把最新的版本當成目前版本
  • Version forking:兩個衝突版本都保留,通常在檔名加數字,例如「filename.png」和「filename (1).png」

白話:eventual consistency=各裝置先各改各的,過一陣子再對齊;availability=隨時都能用。

📖 原書 選哪個看 App 的需求。Dropbox 預設保持簡單:自動存最新版、不問使用者,用 last-write-wins。Google Drive 讓使用者決定:偵測到衝突時跳出對話框,問要保留兩個檔案還是取代舊的(Figure 7)。

📖 Dropbox 的上傳 API 兩種都支援

兩個參數 strict_conflict 和 mode 讓開發者精確控制(依原書的描述):

📖 原書 Figure 7上傳同名檔案時 Google Drive 的使用者體驗(依原書內容重繪成 wireframe)

資料夾裡現在有

到這裡你已經會了小結 3 / 4

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

到這裡你已經會了:App 被關、改版、和兩台都改了

下一階要解決的問題

手機掉了,撿到的人看得到你的檔案嗎?最後再看 Triton 的原則對不對得上。

延伸基礎第 11 階 · 加密懂的人可以跳過

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

相簿鎖進保險箱:鑰匙不能黏在箱子上

① 先想像

相簿裡有公司機密。你把它鎖起來,只有拿到鑰匙的人看得懂。

你猜猜看:規則是「每個字母往後移 3 個」(A→D、B→E、C→F)。「CAB」鎖起來變成什麼?

③ 這叫做 encryption、key

encryption(加密):把內容變成只有拿到鑰匙的人看得懂的亂碼。key(金鑰):那把鑰匙。

④ 跟這章的關係

原書用 AES-256(比「移幾個字母」強非常多的鎖),金鑰交給手機系統的保險箱(Keystore / Keychain)保管(下一頁)。

② 動手玩:玩具鎖:字母往後移幾個

原本的資料夾名稱HOLIDAYS
鎖起來之後—
小偷搬走櫃子,看到—

原書 Step 4 · 動手玩Data encryption · Files and metadata · Key management for offline access

企業客戶要求手機上的檔案加密:AES-256,金鑰交給系統保管

這一步要解決的問題手機掉了,撿到的人能不能直接讀出檔案?金鑰放哪,離線也能開?

📖 原書 面試官有時會加需求:如果要支援要求裝置上的檔案必須加密的企業客戶,你會怎麼做?

📖 Files and metadata encryption

不加密的話,手機遺失或被入侵,攻擊者把儲存空間 mount 起來就能看到敏感檔案。用 AES-256:強、業界標準,在行動硬體上兼顧安全和效能。

  • Metadata protection:檔名、資料夾結構等 metadata 存在加密的資料庫
  • File protection:下載的檔案在 App 私有儲存裡加密

即使儲存空間被存取,沒有解密金鑰資料也無法辨識。

📖 Key management for offline access

要能離線開檔,金鑰必須存在本地,不能只靠 server。用平台的安全功能保管:

  • Android:Android Keystore,硬體支援的金鑰儲存,防止金鑰被取出
  • iOS:Keychain,類似的保護,有的話整合 Apple 的 Secure Enclave

再加強:用 PBKDF2(key derivation function)從使用者的登入憑證導出金鑰,只有通過驗證的使用者能解鎖,加密和身分緊緊綁在一起。

手機掉了:撿到的人看得到什麼?

Triton 對「安全」的定義見第 40 頁

原書 Step 4 · 點卡片Mobile implementation considerations · 加密在手機上的五個麻煩

加密不是加上去就好:會卡、會變大、會吃記憶體、會壞、會被備份

這一步要解決的問題加了密之後,手機上會多出哪些麻煩?

遇到這個情況,原書怎麼做?

📖 原書 加密提供基本的安全,但在行動裝置上有獨特的挑戰,要在強安全和流暢效能之間取得平衡。五個面向:Performance and resources、Memory management、Error handling and recovery、Backup strategy、Device compatibility(左邊八張卡片照原書)。

「什麼是「安全」,就是「犯案的機會成本」比「犯案後得到的利益」更低。」🗣️ Triton 本人說 161-所謂「安全」的常識.md(談的是 server 端存密碼,不是手機加密)

🔭 推論 用 161 的定義看原書

AES-256 加上不能被取出的硬體金鑰,是提高撿到手機的人的犯案成本;PBKDF2 把金鑰綁到登入憑證,讓「只偷到手機」不夠。161 的文章重點是:不要存可還原的使用者密碼,所以 PBKDF2 的輸入應該是登入當下輸入的憑證,App 不要把密碼本身存起來。

文組翻譯:把相簿鎖進保險箱(加密),鑰匙交給大樓管理員保管、不能複製(Keystore);管理員還要看你本人的證件才給你開(PBKDF2)。搬家備份時,保險箱不跟著搬,要另外換一把搬家用的鎖。

原書 Step 5Wrap-up · 還有時間可以談

原書的收尾:REST 為主、SSE / WebSocket 推變更,和三個延伸題

這一步要解決的問題面試快結束時,怎麼收尾?還有時間的話,可以延伸哪些題目?

📖 原書 總結

設計了一個 Google Drive client,解決雲端儲存 App 的關鍵挑戰:讓使用者安全地儲存、存取、同步檔案,同時保有完整的版本歷史。核心操作用強健的 REST API,檔案變更時用 SSE 或 WebSockets 推即時更新。

仔細安排 client 元件、定義清楚的 backend 互動,涵蓋從基本檔案操作到 resumable upload、檔案版本控制這類複雜功能。

📖 原書 有多的時間,可以考慮的延伸

  • Selective sync:讓使用者選哪些資料夾、哪些檔案類型存在本地,哪些只留在雲端
  • 完整的檔案分享系統:細緻的權限與存取控制,安全地協作
  • 壓縮:用 Google 的 Brotli 等演算法優化傳輸與儲存,降低頻寬與儲存成本

把整章串成一句話

瀏覽時,metadata 從手機的 Files DB(200MB LRU)先顯示;下載的檔案用 fileId 放在私有儲存,離線也打得開。上傳時先 POST 拿 uploadId,PUT 一塊塊送、拿 308,UploadResponse 寫在磁碟上;斷線或被殺就 GET 問進度接著傳,最後一塊拿 201。改版時帶 If-Match,撞到 409 就拿最新版合併,或交給 LWW、分叉、使用者決定。

到這裡原書全部講完,下一頁開始是 Triton。

Triton 觀點先看全貌 · 覆蓋度低

Triton 沒寫過手機 App;只有五個通用原則用得上

有出處 Triton 講過、這章用得上的原則

  • 檔案當 stream,不當 byte array:4 GB 影片在手機上也只用固定的 buffer(第 44 頁)130 · 128
  • 網路隨時會斷:chunk 的 PUT 要能原封不動重送,upload session 是一個名詞資源(第 45 頁)028 · 027
  • 409 通常跟 optimistic lock 有關,而 optimistic lock 只適合低衝突(第 46 頁)028 · 083 · 059
  • 「工作做好了我會告訴你」:push 優於 polling,未完成的工作記在不會掉的地方(第 47 頁)012 · 185 · 020 · 027
  • metadata 和大檔分開放,cache 要有上限(第 48 頁)181 · 144 · 128

沒有 Triton 資料 這些照原書講,不推論

  • chunked / resumable upload 的內部:chunk 大小、Content-Range、308、session 過期、Google 和 Dropbox 的 endpoint 結構
  • 離線同步與多裝置同步協定、selective sync
  • 衝突解決:LWW、版本分叉、合併、Figure 7 的對話框
  • full copy vs block-level sync(後端版本見 03 第 15 章)
  • 手機 OS 的背景任務、file picker、權限、sandbox
  • 裝置加密:AES-256、Keystore / Keychain、PBKDF2

先說清楚定位:後面所有 🗣️ 引文都來自 Triton 的後端或通用文章(RESTful 講義、io streaming、optimistic lock、MQ),沒有一篇在談手機 App。拿來對照原書的地方一律標 🔭 推論,不能說成 Triton 評論過這一章。139〈應該把File當成Stream而不是ByteArray〉的內文大多是 ChatGPT 的回答,不引用;128 只引主文。

延伸基礎 · 複習第 12 階 · stream / 重送(複習)懂的人可以跳過

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

Triton 會用到的兩個詞:一箱一箱搬、箱號認得出來

① 先想像

搬家時不用把整屋東西一次扛在身上,一箱一箱搬就好。每箱寫上編號,同一箱送了兩次,倉庫一看就知道。

你猜猜看:第 13 箱已經送到,但回條掉了,你又送一次。箱子上寫著「第 13 箱」,倉庫會收進兩個第 13 箱嗎?

④ 跟這章的關係

Triton 的 130 講 stream(下一頁);028 講可以放心重送的 PUT(再下一頁)。

② 動手玩:搬一本很重的相簿

—手上同時拿著(示意:最多扛 30 公斤)—狀態
1倉庫裡的第 13 箱

Triton 原則 · 動手玩130 io streaming · 128 主文 · 原書的 File Splitter 和加密

4 GB 的影片傳上去,手機記憶體只用固定的一小塊

原書這樣做會出什麼事?File Splitter 如果先把整支 4 GB 影片讀進記憶體、加密時再複製一份,8 GB RAM 的手機會怎樣?

–App 握著的記憶體

「你打開url時,你的browser / App會拿固定量(例如128 MB)的Memory作為buffer。」「即使你看完總共23GB的影片也好,你也只用上了固定的很小塊Memory。」(原文連說五次)🗣️ Triton 本人說 130-喵談 io streaming.md

「如果這份data要做多個階段的…你的Application code應該是把不同階段的上下游,用 Reader(如果是data input)/Writer(如果是data output)串接起來。千萬不要先做一個階段再把整份data放memory。」🗣️ Triton 本人說 130 · 結論

🗣️「我們應該把File當成Stream而不是ByteArray」(原文連說五次)128 · 主文

🔭 推論 對照原書

130 講的是看影片和 server 收 HTTP body,不是手機上傳;但原理一樣。原書的 File Splitter 只要依 Content-Range 從檔案讀那一段,加密也一段一段做,就不用把 10 GB 放進記憶體。原書在加密那節自己提醒了「同時在記憶體保留加密與解密的檔案」的記憶體消耗,130 的 Reader / Writer 就是答案。server 端 block server 的同一件事見 03 第 15 章簡報。

Triton 原則 · 一步一步027 / 028 RESTful API Design · 淺談網路的不穩定性 · PUT · Idempotence

回應掉在隧道裡:同一塊再 PUT 一次,server 認得出來嗎?

  1. 送出 chunk 13
  2. Server 收到並存好,回應 308
  3. 308 掉在隧道裡
  4. Client 等不到回應 → 原封不動再送一次
  5. Server 收到第二次
  6. 繼續送 chunk 14

🔭 推論 對照原書

  • Content-Range 就是 028 的 step_id:request 自己帶著「這是第幾段」,重送時 server 比對已經存的那段,一樣就回成功
  • 存 UploadResponse、啟動時 GET 問停在哪、從那裡接著傳,正是 028 的「前端土法煉鋼」。Triton 在轉帳裡嫌它,是因為轉帳本來能用一支 API 做完;10 GB 在手機上做不到一次傳完,這裡它就是正解。他的但書「硬碟故障沒用」也還在,所以要有 uploadExpiresAt、過期從頭來

原書這樣做會出什麼事?chunk 13 已存好,308 卻掉在隧道裡。手機原封不動再 PUT 一次:

「使用 API 時,連線可能在信號送達伺服器前斷線 – 也可能在伺服器正要傳回 API 結果時斷線 – 更可能客戶端以為斷線,卻早已成功傳送資訊」🗣️ Triton 本人說 028 ·「淺談網路的不穩定性」

「/chinese_chess_game/{game_id} (PUT) { "step_id" : 31, "action" : "炮二平五 " } … 如果第 31步已經被執行,伺服器會檢查已經存在的第 31步是否等於 "炮二平五 "。如果是,傳回"成功"給客戶端;如果不是,則傳回錯誤。」🗣️ Triton 本人說 028 ·「完整資料」範例

「Non-atomic 下的前端土法煉鋼 – 轉帳前先把這記錄存放在客戶端硬碟 – 程式重新啟動時發現未完成的轉帳記錄時,客戶端需要: – 先問伺候器,轉帳過程是停在那一步驟 – 從當掉的步驟重來 – 不過對於硬碟故障的客戶,這方案沒用!」🗣️ Triton 本人說 028(027 同一頁)·「伺候器」照原文

🔭 推論 upload session 是一個名詞

028:「動名詞(Gerunds)也是名詞一種,例如要銀行轉帳時,應該建立/MoneyTransfers這個物件」。/v1/upload/{uploadId} 就是「一次上傳」這個名詞;檔案要到最後一塊才出現,不會留下半個檔案

Triton 原則 · 動手玩028 409(Conflict) · 083 optimistic lock 的適用場景 · 059 搶票

原書的 If-Match + 409 就是 optimistic lock:先問衝突多不多

原書這樣做會出什麼事?If-Match + 409 在「一個人、三台裝置」很順。如果改成 40 個同學同時改同一份檔案:

0100 次存檔撞到 4090白傳的資料量

「409(Conflict) – 通常跟 optimistic lock 有關 – 這是指用戶正在改動的物件,已經被別人先改動過了。」🗣️ Triton 本人說 028 ·「常用 HTTP 回答碼:4xx」

「optimistic lock的適用場景是low collision frequency(通常也是low update frequency)的資料保護」「以人類為主要對象的商業系統,以秒為resolution的optimistic lock還算夠用。」「誰說optimistic lock一定要用上update_ts? version number(int) 也行啊」「把整份data來對比有沒有改動過啊」🗣️ Triton 本人說 083(標題即「optimistic lock的適用場景是low collision frequency…」)

「一旦資料在中間被人改動過: – 要麼就是把資料再拿一次,再重新跑一次 business logic (就是 git pull –rebase ) – 要麼就是 return error 叫用戶重新 resubmit request」「如果 1000 人同時按下購買…… – 只有一個會 success ,另外 999 人會 rollback 然後重來」🗣️ Triton 本人說 059-ecom-system design.pdf.md · 第 9–10 頁

🔭 推論 對照原書

Triton 講的是 DB 的 row,原書講的是檔案,但結構一樣:原書的「版本號或 hash」= 083 的 version number 或「整份 data 對比」(hash 是便宜的整份對比);原書的「拿最新版、合併、重試」= 059 的 git pull --rebase,交給使用者合併 = 059 的「叫用戶重新 resubmit」。需求把範圍限在單一使用者多裝置,正好是 083 說的 low collision;如果延伸題的「分享」加進來,衝突頻率上升,就要重新評估。

Triton 原則 · 點卡片012 Async IO · 185 push · 020 outstanding_tasks · 027 202

「收到了,做好了我會告訴你」:未完成的工作記在不會掉的地方

「應該先告訴用戶:你的請求收到了,工作做好了我會告訴你的 – 這需要 UX 上作出配合」🗣️ Triton 本人說 012-Advanced_Database_Skills.pdf.md · Async IO

「不好架構: B使用polling,每2秒就問A:「我的食材呢」 好架構: A建立websocket(或任何server push技術),安靜地等A去買東西和告訴結果。」🗣️ Triton 本人說 185-電商用 queue-.md

最佳解:「換一家有支持Callback的服務供應商便好。」暴力解:「建立一個outstanding_tasks的table(不使用redis的原因是怕redis當掉後data loss有工作變成孤兒)」「(補充:如果這個worker死掉,重新起來時對outstanding_tasks整個拿便好)」🗣️ Triton 本人說 020-MQ解法.md

🗣️ 202(Accepted)「這單純代表收到了工作,不代表工作做完了 – 一般來說,工作完成後伺服器會主動推送結果給客戶端」028;027 同一頁:「沒事別亂用」

原書這樣做會出什麼事?假設待傳的 UploadResponse 只放在記憶體、不寫磁碟,App 被系統關掉之後:

🔭 推論 對照原書:點卡片

文組翻譯:寄件時櫃台說「收到了,寄到會傳簡訊給你」,你就回家,不用每兩分鐘打電話問(185)。你自己的筆記本上寫著「還有三箱沒寄完」,筆記本是寫在紙上,不是記在腦子裡(020 不用 Redis 的理由)。

Triton 原則 · 動手比181 · 144 TOAST · 128 主文 · 028 304

目錄本只放 metadata;cache 要有上限,也要能驗新舊

原書這樣做會出什麼事?目錄本有 200MB 上限,但沒說多久要重新確認。平板剛在 Work 加了檔案、通知又剛好漏了,手機打開 Work:

「像是text / blob這些很可能很會大的data type,很可能會>8KB的,所以,RDBMS會把這些text / blob的內客externalize,然後在row record內只存放externalized address 這樣做的後果,是讓本來能一次disk IO解決東西,變成了需要二次disk IO才能解決」🗣️ Triton 本人說 181(「內客」照原文)

🗣️「(postgresql該機制名字叫TOAST,default觸發點為單一column 2KB)」144-喵談分表.md

「如果你不懂什麼需要放進local cache 你應該依賴OS level的file cache而不是自己亂來」「如果你真的真的要建local cache 你應該用一堆現有的caching library 並且設定好cache TTL和cache max size 你用HashMap來當成cache是單純的智障」🗣️ Triton 本人說 128 · 主文第 2、3 點(後面的留言不引)

🗣️ 304(Not Modified):「客戶端會發出 Conditional-GET ,在 HTTP header 中加入 If-Modified-Since: <某時間> – 如果客戶端版本是最新的,便回答 304 。否則便 200」028

動手比:重新打開「Work」資料夾


        

🔭 推論 對照原書

  • 原書 Files DB 只放 metadata,檔案內容放 downloads/<fileId>,和 181 的「大東西 externalize」同方向;檔案本身交給檔案系統,也接近 128 的「依賴 OS level 的 file cache」
  • 原書的 200MB LRU 有 128 要的 max size,但沒有 TTL,也沒說 cache 的資料怎麼確認還新鮮;SSE 漏掉時,028 的 Conditional GET 是便宜的補法。原書沒有定義 If-Modified-Since,這是建議,不是原書內容

📅 2026 補充書本身沒提的標準與平台 API

308、背景傳輸 API、可續傳上傳的標準化

📅 2026 補充

308 在 HTTP 標準裡是 Permanent Redirect

RFC 7538(2015)把 308 定義成 Permanent Redirect。原書沿用 Google API 的用法,把 308 當成「Resume Incomplete」。自己設計 API 時要知道這不是標準語意,client 和中間的 proxy 不一定照你的意思處理。

📅 2026 補充

交給作業系統的背景傳輸

原書只說「背景任務可能被終止,所以進度存到磁碟」。兩個平台都有現成的 API:iOS 的 background URLSession 讓系統在 App 被暫停後繼續傳輸;Android 的 WorkManager 可以設 constraint,例如只在 unmetered 網路(通常是 Wi-Fi)或電量不低時才跑。第 29 頁的「只用 Wi-Fi」就是這類設定。

📅 2026 補充

可續傳上傳正在標準化

原書列的 Google、Dropbox、Box、OneDrive、X 各有各的 resumable 協定。IETF 的 HTTP 工作小組在把它標準化(draft-ietf-httpbis-resumable-upload,源自開源的 tus 協定)。面試時可以提:自己設計之前,先看有沒有標準或現成的協定可以用。

到這裡你已經會了小結 4 / 4

  1. 後端基礎
  2. push
  3. metadata
  4. thumbnail
  5. 空間預算
  6. chunk
  7. resumable
  8. 背景任務
  9. block
  10. sync conflict
  11. 加密
  12. stream / 重送

到這裡你已經會了:加密,和 Triton 的對照

12 階全部走完了

下一頁用一句話收尾;再下一頁是名詞小卡,給大家課後複習。

一句話記住

大檔拆成一塊塊寄,每塊拿回條,單號寫在本子上;
兩台裝置都改了,先比版本號,再決定誰贏。

原書的做法

  • REST 管檔案、資料夾、版本;SSE / WebSocket 推變更
  • Files DB(200MB LRU)放 metadata,下載檔用 fileId 放私有儲存
  • Resumable upload:POST 開 session → PUT + Content-Range → 308 / 201;GET 問進度,過期從頭
  • UploadResponse 存磁碟、啟動時恢復、backoff、進度與通知
  • If-Match + 409 偵測衝突;LWW、分叉、或問使用者
  • AES-256 + Keystore / Keychain + PBKDF2

和 Triton 原則一致(🔭)

  • 檔案當 stream,記憶體只用固定 buffer(130、128)
  • PUT 帶位置,重送不重複;upload session 是名詞(028)
  • 409 = optimistic lock,單一使用者多裝置衝突低(028、083)
  • 未完成的工作寫在會活下來的地方(020、012)

可以追問原書的

  • File Splitter 和加密有沒有真的串流?
  • 如果加入分享,optimistic lock 的前提還成立嗎?(083、059)
  • LRU 有上限但沒有 TTL;cache 怎麼確認還新鮮?(128、028 的 304)

本章名詞小卡課後複習用 · 每個名詞一句白話

今天出現的名詞,一句話講完

request手機送出去的一張單
REST API雲端公開的窗口,一樣東西一個網址
endpointAPI 的一個窗口網址,例如 /v1/files
database記正本的總帳本
cache放手邊的小抄,快但不是正本
DAU每天真的打開 App 的人數
JWT登入後拿到的通行證,每張 request 都出示
polling每隔一段時間打去問「有新的嗎」
push有變化時對方主動通知你
SSE / WebSocketserver 單向廣播的線/不掛斷的雙向電話
metadata描述檔案的目錄:檔名、大小、資料夾、修改時間
fileId每個檔案獨一無二的編號
thumbnail清單上用的縮圖
CDN開在你家附近的分店倉庫,拿圖片最快

給工程師的重點出處與標籤

引述來源(materials/core)與原書對照

Triton 本人的講義 / 文章(都不是在談手機 App)

  • 130-喵談 io streaming.md — 128 MB buffer、23GB 只用固定的很小塊 Memory、多階段用 Reader / Writer 串接
  • 128-喵談 buffer stream and local cache.md — 主文:File 當 Stream 不當 ByteArray、依賴 OS level file cache、cache lib + TTL + max size;後面的留言與 ChatGPT 段落不引
  • 028-RESTful API Design-tw-2.2.pdf.md(027 為 2.1 版,同內容)— PUT 定義、202 / 304 / 409、淺談網路的不穩定性、前端土法煉鋼、動名詞資源、中國象棋 step_id、Idempotence;027 的 202「沒事別亂用」
  • 083(optimistic lock 的適用場景是 low collision frequency)· 059-ecom-system design.pdf.md 第 9–10 頁
  • 012-Advanced_Database_Skills.pdf.md Async IO · 185-電商用 queue-.md · 020-MQ解法.md
  • 181(8KB data block、blob externalize)· 144-喵談分表.md(TOAST)· 161-所謂「安全」的常識.md

不引用:139(內文大多是 ChatGPT 回答)、128 的留言者、093(161 的轉貼)。沒有用到學員筆記。

循序漸進(文組版)的頁面

學習地圖(第 3 頁);延伸基礎 12 階:後端基礎(5)、push(9)、metadata(11)、thumbnail(14)、空間預算(18)、chunk(21)、resumable(23)、背景任務(28)、block(32)、sync conflict(34)、加密(38)、stream / idempotency(43);小結(16、27、37、50);名詞小卡(52)。標「複習」的階連到 03 第 1、2、12、15 章與 06 第 2、3、5 章。相簿是示意情境;縮圖和「移字母」的玩具鎖是簡報補充,原書只寫 Image Loader 走 CDN 與 AES-256。

原書對照

Mobile System Design Interview Ch.8 Google Drive app。開場與 Figure 1(第 4 頁);Step 1 問答(6)、Requirements(7)、UI sketch 與 Figure 2(8);Step 2 Network protocol 與 gRPC note(10)、Files and folders(12)、File revisions(13);Step 3 架構與 Figure 3(15);Step 4 File metadata storage、Database design 與 Figure 4(17)、Caching approach(19)、Managing downloaded files(20)、Upload types(22)、High-level steps 與 Figure 5(24)、Implementation details(25–26)、Background tasks、Storage and permissions(29)、Error handling、UX(30)、Figure 6(31)、Version history(33)、Conflict detection(35)、Conflict resolution 與 Figure 7(36)、Data encryption(39–40);Step 5 Wrap-up(41)。7 張圖都依圖說與 alt 描述重繪,不是原圖;Figure 1、7 是截圖,畫成 wireframe。

原書內文的小地方

Step 4 開頭列四個主題,但 data storage 之下還分 metadata 與 downloaded files 兩節;UploadRequest.requestId 沒有說明用途;308 是 Google 的「Resume Incomplete」用法;restore 之後是新增一版還是覆蓋,原書沒說;Figure 6 的圖說在原書斷成兩行(「…to the high-level」「architecture diagram」)。

一個可以直接問自己的問題

你的 App 上傳到一半被系統殺掉,重新打開時它知道要從哪一塊接著傳嗎?同一塊送了兩次,server 會不會存兩次?

← → 翻頁 · S 講者備註 · D 深/淺色
1 / 1目錄