Mobile System Design Interview · 第 8 章Triton 覆蓋度:🟠 低Triton 線
Design a Google Drive App
10 GB 的影片,過了隧道也要接著傳
原書設計一個 1,000 萬 DAU 的 Google Drive 手機 client:REST API 管檔案、資料夾與版本,SSE / WebSocket 收變更通知;手機用 relational DB 存 metadata、私有儲存放下載的檔案;最大 10 GB 的檔案用 resumable upload 一塊一塊傳,斷線就從最後確認的那塊接下去;版本衝突用 optimistic concurrency 偵測,再選 last-write-wins 或分叉。Triton 沒有寫過手機 client,也沒談過 chunked upload 的細節、離線同步或衝突解決,所以這份以原書為主,後段只在他講過的通用原則上做對照。
給文組
全程只用「把一本很厚的相簿寄到國外」一個比喻,一階一階爬 12 個概念。頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。
給工程師
前 41 頁完整講原書(7 張圖全部重繪;Figure 1、7 是 App 截圖,改畫成 wireframe)。後端的 block、delta sync、metadata DB 在 03 第 15 章 Google Drive 簡報,這裡不重講。
標籤怎麼看
📖 原書 🗣️ Triton 本人說 🔭 依 Triton 原則推論 📅 2026 補充
先用生活理解寄一本很厚的相簿 · 動手玩
10 公斤的相簿寄到國外:拆成十箱,每箱拿一張回條
一本很厚的相簿要寄到國外。整本一次寄,路上郵局罷工就要整本重寄;拆成一箱一箱寄,每箱寄到都拿一張回條,罷工結束後從回條上的下一箱接著寄就好。
這一章的對照表
| 生活 | Google Drive App(原書用語) |
|---|---|
| 一本很厚的相簿 | 最大 10 GB 的檔案 |
| 拆成一箱一箱 | chunks,chunkSize 由 backend 決定 |
| 寄件單號 | uploadId(一個 upload session) |
| 回條:「已收到前 3 箱」 | chunksProcessed |
| 單號抄在筆記本上 | 把 UploadResponse 存到磁碟 |
| 單號過期就從頭寄 | uploadExpiresAt |
| 相簿改版,舊版留底 | FileRevision |
| 兩個人同時改同一本 | 409 Conflict、LWW、版本分叉 |
學習地圖本章的概念階梯
今天爬 12 階。每一階只用前面講過的東西。
- 1後端基礎櫃台、填單、總帳(複習)
- 2push倉庫主動傳簡訊(複習)
- 3metadata相簿的目錄本
- 4thumbnail郵票大小的小照片
- 5空間預算家裡的櫃子只有這麼大
- 6chunk拆成一箱一箱
- 7resumable單號和回條
- 8背景任務請管理員代寄
- 9block只寄改過的那頁(複習)
- 10sync conflict家裡和公司都改了
- 11加密保險箱和鑰匙
- 12stream / 重送一箱一箱搬、箱號認得出(複習)
第 1–4 階 · 相簿在雲端,手機怎麼看
要回答:手機跟雲端怎麼說話?清單和圖片從哪來?
第 5–7 階 · 櫃子小、網路會斷
要回答:10 GB 的影片,斷了怎麼接著傳?
第 8–10 階 · App 被關、兩台都改了
要回答:進度記在哪?誰的版本算數?
第 11–12 階 · 加密,和 Triton 的對照
要回答:手機掉了怎麼辦?Triton 的原則對得上嗎?
全程只用一個情境:把一本很厚的相簿寄到國外的倉庫
每爬 3–4 階,有一頁「到這裡你已經會了」。
原書開場Cloud storage on mobile · Figure 1
雲端硬碟搬進手機:瀏覽、上傳、下載、離線看
這一步要解決的問題雲端硬碟的手機版到底要做哪些事?先看一個真的 App 長什麼樣。
📖 原書 雲端儲存已經是跨裝置處理檔案的基礎。Google Drive、Dropbox、Microsoft OneDrive、Apple iCloud 把雲端儲存無縫接進日常工作,改變了檔案管理的方式。這一章設計 Google Drive 的行動 client。
📖 原書 Figure 1 是 Google Drive 的手機介面,說明複雜的需求怎麼變成簡潔好用的體驗。
原圖上有什麼
- 左:Suggested 分頁,檔案依類型圖示(文件、試算表、簡報)列出,附「You edited · Apr 25, 2024」與編輯者名字
- 上方:Search in Drive、頭像、Activity 分頁;下方:Home、Starred、Shared、Files
- 右:My Drive,資料夾 Work、Holidays;底部選單有 Upload file、Scan document、Take photo、Create folder,以及新建 Google Docs、Sheets、Slides
為什麼畫成 wireframe
原圖是 iPhone 上兩張 App 截圖。產品截圖不適合重畫,這裡依 alt 描述畫成線框圖:檔名照原圖,畫面不是真的 App。
延伸基礎 · 複習第 1 階 · 後端基礎(複習)懂的人可以跳過
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
寄相簿之前:郵局櫃台、寄件單、總帳本(複習五個詞)
① 先想像
你到郵局櫃台填一張寄件單。櫃台把它記進總帳本;常被問的事,櫃台旁邊貼了一張小抄。
你猜猜看:App 被下載了 5,000 萬次,每天真的打開的有 1,000 萬人。原書說的「1,000 萬 DAU」是哪一個?
DAU 是「每天真的來用的人」。下載了卻不打開的人,不會送任何單子給 server。
③ 這叫做(複習,點了可以跳過去)
request:送出去的一張單REST API:雲端公開的窗口,一樣東西一個網址database:記正本的總帳本cache:放手邊的小抄,快但不是正本DAU:每天真的打開 App 的人數
④ 跟這章的關係
這本書的主角是手機。雲端那一側懂到這裡,就看得懂原書的需求和 API。
② 動手玩:App 要列出「Work」資料夾
原書 Step 1Understand the problem and establish design scope
先問清楚:多大的檔案?要不要版本?一個人還是多人?
這一步要解決的問題檔案多大、要不要留舊版、幾台裝置?範圍沒定好,後面的設計全部會偏。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 核心功能:上傳、下載(需要時可取消)、建立與刪除資料夾、支援照片影片文件等常見格式,這樣起頭可以嗎? | 基本需求都有了。手機網路不穩,上傳要能續傳,斷線後從中斷處接著傳 |
| 續傳對大檔案、不穩的網路特別有用。檔案大小上限要設多少? | 10 GB |
| 同一個檔案可能上傳很多次,要不要做版本控制,能追蹤變更、還原舊版? | 要,這是雲端儲存很重要的功能 |
| 使用者常在多台裝置上用,要無縫同步。是單一使用者多裝置,還是要考慮分享這類多使用者情境? | 簡化起見,單一使用者、多裝置;分享與權限管理先不做 |
| 非功能需求:大量使用者的 scalability,網路差時也能可靠存取檔案的 durability? | 完全正確。規模抓每日約 1,000 萬 DAU |
| Google Drive 的 Docs、Sheets 有即時編輯與協作,要做嗎? | Docs、Sheets 當一般檔案,不做即時編輯與協作 |
白話:scalability=人變多也撐得住;durability=資料不會丟、拿得到;DAU=每天打開 App 的人數(第 5 頁);OT / CRDT=多人同時打字的合併技術,這章不做。
文組翻譯
接案前先問:相簿最重寄幾公斤(10 GB)?舊版要不要留(版本)?是你一個人用手機、平板、電腦三台輪流寄,還是全家一起改(單一使用者多裝置)?
和 03 第 15 章比
SDI 第 15 章也是 Google Drive,規模一樣抓 1,000 萬 DAU,重點在後端:block server、metadata DB、notification service。這一章只看手機 client 和它跟後端的 API,後端當成一個方塊。
問答裡最關鍵的一句
「Since this is a mobile app, network reliability can be an issue」:手機的網路會斷。整章的 resumable upload、背景任務、錯誤處理,都是從這一句長出來的。
原書 Step 1Requirements · 動手分類
五個功能需求、兩個非功能需求、兩件不做的事
這一步要解決的問題把面試聊出來的東西整理成清單:要做什麼、做到多好、什麼不做。
📖 原書 Functional
- 上傳、下載最大 10 GB 的檔案,進行中可以取消
- 建立、刪除資料夾來整理內容
- 檢視並還原檔案的舊版本
- 中斷的上傳可以續傳
- 檔案在使用者的多台裝置間同步
📖 Non-functional
- Scalability:1,000 萬 DAU、持續成長的使用者與資料量,各種網路與裝置都要撐住
- Data durability:網路很差時,使用者也要能可靠地存取已下載的檔案
📖 Out of scope
- 即時協作(Docs、Sheets 的多人編輯)
- 使用者之間的協作功能,例如檔案分享與權限
猜猜看:這句是哪一類?
原書 Step 1UI sketch · Figure 2
三個畫面:上傳視窗、檔案清單、版本紀錄
這一步要解決的問題使用者會看到哪幾個畫面?先畫草圖,後面才知道 API 要提供什麼。
📖 原書 Figure 2 是 App 的核心畫面:
Files List screen(中)
App 的主要樞紐,使用者在這裡看、管理檔案和資料夾。
Upload Modal(左)
簡單、專注的上傳介面。
File Revisions screen(右)
某個檔案的版本歷史,可以檢視與還原。
原圖上有什麼
- 每一列:小圖示、「Modified Jul 1, 2025」、「⋯」選項
- 左邊清單下方有「Create folder」「File upload」;中間底部有「+」,彎箭頭從「+」指到左邊
- 右邊每一列有 checkbox、「Modified Jan 10, 2025」、OPEN、RESTORE;最上面一列是「Current version」
延伸基礎 · 複習第 2 階 · push(複習)懂的人可以跳過
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
倉庫有新照片了:你每 5 分鐘打電話問,還是等倉庫傳簡訊?
① 先想像
你的相簿放在國外倉庫。平板剛剛加了一張新照片,手機想早點知道。
你猜猜看:每 5 分鐘打一通電話問「有新的嗎」,一天要打幾通?
一小時 12 通 × 24 小時 = 288 通。如果一天只變了 3 次,其他 285 通都是白打。
③ 這叫做 polling、push(複習)
polling:每隔一段時間打去問push:有變化時對方主動通知你WebSocket:不掛斷的雙向電話原書另一種 push 是 SSE(Server-Sent Events):只有 server 能講的單向廣播線。
④ 跟這章的關係
原書:上傳、下載這些動作走 REST;「檔案變了」的通知走 SSE 或 WebSocket,只是訊號,不帶內容。
② 動手玩:一天之中,電話和簡訊
原書 Step 2API design · Network protocol
動作走 REST,「檔案變了」的通知走 SSE 或 WebSocket
這一步要解決的問題「我要做一件事」和「有變化時通知我」是兩種需求,各用什麼方式跟雲端說話?
📖 原書 Google Drive App 主要是 client 發起的動作:上傳、下載、整理資料夾。用 HTTP + REST API 是簡單又被廣泛採用的做法。
📖 原書 即時通知(例如共享的檔案被更新)要另外補上 WebSockets 或 Server-Sent Events(SSE)。這些通知主要是告訴你有變更,不傳檔案內容,所以兩種都能輕鬆處理這種輕量的更新。
📝 原書 Note gRPC 也是好選擇
這裡用 REST,但以這個規模,gRPC + Protocol Buffers 也很適合:
- Binary encoding,效能更好
- 強型別,API 更可靠
- 有效率的雙向 streaming,支援即時檔案更新
熟 gRPC 的話可以照著改 API;後面討論的模式不管選哪個協定都適用。
📝 原書 Note 所有 request 都要
Authorizationheader 帶 JWT bearer token- JSON content type(
application/json)
和一般 REST API 一樣:client 錯誤回 4xx(認證無效、資源不存在、格式錯誤),server 錯誤回 5xx。
白話:JWT=登入後拿到的通行證,每張 request 都出示;gRPC、Protocol Buffers=把資料印成「條碼」給機器讀的另一套說話方式(複習)。
猜猜看:這個動作走哪條路?
Triton 對「推,不要一直問」的說法見第 47 頁
延伸基礎第 3 階 · metadata懂的人可以跳過
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
相簿本身很重,目錄本很薄:列清單時要拿哪一個?
① 先想像
每本相簿配一本薄薄的目錄:一行寫一本,記名字、多重、放在哪個櫃子、上次哪天改的。
你猜猜看:你只想知道「Holidays 資料夾裡有哪些東西」,要把每本相簿都寄回來嗎?
目錄一行只有幾百個字,相簿本身可能好幾 GB。列清單只需要目錄。
③ 這叫做 metadata、fileId
metadata:描述檔案的資料,就是目錄本上的那一行。fileId:每個檔案獨一無二的編號,像身分證字號。
④ 跟這章的關係
原書的 File 物件就是一行 metadata(id、name、mimeType、size…);裡面的 downloadUrl 才指向檔案本身。
② 動手玩:打開一個有 4 個檔案的資料夾
原書 Step 2Endpoints and data models · Files and folders · 動手點
資料夾也是一種檔案:同一組 endpoint 管兩種
這一步要解決的問題列清單、看細節、下載、新增、刪除、改名:每個動作要打哪個窗口?
📖 原書 Google Drive 的資料夾行為就像特殊類型的檔案,所以檔案和資料夾統一用一組 endpoint 管理。
| 動作 | Endpoint | 說明 |
|---|---|---|
| List files | GET /v1/files?parentId={fileId}&page={page}&limit={limit} | 回 200 OK + GetFilesResponse;parentId 選填,沒給就是根目錄 |
| Get file details | GET /v1/files/{fileId} | 回 200 OK + File |
| Download file | GET {downloadUrl} | 網址由 File 物件提供 |
| Create file or folder | POST /v1/files | Body:metadata(例如 name、mimeType、parentId) |
| Delete file or folder | DELETE /v1/files/{fileId} | |
| Update metadata | PATCH /v1/files/{fileId} |
白話:endpoint=API 的一個窗口網址;GET 拿、POST 新增、PATCH 改幾個欄位、DELETE 刪;mimeType=檔案類型(例如 image/png);checksum=檔案的指紋,下載完比對就知道有沒有壞。
data class GetFilesResponse files: List<File> pagination: PaginationMetadata
struct GetFilesResponse files: [File] pagination: PaginationMetadata
data class File id: String name: String mimeType: String size: Long downloadUrl: String? checksum: String? ...
struct File id: String name: String mimeType: String size: Int64 downloadUrl: String? checksum: String? ...
動手點:App 會送出哪個 request?
原書 Step 2File revisions · 動手還原
每個檔案有一串版本:列出、看細節、還原
這一步要解決的問題存檔蓋掉了想拿回舊版:舊版怎麼列出來、怎麼還原?
📖 原書 介紹完檔案管理,接著是版本控制:追蹤變更、還原過去的狀態。為了讓使用者看到並還原檔案歷史,加上綁在每個檔案底下的 revision endpoint。
# List revisions
GET /v1/files/{fileId}/revisions?page={page}&limit={limit}
# Get revision details
GET /v1/files/{fileId}/revisions/{revisionId}
# Restore revision
POST /v1/files/{fileId}/revisions/{revisionId}/restore
data class FileRevision revisionId: String fileId: String mimeType: String size: Long modifiedAt: String downloadUrl: String checksum: String
struct FileRevision revisionId: String fileId: String mimeType: String size: Int64 modifiedAt: String downloadUrl: String checksum: String
📖 原書 這樣 client 就能輕鬆檢視、還原文件的舊版本。
動手點:File revisions 畫面
文組翻譯:相簿每次改版都拍一張照片存檔。想看舊版就翻那張照片(OPEN),想回到舊版就照著那張照片重做一本(RESTORE)。
延伸基礎第 4 階 · thumbnail懂的人可以跳過
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
翻目錄時,每張照片印成郵票大小就好
① 先想像
目錄本上,每張照片旁邊貼一張郵票大小的小照片。真的想看,才把原尺寸那張寄來。
你猜猜看:一頁清單 20 張照片,原圖每張 4 MB、小照片每張 0.04 MB。滑過一頁,兩種各要下載多少?
20 × 4 = 80;20 × 0.04 = 0.8。小照片省了 100 倍,流量和等待時間一起省。
③ 這叫做 thumbnail、CDN
thumbnail:縮圖,清單上用的小照片。CDN:開在你家附近的分店倉庫,圖片從那裡拿最快(複習)。
④ 跟這章的關係
原書 Figure 3:手機的 Image Loader 直接向 CDN 拿圖,不經過 backend。「清單先拿縮圖」是常見做法,原書沒有展開。
② 動手玩:在手機上滑照片清單
原書 Step 3High-level client architecture · Figure 3
手機裡兩層:UI layer 和 Data layer;外面是 Gateway、Backend、CDN
這一步要解決的問題前面的畫面和 API,在手機裡要分哪幾層接起來?外面接哪些服務?
白話:API Gateway=雲端的大門;repository=替畫面拿資料的管理員;State Holder=記住畫面現在的狀態;Network Dispatcher=統一把信寄出去的郵差;Image Loader=負責載入圖片(第 14 頁的縮圖)。
📖 原書 目標是模組化、可擴展的設計,支援現有功能,也留得住未來的成長。先看外部依賴,再看 client。
📖 External server-side components
- Backend:核心系統,處理檔案儲存、metadata、商業邏輯;提供上傳、刪除等 REST API,和即時更新用的 SSE / WebSockets
- CDN:把靜態檔案 cache 在離使用者近的地方,縮短下載時間
- API Gateway:client 進入 backend 的唯一入口,管認證、request routing、安全
📖 Client architecture
分成 UI layer 和 Data layer,程式乾淨、好測、好維護。UI layer 三個主畫面:瀏覽內容的 File List Screen、新增檔案的 File Upload Modal、看歷史的 File Revisions Screen。Data layer 靠 Files 和 Revisions 兩個 repository,和 Network Dispatcher 一起處理與 backend 的 HTTP 溝通;Revisions Remote DataSource 透過 SSE 或 WebSockets 聽即時更新。
📖 原書 這個架構是穩固的基礎,接下來深入幾個比較複雜的部分。
到這裡你已經會了小結 1 / 4
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
到這裡你已經會了:手機怎麼看雲端上的相簿
- 手機送 request 給雲端的 REST API;雲端用 database 記正本、cache 放小抄。
- 「檔案變了」不要一直打去問(polling),讓雲端用 SSE / WebSocket push 過來。
- 列清單只拿 metadata(目錄本);圖片從 CDN 拿,清單上先用 thumbnail。
下一階要解決的問題
目錄本和下載的檔案要放在手機的哪裡?手機的櫃子只有這麼大。
原書 Step 4Design deep dive · Data storage · File metadata storage · Figure 4
Metadata 放手機上的 relational DB,一張表一個 DAO
這一步要解決的問題目錄本(metadata)在手機裡要用什麼存,才查得快、檔案和資料夾的關係不會亂?
📖 原書 Deep dive 談四件事:data storage、resumable file uploads、version history、data encryption。
📖 原書 雲端儲存 App 要管兩種資料:metadata(檔名、資料夾階層、版本資訊)和下載下來的檔案內容。先看 metadata:瀏覽目錄時用 File model 的檔案與資料夾 metadata;追蹤變更時用 FileRevision model 的版本歷史與即時更新。
📖 為什麼選 relational database
這些 metadata 要頻繁查詢與更新:
- 快速、結構化的查詢:列出檔案、找版本
- 維持資料關聯(例如用
parentId把檔案連到資料夾),保持完整性 - metadata 變多時效能依然好,支援擴展
📖 Database design
File 和 FileRevision 結構明確,自然對應到資料表:跨檔案階層做複雜查詢、追蹤檔案和版本的關係、檔案變動時保持一致,都很直接。Figure 4 把架構更新成每張表一個 Data Access Object(DAO)。
白話:relational database=像試算表一樣一張一張表、表跟表能互相對照的資料庫;DAO=專門讀寫某一張表的小程式。
文組翻譯
手機裡有一本目錄本(Files DB):每個檔案一行,寫著叫什麼、放在哪個資料夾、多大。DAO 是兩位專門翻這本目錄的管理員,一位管「檔案」那幾頁,一位管「版本」那幾頁。
延伸基礎第 5 階 · 空間預算懂的人可以跳過
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
家裡的櫃子只有這麼大:先看剩幾格,再決定放什麼
① 先想像
家裡只有一個櫃子,衣服和書(系統、其他 App)已經佔了大半。倉庫寄回來的相簿也要放這裡。
你猜猜看:手機只剩 4 GB。想下載 3 GB 和 2 GB 兩支影片,放得下嗎?
3 + 2 = 5,比 4 大。所以 App 下載前要先看剩多少,不夠就提醒你。
③ 這叫做 storage budget、LRU
storage budget:替 App 定的空間上限。LRU(least recently used):滿了就先清最久沒用的(複習)。
④ 跟這章的關係
原書:目錄本(metadata DB)上限 200MB、用 LRU 清;下載檔案前先檢查可用空間(下兩頁)。
② 動手玩:64 GB 的手機
原書 Step 4 · 動手玩Caching approach · 200MB LRU
Metadata DB 設上限 200MB:最久沒看的資料夾先清掉
這一步要解決的問題目錄本不能無限長:滿了要清掉誰?
手機上的 metadata DB(左 = 最近用過,右 = 最久沒用)
📖 原書 為了在速度和儲存空間之間取得平衡,把 metadata 資料庫限制在一個可設定的大小,例如 200MB,用 LRU(Least Recently Used) 淘汰:最近存取的 metadata 留在裝置上,比較舊的清掉。每筆 metadata 都很小,所以只占一點空間就能 cache 大量資料。
算算看:200MB 放得下幾筆?
文組翻譯
目錄本只有 200 頁。寫滿了,就把最久沒翻過的那幾頁撕掉,騰出位置寫新的。常翻的資料夾永遠在手邊;很久沒看的,下次要看時再去郵局問一次。
Triton 對 cache 上限的說法見第 48 頁
原書 Step 4 · 動手玩Managing downloaded files · 下載前先檢查空間
下載的檔案放在 App 的私有儲存,用 fileId 當檔名
這一步要解決的問題下載的檔案放哪才安全、不撞名?空間不夠怎麼辦?
📖 原書 為了離線存取,使用者可以下載檔案,需要安全又實用的本地儲存。iOS 和 Android 都用 sandbox 隔開的 App 私有內部儲存最適合:
白話:sandbox=每個 App 自己上鎖的房間,別的 App 進不來。
- 檔案不會被外部存取
- App 可以刪除或更新檔案,不影響其他 App 或使用者目錄
- App 內可以直接存取,必要時也能匯出到共用儲存
📖 How it works
檔案放在固定的資料夾,例如 Android 上的
/data/user/0/com.google.android.apps.drive/files/downloads/<fileId>
用 fileId 當唯一檔名,避免撞名。下載前 App 先檢查可用空間,不夠就提醒使用者,大檔案也能順利運作。
🔍 Industry insights
Box Drive 讓使用者把資料夾標記成離線可用;選了之後,內容會在背景自動下載、存在本地供離線使用。
動手下載
downloads/
延伸基礎第 6 階 · chunk懂的人可以跳過
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
10 公斤的相簿,拆成幾箱寄?
① 先想像
郵車可能半路翻車。整本一次寄,翻車就整本重寄;拆成小箱,只要重寄翻掉的那一箱。
你猜猜看:10 公斤拆成 10 箱,第 7 箱在路上丟了。要重寄幾公斤?
每箱 1 公斤,只丟了一箱,只要重寄那 1 公斤。前 6 箱已經到了,不用管。
③ 這叫做 chunk、chunk size
chunk:檔案切出來的一塊。chunk size:每塊多大;原書由 backend 決定,client 照著切。
④ 跟這章的關係
原書:大於 5 MB、或網路容易斷(例如手機 App),就用 resumable upload 一塊一塊傳(下一頁)。
② 動手玩:拆成幾箱?
原書 Step 4 · 動手選Resumable file uploads · Upload types
三種上傳方式:小檔一次傳完,大檔或網路不穩就續傳
這一步要解決的問題每個檔案都要拆箱寄嗎?小東西有沒有更簡單的寄法?
📖 原書 Resumable upload 是行動雲端儲存 App 的基石,尤其是大檔案和不穩的網路:使用者可以暫停、繼續而不用重來,從中斷無縫恢復,還能依網路或電池狀況管理上傳。
📖 原書 很多熱門 App 都用 resumable upload 處理大檔:Google Photos、X(前 Twitter)、Box、Dropbox、Microsoft OneDrive。以 Google Drive 為例,它的文件列了三種上傳方式(原書引文):
uploadType=media · Simple upload
「Use this upload type to transfer a small media file (5 MB or less) without supplying metadata.」
uploadType=multipart · Multipart upload
「Use this upload type to transfer a small file (5 MB or less) along with metadata that describes the file, in a single request.」
uploadType=resumable · Resumable upload
「Use this upload type for large files (greater than 5 MB) and when there's a high chance of network interruption, such as when creating a file from a mobile app. Resumable uploads are also a good choice for most applications because they also work for small files at a minimal cost of one additional HTTP request per upload.」
動手選:這個檔案該用哪一種?
文組翻譯:寄一張明信片,直接投進郵筒就好(simple);寄一個附說明書的小包裹,一次交給櫃台(multipart);寄一整櫃的家具,先拿單號、一箱一箱寄(resumable)。多拿一張單號只多跑一次櫃台,所以 Google 說小東西也可以這樣寄。
📖 原書 Simple upload 很直接,所以接下來專講 resumable upload。
延伸基礎第 7 階 · resumable懂的人可以跳過
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
單號和回條:斷線之後不要猜,去問郵局收到幾箱
① 先想像
開始寄之前,郵局給你一個單號。每箱寄到,郵局就在這個單號下記一筆「收到第幾箱」。
你猜猜看:寄到一半郵局罷工。你拿單號去問,櫃台說「收到 6 箱」(共 10 箱)。下一箱該寄第幾箱?
前 6 箱郵局都收到了,從第 7 箱接著寄。不用從頭,也不用重寄第 6 箱。
③ 這叫做 upload session、resumable upload
upload session:一次上傳開的一張單,單號叫 uploadId。resumable upload:斷了之後,從 server 記的下一塊接著傳。
④ 跟這章的關係
原書 Figure 5:Init(拿單號)→ Upload(一塊一塊傳,可暫停)→ Complete(全部到齊)。
② 動手玩:兩本帳:郵局記的、你記的
原書 Step 4High-level steps · Figure 5 · 兩種 endpoint 結構
Init → Upload(可暫停、繼續)→ Complete
這一步要解決的問題一次可以續傳的上傳,從頭到尾分幾步?各家公司的 API 怎麼切?
- Initiate:client 申請一個 upload session,從 server 拿到唯一的 upload ID 和 session 細節
- Upload chunks:檔案切成比較小的 chunk 傳送;連線中斷時,client 從最後一個成功的 chunk 之後接著傳
- Complete:所有 chunk 都上傳後,server 完成檔案,可以選擇做完整性檢查
📖 原書 各家公司實作這三步的方式不同,主要差在 endpoint 怎麼切:
X、Google(Drive、Photos)
全部透過同一個 endpoint,用 header 或 query parameter 管 metadata。例如 Google Photos 的 resumable upload:
X-Goog-Upload-Command=[start|upload, finalize]
X-Goog-Upload-Offset={bytes_offset}
POST /files?uploadType=resumable&uploadId={uploadId}Dropbox、Box
功能拆到不同 endpoint,每個負責一個步驟。例如 Dropbox:
POST /files/upload_session/start POST /files/upload_session/append POST /files/upload_session/finish
📖 原書 兩種都可行。接下來詳細看多個 endpoint 的做法。
原書 Step 4Implementation details · Initiate · Upload chunks · Resume · Cancel
四支 API:開 session、傳一塊、問進度、取消
這一步要解決的問題那三步落到 API,各要送什麼、回什麼?
📖 原書 Initiate upload
POST /v1/upload?uploadType=resumable
data class UploadRequest requestId: String name: String mimeType: String parentId: String size: Long
struct UploadRequest requestId: String name: String mimeType: String parentId: String size: Int64
data class UploadResponse uploadId: String totalChunks: Int chunksProcessed: Int chunkSize: Long uploadUrl: String uploadExpiresAt: String
struct UploadResponse uploadId: String totalChunks: Int chunksProcessed: Int chunkSize: Int64 uploadUrl: String uploadExpiresAt: String
📖 原書 UploadResponse 引導整個上傳:檔案怎麼切、哪些已經傳了、新的部分該加到哪裡。不管是開始新的上傳還是恢復中斷的上傳,client 都靠它順利管理。
📖 原書 Upload chunks and verify steps
Content-Range: bytes start-end/total
PUT /v1/upload/{uploadId}/chunk
Body: Raw binary data for a particular chunk.
Response: 201 Created if this was the final chunk, or 308 Resume
Incomplete if more chunks remain. Payload of type UploadResponse.
Content-Range header 告訴 backend 送的是檔案的哪一段。最後一塊到了,backend 組合全部、回完成確認;client 依成功的回應碼確認上傳成功。
白話:Content-Range=「這一塊是整份檔案的第幾個 byte 到第幾個 byte」;201=全部收齊、檔案建好了;308=這裡當「還沒完,請繼續」用(第 49 頁)。
📖 原書 Resume upload
GET /v1/upload/{uploadId}
Description: Returns information about an upload session.
Body: Empty.
Response: 200 OK. Payload of type UploadResponse.
client 從 chunksProcessed 的下一塊接著傳。太久了、session 過期,就要從頭開一個新的上傳。
📖 原書 Cancel upload:DELETE /v1/upload/{uploadId},讓 client 中止上傳、釋放 server 資源。
原書 Step 4 · 動手玩把 10 GB 影片一塊塊傳上去 · 斷線、被殺、過期
斷線之後先問 server「收到幾塊了」,再從下一塊接著傳
這一步要解決的問題斷線、App 被關、單號過期:三種意外各要怎麼接回去?
這個模擬的設定(簡報示意)
一支 10 GB 的影片(需求的上限),backend 回 chunkSize = 256 MB、totalChunks = 40。原書沒有給 chunk 大小,數字是示意。
試試這三種意外
- ⚡ 斷線:路上那一塊不見了,已確認的不用重傳。再按一次恢復連線:
GET /v1/upload/{uploadId},從chunksProcessed的下一塊接著傳 - 💀 系統殺掉 App:記憶體全沒了;靠存在磁碟上的
UploadResponse,重新打開 App 時找到未完成的上傳 - ⏰ 過期:到了
uploadExpiresAt,再問就失效,只能從頭開新的 session
文組翻譯
郵局罷工時,你不用猜寄到第幾箱:拿著單號去櫃台問「我的單號收到幾箱了」,櫃台說 17 箱,你就從第 18 箱開始。單號放太久過期了,就只能重新開單、從第一箱寄。
到這裡你已經會了小結 2 / 4
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
到這裡你已經會了:大檔案怎麼在不穩的網路上傳完
- 手機空間有限:替 App 定 storage budget,滿了用 LRU 清最久沒看的;下載前先看剩多少。
- 大檔案切成 chunk:斷線只白傳一塊,不是整份。
- Resumable upload:先拿 uploadId,斷了去問 server 收到幾塊,從下一塊接著傳。
下一階要解決的問題
手機不只會斷線:你看不到的時候,作業系統還會把 App 關掉。還有,兩台裝置都改了同一個檔案,誰算數?
延伸基礎第 8 階 · 背景任務懂的人可以跳過
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
請大樓管理員代寄:可是他每次只能幫你一下子
① 先想像
你出門了,請管理員幫你把剩下的箱子寄完。管理員很忙,每次只能幫一小段時間,時間到就被叫走,換下一位。
你猜猜看:10 箱,每箱 5 秒,共 50 秒。管理員每次只幫 30 秒,進度只記在腦子裡(換人就忘)。寄得完嗎?
每次只寄得完 6 箱,下一位不知道寄到哪,又從第 1 箱開始。進度寫在交接本上,兩次就寄完。
③ 這叫做 background task、OS
background task:App 不在畫面上時還在做的工作。OS(作業系統,iOS、Android)為了省電、省記憶體,隨時會暫停或關掉它。
④ 跟這章的關係
原書:把待傳的 UploadResponse 寫到磁碟(交接本),App 再起來時從那裡接著傳(下一頁)。
② 動手玩:管理員每次只能幫一下子
原書 Step 4 · 動手玩Mobile implementation challenges · Background tasks · Storage and permissions
背景上傳:作業系統隨時會殺掉你,進度要寫在磁碟上
這一步要解決的問題App 不在畫面上,上傳還要繼續;可是系統會關 App、電會沒、空間會滿、權限會被拒。
📖 Managing background tasks
上傳要在背景做,不能卡住 main UI thread。但行動作業系統隨時可能終止背景任務。為了不丟進度,要把待處理的 UploadResponse 物件存到磁碟,App 再次執行時恢復上傳。App 啟動時檢查未完成的上傳、恢復工作,同時監控電池和網路變化等系統狀態。
白話:main UI thread=負責畫畫面的那一位店員,被卡住畫面就凍住(複習);file picker=系統內建的「選檔案」視窗。
📖 Limited storage and permissions
儲存:上傳前會先暫存檔案。手機空間有限,要有低空間策略:監控可用空間,不夠時給清楚的選項,例如清除上傳 cache、刪除之前下載的檔案、顯示儲存用量統計。
檔案存取:用系統的 file picker,它給選到的檔案暫時的讀取權限;或者向使用者要直接的儲存權限。使用者拒絕的話,App 要停用上傳功能,並清楚說明怎麼到系統設定打開權限。
原書 Step 4 · 動手判斷Error handling and recovery · User experience and feedback
Server 回來的狀態不對勁,就從頭來;進度永遠讓使用者看得到
這一步要解決的問題出錯時,什麼情況接著傳、什麼情況從頭來?使用者怎麼知道傳到哪了?
📖 原書 chunk 的複雜度大多在 backend(決定 chunkSize、追蹤進度),但 client 還是要優雅地處理錯誤:
- 連線問題:儲存目前的上傳狀態,連線恢復時從最後成功的 chunk 繼續,並顯示清楚的狀態訊息,例如「Connection lost, attempting to resume」
- 無效的上傳狀態:
uploadUrl過期、backend 回應不一致(例如chunksProcessed比totalChunks還大)、或到了uploadExpiresAt,client 要重新開始上傳流程
📖 原書 為了不讓重試壓垮 server,用 exponential backoff,重試之間的等待越拉越長;既能控制 server 負載,又能讓上傳最終完成。
白話:exponential backoff=重試越等越久,1、2、4、8 秒…(複習)。
點卡片:這個 UploadResponse,續傳還是重來?
📖 User experience and feedback
使用者要隨時知道上傳的進度,即使重新啟動 App:
- 用已完成的部分(
chunksProcessed)比totalChunks算進度 - 更新 UI,顯示有意義的進度指示
- App 在背景時顯示系統通知
動手拉:進度條和通知
文組翻譯:櫃台說「你的單號收到 45 箱」,可是你總共只寄 40 箱,這張單一定有問題,別硬接著寄,重新開一張單比較安全。
原書 Step 4Architecture changes in the diagram · Figure 6
為了上傳,架構多了五個元件
這一步要解決的問題選檔案、查權限、切塊、背景上傳,要放進架構圖的哪裡?
文組翻譯:多了一位選件員(Picker)、一位查證件的(Permissions Helper)、一位打包員(Splitter)、一位寄件主管(Uploader Service),主管把單號抄在筆記本上(Files DB),一箱一箱交給郵差(Network Dispatcher)。
📖 原書 把前面討論的新元件畫進架構圖,兩層都加強了:
UI layer
- File Picker:處理使用者和裝置檔案系統的互動,從這裡開始上傳
- File Permissions Helper:確認存取權限
- File Upload State Holder:管理上傳進度,接收 File Upload Modal 的更新
Data layer
- File Splitter:把大檔案切開
- File Uploader Repository 和 File Uploader Service:在背景管理上傳流程
Repository 和 Files Local DataSource 互動;Service 經過 File Splitter 和 Network Dispatcher 跟 Files Remote DataSource 溝通。
延伸基礎 · 複習第 9 階 · block(複習)懂的人可以跳過
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
相簿 100 頁只改了 1 頁,要整本重寄嗎?
① 先想像
你在相簿第 37 頁換了一張照片。倉庫裡已經有改之前的那一本。
你猜猜看:100 頁、每頁 10 公克(整本 1 公斤)。改了 1 頁,「只寄那一頁」和「整本重寄」各寄多少?
只寄改過的那頁是 10 公克,整本重寄是 1,000 公克,差 100 倍。代價是要先找出哪一頁改了。
③ 這叫做 block、hash(複習)
④ 跟這章的關係
原書的版本歷史有兩種做法:整份重傳(full copy upload),或只傳改過的 block(block-level sync)。下一頁比較。
② 動手玩:點格子,改幾頁看看
原書 Step 4 · 動手玩Version history · Full copy upload vs Block-level sync
新版本怎麼傳:整份重傳,還是只傳改過的 block?
這一步要解決的問題改了檔案要存成新版:整份重傳,還是只傳改的部分?
示意:block 大小用 4 MB(SDI 第 15 章原書的數字),本章原書沒給。
📖 原書 版本歷史讓使用者需要時能還原舊版。使用者改了檔案再上傳,App 要有效率地處理新版本,主要有兩種做法,對儲存、頻寬、App 複雜度的影響不同。
| Full copy upload | Block-level sync | |
|---|---|---|
| Client | 不管改多小,整份檔案送到 server | 把檔案切成 block、找出不同、只送那些 block |
| Backend | 每個版本存成完整、獨立的副本 | 維護一份 block registry,需要時重建版本 |
| 優點 | 好實作,不用追蹤變更;可靠,每版都完整、好還原 | 更有效率:省頻寬和儲存,適合大檔小改 |
| 缺點 | 吃儲存:完整副本越堆越多,大檔更明顯;吃頻寬:每次全傳 | 較複雜:要管理、重組 block;吃資源:兩端都要額外運算 |
| 誰在用 | Google Drive、Box、OneDrive、iCloud 等多數雲端硬碟,因為簡單可靠 | Dropbox 用 Broccoli 編碼系統和 block sync protocol 率先推動 |
文組翻譯:相簿改了一頁,full copy 是整本重寄、倉庫多放一整本;block-level 是只寄那一頁,倉庫記一張「第 2 版 = 第 1 版,但第 37 頁換成這張」的清單。
後端怎麼切 block、怎麼 dedupe,見 03 第 15 章簡報 的 delta sync。
延伸基礎第 10 階 · sync conflict懂的人可以跳過
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
家裡和公司各一本影本,兩邊都改了第 3 頁
① 先想像
同一本相簿,你在家裡和公司各放一本影本。出差沒網路時,兩邊都改了第 3 頁。
你猜猜看:兩本都寄回倉庫,倉庫只留最後寄到的那本。會怎樣?
後到的那本把先到的整本蓋掉。所以寄回時要附一句「我是從第幾版改的」。
③ 這叫做 sync conflict、version number
sync conflict:兩台裝置都改了同一份,彼此不知道。version number:每份標「第幾版」,寄回時說「我是從第幾版改的」。
④ 跟這章的關係
原書:上傳時帶 If-Match(我從哪一版改的),版本不對就回 409。先假設很少撞、撞到再處理,叫 optimistic concurrency control(下一頁)。
② 動手玩:兩本影本都寄回倉庫
原書 Step 4 · 一步一步Managing file conflicts · Conflict detection · Optimistic concurrency control
兩台裝置離線改同一個檔案:上傳時帶上「我是從第幾版改的」
這一步要解決的問題兩台裝置都改了同一個檔案,server 怎麼發現?
📖 優點
- 只接受基於最新版的變更,防止 lost update
- 可以做細緻的衝突解決,資料完整性通常更高
📖 缺點
- 衝突處理流程增加延遲,在不穩的行動網路上更明顯
- 衝突錯誤可能讓使用者挫折,有時要手動合併
📖 原書 多台裝置同時改同一個檔案,就會衝突:一台離線時改了、另一台在同步前也改了;兩台幾乎同時上傳;同步到一半中斷,檔案停在不一致的狀態。處理分兩部分:conflict detection(找出變更重疊)和 conflict resolution(決定怎麼處理競爭的版本)。
📖 Optimistic concurrency control
提交前先驗證變更是不是基於目前的版本。假設衝突很少,只在更新時檢查。Box 就用 HTTP header 做版本驗證。
白話:lost update=有一份改動被蓋掉、沒人發現;If-Match=「我是從這一版改的,不是的話請拒絕」;409 Conflict=版本對不上,退回。
- 每個檔案有一個 client 和 server 都追蹤的版本識別(版本號或 hash)
- 上傳新版時,連同目前的版本一起送,例如
If-Match: <version> - Server 跟最新版比:一樣 → 上傳成功、版本遞增;不一樣 → 回
409 Conflict拒絕 - 偵測到衝突時,client:用
GET /v1/files/{fileId}拿最新版 → 合併變更(依檔案類型自動或由使用者決定)→ 用新版本重試上傳
原書 Step 4 · 動手選Conflict resolution · LWW · Version forking · Figure 7 · Dropbox API
衝突之後誰贏:最後寫的贏、兩份都留,或問使用者
這一步要解決的問題發現衝突之後,留哪一份?自動決定,還是問使用者?
📖 原書 Google Drive 這類雲端儲存常用 eventual consistency,優先考慮 availability,讓更新不必立刻同步到所有裝置就能進行。在這個模型裡,衝突是接受更新之後才偵測,再用策略解決。兩種常見策略:
- Last-Write-Wins(LWW):自動把最新的版本當成目前版本
- Version forking:兩個衝突版本都保留,通常在檔名加數字,例如「filename.png」和「filename (1).png」
白話:eventual consistency=各裝置先各改各的,過一陣子再對齊;availability=隨時都能用。
📖 原書 選哪個看 App 的需求。Dropbox 預設保持簡單:自動存最新版、不問使用者,用 last-write-wins。Google Drive 讓使用者決定:偵測到衝突時跳出對話框,問要保留兩個檔案還是取代舊的(Figure 7)。
📖 Dropbox 的上傳 API 兩種都支援
兩個參數 strict_conflict 和 mode 讓開發者精確控制(依原書的描述):
資料夾裡現在有
到這裡你已經會了小結 3 / 4
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
到這裡你已經會了:App 被關、改版、和兩台都改了
- 作業系統隨時會停掉 background task:進度要寫在磁碟上,App 重開時接著做。
- 改了一小段,可以只傳改過的 block;多數雲端硬碟還是選整份重傳,因為簡單可靠。
- 兩台都改了是 sync conflict:帶 version number 讓 server 發現,再選最後寫的贏、兩份都留,或問使用者。
下一階要解決的問題
手機掉了,撿到的人看得到你的檔案嗎?最後再看 Triton 的原則對不對得上。
延伸基礎第 11 階 · 加密懂的人可以跳過
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
相簿鎖進保險箱:鑰匙不能黏在箱子上
① 先想像
相簿裡有公司機密。你把它鎖起來,只有拿到鑰匙的人看得懂。
你猜猜看:規則是「每個字母往後移 3 個」(A→D、B→E、C→F)。「CAB」鎖起來變成什麼?
C→F、A→D、B→E,所以是 FDE。不知道「移 3 個」的人,只看到一串怪字。右邊換鑰匙試試。
③ 這叫做 encryption、key
encryption(加密):把內容變成只有拿到鑰匙的人看得懂的亂碼。key(金鑰):那把鑰匙。
④ 跟這章的關係
原書用 AES-256(比「移幾個字母」強非常多的鎖),金鑰交給手機系統的保險箱(Keystore / Keychain)保管(下一頁)。
② 動手玩:玩具鎖:字母往後移幾個
原書 Step 4 · 動手玩Data encryption · Files and metadata · Key management for offline access
企業客戶要求手機上的檔案加密:AES-256,金鑰交給系統保管
這一步要解決的問題手機掉了,撿到的人能不能直接讀出檔案?金鑰放哪,離線也能開?
📖 原書 面試官有時會加需求:如果要支援要求裝置上的檔案必須加密的企業客戶,你會怎麼做?
📖 Files and metadata encryption
不加密的話,手機遺失或被入侵,攻擊者把儲存空間 mount 起來就能看到敏感檔案。用 AES-256:強、業界標準,在行動硬體上兼顧安全和效能。
- Metadata protection:檔名、資料夾結構等 metadata 存在加密的資料庫
- File protection:下載的檔案在 App 私有儲存裡加密
即使儲存空間被存取,沒有解密金鑰資料也無法辨識。
📖 Key management for offline access
要能離線開檔,金鑰必須存在本地,不能只靠 server。用平台的安全功能保管:
- Android:Android Keystore,硬體支援的金鑰儲存,防止金鑰被取出
- iOS:Keychain,類似的保護,有的話整合 Apple 的 Secure Enclave
再加強:用 PBKDF2(key derivation function)從使用者的登入憑證導出金鑰,只有通過驗證的使用者能解鎖,加密和身分緊緊綁在一起。
手機掉了:撿到的人看得到什麼?
Triton 對「安全」的定義見第 40 頁
原書 Step 4 · 點卡片Mobile implementation considerations · 加密在手機上的五個麻煩
加密不是加上去就好:會卡、會變大、會吃記憶體、會壞、會被備份
這一步要解決的問題加了密之後,手機上會多出哪些麻煩?
遇到這個情況,原書怎麼做?
📖 原書 加密提供基本的安全,但在行動裝置上有獨特的挑戰,要在強安全和流暢效能之間取得平衡。五個面向:Performance and resources、Memory management、Error handling and recovery、Backup strategy、Device compatibility(左邊八張卡片照原書)。
「什麼是「安全」,就是「犯案的機會成本」比「犯案後得到的利益」更低。」🗣️ Triton 本人說 161-所謂「安全」的常識.md(談的是 server 端存密碼,不是手機加密)
🔭 推論 用 161 的定義看原書
AES-256 加上不能被取出的硬體金鑰,是提高撿到手機的人的犯案成本;PBKDF2 把金鑰綁到登入憑證,讓「只偷到手機」不夠。161 的文章重點是:不要存可還原的使用者密碼,所以 PBKDF2 的輸入應該是登入當下輸入的憑證,App 不要把密碼本身存起來。
文組翻譯:把相簿鎖進保險箱(加密),鑰匙交給大樓管理員保管、不能複製(Keystore);管理員還要看你本人的證件才給你開(PBKDF2)。搬家備份時,保險箱不跟著搬,要另外換一把搬家用的鎖。
原書 Step 5Wrap-up · 還有時間可以談
原書的收尾:REST 為主、SSE / WebSocket 推變更,和三個延伸題
這一步要解決的問題面試快結束時,怎麼收尾?還有時間的話,可以延伸哪些題目?
📖 原書 總結
設計了一個 Google Drive client,解決雲端儲存 App 的關鍵挑戰:讓使用者安全地儲存、存取、同步檔案,同時保有完整的版本歷史。核心操作用強健的 REST API,檔案變更時用 SSE 或 WebSockets 推即時更新。
仔細安排 client 元件、定義清楚的 backend 互動,涵蓋從基本檔案操作到 resumable upload、檔案版本控制這類複雜功能。
📖 原書 有多的時間,可以考慮的延伸
- Selective sync:讓使用者選哪些資料夾、哪些檔案類型存在本地,哪些只留在雲端
- 完整的檔案分享系統:細緻的權限與存取控制,安全地協作
- 壓縮:用 Google 的 Brotli 等演算法優化傳輸與儲存,降低頻寬與儲存成本
把整章串成一句話
瀏覽時,metadata 從手機的 Files DB(200MB LRU)先顯示;下載的檔案用 fileId 放在私有儲存,離線也打得開。上傳時先 POST 拿 uploadId,PUT 一塊塊送、拿 308,UploadResponse 寫在磁碟上;斷線或被殺就 GET 問進度接著傳,最後一塊拿 201。改版時帶 If-Match,撞到 409 就拿最新版合併,或交給 LWW、分叉、使用者決定。
到這裡原書全部講完,下一頁開始是 Triton。
Triton 觀點先看全貌 · 覆蓋度低
Triton 沒寫過手機 App;只有五個通用原則用得上
有出處 Triton 講過、這章用得上的原則
- 檔案當 stream,不當 byte array:4 GB 影片在手機上也只用固定的 buffer(第 44 頁)130 · 128
- 網路隨時會斷:chunk 的 PUT 要能原封不動重送,upload session 是一個名詞資源(第 45 頁)028 · 027
- 409 通常跟 optimistic lock 有關,而 optimistic lock 只適合低衝突(第 46 頁)028 · 083 · 059
- 「工作做好了我會告訴你」:push 優於 polling,未完成的工作記在不會掉的地方(第 47 頁)012 · 185 · 020 · 027
- metadata 和大檔分開放,cache 要有上限(第 48 頁)181 · 144 · 128
沒有 Triton 資料 這些照原書講,不推論
- chunked / resumable upload 的內部:chunk 大小、Content-Range、308、session 過期、Google 和 Dropbox 的 endpoint 結構
- 離線同步與多裝置同步協定、selective sync
- 衝突解決:LWW、版本分叉、合併、Figure 7 的對話框
- full copy vs block-level sync(後端版本見 03 第 15 章)
- 手機 OS 的背景任務、file picker、權限、sandbox
- 裝置加密:AES-256、Keystore / Keychain、PBKDF2
先說清楚定位:後面所有 🗣️ 引文都來自 Triton 的後端或通用文章(RESTful 講義、io streaming、optimistic lock、MQ),沒有一篇在談手機 App。拿來對照原書的地方一律標 🔭 推論,不能說成 Triton 評論過這一章。139〈應該把File當成Stream而不是ByteArray〉的內文大多是 ChatGPT 的回答,不引用;128 只引主文。
延伸基礎 · 複習第 12 階 · stream / 重送(複習)懂的人可以跳過
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
Triton 會用到的兩個詞:一箱一箱搬、箱號認得出來
① 先想像
搬家時不用把整屋東西一次扛在身上,一箱一箱搬就好。每箱寫上編號,同一箱送了兩次,倉庫一看就知道。
你猜猜看:第 13 箱已經送到,但回條掉了,你又送一次。箱子上寫著「第 13 箱」,倉庫會收進兩個第 13 箱嗎?
倉庫比對編號和內容:一樣,就回「收到了」,不多放一箱。沒寫編號,倉庫就分不出來。
③ 這叫做 stream、idempotency(複習)
④ 跟這章的關係
Triton 的 130 講 stream(下一頁);028 講可以放心重送的 PUT(再下一頁)。
② 動手玩:搬一本很重的相簿
Triton 原則 · 動手玩130 io streaming · 128 主文 · 原書的 File Splitter 和加密
4 GB 的影片傳上去,手機記憶體只用固定的一小塊
原書這樣做會出什麼事?File Splitter 如果先把整支 4 GB 影片讀進記憶體、加密時再複製一份,8 GB RAM 的手機會怎樣?
讀檔握一份、加密再握一份,就是 8 GB。原書沒寫 File Splitter 怎麼讀檔;先猜,再按 → 看 Triton 怎麼說,下面的互動可以驗證。
「你打開url時,你的browser / App會拿固定量(例如128 MB)的Memory作為buffer。」「即使你看完總共23GB的影片也好,你也只用上了固定的很小塊Memory。」(原文連說五次)🗣️ Triton 本人說 130-喵談 io streaming.md
「如果這份data要做多個階段的…你的Application code應該是把不同階段的上下游,用 Reader(如果是data input)/Writer(如果是data output)串接起來。千萬不要先做一個階段再把整份data放memory。」🗣️ Triton 本人說 130 · 結論
🗣️「我們應該把File當成Stream而不是ByteArray」(原文連說五次)128 · 主文
🔭 推論 對照原書
130 講的是看影片和 server 收 HTTP body,不是手機上傳;但原理一樣。原書的 File Splitter 只要依 Content-Range 從檔案讀那一段,加密也一段一段做,就不用把 10 GB 放進記憶體。原書在加密那節自己提醒了「同時在記憶體保留加密與解密的檔案」的記憶體消耗,130 的 Reader / Writer 就是答案。server 端 block server 的同一件事見 03 第 15 章簡報。
Triton 原則 · 一步一步027 / 028 RESTful API Design · 淺談網路的不穩定性 · PUT · Idempotence
回應掉在隧道裡:同一塊再 PUT 一次,server 認得出來嗎?
- 送出 chunk 13
- Server 收到並存好,回應 308
- 308 掉在隧道裡
- Client 等不到回應 → 原封不動再送一次
- Server 收到第二次
- 繼續送 chunk 14
🔭 推論 對照原書
Content-Range就是 028 的step_id:request 自己帶著「這是第幾段」,重送時 server 比對已經存的那段,一樣就回成功- 存
UploadResponse、啟動時GET問停在哪、從那裡接著傳,正是 028 的「前端土法煉鋼」。Triton 在轉帳裡嫌它,是因為轉帳本來能用一支 API 做完;10 GB 在手機上做不到一次傳完,這裡它就是正解。他的但書「硬碟故障沒用」也還在,所以要有uploadExpiresAt、過期從頭來
原書這樣做會出什麼事?chunk 13 已存好,308 卻掉在隧道裡。手機原封不動再 PUT 一次:
PUT 帶著 Content-Range,server 比對就知道收過了。左邊按「下一步」驗證,再切到「append」看出事的版本。
「使用 API 時,連線可能在信號送達伺服器前斷線 – 也可能在伺服器正要傳回 API 結果時斷線 – 更可能客戶端以為斷線,卻早已成功傳送資訊」🗣️ Triton 本人說 028 ·「淺談網路的不穩定性」
「/chinese_chess_game/{game_id} (PUT) { "step_id" : 31, "action" : "炮二平五 " } … 如果第 31步已經被執行,伺服器會檢查已經存在的第 31步是否等於 "炮二平五 "。如果是,傳回"成功"給客戶端;如果不是,則傳回錯誤。」🗣️ Triton 本人說 028 ·「完整資料」範例
「Non-atomic 下的前端土法煉鋼 – 轉帳前先把這記錄存放在客戶端硬碟 – 程式重新啟動時發現未完成的轉帳記錄時,客戶端需要: – 先問伺候器,轉帳過程是停在那一步驟 – 從當掉的步驟重來 – 不過對於硬碟故障的客戶,這方案沒用!」🗣️ Triton 本人說 028(027 同一頁)·「伺候器」照原文
🔭 推論 upload session 是一個名詞
028:「動名詞(Gerunds)也是名詞一種,例如要銀行轉帳時,應該建立/MoneyTransfers這個物件」。/v1/upload/{uploadId} 就是「一次上傳」這個名詞;檔案要到最後一塊才出現,不會留下半個檔案
Triton 原則 · 動手玩028 409(Conflict) · 083 optimistic lock 的適用場景 · 059 搶票
原書的 If-Match + 409 就是 optimistic lock:先問衝突多不多
原書這樣做會出什麼事?If-Match + 409 在「一個人、三台裝置」很順。如果改成 40 個同學同時改同一份檔案:
只有第一個寄到的成功,其他人都要拿新版、合併、整份重傳。下面切到「全班同時改一份檔案」看看。
「409(Conflict) – 通常跟 optimistic lock 有關 – 這是指用戶正在改動的物件,已經被別人先改動過了。」🗣️ Triton 本人說 028 ·「常用 HTTP 回答碼:4xx」
「optimistic lock的適用場景是low collision frequency(通常也是low update frequency)的資料保護」「以人類為主要對象的商業系統,以秒為resolution的optimistic lock還算夠用。」「誰說optimistic lock一定要用上update_ts? version number(int) 也行啊」「把整份data來對比有沒有改動過啊」🗣️ Triton 本人說 083(標題即「optimistic lock的適用場景是low collision frequency…」)
「一旦資料在中間被人改動過: – 要麼就是把資料再拿一次,再重新跑一次 business logic (就是 git pull –rebase ) – 要麼就是 return error 叫用戶重新 resubmit request」「如果 1000 人同時按下購買…… – 只有一個會 success ,另外 999 人會 rollback 然後重來」🗣️ Triton 本人說 059-ecom-system design.pdf.md · 第 9–10 頁
🔭 推論 對照原書
Triton 講的是 DB 的 row,原書講的是檔案,但結構一樣:原書的「版本號或 hash」= 083 的 version number 或「整份 data 對比」(hash 是便宜的整份對比);原書的「拿最新版、合併、重試」= 059 的 git pull --rebase,交給使用者合併 = 059 的「叫用戶重新 resubmit」。需求把範圍限在單一使用者多裝置,正好是 083 說的 low collision;如果延伸題的「分享」加進來,衝突頻率上升,就要重新評估。
Triton 原則 · 點卡片012 Async IO · 185 push · 020 outstanding_tasks · 027 202
「收到了,做好了我會告訴你」:未完成的工作記在不會掉的地方
「應該先告訴用戶:你的請求收到了,工作做好了我會告訴你的 – 這需要 UX 上作出配合」🗣️ Triton 本人說 012-Advanced_Database_Skills.pdf.md · Async IO
「不好架構: B使用polling,每2秒就問A:「我的食材呢」 好架構: A建立websocket(或任何server push技術),安靜地等A去買東西和告訴結果。」🗣️ Triton 本人說 185-電商用 queue-.md
最佳解:「換一家有支持Callback的服務供應商便好。」暴力解:「建立一個outstanding_tasks的table(不使用redis的原因是怕redis當掉後data loss有工作變成孤兒)」「(補充:如果這個worker死掉,重新起來時對outstanding_tasks整個拿便好)」🗣️ Triton 本人說 020-MQ解法.md
🗣️ 202(Accepted)「這單純代表收到了工作,不代表工作做完了 – 一般來說,工作完成後伺服器會主動推送結果給客戶端」028;027 同一頁:「沒事別亂用」
原書這樣做會出什麼事?假設待傳的 UploadResponse 只放在記憶體、不寫磁碟,App 被系統關掉之後:
記憶體裡的東西跟著 App 一起消失。原書寫磁碟是對的;Triton 020 說未完成的工作要記在「不會掉」的地方。
🔭 推論 對照原書:點卡片
文組翻譯:寄件時櫃台說「收到了,寄到會傳簡訊給你」,你就回家,不用每兩分鐘打電話問(185)。你自己的筆記本上寫著「還有三箱沒寄完」,筆記本是寫在紙上,不是記在腦子裡(020 不用 Redis 的理由)。
Triton 原則 · 動手比181 · 144 TOAST · 128 主文 · 028 304
目錄本只放 metadata;cache 要有上限,也要能驗新舊
原書這樣做會出什麼事?目錄本有 200MB 上限,但沒說多久要重新確認。平板剛在 Work 加了檔案、通知又剛好漏了,手機打開 Work:
cache 裡是上次抄的小抄,沒人叫它更新它就不會變。右邊勾「平板剛剛新增了一個檔案」,比較三種做法。
「像是text / blob這些很可能很會大的data type,很可能會>8KB的,所以,RDBMS會把這些text / blob的內客externalize,然後在row record內只存放externalized address 這樣做的後果,是讓本來能一次disk IO解決東西,變成了需要二次disk IO才能解決」🗣️ Triton 本人說 181(「內客」照原文)
🗣️「(postgresql該機制名字叫TOAST,default觸發點為單一column 2KB)」144-喵談分表.md
「如果你不懂什麼需要放進local cache 你應該依賴OS level的file cache而不是自己亂來」「如果你真的真的要建local cache 你應該用一堆現有的caching library 並且設定好cache TTL和cache max size 你用HashMap來當成cache是單純的智障」🗣️ Triton 本人說 128 · 主文第 2、3 點(後面的留言不引)
🗣️ 304(Not Modified):「客戶端會發出 Conditional-GET ,在 HTTP header 中加入 If-Modified-Since: <某時間> – 如果客戶端版本是最新的,便回答 304 。否則便 200」028
動手比:重新打開「Work」資料夾
🔭 推論 對照原書
- 原書 Files DB 只放 metadata,檔案內容放
downloads/<fileId>,和 181 的「大東西 externalize」同方向;檔案本身交給檔案系統,也接近 128 的「依賴 OS level 的 file cache」 - 原書的 200MB LRU 有 128 要的 max size,但沒有 TTL,也沒說 cache 的資料怎麼確認還新鮮;SSE 漏掉時,028 的 Conditional GET 是便宜的補法。原書沒有定義
If-Modified-Since,這是建議,不是原書內容
📅 2026 補充書本身沒提的標準與平台 API
308、背景傳輸 API、可續傳上傳的標準化
308 在 HTTP 標準裡是 Permanent Redirect
RFC 7538(2015)把 308 定義成 Permanent Redirect。原書沿用 Google API 的用法,把 308 當成「Resume Incomplete」。自己設計 API 時要知道這不是標準語意,client 和中間的 proxy 不一定照你的意思處理。
交給作業系統的背景傳輸
原書只說「背景任務可能被終止,所以進度存到磁碟」。兩個平台都有現成的 API:iOS 的 background URLSession 讓系統在 App 被暫停後繼續傳輸;Android 的 WorkManager 可以設 constraint,例如只在 unmetered 網路(通常是 Wi-Fi)或電量不低時才跑。第 29 頁的「只用 Wi-Fi」就是這類設定。
可續傳上傳正在標準化
原書列的 Google、Dropbox、Box、OneDrive、X 各有各的 resumable 協定。IETF 的 HTTP 工作小組在把它標準化(draft-ietf-httpbis-resumable-upload,源自開源的 tus 協定)。面試時可以提:自己設計之前,先看有沒有標準或現成的協定可以用。
到這裡你已經會了小結 4 / 4
- 後端基礎
- push
- metadata
- thumbnail
- 空間預算
- chunk
- resumable
- 背景任務
- block
- sync conflict
- 加密
- stream / 重送
到這裡你已經會了:加密,和 Triton 的對照
- 手機上的檔案用 AES-256 加密,金鑰交給系統的保險箱保管,不跟檔案放在一起。
- Triton 的 stream:大檔一段一段處理,記憶體只用一小塊;原書的 File Splitter 和加密都該這樣做。
- Triton 的 idempotency:帶位置的 PUT 可以放心重送;If-Match + 409 就是 optimistic lock,前提是衝突少。
12 階全部走完了
下一頁用一句話收尾;再下一頁是名詞小卡,給大家課後複習。
一句話記住
大檔拆成一塊塊寄,每塊拿回條,單號寫在本子上;
兩台裝置都改了,先比版本號,再決定誰贏。
原書的做法
- REST 管檔案、資料夾、版本;SSE / WebSocket 推變更
- Files DB(200MB LRU)放 metadata,下載檔用 fileId 放私有儲存
- Resumable upload:POST 開 session → PUT + Content-Range → 308 / 201;GET 問進度,過期從頭
- UploadResponse 存磁碟、啟動時恢復、backoff、進度與通知
- If-Match + 409 偵測衝突;LWW、分叉、或問使用者
- AES-256 + Keystore / Keychain + PBKDF2
和 Triton 原則一致(🔭)
- 檔案當 stream,記憶體只用固定 buffer(130、128)
- PUT 帶位置,重送不重複;upload session 是名詞(028)
- 409 = optimistic lock,單一使用者多裝置衝突低(028、083)
- 未完成的工作寫在會活下來的地方(020、012)
可以追問原書的
- File Splitter 和加密有沒有真的串流?
- 如果加入分享,optimistic lock 的前提還成立嗎?(083、059)
- LRU 有上限但沒有 TTL;cache 怎麼確認還新鮮?(128、028 的 304)
本章名詞小卡課後複習用 · 每個名詞一句白話
今天出現的名詞,一句話講完
給工程師的重點出處與標籤
引述來源(materials/core)與原書對照
Triton 本人的講義 / 文章(都不是在談手機 App)
- 130-喵談 io streaming.md — 128 MB buffer、23GB 只用固定的很小塊 Memory、多階段用 Reader / Writer 串接
- 128-喵談 buffer stream and local cache.md — 主文:File 當 Stream 不當 ByteArray、依賴 OS level file cache、cache lib + TTL + max size;後面的留言與 ChatGPT 段落不引
- 028-RESTful API Design-tw-2.2.pdf.md(027 為 2.1 版,同內容)— PUT 定義、202 / 304 / 409、淺談網路的不穩定性、前端土法煉鋼、動名詞資源、中國象棋 step_id、Idempotence;027 的 202「沒事別亂用」
- 083(optimistic lock 的適用場景是 low collision frequency)· 059-ecom-system design.pdf.md 第 9–10 頁
- 012-Advanced_Database_Skills.pdf.md Async IO · 185-電商用 queue-.md · 020-MQ解法.md
- 181(8KB data block、blob externalize)· 144-喵談分表.md(TOAST)· 161-所謂「安全」的常識.md
不引用:139(內文大多是 ChatGPT 回答)、128 的留言者、093(161 的轉貼)。沒有用到學員筆記。
循序漸進(文組版)的頁面
學習地圖(第 3 頁);延伸基礎 12 階:後端基礎(5)、push(9)、metadata(11)、thumbnail(14)、空間預算(18)、chunk(21)、resumable(23)、背景任務(28)、block(32)、sync conflict(34)、加密(38)、stream / idempotency(43);小結(16、27、37、50);名詞小卡(52)。標「複習」的階連到 03 第 1、2、12、15 章與 06 第 2、3、5 章。相簿是示意情境;縮圖和「移字母」的玩具鎖是簡報補充,原書只寫 Image Loader 走 CDN 與 AES-256。
原書對照
Mobile System Design Interview Ch.8 Google Drive app。開場與 Figure 1(第 4 頁);Step 1 問答(6)、Requirements(7)、UI sketch 與 Figure 2(8);Step 2 Network protocol 與 gRPC note(10)、Files and folders(12)、File revisions(13);Step 3 架構與 Figure 3(15);Step 4 File metadata storage、Database design 與 Figure 4(17)、Caching approach(19)、Managing downloaded files(20)、Upload types(22)、High-level steps 與 Figure 5(24)、Implementation details(25–26)、Background tasks、Storage and permissions(29)、Error handling、UX(30)、Figure 6(31)、Version history(33)、Conflict detection(35)、Conflict resolution 與 Figure 7(36)、Data encryption(39–40);Step 5 Wrap-up(41)。7 張圖都依圖說與 alt 描述重繪,不是原圖;Figure 1、7 是截圖,畫成 wireframe。
原書內文的小地方
Step 4 開頭列四個主題,但 data storage 之下還分 metadata 與 downloaded files 兩節;UploadRequest.requestId 沒有說明用途;308 是 Google 的「Resume Incomplete」用法;restore 之後是新增一版還是覆蓋,原書沒說;Figure 6 的圖說在原書斷成兩行(「…to the high-level」「architecture diagram」)。
一個可以直接問自己的問題
你的 App 上傳到一半被系統殺掉,重新打開時它知道要從哪一塊接著傳嗎?同一塊送了兩次,server 會不會存兩次?