System Design Interview Vol. 2 · 第 11 章Triton 覆蓋度:🟢 高Triton 線
Payment System
收錢這件事,一分都不能錯
原書要做 Amazon 等級電商的付款後端:pay-in、pay-out、雙重記帳、hosted payment page、對帳、retry 加 idempotency。原書的設計大致是對的;Triton 把其中三件事講得更具體:跟 PSP 之間就是 2PC、錢用 Decimal 算、用總和必須為零的不變量對帳。
給文組
全程用「婚宴收禮台」比喻,一階一階爬 11 個概念。頁首標 延伸基礎 的頁是補基礎,懂的人可以跳過。
給工程師
第 5–37 頁完整講原書(13 張圖、6 個表),第 40 頁起是 Triton 的觀點,最後一頁列出所有出處(materials/core)與頁碼對照。
標籤怎麼看
📖 原書 🗣️ Triton 本人說 📝 上課筆記 💬 作者未標示 🔭 依 Triton 原則推論 📅 2026 補充
先用生活理解婚宴收禮台
收禮台不擁有紅包,它只是「代收」
婚宴門口的收禮台:賓客把紅包交給收禮台,收禮台把錢放進錢箱、在禮簿上記一筆;散席後扣掉場地費,把禮金點交給新人。
| 婚宴 | 原書的付款系統 |
|---|---|
| 賓客交紅包 | Pay-in:買家付錢,錢進 Amazon 的銀行帳戶 |
| 散席後點交新人 | Pay-out:商品送達後,扣掉手續費付給賣家 |
| 禮簿 | Ledger:每一筆錢從誰到誰 |
| 每位新人的禮金小計 | Wallet:每個賣家目前有多少錢 |
| 點交前,錢箱對禮簿 | Reconciliation:對帳 |
| 同一包紅包不能記兩次 | Idempotency:同一筆付款只執行一次 |
動手試:手一抖,「付款」按了兩次
學習地圖本章的概念階梯
今天爬 11 階。每一階只用前面講過的東西。
- 1pay-in · pay-out代收、代付
- 2PSP代收代付的銀行
- 3ledger · wallet禮簿與小計
- 4Decimal小數怎麼存
- 5double-entry一借一貸
- 6token · webhook收據號碼與回電
- 7reconciliation錢箱對禮簿
- 8retry · DLQ再打一次、待處理便條
- 9idempotency同一包只記一次
- 10TX · 2PC要嘛都做、要嘛都不做
- 11Redis白板不是禮簿
第 1–4 階 · 錢怎麼流、怎麼記
要回答:收禮台收了錢,要找誰、記什麼?
第 5–7 階 · 接上 PSP、每晚對帳
要回答:客人在別人的頁面付錢,帳怎麼確定是對的?
第 8–9 階 · 失敗與重試
要回答:重試為什麼不會扣兩次錢?
第 10–11 階 · Triton 的看法
要回答:在哪一步當機都只收一次?錢能放 Redis 嗎?
全程只用一場喜宴:福滿樓婚宴收禮台(虛構)
一包紅包 3,600 元、場地抽 10%。每爬 2–4 階,有一頁「到這裡你已經會了」。
延伸基礎第 1 階 · pay-in · pay-out懂的人可以跳過
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
收禮台手上那疊錢,是誰的?
① 先想像
賓客把紅包交給收禮台。散席後,收禮台扣掉場地費,把其餘的禮金點交給新人。
你猜猜看:一包 3,600 元,場地抽 10%。新人最後拿到多少?
3,600 × 10% = 360 是場地費,3,600 − 360 = 3,240 交給新人。錢在收禮台手上時,大部分其實是新人的。
③ 這叫做 pay-in、pay-out
pay-in:買家付錢,錢先進平台的帳戶(代收)。pay-out:條件滿足後,平台扣手續費付給賣家(代付)。
④ 跟這章的關係
原書要設計的就是這兩條路(Figure 1,第 6 頁)。Amazon 就是那個收禮台。
② 動手玩:一包紅包走兩段路
原書 Step 1釐清需求
「付款系統」對不同人意思不一樣,先問清楚
這一步要解決的問題「付款系統」範圍很大:收誰的錢、付給誰、用什麼付、一天幾筆?先問清楚才知道要設計什麼。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 要做哪一種付款系統? | 像 Amazon.com 的電商付款後端:客人下單後,所有跟「錢的流動」有關的事 |
| 支援哪些付款方式?信用卡、PayPal、金融卡? | 現實中都要;面試以信用卡為例 |
| 信用卡交易自己處理嗎? | 不,用第三方 payment processor:Stripe、Braintree、Square… |
| 系統裡存信用卡資料嗎? | 不存。安全與合規要求極高,交給第三方處理 |
| 全球化嗎?多幣別、跨國付款? | 全球化,但面試假設只有一種貨幣 |
| 每天幾筆交易? | 100 萬筆 |
| 要支援 pay-out 嗎(像 Amazon 每月付錢給賣家)? | 要 |
| 還有要注意的嗎? | 會和很多內部服務(會計、分析)與外部服務(PSP)互動;某個服務故障就可能不一致,所以要對帳並修正,這也是需求 |
📖 原書 有人想到 Apple Pay、Google Pay 這種數位錢包,有人想到 PayPal、Stripe 這種處理付款的後端。面試一開始就要確定是哪一種。原書引 Wikipedia:付款系統是透過轉移貨幣價值來結算金融交易的系統,包含機構、工具、人員、規則、程序、標準與技術。
📖 原書 Functional requirements
- Pay-in flow:代賣家向客人收錢
- Pay-out flow:把錢付給世界各地的賣家
📖 原書 Non-functional requirements
- Reliability 與 fault tolerance:失敗的付款要謹慎處理
- 內部服務(付款、會計)與外部服務(PSP)之間要有對帳流程,非同步地驗證各系統的付款資訊一致
原書 Step 1–2估算 · Pay-in 與 pay-out · Figure 1
每秒 10 筆:這題考的是「正確」,不是「快」
這一步要解決的問題一天 100 萬筆,每秒才幾筆?錢從誰流到誰?
📖 原書 Back-of-the-envelope estimation
1,000,000 筆 / 105 秒 = 10 TPS
10 TPS 對一般資料庫不是大數字。所以這場面試的重點是怎麼正確處理付款交易,而不是追求高吞吐量。
📖 原書 以 Amazon 為例:買家下單後,錢流進 Amazon 的銀行帳戶,這是 pay-in。錢雖然在 Amazon 的帳戶裡,但 Amazon 並不擁有全部:大部分是賣家的,Amazon 只是收手續費的保管人。商品送達、款項釋放後,扣掉手續費的餘額才從 Amazon 的帳戶流到賣家的帳戶,這是 pay-out。
延伸基礎第 2 階 · PSP懂的人可以跳過
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
收禮台要不要自己幫賓客刷卡?
① 先想像
有賓客想刷卡。收禮台可以自己抄卡號去刷,也可以請銀行派一個人坐旁邊,賓客直接把卡交給銀行的人。
你猜猜看:收禮台自己抄下所有賓客的卡號,會有什麼麻煩?
卡號一旦在你手上,你就得守住它。交給銀行的人,收禮台只拿到一張收據,被偷也刷不了卡。
③ 這叫做 PSP、card scheme
PSP(payment service provider):專門代收代付的公司,例如 Stripe、PayPal。card scheme:卡組織,例如 Visa、MasterCard。
④ 跟這章的關係
原書不自己處理信用卡、也不存卡號,全部交給 PSP(第 18 頁)。
② 動手玩:小偷闖進收禮台
延伸基礎第 3 階 · ledger · wallet懂的人可以跳過
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
禮簿一行一行記,旁邊再寫一個小計
① 先想像
禮簿一行一筆:「張三 3,600」「李四 2,000」,寫了就不擦。旁邊另外寫一個「目前總共收多少」的小計,方便隨時看。
你猜猜看:禮簿三行是 3,600、2,000、1,200,小計卻寫 7,000。該相信誰?
3,600 + 2,000 + 1,200 = 6,800。小計是算出來的,禮簿是一筆一筆的原始紀錄,對不上時以禮簿為準。
③ 這叫做 ledger、wallet
ledger:帳本,每一筆錢從誰到誰的流水帳,只往後加。wallet:每個人「現在有多少錢」的小計,也就是餘額。
④ 跟這章的關係
原書付款成功後,先更新 wallet、再寫 ledger(第 10 頁)。兩邊對不上,就要對帳。
② 動手玩:記三包紅包,再讓小計手滑
禮簿(ledger):一行一筆,只往後加
小計(wallet):現在總共多少
0
原書 Step 2Pay-in flow 的六個元件
一筆付款會經過誰?
這一步要解決的問題一筆付款會經過哪些角色?各自負責什麼?
Payment service
接收使用者的 payment event,協調整個付款流程。第一件事通常是 risk check:是否符合 AML/CFT 等法規、有沒有洗錢或資助恐怖主義的跡象。只處理通過的付款;risk check 很複雜、很專業,通常用第三方。
🎎 收禮台的總召 白話:AML/CFT=反洗錢、反資助恐怖主義的法規
Payment executor
透過 PSP 執行單一筆 payment order。一個 payment event 可能包含好幾筆 payment order。
🎎 實際去收紅包的那位
PSP(Payment Service Provider)
把錢從帳戶 A 移到帳戶 B。這個簡化例子裡,PSP 把錢從買家的信用卡帳戶移出。
🎎 幫忙刷卡收錢的銀行
Card schemes
處理信用卡交易的組織,例如 Visa、MasterCard、Discovery。卡組織的生態系非常複雜。
🎎 信用卡背後的發卡聯盟
Ledger
付款交易的財務紀錄。使用者付給賣家 $1,就記成使用者 debit $1、賣家 credit $1。事後分析很需要它,例如算電商的總營收、預測未來營收。
🎎 禮簿
Wallet
記錄商家的帳戶餘額,也可能記某位使用者總共付了多少。
🎎 每位新人的禮金小計
原書 Step 2Pay-in flow · Figure 2
按下「下訂單」之後的九個步驟
這一步要解決的問題六個角色要照什麼順序動,錢和帳才不會亂?
- 使用者按「下訂單」,產生 payment event 送到 payment service
- Payment service 把 payment event 存進資料庫
- 一個 event 可能有多筆 payment order(一次結帳買了多個賣家的東西);payment service 對每一筆呼叫 payment executor
- Payment executor 把 payment order 存進資料庫
- Payment executor 呼叫外部 PSP 處理信用卡付款
- Executor 成功處理後,payment service 更新 wallet,記錄某賣家有多少錢
- Wallet server 把新的餘額存進資料庫
- Wallet 成功更新後,payment service 呼叫 ledger
- Ledger service 把新的帳本資料 append 進資料庫
延伸基礎第 4 階 · Decimal懂的人可以跳過
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
電腦算 0.1 + 0.2,會算錯嗎?
① 先想像
用計算機把 100 元分給三個人,每人 33.33。三個人加回來是 99.99,少了 1 分錢。電腦存小數,也有一樣的問題。
你猜猜看:大部分程式語言算 0.1 + 0.2,螢幕上印出什麼?
電腦預設用二進位存小數,0.1 在二進位是無限循環,存進去就差了一點點。右邊把 0.1 加很多次,差距會越滾越大。
③ 這叫做 floating point、Decimal
floating point(double):電腦用二進位存小數,0.1 存不準。Decimal:用十進位存,0.1 就是 0.1。
④ 跟這章的關係
原書說金額用字串傳、別用 double(第 12 頁);Triton 說存和算都要用 Decimal(第 46 頁)。
② 動手玩:把 0.1 元一直加
原書 Step 2APIs for payment service · Table 1–2
兩支 RESTful API,金額用字串
這一步要解決的問題前端怎麼告訴付款服務「付多少、付給誰」?金額怎麼傳才不會變?
POST /v1/payments 執行一個 payment event
| 📖 Table 1 request 參數 | ||
|---|---|---|
buyer_info | 買家資訊 | json |
checkout_id | 這次結帳的全域唯一 ID | string |
credit_card_info | 加密的信用卡資訊或 payment token,值依 PSP 而定 | json |
payment_orders | payment order 的清單 | list |
| 📖 Table 2 每一筆 payment_order | ||
seller_account | 哪個賣家收錢 | string |
amount | 這筆訂單的金額 | string |
currency | 這筆訂單的幣別 | string (ISO 4217) |
payment_order_id | 這筆付款的全域唯一 ID | string |
GET /v1/payments/{:id}:依 payment_order_id 回傳單一筆 payment order 的執行狀態。原書說這組 API 和知名 PSP 的 API 相似,可參考 Stripe 的 API 文件。
📖 原書 payment_order_id 是全域唯一的。executor 送付款請求給第三方 PSP 時,PSP 拿它當去重 ID,也就是 idempotency key。
📖 原書 為什麼 amount 是 string,不是 double
- 不同協定、軟體、硬體在序列化/反序列化時支援的精度不同,可能造成意外的 rounding error
- 數字可能極大(日本 2020 年 GDP 約 5×1014 日圓)或極小(1 satoshi = 10-8 BTC)
- 建議傳輸與儲存都用字串,只有顯示或計算時才 parse 成數字
動手試:同一個金額,用 double 和 string 傳
原書 Step 2Data model · Table 3–4
兩張表:payment event、payment order
這一步要解決的問題付款資料要存在哪種資料庫、存成什麼樣子?
📖 原書 選儲存方案時,效能通常不是第一考量
- 經過驗證的穩定性:有沒有被大型金融公司用了很多年(例如超過 5 年)且評價正面
- 周邊工具夠不夠:監控、調查工具
- DBA 人才市場成熟度:能不能招到有經驗的 DBA
通常偏好有 ACID transaction 的傳統關聯式資料庫,而不是 NoSQL / NewSQL。
📖 原書 背景
checkout_id是 foreign key:一次結帳建立一個 payment event,裡面可能有多筆 payment order- 呼叫 PSP 扣買家信用卡時,錢不是直接給賣家,而是進電商的銀行帳戶(pay-in)。pay-out 條件滿足(例如商品送達)後,才由賣家發起 pay-out
- 所以 pay-in 時只需要買家的卡片資訊,不需要賣家的銀行帳戶
| 📖 Table 3 Payment event | |
|---|---|
checkout_id | string PK |
buyer_info | string |
seller_info | string |
credit_card_info | 依卡片供應者而定 |
is_payment_done | boolean |
| 📖 Table 4 Payment order | |
|---|---|
payment_order_id | String PK |
buyer_account | string |
amount | string |
currency | string |
checkout_id | string FK |
payment_order_status | string |
ledger_updated | boolean |
wallet_updated | boolean |
原書 Step 2payment_order_status 的更新邏輯
一筆 order 的一生:四個狀態、兩個旗標
這一步要解決的問題一筆 order 做到哪一步了?卡住了誰會發現?
📖 原書 payment_order_status 是 enum:NOT_STARTED、EXECUTING、SUCCESS、FAILED。
- 初始是
NOT_STARTED - payment service 把 order 送給 executor 時,變成
EXECUTING - 依 executor 的回應改成
SUCCESS或FAILED SUCCESS後呼叫 wallet 更新賣家餘額,wallet_updated= TRUE(原書簡化:假設 wallet 更新永遠成功)- 接著呼叫 ledger 更新帳本,
ledger_updated= TRUE - 同一個
checkout_id下所有 order 都成功後,is_payment_done= TRUE
📖 原書 通常有一個排程 job 定期巡邏進行中的 order,超過門檻時間還沒完成就發警報,讓工程師調查。
到這裡你已經會了小結 1 / 4
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
到這裡你已經會了:錢怎麼流、怎麼記
- 錢先代收進平台(pay-in),條件滿足後扣手續費代付給賣家(pay-out)。平台只是保管人。
- 刷卡交給 PSP:Stripe、PayPal 這種代收代付的公司。卡號不進我們的系統。
- ledger 一筆一筆記、wallet 記小計;金額傳輸用字串,計算別用 double,用 Decimal。
下一階要解決的問題
一筆錢要怎麼記,才看得出「有人多拿了一分錢」?客人在 PSP 的頁面付錢,我們怎麼知道他付了沒?
延伸基礎第 5 階 · double-entry懂的人可以跳過
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
每一筆都寫兩邊:一借一貸
① 先想像
禮簿每一筆寫兩行:「張三 −3,600」和「新人 +3,600」。錢不會憑空出現或消失,所以兩行加起來一定是 0。
你猜猜看:有一筆寫成「張三 −3,600、新人 +3,000」。加起來是多少?代表什麼?
−3,600 + 3,000 = −600。只記一邊的話(只寫「新人 +3,000」),這個錯根本看不出來。
③ 這叫做 double-entry、debit/credit
double-entry(複式簿記):每筆錢記在兩個帳戶,一邊出、一邊進,金額相同。debit/credit:原書的用法是付出的一邊/收到的一邊。
④ 跟這章的關係
原書說它是任何付款系統的基礎(下一頁 Table 5)。Triton 的對帳也是這個「加總為 0」(第 48 頁)。
② 動手玩:抄錯一筆,看得出來嗎?
原書 Step 2Double-entry ledger system · Table 5
雙重記帳:每一筆交易,借貸加起來必須是零
這一步要解決的問題怎麼記帳,才能一眼看出「有人多拿了一分錢」?
動手試:記一筆帳(單位:美元)
📖 原書 帳本系統有一個非常重要的設計原則:double-entry(複式簿記)。它是任何付款系統的基礎、準確記帳的關鍵:每筆交易記在兩個不同的帳戶,金額相同,一邊 debit、一邊 credit。
| 📖 Table 5 Double-entry system | ||
|---|---|---|
| Account | Debit | Credit |
| buyer | $1 | |
| seller | $1 | |
📖 原書 所有分錄的總和必須為 0。少了一分錢,就代表有人多拿了一分錢。它提供端到端的可追溯性,確保整個付款週期的一致性。實作可參考 Square 工程部落格的 immutable double-entry accounting database(Books)。
🎎 禮簿上「張三包 3,600」旁邊一定要對應「新人收 3,600」。
原書 Step 2Hosted payment page · Figure 3 · Pay-out flow
卡號不經過我們的伺服器;付錢給賣家也交給第三方
這一步要解決的問題客人的卡號要不要經過我們?付錢給賣家又找誰?
📖 原書 多數公司不想在內部存信用卡資訊,因為一存就要面對複雜的法規,例如美國的 PCI DSS。所以改用 PSP 提供的 hosted payment page:網站是一個 widget 或 iframe,手機 app 可能是 payment SDK 內建的頁面。
📖 原書 重點是:由 PSP 的頁面直接蒐集客人的卡片資訊,不靠我們的 payment service。Figure 3 是整合 PayPal 的結帳畫面。
📖 原書 Pay-out flow
- 元件和 pay-in 很像。差別是:不是用 PSP 把錢從買家信用卡移到電商的銀行帳戶,而是用第三方 pay-out provider 把錢從電商的銀行帳戶移到賣家的銀行帳戶
- 通常用 Tipalti 這類第三方 accounts payable 供應商
- pay-out 一樣有大量記帳與法規要求
🎎 收禮台不自己點鈔驗偽,請銀行的人來;散席後也請銀行把錢轉給新人。
白話:PCI DSS=處理信用卡要遵守的安全標準;iframe=嵌在網頁裡的另一個網頁;accounts payable=應付帳款。
原書 Step 3Design deep dive · PSP integration
Deep dive 八個主題,第一個:怎麼接 PSP
這一步要解決的問題自己接銀行,還是交給 PSP?交給 PSP 有哪兩種接法?
📖 原書 這一節要讓系統更快、更穩、更安全。分散式系統裡,錯誤和故障不只無法避免,而且常見:客人連按「付款」好幾次會怎樣?會被重複扣款嗎?網路不好造成的付款失敗怎麼處理?
📖 原書 如果付款系統能直接接銀行或卡組織(Visa、MasterCard),就可以不用 PSP。這種直連很少見、很專業,通常只有投資划得來的大公司才做。多數公司是接 PSP,有兩種方式:
① 用 API 整合
公司能安全地儲存敏感付款資訊、也選擇這麼做。公司負責開發付款網頁、蒐集並儲存敏感資訊;PSP 負責連接銀行或卡組織。
② Hosted payment page
因為法規和安全考量,公司選擇不存。PSP 提供託管頁面蒐集卡片資料、安全地存在 PSP。多數公司採用這種。
文組翻譯
① 是自己在店裡裝刷卡機、自己保管刷卡紀錄;② 是請客人到百貨公司的服務台刷卡,刷完拿收據回來。② 少一點自由,但不用擔心卡號被偷。
延伸基礎第 6 階 · token · webhook懂的人可以跳過
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
寄包裹:先把追蹤號碼抄下來
① 先想像
寄掛號包裹,郵局給你一個追蹤號碼。包裹送到時,郵局打電話通知你,你不用每小時打去問。
你猜猜看:追蹤號碼只記在腦袋裡。一覺醒來忘了,想問郵局包裹到了沒,會怎樣?
號碼是你和郵局之間唯一的對照。先抄進筆記本,忘了也查得到。右邊試試停電。
③ 這叫做 token、webhook
token:PSP 給的收據號碼,之後用它查這筆付款。webhook:事先留好的電話,狀態一變,對方主動打來通知。
④ 跟這章的關係
原書 Figure 4:第 3 步拿 token、第 4 步先存起來、第 9 步靠 webhook 收結果(下一頁)。
② 動手玩:寄出、停電、包裹送到
原書 Step 3Hosted payment flow · Figure 4
Hosted payment page 的九個步驟
這一步要解決的問題客人在 PSP 的頁面付錢,我們怎麼知道他付了沒?
- 使用者按「checkout」,client 帶著 payment order 資訊呼叫 payment service
- payment service 向 PSP 送付款註冊請求:金額、幣別、付款請求的到期日、redirect URL;一筆 order 只能註冊一次,所以帶一個 UUID,叫 nonce,通常就是 payment order 的 ID
- PSP 回傳 token:PSP 端唯一識別這次註冊的 UUID,之後可用它查註冊與執行狀態
- payment service 在呼叫 PSP 託管頁面之前,先把 token 存進資料庫
- token 存好後,client 顯示 PSP 的託管付款頁(手機多用 PSP 的 SDK)
- 使用者在 PSP 頁面填卡號、持卡人姓名、到期日等,按付款,PSP 開始處理
- PSP 回傳付款狀態
- 網頁導向 redirect URL,第 7 步的狀態通常附在 URL 後面
- 非同步地,PSP 透過 webhook 把付款狀態通知 payment service,更新
payment_order_status
原書 Step 3Hosted payment page by Stripe · Figure 5
託管頁面需要兩樣東西:token 和 redirect URL
這一步要解決的問題PSP 的頁面怎麼知道要收多少錢、付完要跳回哪裡?
📖 原書 以 Stripe 的網頁整合為例:Stripe 提供 JavaScript library 顯示付款 UI、蒐集敏感資訊,直接呼叫 PSP 完成付款。敏感資訊由 Stripe 蒐集,永遠不會進到我們的付款系統。
- Token(第 4 步存的那個):PSP 的 JavaScript 用它向 PSP 後端拿付款請求的細節,其中最重要的是要收多少錢
- Redirect URL:付款完成後要呼叫的網頁,通常是電商顯示結帳狀態的頁面。注意 redirect URL 和第 9 步的 webhook URL 不一樣
https://your-company.com/?tokenID=JIOUIQ123NSF&payResult=X324FSa
原書給的 redirect URL 例子:第 7 步的付款狀態附在後面。
📖 原書 Webhook
webhook 是付款系統這一側的 URL,在一開始和 PSP 設定時註冊。透過 webhook 收到付款事件後,取出付款狀態,更新 Payment Order 表的 payment_order_status。
以上是 happy path。現實中網路不可靠,九個步驟每一步都可能失敗。有沒有系統性的方法處理失敗?原書的答案是:對帳。
延伸基礎第 7 階 · reconciliation懂的人可以跳過
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
散席後,打開錢箱對禮簿
① 先想像
福滿樓一個月辦 30 場喜宴。每晚收工,把錢箱裡的錢和禮簿的總數比一次;對不上,再一包一包查。
你猜猜看:錢箱 52,000,禮簿 52,600。最可能是什麼?
總數只告訴你「不對」,不告訴你「哪裡不對」。原因要逐筆比才知道。
③ 這叫做 reconciliation、settlement file
reconciliation(對帳):定期把兩邊的紀錄拿來比,找出對不上的。settlement file:銀行每晚寄來的當日交易明細加餘額。
④ 跟這章的關係
原書說對帳是付款系統的最後一道防線(下一頁)。另一個例子:21 章開票夜點票
② 動手玩:多久對一次帳?
原書 Step 3Reconciliation · Figure 6
對帳:付款系統的最後一道防線
這一步要解決的問題九個步驟每一步都可能失敗,怎麼確定最後的帳是對的?
📖 原書 元件之間非同步溝通時,不保證訊息送達、也不保證有回應。付款業務常用非同步提升效能,PSP 和銀行也偏好非同步。怎麼確保正確?答案是 reconciliation:定期比較相關服務之間的狀態,確認彼此一致。
📖 原書 每天晚上,PSP 或銀行會寄 settlement file 給客戶:帳戶餘額,加上當天這個帳戶的所有交易。對帳系統解析它,和 ledger 逐筆比較。對帳也用來檢查內部一致性,例如 ledger 和 wallet 的狀態分歧。
📖 原書 不一致怎麼修:通常靠財務團隊手動調整,分三類
- 可分類、可自動調整:知道原因、知道怎麼修,寫程式自動化也划算 → 工程師把分類和調整都自動化
- 可分類、無法自動調整:知道原因和修法,但寫自動調整程式太貴 → 放進 job queue,財務團隊手動修
- 無法分類:不知道怎麼發生的 → 放進特殊 job queue,財務團隊手動調查
原書 Step 3 · 動手玩Settlement file 對 ledger
昨晚的 settlement file 到了,哪幾筆對不上?
這一步要解決的問題帳對不上時,怎麼找出是哪幾筆、該由誰來修?
🎎 婚宴版:散席後點錢箱,錢和禮簿對不上。先知道「不對」(比總額),再一包一包對禮簿(逐筆配對),最後分成「知道為什麼、自己補」「要問新人」「完全不知道」三堆。 📖 原書 settlement file 裡是銀行帳戶的餘額加上當天的所有交易;同樣的方法也用來比 ledger 和 wallet。
原書 Step 3Handling payment processing delays
有些付款要等幾小時、甚至幾天
這一步要解決的問題有些付款要等好幾小時,系統要怎麼等?
動手試:一筆需要 3D Secure 驗證的付款
📖 原書 多數付款幾秒內完成,但有時會卡住,幾小時或幾天才完成或被拒絕:
- PSP 認為這筆付款高風險,要人工審核
- 信用卡要求 3D Secure Authentication 這類額外保護,持卡人要再提供資料驗證
📖 原書 付款服務必須能處理這些長時間的請求。購買頁由外部 PSP 託管時(現在很常見),PSP 會這樣處理:
- PSP 回傳 pending 狀態給 client,client 顯示給使用者,並提供一個頁面讓客人查目前的付款狀態
- PSP 代我們追蹤這筆 pending 付款,有任何狀態更新就透過我們註冊的 webhook 通知 payment service
- 最後完成時,PSP 呼叫 webhook,payment service 更新內部系統、完成出貨
- 也有些 PSP 不打 webhook,而是讓 payment service 自己去 poll 所有 pending 付款的狀態
到這裡你已經會了小結 2 / 4
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
到這裡你已經會了:接上 PSP、每晚對帳
- 每一筆都記兩邊(double-entry),加總永遠為 0;少一分錢,就有人多拿一分錢。
- 先向 PSP 拿 token 並存好,再讓客人去 PSP 的頁面付款;結果靠 webhook 通知,慢的付款先是 pending。
- 每晚用 settlement file 和 ledger 對帳;對不上的分三類:自動修、人工修、人工查。
下一階要解決的問題
付款失敗了,要不要再試?網路斷掉時重試,會不會扣客人兩次錢?
原書 Step 3Communication among internal services · Figure 7–9
內部服務之間:同步 HTTP,還是非同步 queue?
這一步要解決的問題內部服務之間,要直接打電話(同步),還是留言排隊(非同步)?
📖 原書 同步設計較簡單,但服務無法自主,依賴圖一長效能就變差。非同步用設計的簡單與一致性,換擴展性與故障韌性。對業務邏輯複雜、第三方依賴多的大型付款系統,非同步是較好的選擇。
白話:message queue=排隊等處理的工作清單(01 章);Kafka=訊息讀完不刪、可以給很多服務各讀一次的 queue(19 章)。
📖 原書 同步(例如 HTTP)的缺點
- 效能差:鏈上任一服務慢,整個系統受影響
- 故障隔離差:PSP 或任一服務掛了,client 就收不到回應
- 緊耦合:發送者必須知道接收者
- 難擴展:沒有 queue 當 buffer,很難撐住突然的流量
📖 原書 非同步分兩種
- Single receiver:每則訊息只給一個接收者處理,通常用共用的 message queue;可以有多個訂閱者,但處理完就從 queue 移除(Figure 7、8)
- Multiple receivers:同一則訊息給多個服務處理,Kafka 很適合:訊息被消費後不會刪除。付款很適合這種模型,因為一個請求可能觸發推播、財務報表、分析等多個副作用(Figure 9)
延伸基礎第 8 階 · retry · DLQ懂的人可以跳過
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
打給銀行沒人接:要打幾次?
① 先想像
收禮台打電話給銀行確認入帳。忙線就過一下再打;打了好幾次還是不通,寫一張「待處理」便條交給主管,不要一直打下去。
你猜猜看:銀行說「帳號格式錯誤」。要不要再打一次?
忙線是暫時的,再打有用;帳號寫錯是資料本身的問題,打一百次也一樣。所以要先分「能不能重試」。
③ 這叫做 retry、dead letter queue
retry:失敗了,等一下再試。dead letter queue(DLQ):試太多次還是失敗的工作,先放到一旁等人查。queue(排隊的工作清單):01 章retry 的另一個例子:10 章
④ 跟這章的關係
原書 Figure 10:能重試的進 retry queue,超過門檻的進 DLQ(下一頁)。
② 動手玩:五通電話,最多重打幾次?
原書 Step 3Handling failed payments · Figure 10
失敗了:能重試的進 retry queue,重試太多次的進 dead letter queue
這一步要解決的問題付款失敗了:再試、記錄下來,還是交給人查?
📖 原書 Tracking payment state
付款週期的任何階段都要有明確的付款狀態。失敗時才能判斷目前狀態、決定要重試還是退款。付款狀態可以存在 append-only 的資料表。
- 1. 檢查失敗能不能重試
- 1a. 可重試(例如暫時性錯誤)→ 送進 retry queue
- 1b. 不可重試(例如 invalid input)→ 錯誤存進資料庫
- 2. 付款系統從 retry queue 消費事件,重試失敗的交易
- 3a. 又失敗、重試次數未超過門檻 → 再送回 retry queue
- 3b. 重試次數超過門檻 → 放進 dead letter queue,這些事件可能要調查
📖 原書 Dead letter queue 適合除錯、隔離有問題的訊息以便檢查為何處理失敗。真實例子可參考 Uber 用 Kafka 達成可靠性與容錯的付款系統。
原書 Step 3Exactly-once delivery · Retry · Figure 11
Exactly-once = at-least-once + at-most-once
這一步要解決的問題重試能確保「至少做一次」,但會不會變成扣兩次?
📖 原書 付款系統最嚴重的問題之一,是重複向客人收錢。乍看 exactly-once 很難,拆成兩半就容易:一個操作 exactly-once 執行,等於它至少執行一次,同時最多執行一次。用 retry 做 at-least-once,用 idempotency check 做 at-most-once。
| 📖 原書 重試策略 | |
|---|---|
| Immediate retry | 立刻重送 |
| Fixed intervals | 每次等固定時間 |
| Incremental intervals | 第一次等短一點,之後逐次加長 |
| Exponential backoff | 每失敗一次等待時間加倍:1 秒、2 秒、4 秒… |
| Cancel | 失敗是永久性的、或再試也不太可能成功時,client 取消 |
沒有一體適用的策略。網路問題短時間內不太會好,就用 exponential backoff。太積極的重試浪費資源、還可能把服務打垮。好做法是回錯誤碼時帶 Retry-After header。
📖 原書 重試的副作用:重複付款
- 情境一:用 hosted payment page 整合 PSP,client 按了兩次付款鍵
- 情境二:PSP 成功扣款,但回應因網路錯誤沒回到我們;使用者再按一次,或 client 自動重試
所以付款必須 at-most-once,這個保證又叫 idempotency。
🎎 收禮台打電話問銀行「剛剛那筆入帳了嗎」,電話斷了就再打;但如果每打一次銀行就再轉一次帳,就出事了。
白話:at-least-once/at-most-once=至少做一次/最多做一次(19 章);exponential backoff=每失敗一次,等待時間加倍。
延伸基礎第 9 階 · idempotency懂的人可以跳過
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
「設成 3,600」和「加 3,600」,做兩次差在哪?
① 先想像
沒聽清楚,同一件事又做了一次。「寫成 3,600」做兩次沒差;「再加 3,600」做兩次就多一包。
你猜猜看:「張三加 3,600」被做了兩次,張三小計是?
「加」做兩次就加兩次。解法:給它一個編號(#37),做過就不再做。
③ 這叫做 idempotent、idempotency key
idempotent:同一件事做一次和做很多次,結果一樣。idempotency key:事先發給這件事的編號,看過的編號就不再做。10 章:同一則通知寄兩次22 章:訂房按兩次
④ 跟這章的關係
原書用 retry 保證「至少做一次」、用 idempotency key 保證「最多做一次」(下兩頁)。
② 動手玩:三種寫法,各做兩次
原書 Step 3Idempotency · Figure 12
Idempotency key:同一把 key,回上次的結果
這一步要解決的問題怎麼讓「按兩次」或「重試」只扣一次錢?
📖 原書 Idempotence(Wikipedia):做很多次和做一次的結果一樣;對 API 來說,client 可以重複呼叫、結果不變。idempotency key 通常是 client 產生、一段時間後過期的唯一值,常用 UUID(Stripe、PayPal 都這麼建議),放在 HTTP header:idempotency-key: key_value。
📖 原書 情境一:客人快速按兩次「付款」
- 電商網站的 idempotency key 通常是結帳前那台購物車的 ID
- 第二個請求帶著系統看過的 key,被當成 retry,系統回傳上一個請求的最新狀態
- 同一把 key 有多個同時進來的請求:只處理一個,其他回
429 Too Many Requests
📖 原書 用資料庫的 unique key 實作
- 收到付款時,嘗試 insert 一列(primary key = idempotency key)
- insert 成功 → 沒看過這個請求
- 因 primary key 已存在而失敗 → 看過了,第二個請求不處理
📖 原書 情境二:PSP 扣款成功,回應沒回來,使用者又按一次
回到 Figure 4 第 2、3 步:nonce 唯一代表這筆 payment order,PSP 回的 token 唯一對應 nonce,所以 token 唯一對應 order。再按一次付款,order 一樣、token 一樣;token 在 PSP 端就是 idempotency key,PSP 認出重複付款,回傳上次執行的狀態。
原書 Step 3 · 動手玩Retry + backoff + idempotency key
重試幾次、等多久、會不會扣兩次錢?
這一步要解決的問題重試策略、失敗原因、有沒有帶 key,各自影響什麼?
原書 Step 3Consistency
五個地方都存著「這筆付款的狀態」
這一步要解決的問題同一筆付款的狀態存在五個地方,怎麼讓它們一致?
📖 原書 一次付款會呼叫好幾個 stateful 服務
- Payment service:nonce、token、payment order、執行狀態…
- Ledger:所有會計資料
- Wallet:商家的帳戶餘額
- PSP:付款執行狀態
- 為了可靠性,資料可能還複製在不同的資料庫 replica
白話:replica=資料庫的即時抄本(01 章);replication lag=抄本比正本慢一步。
📖 原書 分散式環境中任兩個服務之間的通訊都可能失敗,造成不一致:
- 內部服務之間:確保 exactly-once processing
- 內部與外部(PSP)之間:靠 idempotency 加 reconciliation。外部服務支援 idempotency 的話,付款重試要用同一把 key。就算外部 API 是 idempotent 的,還是要對帳,因為不該假設外部系統永遠是對的
📖 原書 Replication lag 的兩個解法
- 讀寫都只走 primary:設定簡單,缺點是擴展性;replica 只用來保障可靠性、不服務流量,浪費資源
- 讓所有 replica 永遠同步:用 Paxos、Raft 這類共識演算法,或 YugabyteDB、CockroachDB 這類以共識為基礎的分散式資料庫
動手試:剛付完款,從哪裡讀狀態?
原書 Step 3Payment security · Table 6
八種攻擊與對策
這一步要解決的問題付款系統會被怎麼攻擊?各怎麼防?
| 📖 Table 6 Payment security | |
|---|---|
| Problem | Solution |
| Request / response eavesdropping 竊聽 | Use HTTPS |
| Data tampering 竄改 | Enforce encryption and integrity monitoring |
| Man-in-the-middle attack 中間人 | Use SSL with certificate pinning |
| Data loss 資料遺失 | Database replication across multiple regions and take snapshots of data |
| DDoS | Rate limiting and firewall |
| Card theft 盜卡 | Tokenization:存的不是真卡號,而是 token,用 token 付款 |
| PCI compliance | PCI DSS 是處理品牌信用卡的組織要遵循的資訊安全標準 |
| Fraud 詐欺 | Address verification、CVV、使用者行為分析等 |
📖 原書 付款安全非常重要。原書在最後簡短介紹幾種對抗網路攻擊和盜卡的技術,整理成 Table 6。
文組翻譯
- HTTPS:寄掛號信,信封封好
- Certificate pinning:只認得這家銀行的印鑑,換了印鑑就不收
- Tokenization:收禮台只記「第 37 號紅包」,不記賓客的身分證號碼
- Rate limiting:門口一次只放一定人數進來
這張表和前面的 hosted payment page 是同一個想法:最安全的卡號,是你從來沒拿到的卡號。Triton 怎麼看,見第 53 頁。
原書 Step 4Wrap up · Chapter summary
原書的收尾:還有七個值得談的主題
這一步要解決的問題主體設計完,面試最後還能聊哪些延伸主題?
📖 原書 本章探討了 pay-in 與 pay-out 流程,深入談了 retry、idempotency、consistency,最後是錯誤處理與安全。付款系統極為複雜,以下是有代表性但不完整的延伸主題:
- Monitoring:「某付款方式的平均成功率是多少?」「伺服器 CPU 用量多少?」做成 dashboard
- Alerting:異常時通知 on-call 工程師
- Debugging tools:「這筆付款為什麼失敗?」讓工程師和客服能查交易狀態、處理伺服器的歷史、PSP 紀錄
- Currency exchange:國際用戶要考慮匯兌
- Geography:不同地區的付款方式可能完全不同
- Cash payment:印度、巴西等地很普遍;Uber、Airbnb 都寫過工程部落格
- Google / Apple Pay integration
原書到這裡結束。小結之後,第 40 頁開始是 Triton 的觀點。
到這裡你已經會了小結 3 / 4
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
到這裡你已經會了:原書的完整設計
- 失敗先分能不能重試:能重試的進 retry queue,重試太多次的進 dead letter queue 等人查。
- retry 做 at-least-once、idempotency key 做 at-most-once:我們這一層用購物車 ID,PSP 那一層用 token。
- 同一筆付款的狀態存在五個地方:服務之間靠 exactly-once,和 PSP 之間靠 idempotency 加對帳;replica 會慢一步。
下一階要解決的問題
原書講完了。Triton 會追問:這些步驟之間如果伺服器當機,客人會被收零次、一次,還是兩次?
延伸基礎第 10 階 · TX · 2PC(複習)懂的人可以跳過
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
收錢和記帳,要嘛都做、要嘛都不做
① 先想像
紅包要放進錢箱、寫進禮簿。兩樣在同一張桌上,停電就整件擦掉重來。分在兩地呢?
你猜猜看:錢放進會場的錢箱、還沒寫新人家的禮簿就停電。電來了?
兩邊各自恢復,沒人能同時擦掉兩邊。要先問雙方「準備好了嗎」。
③ 這叫做 transaction、2PC
transaction:同一個資料庫裡的一組動作,全做或全不做。2PC(two-phase commit):跨機器時先問準備好了沒,都說好才一起確定。transaction 的完整版:07 章2PC 的完整版:22 章
④ 跟這章的關係
Triton:跟 PSP 之間躲不掉 2PC;自己的 order、ledger、wallet 放同一台,一個 transaction 就夠。
② 動手玩:在哪裡停電?
Triton 觀點總覽
原書的方向是對的;Triton 把三件事講得更硬
「所有銀行/信用卡/payment gateway的串接過程,其實是2pc的變種。」🗣️ Triton 本人說 123-喵談 2pc.md
「你收了用戶雙份的錢,用戶會砍你」「你沒收到用戶的錢,老闆會把你五馬分屍」🗣️ 071-lesson2.pdf.md · 第 49 頁「金流系統」
「30%的人真的對2pc完全沒有概念,所以會作出了用戶被收兩次錢/不被收錢的系統。65%的人雖然不知道2pc這個名字,但是早便用了2pc的概念,所以他的用戶只會被收一次錢。5%的人真的知道2pc,也有好好的活用。」🗣️ 123
① 跟 PSP 之間,就是 2PC
原書講 nonce、token、idempotency key、對帳,但沒說出「2PC」這個字。Triton 用 Stripe 的 uncaptured Charge 再 capture,逐一分析每個當機點。123 · 100 · 071 → 第 41–45 頁
② 錢用 Decimal 或 scaled int64,公式只寫一次
原書說 amount 別用 double、用 string。Triton 講的是「怎麼算」:十進位、固定精度、X = A * B / C 只定義一次。112 → 第 46–47 頁
③ 用不變量對帳:banker 加總必須為零
原書拿 settlement file 逐筆比。Triton 先用一個便宜的加總問「系統現在有沒有錯」,不對再逐筆找。081 → 第 48 頁
Triton 觀點 · 動手玩123 · 071 · 100
收錢和記帳在不同機器上:在哪裡當機都只能收一次
原書這樣做會出什麼事?如果先呼叫 PSP 收錢、再把狀態寫成成功,中間伺服器當機。重開後:
重開後,我們資料庫裡還是 Initial,不知道已經收過。右邊「笨喵寫法一」就是這個情況。原書沒有逐一講每個當機點,Triton 講了。
「簡單而言,只要你:1 要改動2份資料 2 這2份資料不是放在同一台主機上 3 這2份資料,最終要一起被改動,或是一起沒被改動(例子:銀行轉帳,要麼成功轉帳,要麼什麼也沒發生,不能扣了錢後沒加錢)如果你要同時滿足這3點,你肯定需要2pc的。」🗣️ Triton 本人說 123-喵談 2pc.md
「第2和第3步屬於Voting Phase,第4和第5步屬於Completion Phase – Payment Worker,還有7天後Stripe自動把未完成交易自動Rollback的Worker,都是Coordinator一分子」「現實世界中,2PC會跟教科書中寫的不完全相同。不過,只要有Voting Phase和Completion phase,便算是 2PC。」🗣️ 071-lesson2.pdf.md · 第 52–53 頁
「(如果你說不用2pc的,你可以寫論文了)」「你用event-sourcing,也是避不了這堆問題的」🗣️ 100-二份data是存放在不同的machine上(2pc).md
Triton 觀點 · 對照原書Figure 4 其實已經是 2PC 的形狀
把 123 的五步,疊到原書的九步上
| Triton 123(Passkit + Stripe) | 原書 Figure 4 / Table 4 | 階段 |
|---|---|---|
| Step 0:建立 payment,status = "Initial" | payment order 建立,NOT_STARTED | |
Step 1:建立 Stripe.Charge,captured = false,還沒收錢 | 第 2–3 步:帶 nonce 向 PSP 註冊付款,PSP 回 token;還沒收錢 | Voting |
Step 2:update payments set stripeChargeId = … | 第 4 步:在顯示 PSP 頁面之前先把 token 存進資料庫 | |
| Step 3:captured 改成 true,向信用卡收款 | 第 6–7 步:使用者在 PSP 頁面付款 | Completion |
Step 4:update payments set status = "Success" | 第 9 步:webhook 更新 payment_order_status | |
| 重啟時看 stripeChargeId 有沒有值,決定從哪一步重做 | 用 token 查 PSP 的註冊與執行狀態;webhook 掉了靠對帳 |
📅 2026 補充
123 用的是 Stripe 舊的 Charges API。現在 Stripe 主推 PaymentIntents,「先授權、後請款」是 capture_method=manual;未請款的授權一般保留 7 天左右(依卡別而異),和 071 說的「7天後自動 Rollback」一致。名字換了,2PC 的形狀沒變。
🔭 依 Triton 原則推論 原書的順序是對的,理由就是 123
原書第 4 步特別寫「token 要先存好,才呼叫 PSP 託管頁面」,但沒說為什麼。用 123 的話說:如果先讓客人付錢、才存 token,在中間當機,重啟後我們手上沒有任何東西能去問 PSP「這筆到底收了沒」,只剩對帳能救。先存 token,就是先拿到 2PC 的「投票憑證」。
🔭 3–4 之間當機 = webhook 沒收到
123 的重做是「再 capture 一次,Stripe 不會重收」。原書對應的是 PSP 端用 token 當 idempotency key(第 33 頁情境二),加上第 26 頁的 webhook / polling 和第 24 頁的對帳。兩邊說的是同一件事。
Triton 觀點 · 動手算059 · 071
別把呼叫 PSP 包在 DB transaction 裡
原書這樣做會出什麼事?如果把「呼叫 PSP」包在資料庫的 transaction 裡,PSP 卡住 10 秒才回應:
transaction 沒結束,連線和鎖就不會放。原書沒說要包在 TX 裡,但也沒說不能;Triton 說得很明白。
「別把第三方系統行動包在 TX 內 – 你家公司沒有跟金流系統結拜好兄弟 – 他們系統死了,別被拉扯一起死好嗎 – 最要命的不是對方系統掛了 而是卡住 10秒才回應 – 即使對方系統正常,response time 就當 30ms 好了 這樣子,熱門商品的 product object 就會被你的 TX 佔用額外 30ms」🗣️ Triton 本人說 059-ecom-system design.pdf.md · 第 12 頁
Begin DB transaction
// 檢查用戶是否合資格購買商品
Insert into purchase_order with payment_id = null
Update product set remaining_stock -= 1
where id = ? and remaining_stock >= 1
If AffectedRowCount() == 0 return SoldOutError and Rollback
Commit DB transaction
Create payment object in Payment Gateway, and wait for payment_id
Begin DB transaction
Update purchase_order Set payment_id = ?payment_id
Commit DB transaction
059 · 第 13 頁「理想的流程」(用字照原文,排版整理過)
動手算:PSP 呼叫包在 TX 裡,要佔幾條 DB 連線?
🗣️ 「我們沒有跟第三方系統結拜 別讓他們系統死掉時,我們系統也一起當掉」:用 Worker 呼叫第三方,「會當掉的也只有你的GCM Worker,而不是整個系統」。071 · 第 54 頁
🔭 套到原書 原書的 executor「先把 payment order 存進資料庫,再呼叫 PSP」順序正確;要補的是:存 order 是一個已經 commit 的短 TX,PSP 回來後再開另一個短 TX 寫結果。中間那段等待,不能握著任何 row lock 或 DB 連線。
Triton 觀點100 · 134 · 099 · 106 · 081
同一台 RDBMS 放得下,就別拆成四個服務
原書這樣做會出什麼事?payment、wallet、ledger 拆成三個服務、三個資料庫。wallet 寫好了、ledger 還沒寫,機器當掉:
三個資料庫各自恢復,沒有一個 transaction 包得住三個(第 39 頁)。這就是原書需要 wallet_updated、ledger_updated 兩個旗標的原因。
🔭 Replica:選原書的第一個解法
付款狀態讀寫都走 primary;replica 給報表用。「跑報表請在Read-replica DB來做,否則會影響到Main DB效能」099。💬 討論串回覆,作者未標示「update是寫,始終在master。就沒問題。slave/讀的永遠只是過期」164。10 TPS 不需要 Paxos / Raft 的分散式資料庫。
「如果你在玩micro-service,不同service不共用database,一旦你有2個resource是在不同service的 那麼你的micro-service API design就一定要造出像stripe / paypal這樣子的2pc架構 很容易出錯」「大家沒到amazon這種級別流量都會用postgresql / mysql 是有其原因的」🗣️ Triton 本人說 100
「今天來說,pg能輕易100 TX / sec,連一台筆電也能做到。1000 TX / sec也不是什麼困難事。對一般中小型網站,就直接用RDBMS來做TX就好。」🗣️ 099-中小型電商其實沒你想像中難。.md
🗣️ 「不能不見的data,我一定存到RDBMS」106;「如果系統不夠複雜公司不夠大,走microservice是單純玩弄自己的行為。」134
Triton 觀點 · 套到原書100 · 081 · 099
三件事放同一個 RDBMS:一個 TX 就做完
🔭 套到原書 那兩個旗標從哪來?
原書把 payment、wallet、ledger 拆成獨立服務,所以需要 wallet_updated、ledger_updated 兩個旗標來追蹤做到哪,還得假設「wallet 更新永遠成功」。如果三者在同一個 RDBMS,081 的寫法是一個 TX:
begin tx update payment_order set payment_order_status = 'SUCCESS' where payment_order_id = :id and payment_order_status = 'EXECUTING'; -- 影響 0 列 = 別人已經做過 → rollback insert into ledger (…) values (… debit …), (… credit …); update wallet set balance = balance + :amount where seller = :s; end tx
要嘛三件事都發生、要嘛都沒發生。真正跨機器、躲不掉 2PC 的只剩和 PSP 之間那一段(第 41 頁)。原書估算是 10 TPS(第 6 頁),一台 pg 綽綽有餘。
🎎 回想收禮台
錢箱和禮簿在同一張桌上,停電時一個 transaction 就把做到一半的部分擦掉(第 39 頁)。分在兩個地方,才需要 2PC。
原書的兩個旗標,就是「錢箱放了沒」「禮簿寫了沒」的備忘:三件事分在三個服務,才需要它們(第 13、14 頁)。
Triton 觀點112 · 算錢的數值儲存
原書說別用 double;Triton 說永遠用十進位,而且公式只寫一次
原書這樣做會出什麼事?amount 用字串存,要計算時 parse 成 double:
字串只保護了「傳」和「存」。原書沒說 parse 成什麼型別;Triton 說:存和算都用十進位。
討論串裡的其他回覆
💬 作者未標示 問「存成字串,計算時再轉 Decimal 會有問題嗎?」的回答:「correctness上我不覺得有問題 但是,以string來存,你的size會比較大 string <--> decimal時也有一定效能損失」112
🗣️ 喵 「而numeric的十進制運算,其效能是二進制double的數分一」,所以不是跟錢有關的運算,1.499999 和 1.50 一般用戶沒太大感覺。112 · 標「喵:」的回覆
💬 留言補充 Nasdaq 32 位元系統的價格上限 $429,496.7295,Berkshire A 股逼近上限:固定 4 位小數存成整數的真實案例(未署名的回覆寫「謝謝補上案例XD」)。112
「如果是要面對financial data(就是任何跟錢有關的東西)永遠用上十進制(Decimal)方式來儲存和計算,而不要用上floating point(binary)來儲存和計算 因為沒人想要收到99.9999999487這種金額的」🗣️ Triton 本人說 112-喵提有關 算錢 的數值儲存.md
「請檢查你的DB的儲存是否以decimal格式來存,然後也請務必檢查你所用上的DB driver,和你的ORM會不會做了什麼笨事在中間用上了floating point」「如果你是要固定精度的(像小數後4個位)把你本來的value X10000, 然後再以unsigned int64存進DB 這是一個智障而有效的方案」🗣️ 112
「所以常常( A * B / C ) != ( A / C * B ) 所以在做跟錢有關的運算時 你應該先定義好X = A * B / C 然後所有X有關的運算全都用同一算式來算出來 不然二份報表,可能會出現X1 = 99.99999487, X2 = 100.00000021 這種囧事」「全世界的稅局和海關報關人員都不知道什麼叫rounding error 他們就只會以「數值對不上」來找你麻煩」🗣️ 112
Triton 觀點 · 動手玩float vs Decimal · 公式的順序
同一筆錢,兩種算法,兩個答案
這一步要解決的問題0.1 元真的會算錯嗎?先乘還是先除,結果會不一樣嗎?自己按按看。
📖 原書 傳輸、儲存都用 string
Table 2、Table 4 的 amount 都是 string;只有顯示或計算時才 parse。原書沒說 parse 成什麼。
🔭 Triton 式 傳輸用 string,存與算用 Decimal
JSON 裡用字串避開 double(同意原書);DB 欄位用 DECIMAL / NUMERIC 或 ×10n 的 int64;程式用 BigDecimal 一類的型別;同一個量只有一條公式。
① 0.1 元加 0.2 元
double 是二進位,0.1 在二進位是無限循環小數,存進去就已經不是 0.1 了。Decimal 是十進位,0.1 就是 0.1。
② X = A × B ÷ C:先乘還是先除?
Triton 觀點 · 動手玩081 · banker 表
先驗血再照 MRI:一個加總就知道系統有沒有 bug
原書沒講的:每天逐筆比對之前,有沒有一個更便宜、先跑就知道「有沒有錯」的檢查?
一借一貸,加總一定是 0(第 16 頁)。不是 0,才需要逐筆找。Triton 把它比喻成先驗血、再照 MRI。
「begin tx update user_balance set balance += <coin_delta> where id = <user_id>; update banker set amount -= <coin_delta> where item = <遊戲貨幣>; end tx 這樣子,除非你用的RDBMS有bug/你的application有bug/你自己就是bug,否則系統中的user_balance和banker的加總應該是永遠都是零的。」🗣️ Triton 本人說 081-online game system,想知道怎樣來做到有效的對帳功能….md
「正常人不會沒事去做MRI,而是每年做費用低很多的血液檢查,血液檢查報告不正常才進一步X-ray / MRI檢查。」🗣️ 081
- banker 最後才 update:「其row lock所佔時間越短越好」
- 同種 banker 可以有 n 個,用 random 或
hash(userID) % n挑一個,分散熱點 - full table scan 需要 MVCC:「這一點postgresql和oracle的MVCC遠比MySQL好」
- 交易紀錄依法保留 n 年後可清,但要有
user_balance_snapshot,單一用戶檢查 snapshot + sum(交易) = balance
🔭 套到原書 原書的 double-entry「總和必須為 0」就是 banker 不變量;settlement file 逐筆比是 MRI。每天先跑一次 SUM(ledger 加總、wallet 對 ledger),不是零才逐筆找。
延伸基礎第 11 階 · Redis懂的人可以跳過
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
金額先寫白板,晚點再抄進禮簿?
① 先想像
收禮台太忙,先把每包金額寫在白板上,說好累積一大批再抄進禮簿。白板寫得很快,但一停電、一擦就沒了。
你猜猜看:白板每累積 10,000 筆才抄進禮簿一次。寫到第 9,999 筆時停電,會掉幾筆?
還沒抄進去的全部不見。而且收禮台早就跟每位賓客說了「記好了」。
③ 這叫做 Redis、RDBMS
Redis:放在記憶體裡的共用白板,讀寫很快。RDBMS:關聯式資料庫,commit 回「好了」時,已經寫進硬碟。Redis 的完整版:04 章
④ 跟這章的關係
📝 上課筆記 029 「如果跟錢有關的話,千萬不要用 redis」。下一頁:idempotency key 放 Redis 可以嗎?
② 動手玩:記帳記到一半停電
Triton 觀點027 · 028 · 008 / 032(筆記)· 029(筆記)· 106
Idempotency key 存哪裡?status code 回什麼?
原書這樣做會出什麼事?(筆記裡的做法)idempotency key 只放 Redis 5 分鐘。Redis 停電掉了這把 key,客人又按一次付款:
key 不見了,第二次就像第一次。上一頁:白板會掉資料。所以真正的保證要靠原書說的資料庫 unique key。
📝 上課筆記 Roy 的 Restful API 筆記
「create uuid pre-request 檢查 把 (req.body + url ) => hash 存到 redis ttl 5min 把 redis response 丟回去 不用用 DB去做 update」「Idempotence(重新呼叫) atomic(原子性) 這兩項比 RESTful重要」032 · 008 是同一份的 Notion 版(Owner Roy Lee),非本人原文
🗣️ Triton 本人說 RESTful 講義
- 「雖然原始 HTTP POST 定義是 non-idempotent,但是他沒禁止你自行解決 idempotent 問題」
- 「這是 idempotent 的 PATCH – SET Age = 31 這不是 idempotent 的 PATCH – SET Age = Age + 1」
- 「在客戶端,任何未成功收到傳回訊息的 API,只需要重新呼叫。伺服器端需要懂得處理重覆 API request」
- 「另一個說法:你不能使用二個(或以上)API呼叫去完成一個「動作」」;轉帳要建
/MoneyTransfers這個物件 - RESTful 購物車:加 A 回「v1」、加 B 回「v2」,「對 v2 版本的購物車結算」028
027-RESTful API Design-tw-2.1.pdf.md · 028(2.2 版)
Triton 觀點 · 套到原書027 · 028 · 106
購物車版本當 key,真正的保證放在 DB
🔭 套到原書
- 購物車 ID 當 key(原書)= 028 的「對 v2 版本的購物車結算」:同一個版本的購物車只能結一次帳
- wallet 的
balance = balance + amount就是SET Age = Age + 1:天生不 idempotent,一定要用 payment_order_id 擋重複(第 45 頁的WHERE status = 'EXECUTING') - Redis 5 分鐘(筆記)擋得住連按兩次;但筆記 029 也寫「如果跟錢有關的話,千萬不要用 redis」,Triton 自己說「不能不見的data,我一定存到RDBMS」106。所以真正的保證要靠原書的資料庫 unique key,Redis 只能當前面的快篩
Status code:原書回 429,Triton 的定義表
409「這是指用戶正在改動的物件,已經被別人先改動過了。」「通常跟 optimistic lock 有關」027 · 028403「其請求內容與商業邏輯矛盾,伺服器拒絕執行」027- 「5XX系列的錯誤,全都是用戶/客戶端沒法自行解決的」028
🔭 Triton 的表裡沒有 429。同一把 key 正在處理中,回 409 也說得通;重點是 client 知道「等一下再問」而不是「再付一次」。原書 Figure 10 的「可重試/不可重試」也可以照這個分:5XX、timeout 進 retry queue;400 這類 invalid input 直接記錄。
Triton 觀點185 · 138 · 078 · 020 · 084
10 TPS 的付款,需要 Kafka 嗎?
原書這樣做會出什麼事?每秒 10 筆付款,結帳主流程也全部經過 Kafka:
原書自己算出 10 TPS(第 6 頁),卻推薦大型系統的非同步架構。Triton 的問題是:你的規模是多少?
「如果系統還沒到每秒1K Message的,kafka對你會是overkill。」🗣️ Triton 本人說 138-喵談 rabbitMQ 和 kafka.md
「電商的購物不適合用MQ的原因:1 一個「購物」的Request才只改動數筆資料,不是長時間也不太吃資源啊。2 客戶對「等待」的耐性是極低的。」🗣️ 185-電商用 queue-.md
🗣️ 把工作丟 MQ 的三個原因:要拿大量資源、跑很久;「慢慢做也死不了人」、把 MQ 當 buffer;「3 你家主管不知從那邊聽到MQ好棒棒高大上,強迫你來用MQ。」185
🗣️ 真正的 MQ「會把收到的Message先存到HDD,然後才回應成功」「會等待收件者回傳「工作完成」,才真的把訊息刪掉」078 · 第 7 頁
第三方只能 polling 時
🗣️ 「換一家有支持Callback的服務供應商便好。」流量小的「邪惡暴力解」:建一張 outstanding_tasks table,「不使用redis的原因是怕redis當掉後data loss有工作變成孤兒」,獨立小程式每秒拿出來逐筆問第三方。020-MQ解法.md
🗣️ 「Users will be furious, since payment gateway operation is time-consuming (Example: credit card 3DS)」084
🔭 套到原書
- 原書說非同步適合大型付款系統;它自己的估算是 10 TPS,離 138 的 1K msg/s 差兩個數量級
- 結帳主流程:DB 短 TX → TX 外呼叫 PSP → 短 TX 寫結果;不必過 Kafka
- 推播、分析、財務報表這些副作用:185 的第 2 個理由,丟 MQ 合理(Figure 9)
- pending 付款:原書的「排程 job 巡邏進行中的 order」就是 020 的 outstanding_tasks;retry queue 要是會先寫磁碟的真 MQ
Triton 同意原書做對的地方
這些地方,Triton 和原書站在同一邊
✅ 卡號不進自己的 DB
「你知道不能把客戶的信用卡號碼(不管是否有加密)存到自己資料庫嗎?(除非你就是在paypal這些金流公司/銀行工作)」113 · 第 17 題「客戶的信用卡碼當然也不行!(除非你就是銀行/金流系統,有拿到PCI DSS資格)」176
✅ 付款資料用 ACID 的 RDBMS
原書看穩定性、工具、DBA 市場,選傳統 RDBMS。Triton:「不能不見的data,我一定存到RDBMS」106;「對一般中小型網站,就直接用RDBMS來做TX就好。」099
✅ 先存 token 再讓客人付款
原書 Figure 4 第 4 步 = 123 的 Step 2(先存 stripeChargeId 再 capture)。順序對,理由是 2PC(第 42 頁)。
✅ Retry + idempotency
原書的 exactly-once = at-least-once + at-most-once,Triton 講義的說法是「任何未成功收到傳回訊息的 API,只需要重新呼叫。伺服器端需要懂得處理重覆 API request」027
✅ 金額不用 double
原書用 string 避開精度問題,方向和 112 一致;Triton 再往前一步:存與算都用十進位,公式只寫一次(第 46 頁)。
✅ 第三方掛了別拖垮自己
原書說同步的缺點之一是「故障隔離差」。Triton:「你家公司沒有跟金流系統結拜好兄弟」059、「我們沒有跟第三方系統結拜」071
到這裡你已經會了小結 4 / 4
- pay-in · pay-out
- PSP
- ledger · wallet
- Decimal
- double-entry
- token · webhook
- reconciliation
- retry · DLQ
- idempotency
- TX · 2PC
- Redis
到這裡你已經會了:Triton 怎麼把它講得更硬
- 跟 PSP 之間就是 2PC:先建立不收錢的 Charge、存好 ID、再 capture;在哪一步當機都只收一次。
- 自己的 order、ledger、wallet 放同一台 RDBMS,用一個短 transaction;呼叫 PSP 放在 TX 外面。
- 錢用 Decimal 算、公式只寫一次;每天先用「加總為 0」驗血;錢的最終保證不放 Redis,放資料庫的 unique key。
11 階全部走完了
下一頁用一句話收尾;再下一頁是名詞小卡,給大家課後複習。
一句話記住
跨機器的錢,躲不掉 2PC;同一台的錢,一個 TX。
每一分錢用十進位算,用「加總為零」來驗。
原書對的地方
- RDBMS、雙重記帳、hosted payment page、不存卡號
- nonce / token:先存 token 再讓客人付款
- retry 做 at-least-once、idempotency key 做 at-most-once,兩層都要
- 對帳是最後一道防線,三類不一致分開處理
Triton 補充 / 會先問的地方
- 沒說出口的 2PC:每個當機點都要想過(123、071)
- amount 是 string,那算的時候用什麼?(112)
- 10 TPS 卻拆四個服務、上 Kafka:自己製造 2PC(100、138)
- idempotency 的保證放 Redis:錢的事別放 Redis(106、029 筆記)
Triton 式的做法
- PSP:uncaptured → 存 ID → capture → 寫結果(123)
- PSP 呼叫放在 TX 外,前後各一個短 TX(059)
- order、ledger、wallet 同一個 RDBMS、同一個 TX(🔭 100、081)
- Decimal 或 ×10n int64,
X = A*B/C只定義一次(112) - banker 加總為零,先驗血再 MRI(081)
本章名詞小卡課後複習用 · 每個名詞一句白話
今天出現的名詞,一句話講完
給工程師的重點出處與標籤
引述來源(materials/core)與原書對照
Triton 本人的講義 / 文章
- 123-喵談 2pc.md — 2PC 三條件、「所有銀行/信用卡/payment gateway的串接過程,其實是2pc的變種」、兩種錯誤寫法、Passkit + Stripe 的五步與四個當機點、30% / 65% / 5%
- 071-lesson2.pdf.md — 第 49–54 頁:金流系統、沒有 2PC 的例子 1–2、Voting / Completion phase、Coordinator、Stripe 七天自動 rollback、Worker 與第三方系統
- 100-二份data是存放在不同的machine上(2pc).md — 不同機器 + strong consistency 避不了 2PC、microservice 不共用 DB 就要做 Stripe / PayPal 式 2PC、「你可以寫論文了」、event sourcing 也避不了、沒到 Amazon 級都用 pg / mysql
- 112-喵提有關 算錢 的數值儲存.md — 永遠用 Decimal、檢查 DB / driver / ORM、×10000 unsigned int64、
X = A * B / C、稅局;「喵:」回覆 numeric 效能 - 081-online game system….md — user_balance / purchase_order / user_activity、banker 加總為零、驗血 vs MRI、banker 最後 update、n 個 banker、MVCC、snapshot
- 059-ecom-system design.pdf.md 第 12–13、15 頁 · 027 / 028 RESTful API Design 2.1 / 2.2 · 185 MQ 三個原因、購物不適合 MQ · 138 <1K msg/s · 078 第 7 頁 · 020 outstanding_tasks · 084 3DS · 099 pg 100 TX/s、報表走 replica · 106(從「主要還是一句」起)· 134 microservice · 113 第 17 題 · 176 PCI DSS
📝 筆記:032 / 008(Roy 的 Restful API 筆記,同一份)、029(無署名 Redis 課堂筆記)。💬 作者未標示:112 的「存成字串」回答與 Nasdaq 案例、164 的 master / slave 回覆。不引用:048(Roy 的專案報告)、187–195(第三方與 AI 生成)、112 中段的簡體 AI 段落。
原書對照
Alex Xu & Sahn Lam, System Design Interview Vol.2 Ch.11。開頭與 Step 1 需求(第 5 頁);估算、pay-in / pay-out 與 Figure 1(6);Pay-in 元件(9);Pay-in flow 與 Figure 2(10);APIs 與 Table 1–2(12);Data model 與 Table 3–4(13);payment_order_status(14);Double-entry 與 Table 5(17);Hosted payment page、Figure 3、Pay-out flow(18);Deep dive 目錄、PSP integration(19);Figure 4(21);Figure 5、webhook(22);Reconciliation 與 Figure 6(24–25);Payment processing delays(26);Internal communication 與 Figure 7–9(28);Failed payments 與 Figure 10(30);Exactly-once、retry 與 Figure 11(31);Idempotency 與 Figure 12(33–34);Consistency(35);Security 與 Table 6(36);Wrap up 與心智圖(37)。13 張圖與 6 個表都依原書圖說、alt 與內文重繪;Figure 3、5 是產品截圖,只畫線框。
循序漸進(文組版)的頁面
學習地圖(第 3 頁);延伸基礎 11 階:pay-in · pay-out(4)、PSP(7)、ledger · wallet(8)、Decimal(11)、double-entry(16)、token · webhook(20)、reconciliation(23)、retry · DLQ(29)、idempotency(32)、TX · 2PC 複習(39)、Redis(49);小結(15、27、38、54);名詞小卡(56)。福滿樓婚宴是虛構的示範情境,金額與天數是示意數字。
一個可以直接問自己的問題
你的付款流程裡,每兩個步驟之間如果伺服器當掉,重啟後看到的是什麼狀態?客人會被收零次、一次,還是兩次?