ML System Design · 第 5 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(infra 有兩張客座卡)
有害內容偵測
其實就是:把一則貼文看完整、一次回答好幾個是非題而已
社群平台每天收到 5 億則貼文,裡面混著少數違規的。原書用這一題,把「分類」從資料、模型、訓練、評估,一路講到上線後怎麼請人幫忙。
今天的路線
需求 → 一邊爬 11 階基礎、一邊對照原書(第 4 頁的階梯):貼文怎麼變數字 → 怎麼一次判好幾類 → 怎麼教它 → 怎麼打分數 → 怎麼上線、請人把關 → 方法的限制。全程只用同一則虛構貼文。
標籤怎麼看
📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論 延伸基礎
標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。
說明
講法受李宏毅教學風格啟發,不是本人。有害內容只用抽象、虛構的例子談,不放任何真實或寫實的內容;只討論方法的取捨與限制,不評論任何公司。
先講跟你有關的動手玩 · 你來當審核員
六則貼文,你一則要看幾秒?
每一則按「沒事」或「違規」。全部是虛構的,違規內容只寫成說明文字。
你可能會想說,這有什麼難的?一則看兩三秒嘛。對,一則不難。可是原書說,平台每天收到超過 5 億則貼文。
而且有沒有發現第二則怪怪的?一張菜刀的照片,沒事;一句「明天放學,老地方等你。」,也沒事。兩個放在一起,就讓人不太舒服了。這則貼文 P 今天會一路陪我們到最後。
今天整堂課在回答四個問題:它怎麼看一則貼文?(特徵與融合)它怎麼一次判好幾類?(模型)它判得好不好?(評估)拿不準的時候怎麼辦?(上線與人工審核)
原書Introduction · Figure 5.1
原書的開場:平台要找出有害內容和壞人
📖 原書 兩類要守的東西
很多社群平台都有社群規範,禁止對社群有害的行為、活動與內容。integrity(平台誠信)的工作可以分兩類:
- Harmful content(有害內容):含暴力、裸露、自殘、仇恨言論等的貼文
- Bad acts/bad actors(不良行為/不良行為者):假帳號、垃圾訊息(spam)、網路釣魚、有組織的不道德活動等
這一章專注在偵測可能含有害內容的貼文:主動監看新貼文,違反規範就移除或降低曝光(demote)。
原書這一章的路線
- Clarifying requirements(第 5 頁)
- Frame as ML task(第 8–17 頁)
- Data preparation(第 19–24 頁)
- Model development(第 25–30 頁)
- Evaluation(第 35–38 頁)
- Serving(第 41、42 頁)
- Other talking points(第 45 頁)
學習地圖今天要爬的 11 階 · 每一階只用前面學過的東西
一階一階往上爬,不跳階
- 1一串數字貼文在電腦裡長什麼樣?
- 2先合再看圖和字分開看,還是一起看?
- 3單選·複選一則貼文能違反幾條?
- 4一身多頭好幾題能不能一起做?
- 5驚訝分數猜錯了扣幾分?
- 6背考古題練習很強,考試很爛?
- 7壞人很少為什麼正確率會騙人?
- 8切在哪裡幾分以上算違規?
- 9抓得準·抓得全兩種「做得好」
- 10整條曲線不想選門檻怎麼辦?
- 11人來把關拿不準的交給誰?
它怎麼看貼文 它怎麼學 它判得好不好 上線之後 英文名字等爬到那一階才給。
整堂課只用一則貼文
貼文 P:一張菜刀照片、一句「明天放學,老地方等你。」、一個領點數的短網址,底下三則留言。作者帳號才註冊 2 天。全部虛構,數字小到可以心算。
每一階都走四步
① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。
每爬幾階就停一下
「到這裡你已經會了」:第 18、31、39 頁。最後還有名詞小卡(第 49 頁)。
原書Clarifying Requirements
原書的題目:主動找出違規貼文
這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。
📖 原書 應徵者 × 面試官
| 應徵者問 | 面試官答 |
|---|---|
| 系統要同時偵測有害內容和不良行為者嗎? | 兩者一樣重要。為了簡化,先只做有害內容 |
| 貼文只有文字,還是也有圖片和影片? | 可以是文字、圖片、影片,或這些的任意組合 |
| 支援哪些語言?只有英文嗎? | 要能偵測多種語言。為了簡化,假設可以用預訓練的多語言模型來 embed 文字 |
| 要辨識哪些類別?我想到暴力、裸露、仇恨言論、錯誤資訊……還有別的嗎? | 很好,主要的都提到了。錯誤資訊比較複雜、有爭議,先不處理 |
| 有人工標註員可以手動標貼文嗎? | 平台每天收到超過 5 億則貼文,全部人工標太貴太慢。可以假設每天能人工標有限的量,例如 1 萬則 |
| 讓使用者檢舉有害內容,有助於知道系統哪裡失靈。可以假設有這個功能嗎? | 好問題。是的,使用者可以檢舉 |
| 要不要向使用者解釋貼文為什麼被判有害、被移除? | 要。解釋原因很重要,能幫使用者讓之後的貼文符合規範 |
| 延遲要求是什麼?要即時預測(立刻偵測並擋下),還是可以批次預測(每小時或每天離線偵測)? | 這是非常重要的問題。你怎麼看? |
| 我認為不同有害內容的要求不同。例如暴力內容可能要即時處理,其他的晚一點偵測也可以 | 這些假設合理 |
原書Problem statement · 需求怎麼變成設計
整理成一段話,再看每一句會變成什麼設計
📖 原書 Problem statement
設計一個有害內容偵測系統:找出有害貼文,然後刪除或降低曝光,並告訴使用者為什麼被判有害。貼文內容可以是文字、圖片、影片或任意組合,可以是不同語言。使用者可以檢舉有害貼文。
你猜猜看:每天 5 億則、人工每天只能標 1 萬則。大約幾則裡才有 1 則能被人看到?
5 億 ÷ 1 萬 = 5 萬。人力只夠看五萬分之一,所以「要把哪 1 萬則交給人看」本身就是一個設計問題(第 40 頁)。
每一句需求,後面對到哪一頁
| 需求 | 會變成 |
|---|---|
| 文字、圖片、影片任意組合 | 把各部分融合起來一起看(第 9 頁) |
| 多種語言 | 多語言的預訓練文字模型(第 20 頁) |
| 要解釋為什麼移除 | 不能只輸出「有害/無害」,要知道是哪一類(第 12 頁) |
| 人工每天 1 萬則、使用者可檢舉 | 訓練和評估的標籤從哪來(第 27 頁) |
| 暴力要即時、其他可以晚點 | 高把握立刻移除、低把握先降曝光再請人看(第 42 頁) |
延伸基礎第 1 階 · 一串數字 · 懂的人可以跳到第 8 頁
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
電腦看到的貼文,其實是一串數字
健康檢查報告不會寫「這個人看起來還好」。它寫身高 170、血壓 120、血糖 90:一串數字,就能描述一個人。
你猜猜看:三則留言各自變成一個數字 0.8、0.6、0.1。原書說「取平均」合成一個,是多少?
0.8 + 0.6 + 0.1 = 1.5,除以 3 = 0.5。不管有 3 則還是 300 則留言,平均完都是同樣長度。
描述一樣東西的那串數字叫 feature vector(特徵向量)。用預訓練模型算出來、意思相近就會很接近的那種,叫 embedding。
點上面的按鈕,一次加一部分。
④ 跟這章的關係模型只吃數字。原書的整個 feature engineering,就是把圖、字、留言、作者各自變成一串數字,再接成一條(第 24 頁)。
原書Frame the Problem as an ML Task · Figure 5.2、5.3
把「平台要安全」翻譯成 ML 題目:輸出有害的機率
這一步要解決「安全」不是模型能直接學的目標,要換成模型做得到的事。
📖 原書 Defining the ML objective
ML 目標:準確預測有害貼文。原因是:如果能準確偵測,就能移除或降低曝光,平台就更安全。
Input:一則貼文。Output:這則貼文有害的機率(Figure 5.2 的 0.95)。
再看仔細一點:一則貼文是異質(heterogeneous,由不同種類的資料組成)而且可能是多模態(multimodal,同時有圖、字、影片)的,例如 Figure 5.3 的圖片、文字、作者。
為了準確,系統要考慮所有模態。那圖和字要怎麼合在一起看?原書介紹兩種融合方法:late fusion 和 early fusion。下一頁先用貼文 P 玩一次。
延伸基礎第 2 階 · 先合再看 · 懂的人可以跳到第 10 頁
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
圖和字分開看都沒事,合起來看才有事
四格漫畫:只看圖,是一個人站著;只看對白,是一句「你完了」。兩個一起看,才知道是在開玩笑還是在嗆人。
你猜猜看:圖片自己打 0.1 分、文字自己打 0.3 分(越高越有害)。分開打分再取平均,貼文 P 幾分?
(0.1 + 0.3) ÷ 2 = 0.2。兩個裁判各自都說沒事,平均起來當然也沒事。可是人一看就覺得不對勁。
各看各的、最後才把答案合起來,叫 late fusion。先把數字接起來、再讓一個模型一起看,叫 early fusion。
④ 跟這章的關係原書比較兩種融合(第 10、11 頁),最後選 early fusion,理由就是貼文 P 這種「合起來才有害」的例子。
原書Late fusion · Figure 5.4
Late fusion:各模型各看一部分,最後才合併答案
這一步要解決圖、字、作者三種資料,要怎麼合成一個判斷?
📖 原書 怎麼運作
ML 模型各自獨立處理不同模態,再把它們的預測結果合起來,做出最後的預測。
優點
每個模型可以獨立訓練、評估、改進。
兩大缺點
- 每個模態都要準備各自的訓練資料,又花時間又貴。
- 每個模態單獨無害、組合起來有害時(迷因圖常這樣),每個模型都說無害,融合層也只好說無害。但這是錯的。
原書Early fusion · Figure 5.5 · Which fusion method should we use?
Early fusion:先把數字合起來,一個模型一起看
缺點
模態之間關係複雜,模型比較難學。訓練資料不夠時,很難學好。
課堂上講語音和文字一起訓練時也提到同一件事:
「但是如果只是倒在一起訓練,往往不一定能夠得到好的結果,怎麼讓兩種看起來非常不一樣的資訊,能夠被 Align 在一起,是需要非常多的技術的」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 10 講
兩大優點
- 只有一個模型要訓練,不用替每個模態分別收集訓練資料。
- 模型看得到所有模態,各自無害、合起來有害時,有機會在統一的 feature vector 裡抓到。
你猜猜看:原書選哪一種?
原書選 early fusion:它能抓到「整體有害、單看無害」的貼文;而且每天約 5 億則貼文,模型有足夠的資料學這件事。
延伸基礎第 3 階 · 單選·複選 · 懂的人可以跳到第 13 頁
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
是非題、單選題、複選題,答得出來的東西不一樣
交通警察開罰單,不會只寫「你違規了」。他會勾:闖紅燈 ☑、沒戴安全帽 ☑。一次可以勾好幾格,你也才知道下次要改什麼。
你猜猜看:貼文 P 同時有威脅和騙人連結。哪一種問法才能「說出原因」又「不漏掉」?
是非題說不出原因;單選題只能挑一個,會漏掉另一個;複選題每一類都各自回答「是/不是」。
是非題叫 binary classification(二元分類)。複選題叫 multi-label classification(多標籤分類):一筆資料可以同時屬於任意幾類。
對照單選題(multi-class)的講法:
「機器要做的事情,就是從 1000 個類別裡面,選擇它覺得正確的類別,其他類別都是不正確的」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係原書要「解釋移除原因」,所以單一個是非題不夠(第 13 頁)。它比較了四種做法,都是在「每一類各回答一次」上做文章。
原書Choosing the right ML category · Single binary classifier · Figure 5.6
四種做法,先看最簡單的:一個是非題
這一步要解決模型的輸出要長什麼樣子,才能解釋原因?
📖 原書 原書檢視的四個選項
- Single binary classifier:單一二元分類器
- One binary classifier per harmful class:每個有害類別一個二元分類器
- Multi-label classifier:多標籤分類器
- Multi-task classifier:多任務分類器
📖 原書 選項 1:單一二元分類器
模型吃融合後的特徵(fused features),預測貼文有害的機率。輸出是二選一,所以是 binary classifier。
缺點:很難知道貼文屬於哪一類傷害(例如暴力),造成兩個問題:
- 不容易告訴使用者為什麼下架,因為系統只說整則貼文有害或無害
- 不容易找出系統表現不好的類別,也就沒辦法針對那一類改進
既然解釋原因是必要的,單一二元分類器不是好選項。
你猜猜看:這個模型對暴力類特別不準,你看得出來嗎?
只有一個分數,暴力抓不好、仇恨抓得好,平均起來可能還不錯。你連要修哪裡都不知道。
原書One binary classifier per harmful class · Multi-label classifier · Figure 5.7、5.8
每類各問一次:分開問三個模型,還是一個模型答三題?
📖 原書 選項 2:每類一個二元分類器
每個模型判斷貼文是不是某一類,各自吃 fused features、各自輸出那一類的機率。
優點 能告訴使用者下架原因;可以分別監控、分別改進。
主要缺點 好幾個模型要分別訓練、分別維護,又花時間又貴。
📖 原書 選項 3:多標籤分類器
一筆資料可以屬於任意幾類。用單一模型,輸入 fused features,輸出每一類的機率(可參考 WPIE 方法)。
優點 所有類別共用一個模型,訓練、維護比較便宜。
缺點 不同類別可能需要不同的特徵轉換方式,全部共用一個模型不理想。
延伸基礎第 4 階 · 一身多頭 · 懂的人可以跳到第 16 頁
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
共用一個身體,每一題各長一個頭
健康檢查只抽一次血。同一管血送到不同科:肝功能、血糖、膽固醇各看各的。不會每一科都叫你再抽一次。
你猜猜看:讀懂貼文要花 10 分力氣,每一類的判斷只要 1 分。3 類分開做 vs 共用讀懂那一步,各要幾分?
分開做:每類都從頭讀一次,(10 + 1) × 3 = 33。共用:讀一次 10,再加 3 個頭各 1,= 13。
一個模型同時學好幾個任務叫 multi-task learning。共用的身體叫 shared layers;每個任務自己的頭叫 classification head。
④ 跟這章的關係原書最後選的就是這個:把暴力、裸露、仇恨當成不同任務,共用 shared layers,各自一個 head(第 16 頁)。
原書Multi-task classifier · Figure 5.9、5.10、5.11
選項 4:多任務分類,共用層 + 各自的分類頭
📖 原書 兩個階段
Multi-task learning:模型同時學好幾個任務,學到任務之間的相似處;某個輸入轉換對好幾個任務都有用時,就不必重複計算。把暴力、裸露等當成不同任務:
- Shared layers:一組 hidden layers(中間層),把輸入特徵轉換成新的特徵,給每一類共用
- Task-specific layers:一組獨立的層,也叫 classification heads,每個頭用最適合那一類的方式轉換特徵
三個優點 所以原書選它
- 只有一個模型,訓練和維護不貴
- shared layers 轉換一次給大家用,沒有重複計算
- 每個任務的訓練資料幫到其他任務,某一類資料少時特別有用
原書Figure 5.12 · 四個選項並排比
原書最後的題目長這樣:一則貼文進去,每類一個機率出來
四個選項,一張表
| 說得出原因 | 幾個模型要養 | 每類能不同轉換 | |
|---|---|---|---|
| 單一二元 | ✗ | 1 | ✗ |
| 每類一個二元 | ✓ | N 個 | ✓ |
| 多標籤 | ✓ | 1 | ✗ |
| 多任務(原書選) | ✓ | 1 | ✓(各自的頭) |
這張表是把原書四段的優缺點整理在一起,不是原書的表。
播放時用的是貼文 P:三個頭各自打分,再合成一個整體的有害機率(Figure 5.12 最上面那格)。原書沒有說怎麼合,這裡示意用「取最高的那一類」。
小結第 1–4 階:它怎麼看貼文
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
到這裡你已經會了
- 貼文其實是一串數字圖、字、留言、作者各自變成 feature vector,再接起來(第 7 頁)
- 先合再看,才抓得到組合late fusion 各看各的,抓不到「合起來才有害」;原書選 early fusion(第 9、11 頁)
- 每一類各答一次,共用一個身體要說得出原因就要 multi-label;再省一點就用 multi-task:shared layers + 各自的 head(第 12、15 頁)
貼文 P,現在走到哪裡
- 變數字圖 [0.2, 0.9]、字 [0.7, 0.1]、留言平均 [0.5, 0.3]、作者 [0.9, 0.3]
- 接起來8 個數字的 fused features
- 共用身體shared layers 轉換一次
- 各自的頭暴力 0.9 · 垃圾 0.6 · 裸露 0.1 · 仇恨 0.2
下一段要解決:這些分數不會一開始就對。模型要從例子學。猜錯的時候,要扣它幾分?
原書Data Preparation · Data engineering · Table 5.1、5.2、5.3
手上有三種資料:使用者、貼文、互動
這一步要解決模型要從例子學。這題手上到底有哪些資料、長什麼樣?
| ID | Username | Age | Gender | City | Country | |
|---|---|---|---|---|---|---|
| (原書只列欄位,沒有範例資料) | ||||||
📖 原書 Table 5.1User data schema(使用者資料結構)
| Post ID | Author ID | On-device | Timestamp | Textual content | Images or videos | Links |
|---|---|---|---|---|---|---|
| 1 | 1 | 73.93.220.240 | 1658469431 | Today, I am starting my diet. | http://cdn.mysite.com/u1.jpg | - |
| 2 | 11 | 89.42.110.250 | 1658471428 | The video amazed me! Please donate | http://cdn.mysite.com/t3.mp4 | gofundme.com/f/3u1njd32 |
| 3 | 4 | 39.55.180.020 | 1658489233 | What is a good restaurant in the Bay area? | http://cdn.mysite.com/t5.jpg | - |
📖 原書 Table 5.2Post data(貼文資料;On-device 欄原書填的是 IP 位址)
| User ID | Post ID | Interaction type | Interaction value | Timestamp |
|---|---|---|---|---|
| 11 | 6 | Impression(曝光) | - | 1658450539 |
| 4 | 20 | Like(按讚) | - | 1658451341 |
| 11 | 7 | Comment(留言) | This is disgusting | 1658451365 |
| 4 | 20 | Share(分享) | - | 1658435948 |
| 11 | 7 | Report(檢舉) | violence | 1658451849 |
📖 原書 Table 5.3User-post interaction data(使用者與貼文的互動)
📖 原書 三種資料
- Users:使用者的基本資料
- Posts:作者、上傳時間、文字、圖片或影片、連結等。實務上一則貼文通常有幾百個屬性,表上只列最重要的
- User-post interactions:按讚、留言、收藏、分享等反應;使用者也可以檢舉貼文,或提出申訴(appeal)
你猜猜看:Table 5.3 哪一列,等一下可以直接拿來當「標準答案」用?
檢舉本身就寫了「哪一類」。原書的 natural labeling 就是拿使用者檢舉當訓練標籤(第 27 頁),快,但比較吵。
原書Feature engineering · Textual content · Image or video
文字和圖片,交給「預訓練模型」變成數字
這一步要解決第 1 階說要把貼文變數字。字和圖,具體要怎麼變?
📖 原書 一則貼文可以拆成五個元素
文字內容、圖片或影片、使用者對貼文的反應、作者、情境資訊(contextual information)。這頁先講前兩個。
📖 原書 文字:兩步
- 前處理:normalization(統一大小寫、符號)、tokenization(切成一小段一小段)。第 4 章講過
- Vectorization:變成有意義的 feature vector
統計方法 BoW(數每個字出現幾次)、TF-IDF(再把常見字的分數打折)好做又快,但抓不到語意。判斷有害要懂語意,所以用 ML 方法:預訓練的 Transformer 語言模型,例如 BERT。
原版 BERT 有兩個問題:模型大、產生 embedding 很慢,不適合線上預測;只用英文訓練,其他語言的 embedding 沒意義。DistilmBERT(更有效率的多語言版本)兩個都解決:意思一樣、語言不同的兩句話,embedding 非常接近。
動手玩:同一句話,換一種語言
📖 原書 圖片或影片:也是兩步
- 前處理:decode(解碼)、resize(縮放)、normalize(把數值調到固定範圍)
- Feature extraction:用預訓練模型把圖或影片變成 feature vector。圖片可以用 CLIP 的 visual encoder 或 SimCLR;影片可以用 VideoMoCo
原書User reactions to the post · Figure 5.13
內容看不出來的,留言會告訴你
📖 原書 為什麼看反應
內容模糊不清時,使用者的反應能幫忙判斷。Figure 5.13 裡,留言越多,越看得出這則貼文跟自我傷害有關。
📖 原書 從反應做出的特徵
- 按讚、分享、留言、檢舉的數量:通常會先縮放(scale),讓訓練時收斂(loss 穩定下來)得比較快
- 留言:用前面那個預訓練文字模型,把每則留言變成 embedding,再聚合(例如取平均)成一個
你猜猜看:讚數 2,000、檢舉 3。直接丟給模型,哪一個會「聲音比較大」?
模型只看數字大小。不縮放的話,2,000 會蓋過 3。縮放(例如都除以各自的最大值)之後,兩個都落在 0 到 1 之間,才公平。
原書Feature engineering for reactions and content · Figure 5.14
反應和內容,各走各的管線,最後接在一起
這張圖在說什麼
- 反應(檢舉數、讚數、留言數、分享數):直接進 Scale
- 內容(文字、圖片、影片):各自 Preprocess,再進各自的預訓練模型,各吐出一串數字(文字模型的例子是 0.1、0.8、0.6、0.3)
- 全部進 Aggregate 合起來,成為 Concatenated features
你可以把它想成第 7 頁那個互動的工廠版:每一種原料有自己的機器,最後在同一條輸送帶上排成一條。
原書Author features · Contextual information
是誰、在什麼時候、用什麼裝置發的
📖 原書 作者特徵
違規紀錄:過去違規次數;作者的貼文被檢舉的總次數;髒話比例(用預先定義的髒話清單,算過去貼文和留言裡髒話的比例)。
人口統計:年齡(原書說是最重要的預測特徵之一);性別用 one-hot encoding;城市和國家值太多,用 embedding layer 變成 feature vector,因為 one-hot 會又長又稀疏。
帳號資訊:追蹤者與追蹤中的數量;帳號年齡:越新的帳號越可能是垃圾帳號或違規。
📖 原書 情境資訊
發文時段:分桶(bucketize)成早上、中午、下午、傍晚、晚上,用 one-hot 表示。裝置:手機或桌機,也用 one-hot。
動手玩:one-hot 是什麼?
你猜猜看:用 one-hot 表示 1 萬個城市,一個人的那串數字裡有幾個 1?
One-hot 就是「只有你那一格亮」。1 萬格只亮 1 格,又長又稀疏,所以原書對城市改用 embedding:一小串、每一格都有意義的數字。
原書Summary of feature engineering · Figure 5.15
全部接起來:這就是模型要吃的 fused features
📖 原書 五條路
- 圖片 → 預訓練圖片模型 → Image feature vector
- 影片 → 預訓練影片模型 → Video feature vector
- 貼文文字 → 預訓練文字模型 → Text feature vector
- 留言 → 同一個文字模型 → Comments feature vector
- 作者 → Prepare author's features → Author feature vector
五條串接(concatenate)起來,就是 Fused features。
你猜猜看:這張圖畫的是 early 還是 late fusion?
預訓練模型在這裡只負責「變數字」,不負責判有沒有害。判斷是接起來之後,multi-task 模型才做的。所以是 early fusion。
原書Model Development · Model selection · Hyperparameter tuning
模型選 neural network,剩下的「旋鈕」用 grid search 一格一格試
這一步要解決multi-task 模型要用什麼模型做?幾層、學多快,誰來決定?
📖 原書 Model selection
Neural network(類神經網路)是 multi-task learning 最常用的模型,原書就用它。要決定的有兩件事:架構設計,和最好的 hyperparameters(超參數:訓練前人要先定好的設定),例如 hidden layers 幾層、activation function、learning rate(每一步改多少)等。
📖 原書 Hyperparameter tuning
找出最好的超參數值。常用 grid search:每一種組合都訓練一個新模型、各自評估,再挑最好的那一組。
你猜猜看:4 個超參數、每個試 3 種值,grid search 要訓練幾個模型?
3 × 3 × 3 × 3 = 81。不是 3 × 4。每多一個旋鈕,就再乘一次,所以 grid search 很快就變得很貴。
動手玩:兩個旋鈕的 grid search
hidden layers × learning rate,各試 3 種。每一格都要從頭訓練一個模型,再用驗證資料打分數(示意)。
延伸基礎第 5 階 · 驚訝分數 · 懂的人可以跳到第 27 頁
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
猜錯了扣幾分?看它有多驚訝
氣象說降雨機率 90%,結果下雨了,你一點也不意外。說 10%,結果下大雨,你會很驚訝。說得越有把握、錯得越離譜,就越該被罵。
你猜猜看:規則是「正確答案拿到的機率每砍一半,驚訝 +1」。正確答案只拿到 25%,驚訝幾分?
100% → 50% 砍一次,50% → 25% 再砍一次,所以 2 分。給 100% 而且對了,就是 0 分,完全不驚訝。
離正確答案多遠的分數叫 loss。這種「驚訝分數」叫 cross-entropy;只有「是/不是」兩種答案時,叫 binary cross-entropy。
「所以其實在分類的時候,你不會直接把 Accuracy 當作是 Loss,你會拿一些算出來跟 Accuracy 有點像的東西來當作是 Loss,那今天最常用的,是一個叫做 Cross-Entropy 的東西」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
④ 跟這章的關係原書每個任務都是二元分類,所以每個頭用一個 cross-entropy,再全部加起來當總 loss(第 28 頁)。
原書Model training · Constructing the dataset · Figure 5.16
標準答案從哪來?人工標,還是看使用者檢舉?
這一步要解決要算驚訝分數,得先有標準答案。每天 5 億則,答案誰給?
📖 原書 建資料集
資料集 = 輸入(features)+ 預期輸出(labels)。輸入:離線批次處理貼文,算出前面講的 fused features,存進 feature store(存特徵的倉庫)供之後訓練用。標籤有兩種來源:
Hand labeling
人工承包商手動標。準,但貴、慢。
→ 用在評估資料集
Natural labeling
靠使用者檢舉自動當標籤。比較吵(noisy),但快很多。
→ 用在訓練資料集
你猜猜看:為什麼「考卷」要用人工標,「練習題」可以用檢舉?
練習題有一些錯答案,模型還是學得到大方向;但拿來打分數的考卷答案錯了,所有分數都不可信。原書就是這樣分工:評估重準,訓練重快。
一筆資料 = 一條 features,加上一排 0 或 1:每一類各一格。這一排就是複選題的標準答案。
原書Choosing the loss function · Figure 5.17
每個頭各算一個 loss,加起來就是總 loss
你猜猜看:圖上 Violence 0.89(答案 1)、Nudity 0.1(答案 0)、Hate 0.7(答案 1),哪一個頭驚訝最多?
Nudity 答案是 0,模型給「不是」0.9,很好;Violence 給「是」0.89,也很好;Hate 給「是」只有 0.7,離 1 最遠,驚訝最多,下一輪改最多的就是它。
📖 原書 訓練一個 multi-task 網路,跟平常一樣
- Forward propagation:往前算一次,做出預測
- Loss function:量這次預測對不對
- Backward propagation:調整模型參數,讓下一輪的 loss 變小
📖 原書 Multi-task 的 loss
每個任務依它的 ML 類別配一個 loss function。這裡每個任務都是二元分類,所以每個任務用標準的二元分類 loss,例如 cross-entropy。總 loss = 各任務 loss 加起來:L₁ + L₂ + … + Lₙ。
延伸基礎第 6 階 · 背考古題 · 懂的人可以跳到第 30 頁
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
練習分數一直進步,考新題目卻退步
駕訓班的倒車入庫:欄杆上貼了貼紙,看到貼紙在後照鏡正中間就打方向盤。在駕訓班百發百中,換一個場地就不會了。
你猜猜看:如果模型練習時,有害貼文剛好都附圖、沒事的都只有字。它最可能學到什麼?
最省力的捷徑就是只看有沒有圖。練習時全對,一遇到只有字的威脅、或附圖的生日照,就全錯。
練習(training)很好、考新題(validation)很爛,叫 overfitting(過擬合)。
「當今天貼紙出現在後照鏡的正中間的時候,方向盤就左打四分之一……換了一個場地,基本上就不能開車了」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講
④ 跟這章的關係原書說多模態系統常見的挑戰就是 overfitting:某一個模態(例如圖片)學得太快,主導整個學習(第 30 頁)。
原書Overfitting in multimodal systems · gradient blending · focal loss
多模態的坑:一個模態搶走所有的學習
📖 原書 原文的意思
訓練多模態系統的常見挑戰是 overfitting。例如不同模態的學習速度不一樣時,某一個模態(例如圖片)可能主導學習過程。原書提了兩個處理技巧,並附參考資料:
- Gradient blending:依每個模態「學了有沒有用」,調整它在訓練時被聽進去多少
- Focal loss:把「已經很有把握答對」的例子的 loss 調小,讓模型多花力氣在難的例子上
📅 補充 兩個白話解釋是這份簡報加的,原書只有名字和參考資料。focal loss 最早是在物件偵測裡提出,用來處理「背景多、目標少」的不平衡;下一階剛好就是「壞人很少」。
動手玩:focal loss 把誰的分數調小?
四則有害貼文,模型給「有害」的機率不同。比較一般 cross-entropy 和 focal loss 扣的分(示意,γ = 2)。
小結第 5–6 階:它怎麼學
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
到這裡你已經會了
- 猜錯扣分,看它多驚訝每個頭一個 binary cross-entropy,全部加起來是總 loss(第 26、28 頁)
- 標準答案有兩種來源人工標得準,拿來評估;使用者檢舉來得快,拿來訓練(第 27 頁)
- 小心背考古題練習很好、新題很爛就是 overfitting;多模態時,學得快的模態會搶走學習(第 29、30 頁)
貼文 P,現在走到哪裡
- 特徵離線算好的 fused features,放在 feature store
- 標籤暴力 1 · 垃圾 1 · 裸露 0 · 仇恨 0
- 驚訝0.15 + 0.74 + 0.15 + 0.32 ≈ 1.36
- 改參數下一輪讓 1.36 變小,盯著驗證集別背題
下一段要解決:模型訓練好了,它判得好不好?你可能會想說,看「正確率」就好了嘛。這正是陷阱。
延伸基礎第 7 階 · 壞人很少 · 懂的人可以跳到第 35 頁
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
壞人很少的時候,「正確率」會騙人
機場安檢 1,000 個行李,只有 1 個藏了違禁品。一個安檢員閉著眼睛全部放行,他的「判斷正確率」是 99.9%。你敢讓他上班嗎?
你猜猜看:1,000 則貼文裡 10 則有害。模型偷懶,全部說「沒事」。正確率是多少?
990 則沒事的都「答對」了:990 ÷ 1,000 = 99%。可是 10 則有害的,一則都沒抓到。
一類很多、一類很少,叫 class imbalance(類別不平衡)。正確率叫 accuracy;類別不平衡時,它幾乎只反映多數那一類。
「認真的模型」示意:每 10 則有害抓到 8 則;每 100 則沒事的誤抓 2 則。
④ 跟這章的關係5 億則貼文裡,有害的是極少數。所以原書評估不用 accuracy,改用 precision、recall 和曲線(第 35 頁)。
延伸基礎第 8 階 · 切在哪裡 · 懂的人可以跳到第 34 頁
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
模型給的是分數,「幾分以上算違規」是你決定的
廚房的煙霧警報器:調太靈敏,煎個牛排就響;調太遲鈍,真的起火了才響。警報器沒變,變的是「多少煙才叫」。
你猜猜看:把「幾分以上算違規」從 0.5 調高到 0.8,被抓下來的貼文會?
門檻越高,越少貼文過關被抓。誤抓的好人少了,但分數 0.55、0.75 的壞貼文也放過了。
這條切線叫 threshold(門檻)。分數高於它就判「是」。
課堂上講另一種打分數的模型時,也撞到同一個問題:
「通常這個process verifier,他真正給你的並不是true or false……真正給你的是一個數值……那我到底應該把這個threshold切在哪裡呢」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第七講
④ 跟這章的關係原書的 PR 曲線,就是把門檻從 0 掃到 1(第 35 頁);上線時用「高把握、低把握」兩條門檻分流(第 42 頁)。
延伸基礎第 9 階 · 抓得準·抓得全 · 懂的人可以跳到第 35 頁
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
兩種「做得好」:抓下來的都是壞人,和壞人都被抓到
漁夫撒網:網子小,撈上來的都是魚,但很多魚沒撈到;網子大,魚都撈到了,也撈上一堆垃圾。兩件事要分開算。
你猜猜看:門檻 0.5 時,抓下 5 則,其中 3 則真的有害;有害的總共 4 則。「抓得準」是多少?
「抓得準」看的是抓下來的那 5 則裡,有幾則是對的:3 / 5。3 / 4 是另一件事:壞的 4 則裡抓到幾則,那叫「抓得全」。
抓得準叫 precision:抓下來的裡面,真的有害的比例。抓得全叫 recall:真的有害的裡面,被抓到的比例。
抓得準 precision —
抓得全 recall —
④ 跟這章的關係原書說只看 precision 或只看 recall 都不夠:precision 很高的模型,recall 可能很低(第 35 頁)。
原書Evaluation · Offline metrics · PR curve · Figure 5.18
只看一個門檻不夠,那就把所有門檻都畫出來
這一步要解決precision 和 recall 會隨門檻拉扯。要怎麼用一個數字比較兩個模型?
📖 原書 Offline metrics
評估二元分類模型,常用 precision、recall、F1 score(把 precision 和 recall 合成一個分數)。但只看 precision 或 recall 不足以了解整體:例如 precision 很高的模型,recall 可能非常低。PR 曲線和 ROC 曲線能處理這個限制。
📖 原書 PR curve
顯示 precision 和 recall 的取捨。用從 0 到 1 的不同機率門檻,畫出模型的 precision,就得到 PR 曲線。PR-AUC 是曲線底下的面積,一般來說越高代表模型越準。
分數為什麼不能直接當答案:
「其實對一個使用者來說,他根本不關心你算出來的分數是多少……他真正關心的是你分類的類別對不對」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講
延伸基礎第 10 階 · 整條曲線 · 懂的人可以跳到第 37 頁
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
不想選門檻?把每一種門檻都試一次,量曲線下的面積
比較兩支手機的相機,不會只拍一張。白天、黃昏、晚上都拍,看哪一支在每一種光線都比較好。
你猜猜看:一個閉著眼睛亂給分數的模型,「隨便抽一則壞的、一則好的,壞的分數比較高」的機率是多少?
亂給分數,就像擲硬幣決定誰高,一半一半。所以 ROC-AUC 0.5 是「亂猜」的基準線,1 是完美。
曲線底下的面積叫 AUC。橫軸 recall、縱軸 precision 的是 PR-AUC;橫軸「誤抓好人的比例」、縱軸 recall 的是 ROC-AUC。
④ 跟這章的關係原書同時用 ROC-AUC 和 PR-AUC 當離線指標(第 37 頁)。壞人很少時,PR-AUC 比較誠實。
原書ROC curve · 原書的選擇
原書兩個都用:ROC-AUC 和 PR-AUC
📖 原書 ROC curve
顯示 true positive rate(等於 recall)和 false positive rate(沒事的貼文裡被誤抓的比例)之間的取捨。跟 PR 曲線一樣,ROC-AUC 算曲線下的面積來總結模型表現。
ROC 和 PR 曲線是兩種不同的總結方式,差別原書附了參考資料。這個案例兩個都用,當作離線指標。
你猜猜看:模型 A 和 B 的 ROC-AUC 都是 0.95,但 A 的 PR-AUC 0.6、B 只有 0.3。上線後誰比較少誤刪好人的貼文?
壞人很少時,ROC 對「多誤抓一些好人」不太敏感;PR 直接反映抓下來的有多少是好人。PR-AUC 高的 A,抓下來的裡面好人比較少。
同樣 12 則貼文的 ROC 曲線(示意)
虛線是亂猜(面積 0.5)。原書沒有附 ROC 的圖,這張是用前面那 12 則貼文畫的,不是原書的圖。
原書Online metrics
上線之後,量的是「平台有多安全」
📖 原書 五個線上指標
| 指標 | 白話 |
|---|---|
| Prevalence(盛行率) | 沒擋住的有害貼文 ÷ 平台上全部貼文。缺點:每則有害貼文一樣重;一則被看 10 萬次的,比兩則各被看 10 次的更有害 |
| Harmful impressions(有害曝光) | 有害貼文被看了幾次。原書偏好它勝過 prevalence,因為它反映有多少人受影響 |
| Valid appeals(有效申訴) | 被判有害、申訴後翻案的 ÷ 系統判有害的總數 |
| Proactive rate(主動率) | 系統在使用者檢舉之前自己找到並刪除的比例:系統偵測 ÷(系統偵測 + 使用者檢舉) |
| User reports per harmful class | 每一類各被檢舉多少,看系統在哪一類表現不好 |
動手玩:原書的例子,哪一邊比較糟?
你猜猜看:系統自己找到 90 則,使用者另外檢舉 10 則。Proactive rate 是?
90 ÷ (90 + 10) = 90%。越高代表越少壞貼文要等使用者先看到、先受害,才被處理。
小結第 7–10 階:它判得好不好
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
到這裡你已經會了
- 壞人很少,正確率會騙人全部說沒事也有 99%;要看抓到幾個、抓錯幾個(第 32 頁)
- 門檻是你選的,precision 和 recall 會拉扯門檻 0.5:抓得準 3/5、抓得全 3/4(第 33、34 頁)
- 不想選門檻,就看整條曲線離線用 PR-AUC 和 ROC-AUC;線上看有害曝光、翻案率、主動率(第 36、38 頁)
那 12 則抽查貼文的成績單
- 門檻 0.5precision 60% · recall 75%
- PR-AUC≈ 0.69(亂猜 0.33)
- ROC-AUC≈ 0.78(亂猜 0.5)
- 貼文 P0.90,任何合理的門檻都抓得到
下一階要解決:那分數 0.55、0.6 這種拿不準的貼文怎麼辦?直接刪,會誤刪好人;放著不管,會漏掉壞人。
延伸基礎第 11 階 · 人來把關 · 懂的人可以跳到第 41 頁
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
拿不準的交給人看,人看完的答案變成下一批教材
超商新來的店員,遇到拿不準的退貨,就請店長來看。店長每次怎麼判,新人都記下來。三個月後,要請店長的次數越來越少。
你猜猜看:人工每天只能看 1 萬則。要讓這 1 萬則最有用,該挑哪些給人看?
分數 0.99 的,模型已經很有把握,人看了也只是說「對」;隨便抽,大多是明顯沒事的。分數在中間的,人的答案最能教會模型新東西。
讓人在流程裡幫模型做決定、補標籤,叫 human-in-the-loop。人審核的那一關叫 manual review(人工審核)。
課堂上講到要成對的標註資料時說:
「這需要某種人力的介入才有辦法取得」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 10 講
④ 跟這章的關係原書的架構就是這樣:低把握的先降低曝光,再送人工審核;審核員標的答案,下一輪拿來訓練(第 41、42 頁)。
原書Serving · ML system design · Figure 5.19
上線後的架構:把握高的立刻處理,把握低的先降曝光再請人看
原書Harmful content detection service · Violation enforcement service · Demoting service
三個服務,各管一段
📖 原書 Harmful content detection service
新貼文進來,預測有害的機率。依需求,某些類型的有害內容很敏感,要立刻處理,這時由違規執行服務立即移除。
📖 原書 Violation enforcement service
偵測服務以高把握預測有害時,立即下架貼文,並通知使用者為什麼被移除。
📖 原書 Demoting service
偵測服務以低把握預測有害時,暫時降低曝光,減少擴散的機會。接著把貼文存起來給人工審核:審核團隊從預先定義的類別中指派標籤,這些標好的貼文用在之後的訓練,改進模型。
你猜猜看:為什麼低把握的貼文是「降低曝光」,而不是「直接刪」?
降曝光是可以反悔的處罰。判對了,擴散已經被壓住;判錯了,審核完恢復就好,不會變成一則「誤刪申訴」。
動手玩:貼文會走哪一條路?
門檻是示意:高把握 0.8、低把握 0.5。原書只說「高把握」「低把握」,沒有給數字。「垃圾訊息可以晚點」也是示意,原書的例子是暴力要即時、其他可以晚。
客座講評Triton 怎麼看「這需要 AI 嗎?」
即時判斷很難;但從過去的紀錄算一個分數,不一定要 AI
「如果要即時分辨一個 request 是來自真人還是 bot…… – 我不知道答案,請找 cloudflare員工來答你 XD」🗣️ Triton 本人說 059-ecom-system design.pdf.md(第 21 頁)
「但是,從之前熱門商品 application log ,要分辨誰是 bot 不是太難的 – 這不需要 AI ,簡單 data analysis 都能做到吧」🗣️ Triton 本人說 059-ecom-system design.pdf.md(第 21 頁)
「在開賣熱門商品之前,我們可以替每一個用戶都建立 一個 bot_score ,越高分數就越有可能是 bot」🗣️ Triton 本人說 059-ecom-system design.pdf.md(第 21 頁)
背景:059 是 Triton 講「搶票」高流量的講義,這幾句在講怎麼不讓 bot 搶走商品,也就是原書開頭放到一邊的那一半:bad actors。
動手玩:不用 AI 的作者分數(示意)
🔭 依 Triton 原則推論 Triton 沒談過內容審核。套進來有三點:① 原書的作者特徵(違規次數、被檢舉數、帳號年齡)本來就是 bot_score 那一類,可以事先離線算好,不必每則貼文即時算;② 上 multi-task 模型之前,先拿這種簡單規則當比較基準,用同一套 PR-AUC 量,才知道模型多賺了多少;③ 他把「即時判斷」和「從紀錄事後分析」分得很開,跟原書「暴力要即時、其他可以批次」是同一刀。
客座講評Triton 怎麼接住大量的使用者反應
讚、留言、檢舉都是大量事件:先接住、先存起來,再慢慢算
「Pack multiple events to one SQS Message to save money」「Store the events for future data mining」「If some system component crash, some data loss can be tolerated」🗣️ Triton 本人說 076-mini-bigdata.pdf.md(第 14、16 頁)
「We picked ~1000 popular tags」「Need manual(a.k.a.工人智慧 ) tag merging」「Performance is MUCH more important then data freshness」🗣️ Triton 本人說 076-mini-bigdata.pdf.md(第 20、24 頁)
🔭 依 Triton 原則推論
- 反應數的特徵(第 21 頁):按讚、分享每秒很多筆,可以照 076 先打包、先存 S3,再聚合成計數;掉幾個讚,數字只差一點。
- 但檢舉不一樣:原書拿檢舉當訓練標籤,也拿來算 proactive rate。076「可以容忍掉資料」的前提,要對檢舉重新檢查一次。
- 新鮮度:Triton 的推薦頁效能比新鮮度重要;這一題的暴力類剛好相反。同一個原則,答案看業務。
- 「工人智慧」合併 tag,跟人工審核一樣:機器做不好的那一小塊,花人力補。
原書Other Talking Points
面試還有時間,可能會被問到這些
- 處理人工標註帶進來的偏差(bias)
- 調整系統來偵測突然流行的有害類別(例如疫情、選舉期間)
- 利用時間資訊(例如使用者的行為序列)來偵測
- 怎麼有效挑選要給人工審核的貼文(第 40 頁)
- 怎麼偵測真帳號和假帳號(第 43 頁的 bad actors)
- 怎麼處理邊界內容(borderline):規範沒禁止,但很接近紅線的內容
- 怎麼讓系統夠有效率,能部署在裝置端(on-device)
- 怎麼用 linear Transformer 取代一般的 Transformer 架構,讓系統更有效率
你猜猜看:選舉前一週突然冒出一種新的違規手法,訓練資料裡完全沒有。最先感覺到的是哪個指標?
離線指標是用舊的評估資料算的,新手法根本不在裡面。線上的檢舉數會先跳起來,這也是原書把它列成線上指標的原因。
八點全部是原書列的,各附了參考資料。第 1、2、6 點下一頁從「方法的限制」再看一次。
📅 2026 補充方法的限制
這套方法撞得到的牆
標籤本身有偏差
natural labeling 用檢舉當答案:沒人檢舉的有害貼文被當成「沒事」,被集體檢舉的普通貼文被當成「有害」。人工標也一樣,不同文化背景的人對同一則貼文判法不同。
「所以有時候人類在評比的時候,人類也有人類自己的偏見,我們也要小心人類的偏見」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講
壞人會換招
這一題跟街景模糊不一樣:臉不會為了躲模型而改長相,但違規的人會。把字藏進圖片裡、故意寫錯字、換一個說法。所以離線指標再好看,也要盯線上的每類檢舉數,並定期用新標籤重訓。
特徵也可能不公平
原書把年齡、性別、城市放進特徵。模型可能學到「某個族群的貼文比較常被檢舉」,然後對那個族群判得更嚴。上線前要分族群看 precision 和 recall,必要時拿掉這些特徵。
審核的人也需要被照顧
human-in-the-loop 的「人」,每天要看模型拿不準的內容。長時間接觸有害內容對審核員是負擔,排班、輪替和心理支持也是這套系統的成本,不只是「每天 1 萬則」這個數字。
📅 2026 補充方法怎麼演進
從「每一類訓練一個頭」到「把規範寫給模型讀」
圖和字,一開始就在同一個空間
原書用 CLIP 的 visual encoder 處理圖片。CLIP 這類模型本來就是圖和字一起訓練的,同一個意思的圖和字會落在相近的位置。後來的多模態大型模型,可以直接「一起看」圖和字,early fusion 變成模型的預設能力。
規範改了,不一定要重訓
2023 年起出現專做安全分類的語言模型(例如 Llama Guard、ShieldGemma)。做法是把類別定義寫在 prompt 裡,模型讀規範、判貼文,還能用文字說出理由,正好對上原書「要解釋原因」的需求。新增一類,改說明文字就能先上線。
但原書的骨架還在
大模型很慢、很貴,每天 5 億則不可能全部讓它讀。常見的分工是:便宜的小分類器先篩一遍,拿不準的才交給大模型或人。也就是原書的「高把握、低把握」兩條路,只是中間多了一層。
回顧11 階全部爬完
- 一串數字
- 先合再看
- 單選·複選
- 一身多頭
- 驚訝分數
- 背考古題
- 壞人很少
- 切在哪裡
- 抓得準·抓得全
- 整條曲線
- 人來把關
有害內容偵測,其實就是:把貼文看完整、每一類各答一題、拿不準的請人看,再拿人的答案教自己而已。
它怎麼看貼文
圖、字、留言、作者各自變成 feature vector,先接起來(early fusion),才抓得到「合起來才有害」。
它怎麼一次判好幾類
multi-task:shared layers 共用身體,每一類一個 head,說得出原因、又只養一個模型。
它怎麼學、怎麼量
每個頭一個 binary cross-entropy 加起來;檢舉當訓練標籤、人工標當考卷;壞人很少,所以看 PR-AUC、ROC-AUC,上線看有害曝光。
它怎麼上線
高把握立即移除並通知;低把握先降曝光、送人工審核;審核結果回到下一輪訓練。
看完整、各答一題、拿不準就問人。然後呢?然後就結束了。
名詞小卡課後複習用 · 每個詞一行白話
本章名詞小卡
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| feature vector | 描述一樣東西的一串數字 | 第 7 頁 |
| embedding | 預訓練模型算出來、意思近就會接近的那串數字 | 第 7 頁 |
| multimodal | 一則貼文同時有圖、字、影片 | 第 8 頁 |
| late / early fusion | 各看各的再合答案/先接數字再一起看 | 第 9 頁 |
| binary classification | 是非題:是或不是 | 第 12 頁 |
| multi-label | 複選題:一筆資料可以屬於好幾類 | 第 12 頁 |
| multi-task learning | 一個模型同時學好幾個任務 | 第 15 頁 |
| shared layers / head | 大家共用的身體/每一類自己的頭 | 第 16 頁 |
| BoW / TF-IDF / BERT | 數字頻/數字頻再打折/懂語意的預訓練語言模型 | 第 20 頁 |
| one-hot | 一長排格子,只有自己那格是 1 | 第 23 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| hyperparameter | 訓練前人要先定好的旋鈕 | 第 25 頁 |
| grid search | 每一種旋鈕組合都訓練一次,挑最好的 | 第 25 頁 |
| loss | 離正確答案多遠,越小越好 | 第 26 頁 |
| cross-entropy | 驚訝分數:正確答案的機率砍了幾次一半 | 第 26 頁 |
| hand / natural labeling | 人工標(準、貴)/用檢舉當答案(快、吵) | 第 27 頁 |
| feature store | 存算好的特徵的倉庫 | 第 27 頁 |
| overfitting | 背考古題:練習很好、新題很爛 | 第 29 頁 |
| focal loss | 把已經答得很好的例子的扣分調小 | 第 30 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| class imbalance | 一類很多、一類很少 | 第 32 頁 |
| accuracy | 正確率;壞人很少時會騙人 | 第 32 頁 |
| threshold | 幾分以上算「是」的那條線 | 第 33 頁 |
| precision | 抓得準:抓下來的裡面真的有害的比例 | 第 34 頁 |
| recall | 抓得全:真的有害的裡面被抓到的比例 | 第 34 頁 |
| PR-AUC / ROC-AUC | 把所有門檻都畫成曲線,量底下的面積 | 第 36 頁 |
| prevalence | 沒擋住的有害貼文佔全部的比例 | 第 38 頁 |
| harmful impressions | 有害貼文被看了幾次 | 第 38 頁 |
| proactive rate | 使用者檢舉之前,系統自己先找到的比例 | 第 38 頁 |
| 名詞 | 一行白話 | 在哪一頁 |
|---|---|---|
| human-in-the-loop | 拿不準的交給人,人的答案變成新教材 | 第 40 頁 |
| manual review | 人工審核那一關 | 第 40 頁 |
| violation enforcement | 高把握:立即移除並通知原因 | 第 42 頁 |
| demoting | 低把握:暫時降低曝光,等人確認 | 第 42 頁 |
| valid appeals | 被判有害、申訴後翻案的比例 | 第 38 頁 |
| borderline content | 沒違規,但很接近紅線 | 第 45 頁 |
| bot_score | Triton:開賣前從紀錄先算好的「像 bot 程度」 | 第 43 頁 |
忘了哪個詞,就回到右邊那一頁,四步再走一次。
給工程師的重點出處、公式與頁碼對照
本章引用的來源
原書
Machine Learning System Design Interview · Harmful Content Detection 章。Introduction 與 Figure 5.1(第 3 頁)、Clarifying Requirements(5、6)、ML objective、input/output 與 Figure 5.2–5.3(8)、Late fusion 與 Figure 5.4(10)、Early fusion、選擇與 Figure 5.5(11)、Choosing the ML category、single binary 與 Figure 5.6(13)、per-class 與 multi-label、Figure 5.7–5.8(14)、Multi-task、shared/task-specific layers 與 Figure 5.9–5.11(16)、Figure 5.12(17)、Data engineering 與 Table 5.1–5.3(19)、Textual content、image/video(20)、User reactions 與 Figure 5.13(21)、Figure 5.14(22)、Author features、contextual information(23)、Figure 5.15(24)、Model selection、hyperparameter tuning(25)、Constructing the dataset 與 Figure 5.16(27)、Loss function 與 Figure 5.17(28)、overfitting、gradient blending、focal loss(30)、Offline metrics、PR curve 與 Figure 5.18(35)、ROC(37)、Online metrics(38)、Serving 與 Figure 5.19(41)、三個服務(42)、Other Talking Points(45)。19 張圖全部依圖說與描述重繪,不是原圖;Figure 5.13 是涉及自傷的貼文截圖,只畫結構不畫文字;Figure 5.17 的 1/0/1 依內文畫成標準答案;Figure 5.18 依內文畫成從左上往右下降
本簡報加的頁面:開場互動(2)、概念階梯(4)、11 個延伸基礎(7、9、12、15、26、29、32、33、34、36、40)、小結(18、31、39)、客座講評(43、44)、方法限制與 2026 補充(46、47)、名詞小卡(49)。貼文 P、各頭分數、12 則抽查貼文、分桶數量、門檻、成本都是示意
🎓 李宏毅課堂(逐字稿)
- 生成式人工智慧與機器學習導論 2025 · 第 4 講(評估的各種坑)— 人類也有人類自己的偏見
dWQVY_h0YXU.md - 同 · 第 5 講(機器學習基本原理)— 駕訓班貼紙與 overfitting
Taj1eHmZyWw.md - 同 · 第 6 講(訓練類神經網路的訣竅)— 從 1000 類選一個、不直接拿 Accuracy 當 Loss 而用 Cross-Entropy、使用者只在意類別對不對
mPWvAN4hzzY.md - 同 · 第 10 講(語音語言模型發展史)— 兩種資訊倒在一起訓練要 Align、需要人力介入
CbIPjrOj2Tc.md - 生成式AI時代下的機器學習(2025) · 第七講(深度思考)— threshold 切在哪裡
bJFtcwLSNxI.md
🗣️ Triton(materials/core)
059-ecom-system design.pdf.md第 21 頁 — 即時分辨 bot、不需要 AI、bot_score076-mini-bigdata.pdf.md第 13–16、20、24 頁 — 事件管線、打包、可容忍掉資料、工人智慧、效能比新鮮度重要
📅 依據
- Focal loss(Lin et al., 2017);Gradient blending(Wang et al., 2019);CLIP(2021);Llama Guard(2023)、ShieldGemma(2024)
公式(主文用文字講過)
- BCEk = −[yk log pk + (1−yk) log(1−pk)];簡報的「砍一半幾次」= 以 2 為底
- L = Σk=1..N BCEk
- Focal:FL = −(1−pt)γ log pt
- Precision = TP/(TP+FP);Recall = TPR = TP/(TP+FN);FPR = FP/(FP+TN)
- F1 = 2PR/(P+R)
- PR-AUC ≈ AP = Σn(Rn−Rn−1)Pn;ROC-AUC = P(scorepos > scoreneg)
- Prevalence = 未擋下的有害貼文 / 全部貼文
- Appeals = 翻案數 / 系統判有害數
- Proactive rate = 系統偵測 / (系統偵測 + 使用者檢舉)
- 12 則示例:t = 0.5 → P = 3/5、R = 3/4;AP ≈ 0.69;ROC-AUC = 25/32