ML System Design · 第 5 章教學線:受李宏毅教學風格啟發Triton 覆蓋度:🟠 低(infra 有兩張客座卡)

有害內容偵測
其實就是:把一則貼文看完整、一次回答好幾個是非題而已

社群平台每天收到 5 億則貼文,裡面混著少數違規的。原書用這一題,把「分類」從資料、模型、訓練、評估,一路講到上線後怎麼請人幫忙。

今天的路線

需求 → 一邊爬 11 階基礎、一邊對照原書(第 4 頁的階梯):貼文怎麼變數字 → 怎麼一次判好幾類 → 怎麼教它 → 怎麼打分數 → 怎麼上線、請人把關 → 方法的限制。全程只用同一則虛構貼文。

標籤怎麼看

📖 原書 🎓 李宏毅課堂 📅 2026 補充 🗣️ Triton 本人說 🔭 依 Triton 原則推論 延伸基礎

標「延伸基礎」的頁面只用高中數學講 ML 基本功,懂的人可以直接跳過。

說明

講法受李宏毅教學風格啟發,不是本人。有害內容只用抽象、虛構的例子談,不放任何真實或寫實的內容;只討論方法的取捨與限制,不評論任何公司。

先講跟你有關的動手玩 · 你來當審核員

六則貼文,你一則要看幾秒?

0 / 6判完幾則—平均一則幾秒—5 億則要幾個人(24 小時不休息)

每一則按「沒事」或「違規」。全部是虛構的,違規內容只寫成說明文字。

你可能會想說,這有什麼難的?一則看兩三秒嘛。對,一則不難。可是原書說,平台每天收到超過 5 億則貼文。

而且有沒有發現第二則怪怪的?一張菜刀的照片,沒事;一句「明天放學,老地方等你。」,也沒事。兩個放在一起,就讓人不太舒服了。這則貼文 P 今天會一路陪我們到最後。

今天整堂課在回答四個問題:它怎麼看一則貼文?(特徵與融合)它怎麼一次判好幾類?(模型)它判得好不好?(評估)拿不準的時候怎麼辦?(上線與人工審核)

原書Introduction · Figure 5.1

原書的開場:平台要找出有害內容和壞人

📖 原書 Figure 5.1Harmful content detection system(依原書內容重繪)

📖 原書 兩類要守的東西

很多社群平台都有社群規範,禁止對社群有害的行為、活動與內容。integrity(平台誠信)的工作可以分兩類:

  • Harmful content(有害內容):含暴力、裸露、自殘、仇恨言論等的貼文
  • Bad acts/bad actors(不良行為/不良行為者):假帳號、垃圾訊息(spam)、網路釣魚、有組織的不道德活動等

這一章專注在偵測可能含有害內容的貼文:主動監看新貼文,違反規範就移除或降低曝光(demote)。

原書這一章的路線

  1. Clarifying requirements(第 5 頁)
  2. Frame as ML task(第 8–17 頁)
  3. Data preparation(第 19–24 頁)
  4. Model development(第 25–30 頁)
  5. Evaluation(第 35–38 頁)
  6. Serving(第 41、42 頁)
  7. Other talking points(第 45 頁)

學習地圖今天要爬的 11 階 · 每一階只用前面學過的東西

一階一階往上爬,不跳階

  1. 1一串數字貼文在電腦裡長什麼樣?
  2. 2先合再看圖和字分開看,還是一起看?
  3. 3單選·複選一則貼文能違反幾條?
  4. 4一身多頭好幾題能不能一起做?
  5. 5驚訝分數猜錯了扣幾分?
  6. 6背考古題練習很強,考試很爛?
  7. 7壞人很少為什麼正確率會騙人?
  8. 8切在哪裡幾分以上算違規?
  9. 9抓得準·抓得全兩種「做得好」
  10. 10整條曲線不想選門檻怎麼辦?
  11. 11人來把關拿不準的交給誰?

它怎麼看貼文 它怎麼學 它判得好不好 上線之後 英文名字等爬到那一階才給。

整堂課只用一則貼文

貼文 P:一張菜刀照片、一句「明天放學,老地方等你。」、一個領點數的短網址,底下三則留言。作者帳號才註冊 2 天。全部虛構,數字小到可以心算。

每一階都走四步

① 生活情境 → 先猜猜看 → ② 動手玩 → ③ 這時才給名字 → ④ 跟這章的關係。

每爬幾階就停一下

「到這裡你已經會了」:第 18、31、39 頁。最後還有名詞小卡(第 49 頁)。

原書Clarifying Requirements

原書的題目:主動找出違規貼文

這一步要解決先問清楚要做什麼、做到什麼程度,免得答錯題目。

📖 原書 應徵者 × 面試官

應徵者問面試官答
系統要同時偵測有害內容和不良行為者嗎?兩者一樣重要。為了簡化,先只做有害內容
貼文只有文字,還是也有圖片和影片?可以是文字、圖片、影片,或這些的任意組合
支援哪些語言?只有英文嗎?要能偵測多種語言。為了簡化,假設可以用預訓練的多語言模型來 embed 文字
要辨識哪些類別?我想到暴力、裸露、仇恨言論、錯誤資訊……還有別的嗎?很好,主要的都提到了。錯誤資訊比較複雜、有爭議,先不處理
有人工標註員可以手動標貼文嗎?平台每天收到超過 5 億則貼文,全部人工標太貴太慢。可以假設每天能人工標有限的量,例如 1 萬則
讓使用者檢舉有害內容,有助於知道系統哪裡失靈。可以假設有這個功能嗎?好問題。是的,使用者可以檢舉
要不要向使用者解釋貼文為什麼被判有害、被移除?要。解釋原因很重要,能幫使用者讓之後的貼文符合規範
延遲要求是什麼?要即時預測(立刻偵測並擋下),還是可以批次預測(每小時或每天離線偵測)?這是非常重要的問題。你怎麼看?
我認為不同有害內容的要求不同。例如暴力內容可能要即時處理,其他的晚一點偵測也可以這些假設合理

原書Problem statement · 需求怎麼變成設計

整理成一段話,再看每一句會變成什麼設計

📖 原書 Problem statement

設計一個有害內容偵測系統:找出有害貼文,然後刪除或降低曝光,並告訴使用者為什麼被判有害。貼文內容可以是文字、圖片、影片或任意組合,可以是不同語言。使用者可以檢舉有害貼文。

你猜猜看:每天 5 億則、人工每天只能標 1 萬則。大約幾則裡才有 1 則能被人看到?

每一句需求,後面對到哪一頁

需求會變成
文字、圖片、影片任意組合把各部分融合起來一起看(第 9 頁)
多種語言多語言的預訓練文字模型(第 20 頁)
要解釋為什麼移除不能只輸出「有害/無害」,要知道是哪一類(第 12 頁)
人工每天 1 萬則、使用者可檢舉訓練和評估的標籤從哪來(第 27 頁)
暴力要即時、其他可以晚點高把握立刻移除、低把握先降曝光再請人看(第 42 頁)

延伸基礎第 1 階 · 一串數字 · 懂的人可以跳到第 8 頁

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

電腦看到的貼文,其實是一串數字

① 生活情境

健康檢查報告不會寫「這個人看起來還好」。它寫身高 170、血壓 120、血糖 90:一串數字,就能描述一個人。

你猜猜看:三則留言各自變成一個數字 0.8、0.6、0.1。原書說「取平均」合成一個,是多少?

③ 這時才給名字

描述一樣東西的那串數字叫 feature vector(特徵向量)。用預訓練模型算出來、意思相近就會很接近的那種,叫 embedding。

② 動手玩:把貼文 P 的每一部分變成數字,再接起來

點上面的按鈕,一次加一部分。

④ 跟這章的關係模型只吃數字。原書的整個 feature engineering,就是把圖、字、留言、作者各自變成一串數字,再接成一條(第 24 頁)。

原書Frame the Problem as an ML Task · Figure 5.2、5.3

把「平台要安全」翻譯成 ML 題目:輸出有害的機率

這一步要解決「安全」不是模型能直接學的目標,要換成模型做得到的事。

📖 原書 Defining the ML objective

ML 目標:準確預測有害貼文。原因是:如果能準確偵測,就能移除或降低曝光,平台就更安全。

Input:一則貼文。Output:這則貼文有害的機率(Figure 5.2 的 0.95)。

再看仔細一點:一則貼文是異質(heterogeneous,由不同種類的資料組成)而且可能是多模態(multimodal,同時有圖、字、影片)的,例如 Figure 5.3 的圖片、文字、作者。

為了準確,系統要考慮所有模態。那圖和字要怎麼合在一起看?原書介紹兩種融合方法:late fusion 和 early fusion。下一頁先用貼文 P 玩一次。

📖 原書 Figure 5.2有害內容偵測系統的 input 和 output(依原書內容重繪)

延伸基礎第 2 階 · 先合再看 · 懂的人可以跳到第 10 頁

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

圖和字分開看都沒事,合起來看才有事

① 生活情境

四格漫畫:只看圖,是一個人站著;只看對白,是一句「你完了」。兩個一起看,才知道是在開玩笑還是在嗆人。

你猜猜看:圖片自己打 0.1 分、文字自己打 0.3 分(越高越有害)。分開打分再取平均,貼文 P 幾分?

③ 這時才給名字

各看各的、最後才把答案合起來,叫 late fusion。先把數字接起來、再讓一個模型一起看,叫 early fusion。

② 動手玩:同一則貼文,兩種看法

④ 跟這章的關係原書比較兩種融合(第 10、11 頁),最後選 early fusion,理由就是貼文 P 這種「合起來才有害」的例子。

原書Late fusion · Figure 5.4

Late fusion:各模型各看一部分,最後才合併答案

這一步要解決圖、字、作者三種資料,要怎麼合成一個判斷?

📖 原書 Figure 5.4Late fusion(依原書內容重繪)

📖 原書 怎麼運作

ML 模型各自獨立處理不同模態,再把它們的預測結果合起來,做出最後的預測。

優點

每個模型可以獨立訓練、評估、改進。

兩大缺點

  1. 每個模態都要準備各自的訓練資料,又花時間又貴。
  2. 每個模態單獨無害、組合起來有害時(迷因圖常這樣),每個模型都說無害,融合層也只好說無害。但這是錯的。

原書Early fusion · Figure 5.5 · Which fusion method should we use?

Early fusion:先把數字合起來,一個模型一起看

📖 原書 Figure 5.5Early fusion(依原書內容重繪)

缺點

模態之間關係複雜,模型比較難學。訓練資料不夠時,很難學好。

課堂上講語音和文字一起訓練時也提到同一件事:

「但是如果只是倒在一起訓練,往往不一定能夠得到好的結果,怎麼讓兩種看起來非常不一樣的資訊,能夠被 Align 在一起,是需要非常多的技術的」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 10 講

兩大優點

  1. 只有一個模型要訓練,不用替每個模態分別收集訓練資料。
  2. 模型看得到所有模態,各自無害、合起來有害時,有機會在統一的 feature vector 裡抓到。

你猜猜看:原書選哪一種?

延伸基礎第 3 階 · 單選·複選 · 懂的人可以跳到第 13 頁

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

是非題、單選題、複選題,答得出來的東西不一樣

① 生活情境

交通警察開罰單,不會只寫「你違規了」。他會勾:闖紅燈 ☑、沒戴安全帽 ☑。一次可以勾好幾格,你也才知道下次要改什麼。

你猜猜看:貼文 P 同時有威脅和騙人連結。哪一種問法才能「說出原因」又「不漏掉」?

③ 這時才給名字

是非題叫 binary classification(二元分類)。複選題叫 multi-label classification(多標籤分類):一筆資料可以同時屬於任意幾類。

② 動手玩:換一種問法,看寫給作者的通知

對照單選題(multi-class)的講法:

「機器要做的事情,就是從 1000 個類別裡面,選擇它覺得正確的類別,其他類別都是不正確的」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

④ 跟這章的關係原書要「解釋移除原因」,所以單一個是非題不夠(第 13 頁)。它比較了四種做法,都是在「每一類各回答一次」上做文章。

原書Choosing the right ML category · Single binary classifier · Figure 5.6

四種做法,先看最簡單的:一個是非題

這一步要解決模型的輸出要長什麼樣子,才能解釋原因?

📖 原書 原書檢視的四個選項

  1. Single binary classifier:單一二元分類器
  2. One binary classifier per harmful class:每個有害類別一個二元分類器
  3. Multi-label classifier:多標籤分類器
  4. Multi-task classifier:多任務分類器

📖 原書 選項 1:單一二元分類器

模型吃融合後的特徵(fused features),預測貼文有害的機率。輸出是二選一,所以是 binary classifier。

缺點:很難知道貼文屬於哪一類傷害(例如暴力),造成兩個問題:

  • 不容易告訴使用者為什麼下架,因為系統只說整則貼文有害或無害
  • 不容易找出系統表現不好的類別,也就沒辦法針對那一類改進

既然解釋原因是必要的,單一二元分類器不是好選項。

📖 原書 Figure 5.6A single binary classifier(依原書內容重繪)

你猜猜看:這個模型對暴力類特別不準,你看得出來嗎?

原書One binary classifier per harmful class · Multi-label classifier · Figure 5.7、5.8

每類各問一次:分開問三個模型,還是一個模型答三題?

📖 原書 Figure 5.7One binary classifier per harmful class(依原書內容重繪)

📖 原書 選項 2:每類一個二元分類器

每個模型判斷貼文是不是某一類,各自吃 fused features、各自輸出那一類的機率。

優點 能告訴使用者下架原因;可以分別監控、分別改進。

主要缺點 好幾個模型要分別訓練、分別維護,又花時間又貴。

📖 原書 選項 3:多標籤分類器

一筆資料可以屬於任意幾類。用單一模型,輸入 fused features,輸出每一類的機率(可參考 WPIE 方法)。

優點 所有類別共用一個模型,訓練、維護比較便宜。

缺點 不同類別可能需要不同的特徵轉換方式,全部共用一個模型不理想。

延伸基礎第 4 階 · 一身多頭 · 懂的人可以跳到第 16 頁

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

共用一個身體,每一題各長一個頭

① 生活情境

健康檢查只抽一次血。同一管血送到不同科:肝功能、血糖、膽固醇各看各的。不會每一科都叫你再抽一次。

你猜猜看:讀懂貼文要花 10 分力氣,每一類的判斷只要 1 分。3 類分開做 vs 共用讀懂那一步,各要幾分?

③ 這時才給名字

一個模型同時學好幾個任務叫 multi-task learning。共用的身體叫 shared layers;每個任務自己的頭叫 classification head。

② 動手玩:類別越來越多,成本怎麼長?
—每類一個模型—一身多頭

④ 跟這章的關係原書最後選的就是這個:把暴力、裸露、仇恨當成不同任務,共用 shared layers,各自一個 head(第 16 頁)。

原書Multi-task classifier · Figure 5.9、5.10、5.11

選項 4:多任務分類,共用層 + 各自的分類頭

📖 原書 Figure 5.9Multi-task classification overview(依原書內容重繪)

📖 原書 兩個階段

Multi-task learning:模型同時學好幾個任務,學到任務之間的相似處;某個輸入轉換對好幾個任務都有用時,就不必重複計算。把暴力、裸露等當成不同任務:

  • Shared layers:一組 hidden layers(中間層),把輸入特徵轉換成新的特徵,給每一類共用
  • Task-specific layers:一組獨立的層,也叫 classification heads,每個頭用最適合那一類的方式轉換特徵

三個優點 所以原書選它

  1. 只有一個模型,訓練和維護不貴
  2. shared layers 轉換一次給大家用,沒有重複計算
  3. 每個任務的訓練資料幫到其他任務,某一類資料少時特別有用

原書Figure 5.12 · 四個選項並排比

原書最後的題目長這樣:一則貼文進去,每類一個機率出來

📖 原書 Figure 5.12Frame the problem as an ML task(依原書內容重繪)

四個選項,一張表

說得出原因幾個模型要養每類能不同轉換
單一二元✗1✗
每類一個二元✓N 個✓
多標籤✓1✗
多任務(原書選)✓1✓(各自的頭)

這張表是把原書四段的優缺點整理在一起,不是原書的表。

播放時用的是貼文 P:三個頭各自打分,再合成一個整體的有害機率(Figure 5.12 最上面那格)。原書沒有說怎麼合,這裡示意用「取最高的那一類」。

小結第 1–4 階:它怎麼看貼文

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

到這裡你已經會了

  • 貼文其實是一串數字圖、字、留言、作者各自變成 feature vector,再接起來(第 7 頁)
  • 先合再看,才抓得到組合late fusion 各看各的,抓不到「合起來才有害」;原書選 early fusion(第 9、11 頁)
  • 每一類各答一次,共用一個身體要說得出原因就要 multi-label;再省一點就用 multi-task:shared layers + 各自的 head(第 12、15 頁)

貼文 P,現在走到哪裡

  1. 變數字圖 [0.2, 0.9]、字 [0.7, 0.1]、留言平均 [0.5, 0.3]、作者 [0.9, 0.3]
  2. 接起來8 個數字的 fused features
  3. 共用身體shared layers 轉換一次
  4. 各自的頭暴力 0.9 · 垃圾 0.6 · 裸露 0.1 · 仇恨 0.2

下一段要解決:這些分數不會一開始就對。模型要從例子學。猜錯的時候,要扣它幾分?

原書Data Preparation · Data engineering · Table 5.1、5.2、5.3

手上有三種資料:使用者、貼文、互動

這一步要解決模型要從例子學。這題手上到底有哪些資料、長什麼樣?

IDUsernameAgeGenderCityCountryEmail
(原書只列欄位,沒有範例資料)

📖 原書 Table 5.1User data schema(使用者資料結構)

📖 原書 三種資料

  • Users:使用者的基本資料
  • Posts:作者、上傳時間、文字、圖片或影片、連結等。實務上一則貼文通常有幾百個屬性,表上只列最重要的
  • User-post interactions:按讚、留言、收藏、分享等反應;使用者也可以檢舉貼文,或提出申訴(appeal)

你猜猜看:Table 5.3 哪一列,等一下可以直接拿來當「標準答案」用?

原書Feature engineering · Textual content · Image or video

文字和圖片,交給「預訓練模型」變成數字

這一步要解決第 1 階說要把貼文變數字。字和圖,具體要怎麼變?

📖 原書 一則貼文可以拆成五個元素

文字內容、圖片或影片、使用者對貼文的反應、作者、情境資訊(contextual information)。這頁先講前兩個。

📖 原書 文字:兩步

  1. 前處理:normalization(統一大小寫、符號)、tokenization(切成一小段一小段)。第 4 章講過
  2. Vectorization:變成有意義的 feature vector

統計方法 BoW(數每個字出現幾次)、TF-IDF(再把常見字的分數打折)好做又快,但抓不到語意。判斷有害要懂語意,所以用 ML 方法:預訓練的 Transformer 語言模型,例如 BERT。

原版 BERT 有兩個問題:模型大、產生 embedding 很慢,不適合線上預測;只用英文訓練,其他語言的 embedding 沒意義。DistilmBERT(更有效率的多語言版本)兩個都解決:意思一樣、語言不同的兩句話,embedding 非常接近。

動手玩:同一句話,換一種語言

📖 原書 圖片或影片:也是兩步

  1. 前處理:decode(解碼)、resize(縮放)、normalize(把數值調到固定範圍)
  2. Feature extraction:用預訓練模型把圖或影片變成 feature vector。圖片可以用 CLIP 的 visual encoder 或 SimCLR;影片可以用 VideoMoCo

原書User reactions to the post · Figure 5.13

內容看不出來的,留言會告訴你

📖 原書 Figure 5.13Post with self-harm concern(原圖是貼文截圖,文字內容不重繪,只畫結構和曲線)

📖 原書 為什麼看反應

內容模糊不清時,使用者的反應能幫忙判斷。Figure 5.13 裡,留言越多,越看得出這則貼文跟自我傷害有關。

📖 原書 從反應做出的特徵

  • 按讚、分享、留言、檢舉的數量:通常會先縮放(scale),讓訓練時收斂(loss 穩定下來)得比較快
  • 留言:用前面那個預訓練文字模型,把每則留言變成 embedding,再聚合(例如取平均)成一個

你猜猜看:讚數 2,000、檢舉 3。直接丟給模型,哪一個會「聲音比較大」?

原書Feature engineering for reactions and content · Figure 5.14

反應和內容,各走各的管線,最後接在一起

📖 原書 Figure 5.14Feature engineering for reactions and content(依原書內容重繪)

這張圖在說什麼

  • 反應(檢舉數、讚數、留言數、分享數):直接進 Scale
  • 內容(文字、圖片、影片):各自 Preprocess,再進各自的預訓練模型,各吐出一串數字(文字模型的例子是 0.1、0.8、0.6、0.3)
  • 全部進 Aggregate 合起來,成為 Concatenated features

你可以把它想成第 7 頁那個互動的工廠版:每一種原料有自己的機器,最後在同一條輸送帶上排成一條。

原書Author features · Contextual information

是誰、在什麼時候、用什麼裝置發的

📖 原書 作者特徵

違規紀錄:過去違規次數;作者的貼文被檢舉的總次數;髒話比例(用預先定義的髒話清單,算過去貼文和留言裡髒話的比例)。

人口統計:年齡(原書說是最重要的預測特徵之一);性別用 one-hot encoding;城市和國家值太多,用 embedding layer 變成 feature vector,因為 one-hot 會又長又稀疏。

帳號資訊:追蹤者與追蹤中的數量;帳號年齡:越新的帳號越可能是垃圾帳號或違規。

📖 原書 情境資訊

發文時段:分桶(bucketize)成早上、中午、下午、傍晚、晚上,用 one-hot 表示。裝置:手機或桌機,也用 one-hot。

動手玩:one-hot 是什麼?

你猜猜看:用 one-hot 表示 1 萬個城市,一個人的那串數字裡有幾個 1?

原書Summary of feature engineering · Figure 5.15

全部接起來:這就是模型要吃的 fused features

📖 原書 Figure 5.15Summary of feature engineering(依原書內容重繪)

📖 原書 五條路

  • 圖片 → 預訓練圖片模型 → Image feature vector
  • 影片 → 預訓練影片模型 → Video feature vector
  • 貼文文字 → 預訓練文字模型 → Text feature vector
  • 留言 → 同一個文字模型 → Comments feature vector
  • 作者 → Prepare author's features → Author feature vector

五條串接(concatenate)起來,就是 Fused features。

你猜猜看:這張圖畫的是 early 還是 late fusion?

原書Model Development · Model selection · Hyperparameter tuning

模型選 neural network,剩下的「旋鈕」用 grid search 一格一格試

這一步要解決multi-task 模型要用什麼模型做?幾層、學多快,誰來決定?

📖 原書 Model selection

Neural network(類神經網路)是 multi-task learning 最常用的模型,原書就用它。要決定的有兩件事:架構設計,和最好的 hyperparameters(超參數:訓練前人要先定好的設定),例如 hidden layers 幾層、activation function、learning rate(每一步改多少)等。

📖 原書 Hyperparameter tuning

找出最好的超參數值。常用 grid search:每一種組合都訓練一個新模型、各自評估,再挑最好的那一組。

你猜猜看:4 個超參數、每個試 3 種值,grid search 要訓練幾個模型?

動手玩:兩個旋鈕的 grid search

hidden layers × learning rate,各試 3 種。每一格都要從頭訓練一個模型,再用驗證資料打分數(示意)。

0 / 9訓練了幾個模型—目前最好

延伸基礎第 5 階 · 驚訝分數 · 懂的人可以跳到第 27 頁

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

猜錯了扣幾分?看它有多驚訝

① 生活情境

氣象說降雨機率 90%,結果下雨了,你一點也不意外。說 10%,結果下大雨,你會很驚訝。說得越有把握、錯得越離譜,就越該被罵。

你猜猜看:規則是「正確答案拿到的機率每砍一半,驚訝 +1」。正確答案只拿到 25%,驚訝幾分?

③ 這時才給名字

離正確答案多遠的分數叫 loss。這種「驚訝分數」叫 cross-entropy;只有「是/不是」兩種答案時,叫 binary cross-entropy。

② 動手玩:貼文 P 的四個頭,各自驚訝幾分?

「所以其實在分類的時候,你不會直接把 Accuracy 當作是 Loss,你會拿一些算出來跟 Accuracy 有點像的東西來當作是 Loss,那今天最常用的,是一個叫做 Cross-Entropy 的東西」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

④ 跟這章的關係原書每個任務都是二元分類,所以每個頭用一個 cross-entropy,再全部加起來當總 loss(第 28 頁)。

原書Model training · Constructing the dataset · Figure 5.16

標準答案從哪來?人工標,還是看使用者檢舉?

這一步要解決要算驚訝分數,得先有標準答案。每天 5 億則,答案誰給?

📖 原書 建資料集

資料集 = 輸入(features)+ 預期輸出(labels)。輸入:離線批次處理貼文,算出前面講的 fused features,存進 feature store(存特徵的倉庫)供之後訓練用。標籤有兩種來源:

Hand labeling

人工承包商手動標。準,但貴、慢。

→ 用在評估資料集

Natural labeling

靠使用者檢舉自動當標籤。比較吵(noisy),但快很多。

→ 用在訓練資料集

你猜猜看:為什麼「考卷」要用人工標,「練習題」可以用檢舉?

📖 原書 Figure 5.16A constructed data point(依原書內容重繪;0/1 為示意值)

一筆資料 = 一條 features,加上一排 0 或 1:每一類各一格。這一排就是複選題的標準答案。

原書Choosing the loss function · Figure 5.17

每個頭各算一個 loss,加起來就是總 loss

📖 原書 Figure 5.17Model training(依原書內容重繪)

你猜猜看:圖上 Violence 0.89(答案 1)、Nudity 0.1(答案 0)、Hate 0.7(答案 1),哪一個頭驚訝最多?

📖 原書 訓練一個 multi-task 網路,跟平常一樣

  1. Forward propagation:往前算一次,做出預測
  2. Loss function:量這次預測對不對
  3. Backward propagation:調整模型參數,讓下一輪的 loss 變小

📖 原書 Multi-task 的 loss

每個任務依它的 ML 類別配一個 loss function。這裡每個任務都是二元分類,所以每個任務用標準的二元分類 loss,例如 cross-entropy。總 loss = 各任務 loss 加起來:L₁ + L₂ + … + Lₙ。

延伸基礎第 6 階 · 背考古題 · 懂的人可以跳到第 30 頁

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

練習分數一直進步,考新題目卻退步

① 生活情境

駕訓班的倒車入庫:欄杆上貼了貼紙,看到貼紙在後照鏡正中間就打方向盤。在駕訓班百發百中,換一個場地就不會了。

你猜猜看:如果模型練習時,有害貼文剛好都附圖、沒事的都只有字。它最可能學到什麼?

③ 這時才給名字

練習(training)很好、考新題(validation)很爛,叫 overfitting(過擬合)。

② 動手玩:多練幾輪,兩條線會怎樣?

「當今天貼紙出現在後照鏡的正中間的時候,方向盤就左打四分之一……換了一個場地,基本上就不能開車了」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 5 講

④ 跟這章的關係原書說多模態系統常見的挑戰就是 overfitting:某一個模態(例如圖片)學得太快,主導整個學習(第 30 頁)。

原書Overfitting in multimodal systems · gradient blending · focal loss

多模態的坑:一個模態搶走所有的學習

📖 原書 原文的意思

訓練多模態系統的常見挑戰是 overfitting。例如不同模態的學習速度不一樣時,某一個模態(例如圖片)可能主導學習過程。原書提了兩個處理技巧,並附參考資料:

  • Gradient blending:依每個模態「學了有沒有用」,調整它在訓練時被聽進去多少
  • Focal loss:把「已經很有把握答對」的例子的 loss 調小,讓模型多花力氣在難的例子上

📅 補充 兩個白話解釋是這份簡報加的,原書只有名字和參考資料。focal loss 最早是在物件偵測裡提出,用來處理「背景多、目標少」的不平衡;下一階剛好就是「壞人很少」。

動手玩:focal loss 把誰的分數調小?

四則有害貼文,模型給「有害」的機率不同。比較一般 cross-entropy 和 focal loss 扣的分(示意,γ = 2)。

小結第 5–6 階:它怎麼學

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

到這裡你已經會了

  • 猜錯扣分,看它多驚訝每個頭一個 binary cross-entropy,全部加起來是總 loss(第 26、28 頁)
  • 標準答案有兩種來源人工標得準,拿來評估;使用者檢舉來得快,拿來訓練(第 27 頁)
  • 小心背考古題練習很好、新題很爛就是 overfitting;多模態時,學得快的模態會搶走學習(第 29、30 頁)

貼文 P,現在走到哪裡

  1. 特徵離線算好的 fused features,放在 feature store
  2. 標籤暴力 1 · 垃圾 1 · 裸露 0 · 仇恨 0
  3. 驚訝0.15 + 0.74 + 0.15 + 0.32 ≈ 1.36
  4. 改參數下一輪讓 1.36 變小,盯著驗證集別背題

下一段要解決:模型訓練好了,它判得好不好?你可能會想說,看「正確率」就好了嘛。這正是陷阱。

延伸基礎第 7 階 · 壞人很少 · 懂的人可以跳到第 35 頁

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

壞人很少的時候,「正確率」會騙人

① 生活情境

機場安檢 1,000 個行李,只有 1 個藏了違禁品。一個安檢員閉著眼睛全部放行,他的「判斷正確率」是 99.9%。你敢讓他上班嗎?

你猜猜看:1,000 則貼文裡 10 則有害。模型偷懶,全部說「沒事」。正確率是多少?

③ 這時才給名字

一類很多、一類很少,叫 class imbalance(類別不平衡)。正確率叫 accuracy;類別不平衡時,它幾乎只反映多數那一類。

② 動手玩:有害貼文越來越少

「認真的模型」示意:每 10 則有害抓到 8 則;每 100 則沒事的誤抓 2 則。

④ 跟這章的關係5 億則貼文裡,有害的是極少數。所以原書評估不用 accuracy,改用 precision、recall 和曲線(第 35 頁)。

延伸基礎第 8 階 · 切在哪裡 · 懂的人可以跳到第 34 頁

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

模型給的是分數,「幾分以上算違規」是你決定的

① 生活情境

廚房的煙霧警報器:調太靈敏,煎個牛排就響;調太遲鈍,真的起火了才響。警報器沒變,變的是「多少煙才叫」。

你猜猜看:把「幾分以上算違規」從 0.5 調高到 0.8,被抓下來的貼文會?

③ 這時才給名字

這條切線叫 threshold(門檻)。分數高於它就判「是」。

② 動手玩:12 則抽查貼文,你來切
—被抓下來—誤抓的好貼文—漏掉的壞貼文

課堂上講另一種打分數的模型時,也撞到同一個問題:

「通常這個process verifier,他真正給你的並不是true or false……真正給你的是一個數值……那我到底應該把這個threshold切在哪裡呢」🎓 李宏毅課堂 生成式AI時代下的機器學習(2025) · 第七講

④ 跟這章的關係原書的 PR 曲線,就是把門檻從 0 掃到 1(第 35 頁);上線時用「高把握、低把握」兩條門檻分流(第 42 頁)。

延伸基礎第 9 階 · 抓得準·抓得全 · 懂的人可以跳到第 35 頁

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

兩種「做得好」:抓下來的都是壞人,和壞人都被抓到

① 生活情境

漁夫撒網:網子小,撈上來的都是魚,但很多魚沒撈到;網子大,魚都撈到了,也撈上一堆垃圾。兩件事要分開算。

你猜猜看:門檻 0.5 時,抓下 5 則,其中 3 則真的有害;有害的總共 4 則。「抓得準」是多少?

③ 這時才給名字

抓得準叫 precision:抓下來的裡面,真的有害的比例。抓得全叫 recall:真的有害的裡面,被抓到的比例。

② 動手玩:同樣 12 則,同一條門檻,兩種算法

抓得準 precision —

抓得全 recall —

④ 跟這章的關係原書說只看 precision 或只看 recall 都不夠:precision 很高的模型,recall 可能很低(第 35 頁)。

原書Evaluation · Offline metrics · PR curve · Figure 5.18

只看一個門檻不夠,那就把所有門檻都畫出來

這一步要解決precision 和 recall 會隨門檻拉扯。要怎麼用一個數字比較兩個模型?

📖 原書 Offline metrics

評估二元分類模型,常用 precision、recall、F1 score(把 precision 和 recall 合成一個分數)。但只看 precision 或 recall 不足以了解整體:例如 precision 很高的模型,recall 可能非常低。PR 曲線和 ROC 曲線能處理這個限制。

📖 原書 PR curve

顯示 precision 和 recall 的取捨。用從 0 到 1 的不同機率門檻,畫出模型的 precision,就得到 PR 曲線。PR-AUC 是曲線底下的面積,一般來說越高代表模型越準。

分數為什麼不能直接當答案:

「其實對一個使用者來說,他根本不關心你算出來的分數是多少……他真正關心的是你分類的類別對不對」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 6 講

📖 原書 Figure 5.18PR curve(依原書內容重繪)

延伸基礎第 10 階 · 整條曲線 · 懂的人可以跳到第 37 頁

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

不想選門檻?把每一種門檻都試一次,量曲線下的面積

① 生活情境

比較兩支手機的相機,不會只拍一張。白天、黃昏、晚上都拍,看哪一支在每一種光線都比較好。

你猜猜看:一個閉著眼睛亂給分數的模型,「隨便抽一則壞的、一則好的,壞的分數比較高」的機率是多少?

③ 這時才給名字

曲線底下的面積叫 AUC。橫軸 recall、縱軸 precision 的是 PR-AUC;橫軸「誤抓好人的比例」、縱軸 recall 的是 ROC-AUC。

② 動手玩:門檻從 1 掃到 0,一點一點畫出曲線

④ 跟這章的關係原書同時用 ROC-AUC 和 PR-AUC 當離線指標(第 37 頁)。壞人很少時,PR-AUC 比較誠實。

原書ROC curve · 原書的選擇

原書兩個都用:ROC-AUC 和 PR-AUC

📖 原書 ROC curve

顯示 true positive rate(等於 recall)和 false positive rate(沒事的貼文裡被誤抓的比例)之間的取捨。跟 PR 曲線一樣,ROC-AUC 算曲線下的面積來總結模型表現。

ROC 和 PR 曲線是兩種不同的總結方式,差別原書附了參考資料。這個案例兩個都用,當作離線指標。

你猜猜看:模型 A 和 B 的 ROC-AUC 都是 0.95,但 A 的 PR-AUC 0.6、B 只有 0.3。上線後誰比較少誤刪好人的貼文?

同樣 12 則貼文的 ROC 曲線(示意)

虛線是亂猜(面積 0.5)。原書沒有附 ROC 的圖,這張是用前面那 12 則貼文畫的,不是原書的圖。

原書Online metrics

上線之後,量的是「平台有多安全」

📖 原書 五個線上指標

指標白話
Prevalence(盛行率)沒擋住的有害貼文 ÷ 平台上全部貼文。缺點:每則有害貼文一樣重;一則被看 10 萬次的,比兩則各被看 10 次的更有害
Harmful impressions(有害曝光)有害貼文被看了幾次。原書偏好它勝過 prevalence,因為它反映有多少人受影響
Valid appeals(有效申訴)被判有害、申訴後翻案的 ÷ 系統判有害的總數
Proactive rate(主動率)系統在使用者檢舉之前自己找到並刪除的比例:系統偵測 ÷(系統偵測 + 使用者檢舉)
User reports per harmful class每一類各被檢舉多少,看系統在哪一類表現不好

動手玩:原書的例子,哪一邊比較糟?

—沒擋住的有害貼文(則)—有害曝光(次)

你猜猜看:系統自己找到 90 則,使用者另外檢舉 10 則。Proactive rate 是?

小結第 7–10 階:它判得好不好

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

到這裡你已經會了

  • 壞人很少,正確率會騙人全部說沒事也有 99%;要看抓到幾個、抓錯幾個(第 32 頁)
  • 門檻是你選的,precision 和 recall 會拉扯門檻 0.5:抓得準 3/5、抓得全 3/4(第 33、34 頁)
  • 不想選門檻,就看整條曲線離線用 PR-AUC 和 ROC-AUC;線上看有害曝光、翻案率、主動率(第 36、38 頁)

那 12 則抽查貼文的成績單

  1. 門檻 0.5precision 60% · recall 75%
  2. PR-AUC≈ 0.69(亂猜 0.33)
  3. ROC-AUC≈ 0.78(亂猜 0.5)
  4. 貼文 P0.90,任何合理的門檻都抓得到

下一階要解決:那分數 0.55、0.6 這種拿不準的貼文怎麼辦?直接刪,會誤刪好人;放著不管,會漏掉壞人。

延伸基礎第 11 階 · 人來把關 · 懂的人可以跳到第 41 頁

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

拿不準的交給人看,人看完的答案變成下一批教材

① 生活情境

超商新來的店員,遇到拿不準的退貨,就請店長來看。店長每次怎麼判,新人都記下來。三個月後,要請店長的次數越來越少。

你猜猜看:人工每天只能看 1 萬則。要讓這 1 萬則最有用,該挑哪些給人看?

③ 這時才給名字

讓人在流程裡幫模型做決定、補標籤,叫 human-in-the-loop。人審核的那一關叫 manual review(人工審核)。

② 動手玩:每天 5 億則,審核員只有 1 萬則的力氣
—每天直接移除—每天送人工審核—審核員看得完嗎(1 萬則/天)

課堂上講到要成對的標註資料時說:

「這需要某種人力的介入才有辦法取得」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 10 講

④ 跟這章的關係原書的架構就是這樣:低把握的先降低曝光,再送人工審核;審核員標的答案,下一輪拿來訓練(第 41、42 頁)。

原書Serving · ML system design · Figure 5.19

上線後的架構:把握高的立刻處理,把握低的先降曝光再請人看

📖 原書 Figure 5.19ML system design(依原書內容重繪)

原書Harmful content detection service · Violation enforcement service · Demoting service

三個服務,各管一段

📖 原書 Harmful content detection service

新貼文進來,預測有害的機率。依需求,某些類型的有害內容很敏感,要立刻處理,這時由違規執行服務立即移除。

📖 原書 Violation enforcement service

偵測服務以高把握預測有害時,立即下架貼文,並通知使用者為什麼被移除。

📖 原書 Demoting service

偵測服務以低把握預測有害時,暫時降低曝光,減少擴散的機會。接著把貼文存起來給人工審核:審核團隊從預先定義的類別中指派標籤,這些標好的貼文用在之後的訓練,改進模型。

你猜猜看:為什麼低把握的貼文是「降低曝光」,而不是「直接刪」?

動手玩:貼文會走哪一條路?

門檻是示意:高把握 0.8、低把握 0.5。原書只說「高把握」「低把握」,沒有給數字。「垃圾訊息可以晚點」也是示意,原書的例子是暴力要即時、其他可以晚。

客座講評Triton 怎麼看「這需要 AI 嗎?」

即時判斷很難;但從過去的紀錄算一個分數,不一定要 AI

「如果要即時分辨一個 request 是來自真人還是 bot…… – 我不知道答案,請找 cloudflare員工來答你 XD」🗣️ Triton 本人說 059-ecom-system design.pdf.md(第 21 頁)

「但是,從之前熱門商品 application log ,要分辨誰是 bot 不是太難的 – 這不需要 AI ,簡單 data analysis 都能做到吧」🗣️ Triton 本人說 059-ecom-system design.pdf.md(第 21 頁)

「在開賣熱門商品之前,我們可以替每一個用戶都建立 一個 bot_score ,越高分數就越有可能是 bot」🗣️ Triton 本人說 059-ecom-system design.pdf.md(第 21 頁)

背景:059 是 Triton 講「搶票」高流量的講義,這幾句在講怎麼不讓 bot 搶走商品,也就是原書開頭放到一邊的那一半:bad actors。

動手玩:不用 AI 的作者分數(示意)

—author_score = 違規 × 3 + 檢舉 + (新帳號 ? 5 : 0)

🔭 依 Triton 原則推論 Triton 沒談過內容審核。套進來有三點:① 原書的作者特徵(違規次數、被檢舉數、帳號年齡)本來就是 bot_score 那一類,可以事先離線算好,不必每則貼文即時算;② 上 multi-task 模型之前,先拿這種簡單規則當比較基準,用同一套 PR-AUC 量,才知道模型多賺了多少;③ 他把「即時判斷」和「從紀錄事後分析」分得很開,跟原書「暴力要即時、其他可以批次」是同一刀。

客座講評Triton 怎麼接住大量的使用者反應

讚、留言、檢舉都是大量事件:先接住、先存起來,再慢慢算

🗣️ Triton 076HYPEBEAST 事件處理架構(依 076 第 13 頁的方塊名稱重繪,不是原書的圖)

「Pack multiple events to one SQS Message to save money」「Store the events for future data mining」「If some system component crash, some data loss can be tolerated」🗣️ Triton 本人說 076-mini-bigdata.pdf.md(第 14、16 頁)

「We picked ~1000 popular tags」「Need manual(a.k.a.工人智慧 ) tag merging」「Performance is MUCH more important then data freshness」🗣️ Triton 本人說 076-mini-bigdata.pdf.md(第 20、24 頁)

🔭 依 Triton 原則推論

  • 反應數的特徵(第 21 頁):按讚、分享每秒很多筆,可以照 076 先打包、先存 S3,再聚合成計數;掉幾個讚,數字只差一點。
  • 但檢舉不一樣:原書拿檢舉當訓練標籤,也拿來算 proactive rate。076「可以容忍掉資料」的前提,要對檢舉重新檢查一次。
  • 新鮮度:Triton 的推薦頁效能比新鮮度重要;這一題的暴力類剛好相反。同一個原則,答案看業務。
  • 「工人智慧」合併 tag,跟人工審核一樣:機器做不好的那一小塊,花人力補。

原書Other Talking Points

面試還有時間,可能會被問到這些

  1. 處理人工標註帶進來的偏差(bias)
  2. 調整系統來偵測突然流行的有害類別(例如疫情、選舉期間)
  3. 利用時間資訊(例如使用者的行為序列)來偵測
  4. 怎麼有效挑選要給人工審核的貼文(第 40 頁)
  5. 怎麼偵測真帳號和假帳號(第 43 頁的 bad actors)
  6. 怎麼處理邊界內容(borderline):規範沒禁止,但很接近紅線的內容
  7. 怎麼讓系統夠有效率,能部署在裝置端(on-device)
  8. 怎麼用 linear Transformer 取代一般的 Transformer 架構,讓系統更有效率

你猜猜看:選舉前一週突然冒出一種新的違規手法,訓練資料裡完全沒有。最先感覺到的是哪個指標?

八點全部是原書列的,各附了參考資料。第 1、2、6 點下一頁從「方法的限制」再看一次。

📅 2026 補充方法的限制

這套方法撞得到的牆

標籤本身有偏差

natural labeling 用檢舉當答案:沒人檢舉的有害貼文被當成「沒事」,被集體檢舉的普通貼文被當成「有害」。人工標也一樣,不同文化背景的人對同一則貼文判法不同。

「所以有時候人類在評比的時候,人類也有人類自己的偏見,我們也要小心人類的偏見」🎓 李宏毅課堂 生成式人工智慧與機器學習導論 2025 · 第 4 講

壞人會換招

這一題跟街景模糊不一樣:臉不會為了躲模型而改長相,但違規的人會。把字藏進圖片裡、故意寫錯字、換一個說法。所以離線指標再好看,也要盯線上的每類檢舉數,並定期用新標籤重訓。

特徵也可能不公平

原書把年齡、性別、城市放進特徵。模型可能學到「某個族群的貼文比較常被檢舉」,然後對那個族群判得更嚴。上線前要分族群看 precision 和 recall,必要時拿掉這些特徵。

審核的人也需要被照顧

human-in-the-loop 的「人」,每天要看模型拿不準的內容。長時間接觸有害內容對審核員是負擔,排班、輪替和心理支持也是這套系統的成本,不只是「每天 1 萬則」這個數字。

📅 2026 補充方法怎麼演進

從「每一類訓練一個頭」到「把規範寫給模型讀」

圖和字,一開始就在同一個空間

原書用 CLIP 的 visual encoder 處理圖片。CLIP 這類模型本來就是圖和字一起訓練的,同一個意思的圖和字會落在相近的位置。後來的多模態大型模型,可以直接「一起看」圖和字,early fusion 變成模型的預設能力。

規範改了,不一定要重訓

2023 年起出現專做安全分類的語言模型(例如 Llama Guard、ShieldGemma)。做法是把類別定義寫在 prompt 裡,模型讀規範、判貼文,還能用文字說出理由,正好對上原書「要解釋原因」的需求。新增一類,改說明文字就能先上線。

但原書的骨架還在

大模型很慢、很貴,每天 5 億則不可能全部讓它讀。常見的分工是:便宜的小分類器先篩一遍,拿不準的才交給大模型或人。也就是原書的「高把握、低把握」兩條路,只是中間多了一層。

回顧11 階全部爬完

  1. 一串數字
  2. 先合再看
  3. 單選·複選
  4. 一身多頭
  5. 驚訝分數
  6. 背考古題
  7. 壞人很少
  8. 切在哪裡
  9. 抓得準·抓得全
  10. 整條曲線
  11. 人來把關

有害內容偵測,其實就是:把貼文看完整、每一類各答一題、拿不準的請人看,再拿人的答案教自己而已。

它怎麼看貼文

圖、字、留言、作者各自變成 feature vector,先接起來(early fusion),才抓得到「合起來才有害」。

它怎麼一次判好幾類

multi-task:shared layers 共用身體,每一類一個 head,說得出原因、又只養一個模型。

它怎麼學、怎麼量

每個頭一個 binary cross-entropy 加起來;檢舉當訓練標籤、人工標當考卷;壞人很少,所以看 PR-AUC、ROC-AUC,上線看有害曝光。

它怎麼上線

高把握立即移除並通知;低把握先降曝光、送人工審核;審核結果回到下一輪訓練。

看完整、各答一題、拿不準就問人。然後呢?然後就結束了。

名詞小卡課後複習用 · 每個詞一行白話

本章名詞小卡

名詞一行白話在哪一頁
feature vector描述一樣東西的一串數字第 7 頁
embedding預訓練模型算出來、意思近就會接近的那串數字第 7 頁
multimodal一則貼文同時有圖、字、影片第 8 頁
late / early fusion各看各的再合答案/先接數字再一起看第 9 頁
binary classification是非題:是或不是第 12 頁
multi-label複選題:一筆資料可以屬於好幾類第 12 頁
multi-task learning一個模型同時學好幾個任務第 15 頁
shared layers / head大家共用的身體/每一類自己的頭第 16 頁
BoW / TF-IDF / BERT數字頻/數字頻再打折/懂語意的預訓練語言模型第 20 頁
one-hot一長排格子,只有自己那格是 1第 23 頁

忘了哪個詞,就回到右邊那一頁,四步再走一次。

給工程師的重點出處、公式與頁碼對照

本章引用的來源

原書

Machine Learning System Design Interview · Harmful Content Detection 章。Introduction 與 Figure 5.1(第 3 頁)、Clarifying Requirements(5、6)、ML objective、input/output 與 Figure 5.2–5.3(8)、Late fusion 與 Figure 5.4(10)、Early fusion、選擇與 Figure 5.5(11)、Choosing the ML category、single binary 與 Figure 5.6(13)、per-class 與 multi-label、Figure 5.7–5.8(14)、Multi-task、shared/task-specific layers 與 Figure 5.9–5.11(16)、Figure 5.12(17)、Data engineering 與 Table 5.1–5.3(19)、Textual content、image/video(20)、User reactions 與 Figure 5.13(21)、Figure 5.14(22)、Author features、contextual information(23)、Figure 5.15(24)、Model selection、hyperparameter tuning(25)、Constructing the dataset 與 Figure 5.16(27)、Loss function 與 Figure 5.17(28)、overfitting、gradient blending、focal loss(30)、Offline metrics、PR curve 與 Figure 5.18(35)、ROC(37)、Online metrics(38)、Serving 與 Figure 5.19(41)、三個服務(42)、Other Talking Points(45)。19 張圖全部依圖說與描述重繪,不是原圖;Figure 5.13 是涉及自傷的貼文截圖,只畫結構不畫文字;Figure 5.17 的 1/0/1 依內文畫成標準答案;Figure 5.18 依內文畫成從左上往右下降

本簡報加的頁面:開場互動(2)、概念階梯(4)、11 個延伸基礎(7、9、12、15、26、29、32、33、34、36、40)、小結(18、31、39)、客座講評(43、44)、方法限制與 2026 補充(46、47)、名詞小卡(49)。貼文 P、各頭分數、12 則抽查貼文、分桶數量、門檻、成本都是示意

🎓 李宏毅課堂(逐字稿)

  • 生成式人工智慧與機器學習導論 2025 · 第 4 講(評估的各種坑)— 人類也有人類自己的偏見 dWQVY_h0YXU.md
  • 同 · 第 5 講(機器學習基本原理)— 駕訓班貼紙與 overfitting Taj1eHmZyWw.md
  • 同 · 第 6 講(訓練類神經網路的訣竅)— 從 1000 類選一個、不直接拿 Accuracy 當 Loss 而用 Cross-Entropy、使用者只在意類別對不對 mPWvAN4hzzY.md
  • 同 · 第 10 講(語音語言模型發展史)— 兩種資訊倒在一起訓練要 Align、需要人力介入 CbIPjrOj2Tc.md
  • 生成式AI時代下的機器學習(2025) · 第七講(深度思考)— threshold 切在哪裡 bJFtcwLSNxI.md

🗣️ Triton(materials/core)

  • 059-ecom-system design.pdf.md 第 21 頁 — 即時分辨 bot、不需要 AI、bot_score
  • 076-mini-bigdata.pdf.md 第 13–16、20、24 頁 — 事件管線、打包、可容忍掉資料、工人智慧、效能比新鮮度重要

📅 依據

  • Focal loss(Lin et al., 2017);Gradient blending(Wang et al., 2019);CLIP(2021);Llama Guard(2023)、ShieldGemma(2024)

公式(主文用文字講過)

  • BCEk = −[yk log pk + (1−yk) log(1−pk)];簡報的「砍一半幾次」= 以 2 為底
  • L = Σk=1..N BCEk
  • Focal:FL = −(1−pt)γ log pt
  • Precision = TP/(TP+FP);Recall = TPR = TP/(TP+FN);FPR = FP/(FP+TN)
  • F1 = 2PR/(P+R)
  • PR-AUC ≈ AP = Σn(Rn−Rn−1)Pn;ROC-AUC = P(scorepos > scoreneg)
  • Prevalence = 未擋下的有害貼文 / 全部貼文
  • Appeals = 翻案數 / 系統判有害數
  • Proactive rate = 系統偵測 / (系統偵測 + 使用者檢舉)
  • 12 則示例:t = 0.5 → P = 3/5、R = 3/4;AP ≈ 0.69;ROC-AUC = 25/32
← → 翻頁 · S 講者備註 · D 深/淺色
1 / 1目錄