RAG 實作課・57–68 分(下半)
第 7 話
四大評估!
測!
不塞十個指標,只教四個
① Recall答案需要的資料,有沒有找到?
需要
A
B
C
找到
A
B
?
Recall
不夠!
該找的沒找齊——漏了 C。
② Precision找到的東西裡,
有多少真的有用?
1
2
3
4
5
6
7
8
9
10
10 段裡,只有 2 段有關
Precision 不夠!
③ Faithfulness
模型說的事情,有沒有被資料支持?
Context 寫的
日本一般地區
每晚上限 6,500 元
≠
Faithfulness 出問題!
(第 1 話那個「八千」,又來了!)
④ Correctness
最後答案,有沒有真的回答對問題?
和 Faithfulness
不完全一樣!
Context(找到的是 2025 舊版)
文件 1:日本住宿上限
每日 6,000 元
忠於資料 ✔ Faithful
但是——
2026/7/1 起,
已調整為 6,500 元
答案錯誤 ✘ Correct
Faithful 不一定 Correct。
▶ 講師:這句值得停一下
Recall該找的,
有沒有找齊?
看 Retrieval
Precision找到的,
有多少有用?
看 Retrieval
Faithfulness說的話,
有沒有資料支持?
看 Generation
Correctness最後答案,
到底對不對?
看整體結果
最後的試煉——
錯在哪一層?
四道題・只准回答「哪一層」
待續