RAG 實作課・57–68 分

第 6 話・實驗五

犯人是誰？

審判！

全課最重要！

是沒找到，還是找到卻亂答？

CASE A

問題

客製商品五天可以退嗎？

Retrieved Context

商品送達七日內可以提出退貨申請。

模型回答

可以。

誰錯？

▶ 先讓學員判斷

咚！

判決——

Retrieval！

💧

模型看到的 Context

商品送達七日內可以提出退貨申請。

例外規定（沒被找回來）

模型根本沒看到例外規定。

CASE B

問題

客製商品五天可以退嗎？

Retrieved Context

商品送達七日內可以提出退貨申請。客製商品不適用一般退貨程序。

模型回答

可以，因為仍在七日內。

這次呢？

▶ 先讓學員判斷

咚！

判決——

Generation！

模型看到的 Context

商品送達七日內可以提出退貨申請。
客製商品不適用一般退貨程序。

↑ 證據就在這裡！

正確證據就在 Context 裡，模型卻沒有忠實使用。

📕 RAG 診斷表・全課最重要的一張

問題	要檢查什麼
正確資料根本沒找到	Retrieval
找到了，但排很後面	Ranking
找到很多垃圾	Precision
正確資料已經在 Context	Generation
模型自行增加不存在內容	Faithfulness
使用舊版文件	Version / Metadata

先問：錯在哪一層？

收好！

知道要查哪一層……

那要怎麼「量」？

Recall

Precision

Faithfulness

Correctness

下回預告四個評估觀念！

待續