金融業客服訓練|新產品上線情境對練助手 V1.0|逐檔閱讀
05_RUBRIC.md
評分規準與校準方案 V1.0(尚待銀行核准)
量化規準
| 構面 | 權重 | 等級 4 的行為證據 | 等級 2 的典型行為 | 等級 0 的典型行為 |
|---|---|---|---|---|
| 產品事實正確性 | 25 | 條件、資格、限制與說明均符合核准資料;不確定處正確查核 | 主要事實大致正確但漏一項關鍵例外 | 明確捏造/錯誤敘述核心產品條件 |
| 合規與風險揭露 | 25 | 適時說明重大限制、風險、應遵守程序且無不當承諾 | 有提風險但不完整或時機稍晚 | 保證結果、洩漏資訊或要求提供敏感驗證資料 |
| 需求理解與追問 | 15 | 問對足以區分案件的重要問題、適當確認理解 | 有追問但未抓到關鍵差異 | 直接假定需求且答非所問 |
| 清楚表達 | 15 | 語言精確、結構清楚、易理解且有適當重點 | 能理解但較冗長或有部分專有名詞 | 說法混亂、矛盾或無法理解 |
| 同理與互動 | 10 | 接住客戶關切、尊重、不推諉並維持互動 | 基本禮貌但未回應情緒或疑慮 | 漠視、責怪或貶低客戶 |
| 結尾與下一步 | 10 | 提供可執行的下一步、適當轉介與必要確認 | 有下一步但不夠明確 | 未處理問題就結束或承諾無法執行之動作 |
| 合計 | 100 |
每構面按 0、1、2、3、4 級評定;構面分數 = 權重 × 等級 ÷ 4。建議 1 級=達成少量但有重大缺失;3 級=基本符合,仍有小幅改進空間。缺乏機會觀察的指標標為 N/A;對可觀察但未出現的行為,應依情境必要性與證據評分。N/A 後使用適用權重重新換算為 100 分,並附記。
重大失誤(自動轉人工複核,暫不通過)
- 索取、透露或教客戶提供 OTP、密碼、完整卡號等不應透過該管道提供的敏感資料。
- 杜撰核准、利率、費率、賠償、保證獲利或風險為零等關鍵承諾。
- 指示規避身分驗證、適合度或其他核准必經程序。
- 在客戶已描述急迫詐騙/冒用風險時,仍促成明顯不安全操作。
- 不當披露個人資料或他人交易資訊。
評分報告的證據鏈
對每一構面列:學員說了什麼(精確摘錄/回合)、對照標準與文件來源、給分理由、仍不確定的部分。若產品文件缺失,不能評定產品事實正確性為客觀通過;應標「資料不足、無法正式評核」。
人工校準程序(建議)
- 由資深客服、產品及法遵代表共同建立每個情境的合格答案要點與重大錯誤規則。
- 蒐集至少三種品質的合成答覆(佳、中、差),先由兩位人工評分者獨立評級,討論歧見形成基準樣本。
- 同一批固定案例讓 AI 反覆評量,核對是否與人工基準一致,尤其是重大失誤是否漏判;記錄差異與修正依據。
- 每次改版、換模型、調整產品資料後,重新測試;只把「AI 建議分數」用於練習回饋,正式合格認證仍須按機構政策決定。
通過門檻(供原型測試)
建議總分至少 80 分、沒有重大失誤,且資料來源齊備;真正門檻與考核治理需銀行核定。不要以一個對話作為單獨的實際上線資格依據。