← 回到教學歷程2026.11.03 國泰世華基層主管訓
ChatGPT 對話紀錄(整理版)

20261103|好日子烘焙|改善提案評量準則與 AI 評估穩定性設計

上午 11:22 起。請模型改寫評量提示詞,再把準則做成可以調整權重的 Excel。

提問|11:22

以下是一組評量方式。由於讓生成式 AI 在缺乏確切定義與評量程序的情況下進行評估,會導致結果不穩定,為了提高結果的穩定性,請協助提供修改以下提示詞的做法,並列出可供參考的評量準則建議。

此外,提示詞中需要提醒模型:

  1. 遇到未確定的事項時,必須列出信心水準。
  2. 若無法確定,應停止評量;或者另一個可行做法是讓模型反過來詢問人類的偏好,以及尚未說明清楚的準則。

請注意:以下並非要你直接執行評量指令,而是協助修改提示詞。


以下是好日子烘焙今年的 7 個改善提案,總預算 300 萬元。請選出最值得優先執行的 3 案,依優先順序排列,並說明理由。

A|6 家門市導入自助結帳機|預算 120 萬|尖峰時段排隊縮短,每店每月約省 60 個工時 B|LINE 官方帳號會員喚回活動|預算 40 萬|喚回半年沒消費的會員,預估回購率提高 3% C|中央工廠生產排程系統|預算 150 萬|麵包報廢率由 6% 降到 4% D|門市人員 AI 排班|預算 50 萬|減少加班費,每年約省 80 萬 E|低糖系列新品研發|預算 60 萬|回應長輩與健康需求,新品業績貢獻尚難估計 F|外送專屬包裝與菜單|預算 35 萬|外送占營收 12%,客訴多半來自蛋糕壓壞 G|門市冷藏櫃節能更新|預算 100 萬|每年電費約省 30 萬,三年多回本

回覆|11:22|gpt-6-thinking

我會將這份題目改成可重複執行的決策評量程序,重點放在評分準則、證據門檻、預算限制,以及資訊不足時何時停止或向人類追問。會保留原本七個提案作為測試案例,但不實際選出前三案。

AI 的工作過程(點開看)

整理評量設計

我會把這組方案整理成多準則決策架構,先檢查指標是否可比,再設計權重、評分錨點與證據可信度。由於資料仍有缺口,我會標示假設,避免過度精確或逕自排名。

我也會建議加入停止與追問門檻:若關鍵數據缺失、定義不一致或結果差距不足以支持判斷,就先詢問偏好與補充資料。

建立決策閘門

我會先確認預算上限、是否必須選三項、效益能否互相加總,以及方案間是否衝突。關鍵資料不清楚就先暫停詢問;次要缺口則採保守假設並明確標註。

整理評量設計並建立決策閘門

校準評分方法

我會只引用可核查的正式資料,避開無法驗證的數字。評分前先定義效益、成本、風險與證據品質,並將「資料缺失」標為未知,不直接當成零分。

設計資料閘門

我會採兩階段流程:先檢查資料是否足以評分,再進行多準則比較。缺少關鍵數據時標記「未知」並暫停排名;只有次要缺口才使用保守假設,同時揭露其對結果的影響。

分離價值與證據

我會避免把策略契合度、效益大小與證據可信度混成一分。若公司策略未提供,先詢問或停評;權重只能作為明確標示的示例,不能在未獲同意時自行套用。

固定評分錨點

我會為每項指標分開定義「影響幅度」與「證據可信度」,再用事先確認的數值門檻評分;未確認的門檻只能標成暫定,不能假裝客觀。

制定評量準則

我會把評估分成「硬性門檻、加權價值、證據可信度」三層。先確認三項、預算上限與方案相容性;關鍵資料缺失時先暫停,不把未知效益當成零分。

財務、客戶品質、營運韌性、執行可行性與策略契合應分開評估,避免重複計算。每項採零至四分,但分數必須依事先確認的數值門檻,而非臨時判斷。

我會另列證據等級,區分已驗證成果、可靠估計、合理假設與缺乏資料。最後以整體組合最佳化,而不是只挑單項分數最高的方案。

完善決策流程

我會把總分、證據可信度與資料缺口分開處理:未知不等於零分,關鍵條件缺失就先暫停評分。確認目標、期間、權重、預算及方案相互影響後,再以預先核准的零至四分錨點比較組合,最後檢查權重變動是否改變結論。

制定評分準則並完善決策流程

已搜尋 8 個網站

處理時間為 2m 7s

20261103|好日子烘焙|改善提案評量準則與 AI 評估穩定性設計

這份提示詞最需要改善的地方,是建立一套先確認決策條件、再蒐集證據、接著評分,最後才進行排序的程序,並且讓 AI 在資訊不足時能夠合理停止。

我建議採用「多準則決策分析(Multi-Criteria Decision Analysis, MCDA)」作為方法基礎,加入評分錨點、證據可信度、停止條件與敏感度分析。

英國政府的 MCDA 指引特別強調:評分準則與權重應反映決策者的偏好,並透過敏感度分析檢查排名是否穩健。這正適合用來修正目前的提示詞。[Use of Multi-Criteria Decision Analysis in options appraisal of economic cases; An Introductory Guide to Multi-Criteria Decision Analysis (MCDA)]

一、原提示詞有六個會造成結果不穩定的問題

問題 原提示詞的缺口 建議修改
1. 決策目的不明 不知道優先追求獲利、成長、品質或效率 先確認主要目標及優先順序
2. 評量準則不明 「最值得優先執行」沒有操作型定義 設立評分構面、指標及評分錨點
3. 準則權重不明 AI 可能自行偏重財務回收或策略價值 權重須由人類確認
4. 證據完整度不同 有些提案有財務數字,有些只有需求描述 分開評估提案價值與證據可信度
5. 預算組合未定義 單案排名前三,不一定構成最佳 300 萬元組合 採投資組合最佳化,同時檢查預算與案數
6. 沒有停止機制 AI 即使不確定,仍可能產生三個推薦案 設立停止條件,要求補充資訊或取得人工判斷

例如,C 案報廢率從 6% 降到 4%,可以確認改善幅度為 2 個百分點,但缺少目前的生產量、報廢成本及系統維運費用,無法計算三年淨效益。

D 案有每年節省 80 萬元的估計,E 案則尚未估算新品銷售額。如果 AI 直接比較兩案的財務價值,可能會將「尚未量化」誤判為「沒有價值」。

還有一個關鍵:七個提案個別排名前三,與在 300 萬元內選出價值最高的三案,屬於不同的決策問題。 原題目必須明確要求後者,否則即使每個提案都評得合理,最後的組合也可能不理想。

二、建議採用的評量準則

建議採用五個評量構面,權重先作為討論範例,由企業決策者確認後才正式使用。

評量構面 建議權重 操作型定義
財務效益 35% 三年內預期產生的增量淨現金效益,考慮初期投資、維運及其他必要成本
顧客與產品品質 20% 對客訴、回購、滿意度、產品品質等結果的實質改善
營運改善 15% 對效率、穩定性、作業能力等非財務成果的改善;不得重複計入財務效益
執行可行性 15% 所需資源、執行時間、技術成熟度及導入風險
策略與長期成長 15% 與企業策略及未來成長機會的關聯程度

這組權重只是示範。如果好日子烘焙當前最重要的是減少浪費與保護利潤,財務效益應有較大比重;如果企業正在尋求新的客群,成長與顧客價值可能更重要。

此外,權重應考慮各指標在候選方案之間的實際差異,以及決策者有多重視這些差異。英國政府的指引建議採用 Swing Weighting,可作為後續與經營團隊確認權重的方式。[An Introductory Guide to Multi-Criteria Decision Analysis (MCDA)]

1. 建立明確的評分錨點

每個構面採 0-4 分制,先訂出該構面的最低重要改善幅度及目標值。

分數 評量準則
0 有證據顯示沒有正面效益,或造成負面影響
1 有正面效益,但低於事先定義的最低重要門檻
2 達到最低重要門檻
3 達到預定目標
4 明顯超過預定目標
N/A 資料不足、準則不明或無法判定,暫不評分

實際使用前,每個構面都必須定義自己的門檻。例如,財務效益可以用三年淨效益的金額區間;導入速度可以用預計完成的月數。這些門檻必須事先固定,不能由 AI 在看到七個提案後自行調整。

特別注意:N/A 不等於 0 分。 缺少資料不能直接視為提案沒有價值。

2. 信心水準必須獨立評估

建議將「提案的價值分數」與「支持該分數的證據可信度」分開。

信心水準 判定條件 AI 應採取的行動
高 有可核對的基準數據、明確估算方式及可確認的來源 可以評分
中 有合理估算依據,但部分參數仍需假設 可作條件式評分,揭露假設
低 主要依靠預測或主觀判斷,缺少關鍵驗證 標示為待驗證,不給正式確定排名
無法判定 缺少關鍵資料,或不同解釋會產生不同結論 暫停涉及該項的正式評分,要求補充資訊

信心水準也應適用於最後的排序結論。例如,即使各項資料本身可信,只要權重稍微改變就會使前三名不同,最終排名的信心仍可能偏低。

不建議要求模型自行產生「信心 87%」之類的數字。除非曾使用具標準答案的案例進行統計校準,否則這種百分比缺乏可驗證的機率意義。

NIST 的 AI 風險管理框架同樣重視測量有效性、可靠性、不確定性,以及在超出系統有效範圍時進行人工審查。[Measure]

三、資訊不完整時,應如何停止?

我建議使用三級判斷程序。

第一關:決策規則是否完整?

目標、權重、評分門檻、時間範圍及預算限制

不完整

暫停正式評分,詢問人類決策者

完整

進入第二關

第二關:各項分數是否有足夠證據?

逐案檢查可量化數據、假設及證據來源

關鍵證據不足

列出缺口與信心水準,暫停受影響評分

證據足夠

進入第三關

第三關:評分及排名是否穩健?

進行預算最佳化及敏感度分析

排名不穩定

提出條件式方案,交由人類決定偏好

排名穩健

輸出前三案、總預算及評估依據

其中最重要的設計是:如果不確定性會改變最終入選的三個提案,就必須要求人工判斷,不能靠模型自行補上偏好。


四、修訂後的完整提示詞 V2.0

以下版本可以直接作為 AI 的決策評量指令。它會先檢查決策規則及資料完整性;如果關鍵條件尚未確認,第一次回應就會停在釐清階段。

企業改善提案評量與優先排序系統 V2.0

一、角色與任務

你是一位企業投資決策分析師,熟悉多準則決策分析(MCDA)、財務評估、營運改善與投資組合最佳化。

你的任務是根據企業提出的改善提案,協助決策者選擇符合預算限制、最值得執行的投資組合。

你必須遵守以下原則:

  1. 在決策目標、評分準則及權重確認前,不得正式評分或排序。
  2. 不得自行補造營收、毛利、成本、回購率、需求規模或其他未提供的數字。
  3. 必須區分已確認事實、可計算結果、估算假設及無法判定的資訊。
  4. 每一項評估都必須揭露證據依據與信心水準。
  5. 當重要不確定性可能影響最終投資組合時,必須停止提出確定性建議,改為向人類詢問。
  6. 不能為了滿足「選出三案」的要求而強行補足缺乏評估依據的分數。

二、決策問題

企業:好日子烘焙

年度總預算:300 萬元

目標:選出優先執行的三個改善提案,依優先順序說明理由。

基本限制: - 最多投入 300 萬元。 - 正式方案必須恰好選出三案。 - 必須檢查所有可能的三案組合是否符合預算。 - 不得只將個別評分最高的三案直接視為最佳組合。 - 如有相互依賴、資源衝突或效益重複計算,必須另外評估。 - 在資料不足以選出三案時,應停止決策並回報原因。

三、待評估提案

A|6 家門市導入自助結帳機|預算 120 萬|尖峰時段排隊縮短,每店每月約省 60 個工時

B|LINE 官方帳號會員喚回活動|預算 40 萬|喚回半年沒消費的會員,預估回購率提高 3%

C|中央工廠生產排程系統|預算 150 萬|麵包報廢率由 6% 降到 4%

D|門市人員 AI 排班|預算 50 萬|減少加班費,每年約省 80 萬

E|低糖系列新品研發|預算 60 萬|回應長輩與健康需求,新品業績貢獻尚難估計

F|外送專屬包裝與菜單|預算 35 萬|外送占營收 12%,客訴多半來自蛋糕壓壞

G|門市冷藏櫃節能更新|預算 100 萬|每年電費約省 30 萬,三年多回本

四、第一階段:確認決策規則

正式評量前,必須確認:

  1. 企業主要追求獲利改善、營運效率、顧客體驗、事業成長,還是其他目標?
  2. 五個評量構面及權重是否獲得決策者認可?
  3. 每個構面的評分門檻是否已明確定義?
  4. 財務評估應採用哪個期間?是否以三年為基準?
  5. 是否存在不能接受的導入風險、專案相依性或其他限制?

候選評量構面及權重:

  • 財務效益:35%
  • 顧客與產品品質:20%
  • 營運改善:15%
  • 執行可行性:15%
  • 策略與長期成長:15%

這些是待確認的建議權重,不得將其視為企業已核准的標準。

若決策者尚未確認上述關鍵條件,必須先停止正式評量。

每次優先詢問最影響結果的 1-3 個問題,並說明為何需要這些資訊。

五、第二階段:建立證據盤點

對每個提案,分別列出:

  • 已知事實:題目中直接提供的資料。
  • 可計算資訊:可由已知數據正確推導的結果。
  • 必要假設:進行估算需要但尚未確認的條件。
  • 資料缺口:缺少哪些資料會影響效益評估。
  • 信心水準:高、中、低或無法判定。
  • 評量狀態:可評量、條件式評量或暫停評量。

不得將未知效益記為零,也不得把推估值表述為已實現的效益。

必須特別檢查: - 百分比與百分點的區別。 - 相對變動與絕對變動的區別。 - 年度效益與一次性效益的區別。 - 節省工時與實際節省人事費用的區別。 - 預期銷售增加與實際毛利增加的區別。 - 效益是否可實現,以及是否已扣除相關成本。

六、第三階段:正式評分

只有在決策規則及各構面評分門檻獲得確認後,才能進行正式評分。

每個構面採用 0-4 分:

0 分:已確認沒有正面效益,或造成負面影響。 1 分:有正面效益,但低於事先定義的最低重要門檻。 2 分:達到最低重要門檻。 3 分:達到預定目標。 4 分:明顯超過預定目標。 N/A:資料不足或無法判定。

各構面的具體量化門檻,必須先由決策者核准並固定。

評分公式:

加權總分 = Σ(各構面分數 ÷ 4 × 構面權重 × 100)

權重使用小數表示,所有權重總和為 1。

如關鍵構面為 N/A,不得自行填入平均分數,也不得任意重新分配其權重。

每項分數須記錄: - 評分結果 - 對應的評分錨點 - 支持證據 - 使用的假設 - 信心水準 - 尚未確認的事項

七、第四階段:投資組合最佳化

在個別提案評分完成後:

  1. 列出符合預算的三案組合。
  2. 根據已核准的評分模型比較組合價值。
  3. 檢查是否有共同投入成本、互補效益或資源衝突。
  4. 避免同一項效益在不同構面或提案之間重複計算。
  5. 比較最佳組合與次佳組合的差異。

若沒有證據支持提案間的互補或衝突,不得自行假設其金額或效果。

八、第五階段:不確定性與敏感度分析

正式建議前,必須檢查:

  1. 當權重在決策者同意的範圍內變動時,前三案是否改變?
  2. 當中信心水準的估計採合理上下限時,前三案是否改變?
  3. 哪些缺少的資料對結果最有影響?
  4. 是否存在多個價值接近、難以區分的組合?

如果不同合理假設會產生不同前三案,必須明確揭露排名不穩定。

不得將不穩定的排名描述成確定結論。

九、停止條件與人類介入

以下任一情況成立時,必須停止正式排序:

A. 決策目標、必要權重或評分門檻未確認。 B. 缺少關鍵資料,導致高權重構面無法評分。 C. 重大資料矛盾無法合理排除。 D. 不同合理假設會使最終三案組合改變,且缺少決策者的取捨原則。 E. 預算、相依性或風險限制不明,導致無法驗證組合是否可行。

停止時:

  • 說明停止的具體原因。
  • 列出目前已確認的事實。
  • 標示受影響的提案、構面及信心水準。
  • 提出不超過三個最重要的問題。
  • 說明不同答案可能如何影響決策。
  • 不得輸出暫時性的確定前三名。

十、輸出格式

模式 A:需要人類補充資訊

輸出: 1. 評量狀態:暫停正式評分。 2. 已確認的事實。 3. 評量準則或資料缺口。 4. 各項重要不確定性的信心水準。 5. 最需要人類回答的 1-3 個問題。

模式 B:符合正式評量條件

輸出: 1. 決策目標與經確認的準則。 2. 七案逐項評分表及證據依據。 3. 各提案信心水準。 4. 最佳三案組合及預算使用情況。 5. 入選理由及未入選方案的主要差異。 6. 敏感度分析與排名穩定程度。 7. 尚須人工確認的剩餘風險。

所有結論均須能夠追溯到原始資料、評分準則或明確標示的假設。

最終規則:當證據不足時,提出需要確認的問題,比提出缺乏依據的排名更符合本任務要求。

五、如何驗證修改後的提示詞確實比較穩定?

我建議建立一套小型測試程序。這部分很重要,因為即使提示詞定義得很清楚,也不能保證生成式 AI 每次都產生完全相同的判斷。

測試項目 建議程序 檢查重點
重複評量 相同條件獨立執行 10 次 各構面分數、入選組合及排序一致程度
缺漏資料測試 刻意刪除關鍵財務資料 是否正確標示 N/A 並停止排序
權重敏感度 在核准範圍內調整權重 哪些提案組合會改變
人工評分一致性 兩位管理者獨立評分 分歧來自準則不明還是事實判斷
預算限制測試 提供個別高分但合計超支的方案 是否能遵守 300 萬元及三案限制
不確定性測試 提供互相矛盾的數據 是否能提出問題,而非自行選擇有利數據

可先設定一項試行驗收標準:相同輸入執行十次,關鍵評分與最終組合至少八次一致;對於明確缺少必要資訊的測試案例,十次都應正確停止。這是建議的管理驗收門檻,並非研究上通用的標準。若實際用於投資決策,還應與人工基準答案比較。

此外,必須分開觀察兩種穩定性:

  • 模型重複性: 相同資料、相同準則,模型是否產生一致結果?
  • 決策穩健性: 當商業假設或決策者偏好合理改變時,結論是否仍然成立?

OECD 與歐盟聯合研究中心的複合指標方法指南,將權重、缺漏值處理及不確定性分析列為重要方法議題。[Handbook on Constructing Composite Indicators: Methodology and User Guide] NIST 也強調,AI 評估必須結合明確的測試條件、測量方法與不確定性紀錄。[AI RMF Core]

六、進一步的教學應用建議

這份題目很適合用來示範「決策準則如何影響 AI 回答」。

可以讓學員先使用原始提示詞取得初步排名,再使用 V2.0 比較。真正值得討論的並非 AI 前後是否選出相同三案,而是:

  1. 原本的 AI 回答有哪些自行決定的評量標準?
  2. 哪些推薦理由其實缺少必要證據?
  3. 當財務回報與長期成長發生衝突時,誰有權決定權重?
  4. 企業希望 AI 在什麼條件下停止,而不是繼續產生答案?

其中第三、第四題尤其值得保留。AI 評量的一致性,可以藉由明確程序改善;但評量準則本身的合理性,仍需要決策者負責。

這也使得模型的「停止並追問」成為可觀察、可評估的決策能力,而非單純的回答限制。

提問|11:31

將以上你的建議跟提示詞的一些做法,轉換成一張 Excel 表單,在不同的 tab 放入相關資料:

  1. 第一張 tab:放入評量案子的細節
  2. 第二張 tab:放入評量的計算以及結果
  3. 第三張 tab:放入評估說明跟建議

評量準則的部分(也就是第二張 tab)要可以調整參數與目標,並能即時看到結果,供使用者比較模型推論的結果,以及調整之後的變化。

回覆|11:31|gpt-6-thinking

我會製作三個工作表:第一張保留七案原始資料與證據缺口;第二張設計可調權重、評分門檻、信心水準及預算的計算模型,並呈現調整前後的差異;第三張說明評量規則、停止條件與使用方式。完成後會檢查公式及三案組合的預算限制。

三張工作表已建立,包含七案資料、可調整的五項權重與目標門檻,以及全部 35 種三案組合的計算。預設資料已明確標示為示範假設;我正在檢查排名公式、情境變動與正式評量的停止條件。

AI 的工作過程(點開看)

讀取試算表技能指南

整理評估架構

我正在區分已知數據與示範假設,避免把估算值誤當事實。部分指標因缺少成本、基準營收或損失資料,應先留白;也可用明確標註的示範分數,搭配可調整目標與權重。

設計評分門檻

我會讓每項指標使用「最低門檻、達標值、卓越值」三段設定,並以公式自動換算零至四分。財務數據可作示範,其餘項目標註為假設性專家評分,避免誤用。

規劃範本配置

我會把參數、原始資料、評分公式與投資組合結果分區,讓權重和門檻可調整,並同步顯示基準與情境分數、排名變化及資料可信度。

處理組合排名

我會讓可行方案依情境分數排序,並以穩定的次序處理同分。排名只納入預算內組合;若出現並列,表格會保留並列結果,不會假裝存在唯一最佳方案。

建立互動評估表

我會預設三案組合與示範資料,讓使用者能即時調整預算、權重、門檻及原始分數。系統會標示示範狀態、資料可信度、可行性、排名與並列情況。

建立互動評估表與評分排名架構

讀取試算表指南與財務模型 API 入門

建立並驗證提案評量與方案加權模型

修正評分公式並驗證匯出三工作表模型

處理時間為 7m 42s

已完成 Excel 互動式評量模型,包含三個工作表、可調整參數、自動評分、排名比較及預算組合計算。

Good_Day_Bakery_Decision_Model_v1.xlsx

3 個工作表|7 項提案|35 種三案組合

〔下載 Excel 互動式評量模型〕

工作表內容

工作表 主要功能
01|提案資料 七案預算、預期效益、可計算數據、證據缺口及核證建議
02|評量模型 調整權重、財務與非財務目標、評分輸入及預算,即時比較基準與調整後結果
03|評估說明 評量準則、操作流程、信心水準、停止條件及資料查核建議

第二張表的黃色儲存格可直接編輯。修改權重、目標門檻或效益估計後,個別提案分數、排名、圖表與三案最佳組合會依公式更新。

重要說明: 目前預先填入的評分及三年效益數字為教學示範假設,並非已查證的企業資料。模型也設有正式評量核准與停止條件,避免將示範排名誤作正式投資建議。

已完成公式核算、參數變動測試、預算組合檢查與工作表視覺檢查。

提問|11:42

再檢查一次檔案是否可以下載。如果仍然是因為檔名的關係無法下載的話,請將它輸出成 ZIP 檔,讓我可以直接下載使用。

回覆|11:43|gpt-6-thinking
AI 的工作過程(點開看)

檢查試算表檔案與預覽圖存在性

檢查試算表檔案並建立驗證壓縮檔

處理時間為 37s

已重新檢查原始 Excel 檔案,確認檔案存在、包含完整的三個工作表,且檔案結構正常。

另外已使用全英文檔名重新封裝成 ZIP,並完成壓縮檔完整性檢查。

Good_Day_Bakery_Decision_Model_v1.zip

27 KB|內含完整 Excel 評量模型

[下載 ZIP 壓縮檔]

也保留原始檔案供直接下載:

〔下載 Excel 原始檔(XLSX)〕

檢查結果: XLSX 內部結構及 ZIP 壓縮檔皆通過完整性檢查,且 ZIP 內的 Excel 與原始檔案完全一致。實際瀏覽器下載是否成功,仍需以點擊連結的結果為準。