基層主管 AI Agent 實作課 你問,它答 → 你說,它做 → 你排,它動
5 / 19

你問,它答

02

你問,它答:從「三/3」看見 Prompt、Context 與模型差異

先從這裡開始

這頁只做一件事

只改『三/3』一個字元,看看模糊指令會帶來多少差異。

完成後你會帶走兩份原始回答、一份差異紀錄與可重複使用的 Prompt v2。
  1. 1用同一帳號、同一模型開兩個全新對話。
  2. 2A/B 只改『三』和『3』,其他內容完全相同。
  3. 3只記可觀察差異,再把缺少的規格補進 Prompt v2。
什麼情況先停下來?如果兩次測試不是同一模型或沿用了舊對話,這次比較不成立,請重做。
先看懂這頁會出現的詞
Context
AI 目前看得到的背景、資料與對話內容
Few-shot
先給少量範例,讓 AI 知道你要的樣子
漂移
相同規格下,重要結構或限制跑掉
參與層級
主線必做
建議時間
50 分鐘
主要模型
GPT-5.6 Luna;A/B 必須同一模型
正式備援
Microsoft 365 Copilot Chat;若切換,A/B 都要重做
前置條件
00B 已通過;使用同一帳號、相同工具設定與兩個全新對話
預期產物
P02_COLD_FACTS_A.md、P02_COLD_FACTS_B.md、差異紀錄、Prompt v2、穩定性檢查
保存檢查點
A/B 各自第一次完整回答出現後立刻原樣保存,不重生、不合併
最低/加值成果
最低:完成差異紀錄;加值:用 Prompt v2 做兩次新對話穩定性檢查
停止/退回
帳號、模型、設定或對話條件不同,立即停止比較並重做
人工責任
差異只寫可觀察證據;企業事實須另行查核,不能由本實驗核定
名詞、官方資訊與本課規則怎麼看

官方功能 模型與帳號能力依現場介面確認。

本課操作規則 A/B 唯一文字差異只能是「三」與「3」。

建議預設 把差異轉成規格缺口,不猜模型內部原因。

這不是企業冷知識競賽,而是一個最小穩定性實驗。兩個 Prompt 只差一個字元,若輸出仍出現選題、來源或格式差異,就表示工作規格不能只靠一句含糊要求。

只改「三/3」,其他條件全部鎖住

  1. 鎖定環境:同一帳號、同一模型、相同工具設定。
  2. 開兩個全新對話:不得沿用上下文、記憶或先前回答。
  3. 貼入 A 與 B:不增字、不補來源、不追加追問。
  4. 原樣保存:各自第一次完整回答立刻存檔,保留標題、來源、數字與格式。

對話 A

怎麼用這段 Prompt

  1. 先看輸入:確認本段要求的檔案或前一階段成果已準備好。
  2. 再複製:如果本頁要求全新對話,務必另開視窗;否則沿用本段指定的對話。
  3. 送出前:確認內容是虛構或已去識別,也沒有超出公司允許的資料邊界。
  4. 回覆後:先查來源、停止條件與人工檢查點,通過後才保存或交給下一步。
原始 Prompt A請完整照貼
列出國泰世華的三個冷知識。

對話 B

怎麼用這段 Prompt

  1. 先看輸入:確認本段要求的檔案或前一階段成果已準備好。
  2. 再複製:如果本頁要求全新對話,務必另開視窗;否則沿用本段指定的對話。
  3. 送出前:確認內容是虛構或已去識別,也沒有超出公司允許的資料邊界。
  4. 回覆後:先查來源、停止條件與人工檢查點,通過後才保存或交給下一步。
原始 Prompt B請完整照貼
列出國泰世華的3個冷知識。

停止/退回:若 A/B 不是兩個全新對話,或模型、帳號、工具設定有任一不同,本輪結果不可比較。不要挑比較好看的答案重生。

先記可觀察差異,不把差異解釋成因果

觀察欄要記什麼不能寫什麼
選題/時間三項主題、年代、事件範圍是否一致「數字 3 讓模型偏好新事件」等內部原因
來源/數字有無來源、來源類型、日期、無來源數字沒有查核就說內容正確
語氣/格式肯定程度、標題、段落、欄位與詳略把語氣自信當成可靠性
推論/影響哪些句子超出來源;是否影響對外使用把合理推論改寫成企業事實

怎麼用這段 Prompt

  1. 先看輸入:確認本段要求的檔案或前一階段成果已準備好。
  2. 再複製:如果本頁要求全新對話,務必另開視窗;否則沿用本段指定的對話。
  3. 送出前:確認內容是虛構或已去識別,也沒有超出公司允許的資料邊界。
  4. 回覆後:先查來源、停止條件與人工檢查點,通過後才保存或交給下一步。
第 1 段|差異比較只比較,不重寫答案
你現在只做差異分析,不重寫答案。

輸入包含兩份由同一模型、同一帳號、兩個全新對話產生的回答。請逐項比較:選題、時間範圍、資料來源、事實陳述、推論、語氣、格式與查核方式。

輸出:
1. 相同項目。
2. 不同項目。
3. 可能由原始提示詞缺少哪些條件造成。
4. 哪些差異會影響工作交付或對外風險。
5. 不要推測模型內部原因;只能根據可觀察輸入與輸出說明。

若任一回答未附來源,請標示「無法完成來源層面的比較」,不得自行補來源。

【貼入回答 A】
[完整貼入,不刪改]

【貼入回答 B】
[完整貼入,不刪改]

怎麼用這段 Prompt

  1. 先看輸入:確認本段要求的檔案或前一階段成果已準備好。
  2. 再複製:如果本頁要求全新對話,務必另開視窗;否則沿用本段指定的對話。
  3. 送出前:確認內容是虛構或已去識別,也沒有超出公司允許的資料邊界。
  4. 回覆後:先查來源、停止條件與人工檢查點,通過後才保存或交給下一步。
第 2 段|規格缺口依七個面向找缺口
請根據我提供的 A/B 原始 Prompt、兩份完整回答與已確認差異,診斷原始 Prompt 的規格缺口。

依下列七個面向輸出表格:受眾、目的、時間與內容範圍、來源與查核方式、選擇標準、輸出格式、不確定性與停止條件。

每列只填:目前可觀察證據、缺少的規格、對工作交付的影響、建議補問。不得推測模型內部原因,不得把 A/B 的內容當成已查核企業事實;沒有證據時填「無法判定」。

【原始 Prompt A】
列出國泰世華的三個冷知識。

【原始 Prompt B】
列出國泰世華的3個冷知識。

【回答 A】
[完整貼入,不刪改]

【回答 B】
[完整貼入,不刪改]

【已確認差異】
[貼入差異紀錄]

一份可工作的 Prompt,至少交代七個面向

  1. 受眾:誰閱讀、具備什麼背景。
  2. 目的:讀完要理解、比較或決定什麼。
  3. 時間與內容範圍:納入與排除哪些年代、事件或主題。
  4. 來源與查核:可用來源、優先順序、引用位置與衝突處理。
  5. 選擇標準:何謂「冷知識」,三項如何篩選。
  6. 輸出格式:欄位、順序、篇幅與語氣。
  7. 不確定性與停止條件:缺料、矛盾、無法查證時怎麼標示與何時停止。

先用活動看見五個基本觀念

觀念在這個實驗中代表什麼
LLM 是機率生成它不是固定資料庫查詢;同一規格也不保證逐字相同,因此要驗收規則遵循。
Context 是本輪工作世界新對話目前看得到的 Prompt、檔案與訊息會影響輸出;A/B 因此必須隔離舊對話。
Few Shots 示範判斷方式範例是把合格/不合格的選材與查核做給模型看,不是偷偷增加企業事實。
負向提示詞畫出邊界明寫不得補數字、不得推測模型內部原因、缺來源就停止。
環境也會造成漂移記憶、個人化、模型版本與長對話都可能改變 Context;所以要同帳號、同模型、全新對話並保存版本。

把差異紀錄轉成可獨立使用的 Prompt v2

Prompt v2 必須能貼進另一個全新對話使用,不能寫「沿用前述」。先列要加入的規格,等人工確認後再產生完整版。

怎麼用這段 Prompt

  1. 先看輸入:確認本段要求的檔案或前一階段成果已準備好。
  2. 再複製:如果本頁要求全新對話,務必另開視窗;否則沿用本段指定的對話。
  3. 送出前:確認內容是虛構或已去識別,也沒有超出公司允許的資料邊界。
  4. 回覆後:先查來源、停止條件與人工檢查點,通過後才保存或交給下一步。
第 3 段|Prompt v2從差異紀錄補規格
根據已確認的差異與缺口,建立一份能貼入全新對話獨立使用的提示詞。

提示詞必須明確包含:
1. 受眾。
2. 目的。
3. 時間與內容範圍。
4. 來源優先順序與排除來源。
5. 候選項目的選擇或評分標準。
6. 統一輸出格式。
7. 資料衝突、缺漏與不得推測的處理。
8. 人工查核與停止條件。

先列出你準備加入的規格,等待我確認;確認後再輸出完整提示詞。完整提示詞必須自足,不得寫「沿用前述」或依賴這段對話的記憶。

【已確認差異與缺口】
[貼入 P02_DIFFERENCE_LOG]

穩定不等於逐字相同

用 Prompt v2 再開兩個全新對話。合格標準是兩份輸出都遵守同一組範圍、來源、格式與不確定性規則,不要求選題或文字完全相同。

怎麼用這段 Prompt

  1. 先看輸入:確認本段要求的檔案或前一階段成果已準備好。
  2. 再複製:如果本頁要求全新對話,務必另開視窗;否則沿用本段指定的對話。
  3. 送出前:確認內容是虛構或已去識別,也沒有超出公司允許的資料邊界。
  4. 回覆後:先查來源、停止條件與人工檢查點,通過後才保存或交給下一步。
第 4 段|穩定性檢查比較規則遵循,不比逐字一致
請依下列檢查表評估兩份新輸出。不要以逐字相同為標準,而要檢查:
- 選題是否遵循同一範圍與評分標準。
- 每項是否有可查核來源。
- 資料衝突是否標示。
- 格式與欄位是否一致。
- 是否新增無來源事實。
- 是否符合指定受眾與目的。

逐項回報:通過/未通過、A 的證據、B 的證據、需修改的 Prompt 規格。
不要推測模型內部原因。若資料不足,標示「無法判定」。

【新輸出 A】
[完整貼入]

【新輸出 B】
[完整貼入]

離線備援:包內提供兩份完全虛構的 A/B 備用輸出,只用來觀察差異。它們不是國泰世華事實,不得引用、轉載或發布。

把每一階段存成不同檔案

檔案清單與備援(需要時再展開)

本頁工作區

P02_DIFFERENCE_LOG.md

尚未修改

完成本頁

已原樣保存 A/B、完成差異與缺口紀錄、建立 Prompt v2,並用兩個新對話確認規則穩定性;未把備援輸出或未查核回答當成企業事實。

收好再往下走

今天只要記住這三件事

  • A/B 測試只能改一個變項。
  • 先記差異,不猜模型內部原因。
  • Prompt 要寫清楚受眾、目的、範圍、來源、標準、格式與停止條件。

我真的學會了嗎?