基層主管 AI Agent 實作課 你問,它答 → 你說,它做 → 你排,它動
18 / 19

你排,它動

14

Agent 工作紀錄:模型、額度、拒絕輸出、重試與核決

先從這裡開始

這頁只做一件事

把 AI 每次接受、退回、拒絕與重試都留下可追查證據。

完成後你會帶走工作紀錄、失敗分類、重試說明與兩週 scorecard。
  1. 1記錄實際模型、輸入版本、工具與階段輸出。
  2. 2失敗時先分類,再決定是否重試。
  3. 3每次重試只改一件事,最後由人核決。
什麼情況先停下來?如果說不出這次重試改了什麼,或 AI 自己宣稱通過,就停止並交由人工查核。
先看懂這頁會出現的詞
Log
每次執行留下的工作紀錄
Retry
失敗後有理由地再試一次,不是無限重跑
Scorecard
用一致指標比較兩週試行表現的記分表
參與層級
主線必做
建議時間
與 11 合併帶領
主要模型
實際模型逐次記錄
備援
CSV/Markdown 靜態紀錄
前置條件
任務、輸入版本、允許工具、停止條件與人工核准角色已確認
預期產物
P14_AGENT_RUN_LOG.csv、P14_RETRY_RECORD.md、P14_TWO_WEEK_SCORECARD.md
保存檢查點
每階段輸出 → 拒絕/錯誤 → 重試改變 → 人工核決 → 有效版本。
停止/退回
同一方法最多重試一次;資料與權限缺口不能靠換模型解除。
人工責任
查核角色以代號記錄通過、退回或停止;兩週後依證據決定下一步。
版本與驗證狀態(講師/IT 需要時再看)

WP6 內容狀態:WP6 已完成頁 14 內容候選:正文、Compact 備援、停止條件、人工責任、一般下載與可攜成果已同步;產品及企業帳號實際可用性仍須現場確認。

工作紀錄的用途,是讓下一位同事能知道 Agent 收到什麼、實際用了什麼模型與工具、在哪裡拒絕、人工改了什麼,以及重試到底換了方法還是只按了一次重新產生。若只記「成功/失敗」,兩週後很容易剩下一場回憶分享會。

新版 log 有二十欄

欄位群欄位查核重點
任務與輸入task_id、task_name、input_version唯一編號與有效輸入版本
模型與額度primary_model、actual_model、effort_or_mode、usage_status預定與實際分開;未知就寫 unknown
交接handoff_from、handoff_reason依額度、權限、功能、品質或其他分類
工具與階段tools_allowed、tools_used、stage_outputs實際工具不得超出允許清單
信心與拒絕confidence_summary、abstentions、errors接受、待覆核、拒絕與錯誤證據
重試retry_count、retry_change記錄每次真正改變了什麼
人工與下一步human_decision、reviewer、next_step角色/代號、有效輸入版本與單一步驟

舊 Markdown 與新 CSV 不混讀

若手上已有 v0.8 Markdown 紀錄,保留原檔並以同一 task_id 建立新 CSV 列;不要把舊檔直接改副檔名。任務 ID/名稱、工具、階段輸出、錯誤、重試、人工決定與下一步有直接對應;輸入摘要留在原始來源包,input_version 改列來源路徑與版本。v0.8 的開始/結束時間在 v0.9 canonical 二十欄沒有對應欄位,必須留在原始 Markdown 或同 task_id 的執行證據,不得丟棄或誤塞。新增的模型、額度、交接、信心、拒絕與 reviewer 欄只在有實際證據時填寫,不可由舊文字反推。完整表見 P14_RETRY_RECORD.md。

八種失敗不能全部塞進「模型出錯」

  1. 資料缺少。
  2. 格式不符。
  3. 工具/權限失敗。
  4. 模型額度不足。
  5. 來源矛盾。
  6. 低信心/影像不可辨。
  7. 外部動作等待核准。
  8. 內容品質不通過。

分類會決定下一步。資料缺少要補資料,權限失敗要縮小範圍或找有權者,額度不足才考慮模型交接,來源矛盾要交回人工,低信心要保留 null。把所有失敗都換一個模型重跑,往往只是把問題換一種語氣再出現一次。

重試規則:同一方法最多一次

第一次失敗允許的一次重試第二次前必要改變直接停止的情況
暫時性格式錯誤同方法可再試一次並留 log資料、Prompt、步驟、模型或工具至少一項資料/權限缺口未解除
輸出漏欄補明確 Schema 後重試Prompt 或驗證步驟來源本來就沒有欄位
額度達上限保存 handoff 後換備援實際模型與交接原因備援權限未確認
OCR 低信心提高影像品質或重掃輸入資料仍模糊、對位失敗或規則衝突

禁止假重試:retry_change 不能只寫「重新產生」。沒有改方法,第二次失敗後就停止;需要人工決定時不再呼叫模型。

CSV 預覽:所有現場狀態保持空白或待確認

task_id,task_name,input_version,primary_model,actual_model,effort_or_mode,usage_status,handoff_from,handoff_reason,tools_allowed,tools_used,stage_outputs,confidence_summary,abstentions,errors,retry_count,retry_change,human_decision,reviewer,next_step
RUN-DEMO-001,虛構素材缺漏檢查,work-simulation/inputs/course-route.md@v1.2;work-simulation/inputs/activity-checklist.md@v0.8;work-simulation/inputs/open-items.md@UNVERSIONED,待現場確認,,,unknown,,,指定檔案讀取;文字輸出,,input-check,accepted=0;needs_review=0;abstained=0,,,0,,,,先檢查輸入與權限

範例列只顯示欄位格式與虛構任務;沒有宣稱已在企業帳號執行。實際紀錄應保存輸入版本與人工決定,避免同一 task_id 出現兩份互相衝突的有效版本。

兩週 scorecard 看證據,也看人工負擔

兩週後至少檢查完成率、人工修改比例、不當補寫、正確拒絕、錯誤接受、交接成功、模型切換、每次處理時間與人工查核負擔。每個百分比都要有分子、分母、證據與限制;只寫「準確率 90%」無法判斷那 10% 是否剛好都是高影響錯誤。

決定適用情況
繼續試行錯誤可查核、拒絕合理、人工負擔可接受
修改規格後再試問題集中且能指出要改的資料、規則或步驟
改用一般工具固定表格、範本或程式已足夠穩定
停止錯誤難發現、權限過大、人工負擔或錯誤接受不可接受

canonical Prompt

怎麼用這段 Prompt

  1. 先看輸入:確認本段要求的檔案或前一階段成果已準備好。
  2. 再複製:如果本頁要求全新對話,務必另開視窗;否則沿用本段指定的對話。
  3. 送出前:確認內容是虛構或已去識別,也沒有超出公司允許的資料邊界。
  4. 回覆後:先查來源、停止條件與人工檢查點,通過後才保存或交給下一步。
Agent log 缺口檢查
# P14|Agent 工作紀錄檢查 Prompt

請檢查我提供的執行紀錄是否完整涵蓋模型、額度狀態、交接來源、工具、階段產物、接受/待覆核/拒絕、錯誤、重試改變、人工核決與下一步。

請特別檢查:

1. 同一方法是否重試超過一次。
2. 第二次嘗試前是否真的改變資料、Prompt、步驟、模型或工具。
3. 權限或資料缺少是否被錯誤地用換模型處理。
4. 低信心是否仍填入正式值。
5. reviewer 是否只用角色或代號,沒有放入不必要個資。
6. 每次人工修改是否保留原結果、修改內容與理由。

只輸出缺口表、風險、退回條件與建議的下一個單一步驟;不得替人工核准。

下載 log、重試與 scorecard

檔案清單與備援(需要時再展開)

本頁成果:P14 Agent run log

本頁成果

Agent 執行紀錄 CSV

尚未修改

保留欄名;新增一列填本次實際狀態。現場未確認的模型、模式或額度寫 unknown,不要猜。

下載檔名:P14_AGENT_RUN_LOG.csv

收好再往下走

今天只要記住這三件事

  • 失敗紀錄是改進線索,不是要藏起來的瑕疵。
  • 重試要記原因與唯一改動。
  • AI 可以挑錯,不能替人工核准。

我真的學會了嗎?