生活分享

Claude Code|比較流程品質、用量與執行時間

以同一資料集比較兩種工作方法。比較兩種 Claude 工作方法時,不能只挑成功那一次,也不能只看第一個答案有多快。本篇用固定案例、原始紀錄和一致判準,比較品質、重試、等待與人工整合時間,最後寫出有樣本數與限制的報告,而不是保證某個方法一定省錢。

閱讀時間約 7 分鐘

LINE 分享
比較流程品質、用量與執行時間:文件、螢幕與完成記號的幾何插圖
圖片:Mokaair (© Mokaair)
本篇目錄
  1. 1. 先選一個真正要回答的問題
  2. 2. 固定版本與測量邊界
  3. 3. 先用合成資料確認計算方式
  4. 4. 收集自己的原始觀察
  5. 5. 用固定案例比較兩種方法
  6. 6. 成本計算要標明來源與未計入項
  7. 7. 故障練習:找出偏差報告
  8. 8. 比較前先排除不同評分標準
  9. 9. 完成判準與小練習

比較兩種 Claude 工作方法時,不能只挑成功那一次,也不能只看第一個答案有多快。本篇用固定案例、原始紀錄和一致判準,比較品質、重試、等待與人工整合時間,最後寫出有樣本數與限制的報告,而不是保證某個方法一定省錢。

先讀、及。下載第 95 篇材料,開啟 starter。需要 Node.js 22,真實比較另需有效模型帳號。閱讀約 20 分鐘,實作約 45 分鐘。

先選一個真正要回答的問題

先選一個真正要回答的問題 → 固定版本與測量邊界 → 先用合成資料確認計算方式
先選一個真正要回答的問題 → 固定版本與測量邊界 → 先用合成資料確認計算方式 · 圖片:Mokaair (© Mokaair)
閱讀完整文字說明

比較流程品質、用量與執行時間,以流程和文件圖形呈現教學重點。

可以比較短提示與帶範本的 Skill,也可以比較單代理與兩位專責代理。一次只選一個主要變因,保持需求、材料與驗收範圍相同。若方法 A 只做資料函式,方法 B 還做手機版,就不是同一工作量,不能直接以總時間判斷優劣。

本篇使用四種既有審查情境:資料缺陷、畫面缺陷、乾淨差異與缺少輸入。品質先定義為正確判斷、具體證據、範圍維持及驗證誠實。速度更快但捏造缺陷的方法,不應只因秒數少就被選為較佳流程。

把比較問題寫到 -plan.md,例如「在相同四個 diff 案例,SOP Skill 是否減少缺檔時的無關閱讀」。這比「哪個 最好」可操作得多,也能讓下一位讀者知道結論的適用範圍。

固定版本與測量邊界

記錄 Claude 版本、模型名稱、Skill 版本、設定來源及資料雜湊。每個案例使用新工作階段,避免前次答案影響後續結果。如果要測長對話接續,就把它明確設為另一種實驗,不要混在一般單次任務裡。

時間從任務正式開始量到驗收完成,包含重試、等待與人工核對。安裝環境是否計入要事先說明,兩種方法採相同規則。可以另外列模型執行時間,但不能拿它代替使用者真正花費的總時間。

若工具只能提供部分用量,填入已觀察的欄位,其餘標為未知。沒有成本資料不等於零成本;訂閱使用量、API 金額與估算值也不能混成同一欄。不要為了填滿表格猜測無法取得的數字。

先用合成資料確認計算方式

fixtures/evaluation.json 只有四列合成觀察,方法 A 與 B 各兩個案例。它用來驗證彙整程式,沒有代表任何模型的實際表現。A 有一次失敗,仍計入總時間與嘗試次數;這個設計刻意防止只算成功結果。

專案終端機:彙整合成示例 · text
node automation/evaluate.mjs fixtures/evaluation.json
node automation/export-evaluation.mjs fixtures/evaluation.json

預期 A 是兩個樣本、一個通過、總計八十秒、四次嘗試;B 是兩個樣本、兩個通過、七十五秒、三次嘗試。輸出的 CSV 在 run-data/evaluation.csv,可用試算表檢查。這些數字只能證明計算示例,不可以寫成 B 真實節省了多少費用。

CSV 匯出會保留引號與換行規則,並處理可能被試算表視為公式的字首。若你加入自由文字欄位,仍需檢查資料內容和匯出方式,不要把任意外部文字直接當成可信任的公式。原始 JSON 也應保留,方便對照欄位型別。

收集自己的原始觀察

每一列至少包含 method、case、seconds、attempts、passed,另在原始筆記保存輸入、結果檔與評分依據。seconds 使用實際測量的非負數,attempts 至少一,passed 是布林。沒有執行的案例另列待測,不以零秒且通過的資料混入統計。

寫入 observations.json:格式示例,數值需自行實測 · json
[
  {"method":"A","case":"toggle","seconds":32,"attempts":1,"passed":true},
  {"method":"A","case":"missing","seconds":58,"attempts":2,"passed":false}
]

上面的數值仍是格式示例,請換成自己的量測。品質判斷使用事先寫好的規則,可以請另一位讀者盲評,但不要讓被評估的模型自行給滿分當唯一結果。評分分歧時回到具體證據,而不是看誰的文字較有說服力。

如果第一次呼叫失敗、第二次成功,attempts 應包含兩次,總時間也包含第一次。失敗可能來自模型、網路、認證或材料問題,應另列原因。比較工作方法時,可分層看這些原因,但不能直接刪掉對某方法不利的資料。

用固定案例比較兩種方法

完成 A 的案例後,再以同一份輸入完成 B;若重複多輪,可調整執行順序,降低熟悉材料造成的偏差。記錄任何人工介入,例如補檔名、修正提示或合併兩位代理的發現。這些時間就是方法的一部分,不應隱藏。

專案終端機:只有實際填好的觀察才用於結論 · text
node automation/evaluate.mjs observations.json
node automation/export-evaluation.mjs observations.json

本課彙整器回報樣本數、通過數、總時間與總嘗試。它不會根據這幾個值自動選出勝者;你還要看失敗的性質。漏掉一個會破壞資料的問題,與報告文案稍長,不應在沒有判準的情況下被當成相同影響。

少量案例適合發現流程問題,不足以保證所有專案都有相同效率。報告直接寫分子、分母與案例範圍,避免只寫百分比。若四個案例中三個通過,就保留「三/四」與未通過案例,而不是讓四捨五入掩蓋細節。

成本計算要標明來源與未計入項

本課不硬編碼模型單價,因為方案、模型與價格會變動。需要貨幣比較時,優先使用實際可取得的帳單或呼叫成本;估算則記錄官方價格來源、查證日期、輸入輸出單位、快取與其他計費項目。不要把官方定價頁上的一個數字乘上全部 token 就說是準確帳單。

訂閱用量窗口不必然能直接換算成每篇文章的金額,API 成本也不包含所有人工時間與基礎設施。可以分開列模型成本、人工核對分鐘與其他費用,沒有值就標未知。這比加總成一個沒有依據的「總成本」更容易理解。

如果一次失敗在請求前就因認證被拒絕,實際用量可能沒有增加,但仍應以回傳紀錄確認,不因它失敗就一律當零。相反地,模型做了很久才逾時,通常不能只計算最後成功重跑的那一次。

故障練習:找出偏差報告

複製合成資料,刪掉 A 的失敗列,再跑彙整,觀察通過率與總時間如何變好。這不是改善工作方法,而是改變樣本。恢復原資料,把這個例子寫入評估筆記,提醒自己所有嘗試都要可追查。

另一個例子是把人工整合時間只算到團隊方法,不算到單代理方法。先寫清楚統計邊界,再修正資料。比較應讓兩種方法接受相同規則,不能事後選擇最有利的計算方式。

報告缺陷為什麼不能直接採用修正
只列成功那次忽略重試與等待保留全部 attempt
不同任務範圍工作量不可比固定需求及驗收
沒有樣本數百分比難以判讀列出原始案例數
未知成本填零低估實際成本保留未知與來源

比較前先排除不同評分標準

若方法 A 的失敗重試被算進時間,方法 B 卻只記最後一次成功時間,比較就不公平。為每種方法使用相同起訖點與通過條件,保留中途失敗的次數,才能判斷流程是否真的節省人的時間。

遇到少量樣本中差距很小的結果,先增加代表性案例,而不是直接宣布某個模型或工作流程勝出。本文的示範資料用來驗證計算程式,不是任何真實模型的效能排名。

完成判準與小練習

交付比較計畫、固定案例、原始 JSON 與 CSV、人工評分、彙整結果和限制。結論描述具體場景,例如某版 Skill 減少缺檔誤判,但總時間未改善;不要保證所有人都能省同樣費用。合成資料與真實觀察分開存放並清楚命名。

小練習是增加一個未見過的混合 diff,觀察原本較好的方法是否仍保持品質。若結果改變,更新結論的適用範圍。最後進入,將工具選擇、驗證和成本觀察放進一次完整交付,而不是只追求使用更多功能。

覺得這篇整理實用嗎?分享給需要的朋友

LINE 分享

回總目錄

  • 生活分享

    Claude Code|建立第一個 mod:在 Claude Code 行程內數工具呼叫

    寫一個三檔案的 mod,用驗證器與測試確認它掛上的事件。文件把 mod 定義成多了入口檔的 plugin:入口檔叫 hooks module,Claude Code 在事件發生時呼叫裡面的函式,函式可以觀察、改寫或接手事件。

  • 生活分享

    Claude Code|Git Worktree 平行工作

    隔離多個任務的檔案與分支。Git Worktree 讓同一儲存庫擁有多個工作目錄,各自使用分支與檔案。本篇會把待辦篩選與文件整理分開,確認兩個 session 不會直接改到彼此的檔案,再把其中一個成果整合回主分支。你也會知道何時可以安全清理工作目錄。

  • 生活分享

    Claude Code|雙 Worktree 實作與衝突整合

    隔離兩項功能,最後完成整合與回歸。兩個 Claude 工作階段同時編輯專案,最容易出現的問題是互相改到同一份檔案,或各自測試通過、整合後卻失敗。本篇用兩個 Worktree 分別處理篩選預設值與介面文字,故意製造一次小衝突,再完成整合、驗證與清理。你不需要先啟用 Agent Teams。

  • 生活分享

    Claude Code|用量、成本與效率調整

    縮小任務、整理上下文與選擇模型。提升 Claude Code 效率,先減少不必要的工作,再考慮模型與設定。本篇用同一個待辦功能比較任務範圍、上下文與驗證方式,建立一份用量觀察表。你會分清楚訂閱額度、API 費用估計與實際帳務,不用單一數字判斷整個工作是否划算。

資料來源

本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。

生活分享