文章目錄

月會上,老闆看著報表,問了一句聽起來完全合理的話:「這個沖帳 AI 都對了三個月,為什麼每一筆還要人工確認?讓它自己跑不就好了?」
資訊主管想想也對,當天下午就把代理從「逐筆確認」改成「條件自動」。沒有評估、沒有簽核、沒有留下任何紀錄——這大概是這家公司史上最快的一次權限調整。對照一下:一個員工的核決額度要從五萬調到五百萬,簽呈至少跑三關;一個 AI 代理從「只能建議」變成「自己動手」,只花了一個下午。
市場對這件事有個共識,而這個共識是錯的:大家以為自動化程度是上線時設一次的參數,其實它是一張要終身管理的駕照。 參數設完就忘了;駕照有等級、要路考、會被吊扣、換車還得重新考。把它當參數管,就會發生上面那一幕——跑得順就自動放寬,等於讓一個剛從駕訓班結業的人,因為「三個月沒出事」就直接發他聯結車執照。
先對齊等級:L1 是駕訓班,L3 是職業駕照
在〈AI 代理的內控框架〉的支柱二,我們把代理的自動化程度分成三級。翻成駕照的語言:
- L1 建議級=駕訓班。 教練坐在旁邊,方向盤它握,煞車在你腳下——代理提出建議,每一筆都要人工確認才執行。所有代理的合理起點。
- L2 條件自動級=普通駕照。 可以自己上路,但限一般道路——閾值內自動執行,超出閾值升級人工。多數值得放手的場景,終點站就在這裡。
- L3 全自動級=職業駕照。 極少數人才需要考的等級——只留給金額小、可回復、不直接影響財報的場景。
一個場景「最多能考到哪一級」,不是看代理聰不聰明,是看三個變數的乘積:金額重大性 × 可回復性 × 財報影響。付款、下單這種不可回復的動作,天花板就是 L2 甚至 L1——不是它考不過,是這條路本來就不准聯結車開進來。
升級靠路考,不靠信任
先立這篇的定律:升級靠紀錄,不靠信任——代理的每一次晉升,都要有一張路考成績單。
「它都對了三個月」不是成績單,是印象分數。路考成績單上要有四樣東西,缺一樣就不算考過:
- 觀察期:不是「感覺跑了一陣子」,是明訂的起訖日,而且要跨過月結、季結這種週期性的大日子——平日開得穩,不代表過年的高速公路也開得穩。
- 樣本數:夠大、而且含旺季與異常日的案件量。三個月的淡季資料,考不出旺季的路況。
- 準確率:來自定期抽樣回測的數字,不是「沒人抱怨」。沒人抱怨往往只代表沒人在看。
- 例外處理紀錄:觀察期內每一筆例外案件,都有人工處置與結案軌跡。例外紀錄髒的代理,等於路考時壓線還想拿照。
而且升級這個動作本身要有核准。這句話在 pillar 就寫死了:升級本身要有核准,如同調高一個員工的核決權限。 在〈AI 的核決權限表〉的七欄模板裡,第 5 欄就是「自動化層級」——改這一欄,跟改「單筆上限」那一欄是同一個等級的事,走同一種簽核,留同一種紀錄。
如果你的公司導入系統時認真做過 UAT,這套邏輯你其實很熟:路考就是 UAT 的持續版。 差別在於,UAT 考一次就上線了;代理的駕照沒有終身有效這回事——因為 AI 會漂移,上次考過,不代表它現在還是同一個駕駛。
帶走的工具一:升降級決策表
一個代理一列,把「怎麼上去、誰點頭、怎麼下來」寫在同一列上。門檻數字為示意值,請按你的場景校準:
| 現況等級 | 升級到 | 升級條件(示意) | 核准者 | 降級觸發 |
|---|---|---|---|---|
| L1 建議級 | L2 條件自動 | 觀察期 ≥ 8 週且跨過月結;樣本 ≥ 500 筆;建議採納率/回測準確率 ≥ 98%;例外案件 100% 有人工處置紀錄 | owner 提案,權限核定主管核准(比照調高核決權限) | 連續 3 筆錯誤;單週例外率 > 5%;回測準確率連兩期下滑;模型更新(自動降半級觀察) |
| L2 條件自動 | L3 全自動 | 場景先過三變數檢核(金額小 × 可回復 × 不直接影響財報);觀察期 ≥ 6 個月;閾值內自動案件 ≥ 2,000 筆;超限升級路徑實測有效 | owner 提案,財務長層級核准並知會稽核 | 任何一筆不可回復的錯誤→直接降回 L1(吊扣);漂移警訊;模型更新(自動降半級觀察) |
| L3 全自動 | —(維持) | 每月抽樣回測+每半年等級覆核,覆核紀錄完整 | 覆核由 owner 與稽核共同簽 | 同上;kill switch 事件後未完成檢討程序前不得復駛 |
這張表的重點不在數字,在每一格都填得出來。填不出「核准者」那一格的公司,代理的等級其實是浮動的——誰嗓門大誰決定。
帶走的工具二:路考清單
每次要動第 5 欄之前,把這張清單走一遍,全部打勾才准送簽:
- [ ] 觀察期滿了嗎?(有明訂起訖日,且跨過月結/季結等週期事件)
- [ ] 樣本量夠嗎?(含旺季與異常日,不是只有風平浪靜的日子)
- [ ] 準確率是回測數字,不是印象分數?(拿得出抽樣紀錄)
- [ ] 例外處理紀錄乾淨嗎?(每筆例外都有人工處置與結案)
- [ ] owner 簽核了嗎?(升級申請有名字、有日期、進了簽核軌跡)
- [ ] 降級觸發同步寫好了嗎?(先寫好怎麼下來,才准上去)
最後一條最容易被跳過,但它是整張清單的靈魂:沒有寫好降級條款的升級,不是授權,是棄權。
降級與吊扣:制度的另一半,也是最少人寫的一半
駕照制度的公信力,從來不是來自發照,是來自吊照。三種降級觸發,先寫進制度,不要等出事再開會吵:
一、肇事吊扣。 連續錯誤、例外率飆高——降一級觀察,重跑一輪縮短版路考才能回來。這裡的關鍵是「連續 N 筆」「單週 > X%」要事先寫成數字,不然出事當下一定有人說「這只是個案」。
二、漂移警訊。 pillar 支柱五的定期抽樣回測,就是這套制度的測速照相——回測準確率連續下滑,不用等它真的撞到人,先降級。AI 的降級不是懲罰,是量測:它只是回到與目前實際能力相符的等級。
三、模型更新——自動降半級觀察。 這條是 AI 特有的:換車要重新考。 原廠推送了一版新模型,等於你的駕駛昨天開轎車、今天換了聯結車,執照不能直接沿用。「降半級」的實務做法:L2 的代理不必退回逐筆確認,但自動執行的閾值先收緊(例如減半,示意)、抽樣密度提高,跑完一輪縮短版路考再恢復原閾值。模型更新的時點與版本要進變更紀錄——不是你改了系統,是系統自己變了,但紀錄得像是你改的一樣完整。
最後畫一條很多公司混在一起的線:kill switch 是路邊攔停,吊銷是收回執照。 kill switch 緊急、暫時、針對事件——它是支柱五的保險絲;吊銷是制度性退場——撤銷授權、降回 L1 重新受訓,或永久下架,它是這篇的升降級程序。別拿 kill switch 代替吊銷:緊急停用之後沒有檢討與復駛程序,過兩週有人手癢再把它打開,事故只是延期,不是解除。
【給決策者的備忘錄】
如果你公司的代理已經跑在 L2 以上,而你想不起來它是什麼時候、被誰、憑什麼升上去的——別急著自責,這是市場的常態,也是這篇文章存在的原因。
今天只要做一件事:把每個代理的現況等級、升級紀錄、降級觸發,填進上面那張升降級決策表。填不出「核准者」那一格的,恭喜你,提前找到了你的第一張稽核發現。
如果你想讓人幫你盤點代理場景該落在哪一級、路考門檻怎麼設才不會鬆到形同虛設或緊到沒人想用,歡迎與我們聯繫。我們不發駕照,我們陪你把監理制度建起來。
常見問題(FAQ)
誰有權核准代理升級?
owner 提案,權限的核定者核准——比照核決權限調整的層級:L1 升 L2 由財務或流程主管核;L2 升 L3 建議拉到財務長層級並知會稽核。答案不能是 IT 自己,更不能是代理自己(禁止自我提權是核決權限表的鐵律)。
多久要重新評一次等級?
兩個時鐘+一個鬧鐘:日常監控走每月抽樣回測;等級覆核每半年一次,比照使用者權限覆核的頻率。另外有事件觸發不等時鐘——模型更新、連續錯誤、漂移警訊,任一發生就立刻啟動評估。
全部鎖在 L1 最安全,行不行?
行,但你付的是另一種成本:確認量太大,人的覆核遲早退化成蓋章——逐筆確認淪為全選通過,名目上 L1,實質上是一個沒有紀錄的 L3,比誠實的 L2 更危險。分級的目的不是防 AI,是把人的注意力留給值得人看的例外。該升的讓它憑成績單升上去,人才有力氣看好不該放的。
本篇是〈AI 代理的內控框架〉五支柱中支柱二(風險分級)的深化,將隨各系統代理功能與查核實務的演進持續迭代(建議每半年回訪)。門檻數值皆為示意,實際等級與路考門檻請依貴公司場景校準,並以主管機關最新公告及簽證會計師意見為準。
