如何避免 AI Agent 失控？可信 AI 的實戰三部曲

過去企業使用 AI，多半是整理資料、撰寫信件或文件，大多還停留在「Chat（對話）」的階段。不過隨著模型能力提升、應用逐漸普及，企業開始研究如何把 AI 放進實際的工作流程，讓它走向「Action（行動）」。

而這恰恰是 AI Agent（AI 代理）受到關注的原因。

如果說 AI 是大腦，AI Agent 就是有了手腳、能實際動手的「代理人」。相較於一般聊天工具只提供文字回答，AI Agent 能依照任務目標規劃步驟、呼叫工具，並與外部系統互動。從查詢庫存、建立訂單，到智能客服與交易執行，在這樣的趨勢下，AI 正從「回答問題」走向「替人執行」。

然而，當 AI 開始替人動手，企業要管理的風險也隨之升高。

以採購為例，如果 AI 只是把供應商報價整理錯，影響的是資訊本身，還有機會在人工審閱時修正。一旦它串接了採購與付款系統，同樣的錯誤就可能變成訂錯商品、重複下單，甚至把款項付給錯誤的對象。

同一個錯誤會造成多大的後果，取決於 AI 手上握有多少權限。過多的工具權限，加上缺乏監督的自主執行，正是 AI Agent 應用最主要的安全風險之一。

因此，除了關心模型答得準不準，企業更需要思考的是：當 AI 擁有實際行動能力，如何確保它在正確的身分、權限與規則下執行任務？

這也是「可信 AI（Trustworthy AI）」愈來愈受重視的原因。可信 AI 涵蓋準確度、安全性、透明度與可問責性，也關注 AI 在實際應用中是否具備適當的治理機制。

回到 AI Agent 的實務，企業要回答的問題有三個：該授權給 AI 什麼、邊界如何劃定，以及效率與安全如何取捨。以下用三部曲，依序拆解企業導入 AI Agent 的過程。

三部曲總覽

第 Ⅰ 部曲：只「看」不動

導入初期最忌諱的，就是直接把系統控制權交給 AI。原因很根本：AI 的錯誤，無法被完全預測與防堵。

這是 LLM（大型語言模型）與傳統軟體最大的差異。傳統系統依照預先寫好的規則執行，例如「金額超過 10 萬元就禁止付款」，同樣的輸入必然得到同樣的結果。LLM 則根據輸入內容、上下文與模型本身的判斷生成結果，並非依照固定的 if-else 規則運作。即使事前做過充分測試，也無法保證它在所有真實情境下，都能做出一致且正確的選擇。

換句話說，一個 Agent 就算穩定運行了 100 天，只要權限邊界沒有劃好，那一小部分無法預測的錯誤，仍可能在某一天造成無法挽回的後果。

因此在這個階段，較安全的做法是讓 AI 讀取資料、整理資訊、提出建議，但不直接修改資料或執行重要操作。舉例來說：

• 客服 Agent 可以查詢訂單，但不能直接退款
• 採購 Agent 可以比較供應商報價，但不能直接下單
• 財務 Agent 可以整理付款資料，但不能自行匯款

這對應資訊安全領域常說的「最小權限原則（Principle of Least Privilege）」：只給予完成任務所需的最低權限。

第 Ⅱ 部曲：有限度的「動」

當 AI Agent 在特定任務上的表現經過驗證、足夠穩定，就可以開始開放部分執行權限。這時的重點不是讓 AI 包辦一切，而是先界定清楚：哪些事可以交給 AI 自動完成，哪些事仍必須由人確認？

舉例來說：

• 客服 Agent 可以自行修改配送地址，但退款超過一定金額時，須交由客服主管確認
• 採購 Agent 可以建立採購單，但超過預算上限時不能自行送出
• 財務 Agent 可以整理付款資訊，但不能新增收款帳戶

把工具拆成不同層級的權限

要做到這一點，企業在決定「要不要給 AI 某個工具」之前，應該先拆解每個工具背後的權限層級。

以 Email 為例，「讀取信件」、「建立草稿」與「直接寄出」雖然操作的是同一套系統，風險卻完全不同。CRM（客戶關係管理系統）也是如此，查看客戶資料、修改聯絡資訊、刪除客戶紀錄，分別代表三種不同程度的權限。

由此建立的，就是一套分級授權機制：風險較低、容易復原的操作，讓 Agent 自動完成；涉及金錢、個資、刪除資料或其他不可逆的行為，則加入額外的確認程序。

人在迴路的正確用法

這也是「人在迴路（Human-in-the-loop）」最常見的應用方式。它並不要求人類重新檢查 AI 的每一個動作；如果每建立一筆訂單、每寄一封 Email 都要人工批准，Agent 帶來的自動化價值也就所剩無幾。

比較合理的做法，是讓 AI 處理大量低風險、重複性的工作，只在觸發預設的高風險條件時，把決策權交還給人類。例如：5 萬元以下的採購可自動建立，超過 5 萬元則須主管核准。

到了這一步，企業管理的範圍就從「AI 能不能使用這個系統」，細化為：AI 可以使用哪些功能、在什麼條件下可以自行執行，以及在什麼情況下必須停下來，等待人類授權。

第 Ⅲ 部曲：自主執行，但需「可信」

當 AI Agent 真正進入日常營運，新的問題隨之浮現：人類不可能永遠逐筆批准 AI 的每一個動作。

一個每天要處理上千筆庫存、報價與訂單的採購 Agent，若每張採購單都要等待人工確認，原本的自動化效益就會被審核成本抵消。因此第 Ⅲ 部曲的重點，是從「每次都問人」轉為「事先定好規則」。

事前：建立清楚的行動規則

企業可以預先訂下這類規則：

• 單筆採購金額不得超過 5 萬元
• 只能向已驗證的供應商下單
• 不得自行新增收款帳戶
• 每日累積付款超過一定金額時，自動停止
• 遇到異常價格、重複訂單或敏感資料時，必須交回人工處理

在這套規則之下，AI 可以在被允許的範圍內自主完成工作，不必每一步都重新詢問人類。

事後：保留完整的稽核紀錄

自主並不代表放手不管，這也是第 Ⅲ 部曲強調「可信」的原因。Agent 的自主權愈大，企業愈需要隨時回答以下問題：

• 是誰授權了這個 Agent？
• 它當下擁有哪些權限？
• 它呼叫了哪些工具、修改了哪些資料？
• 它是依據哪一條規則完成這項操作？

這仰賴完整的操作紀錄與稽核日誌（Audit Log），讓每一次重要行為都能被追溯。假設某天 Agent 重複建立了一筆訂單，光知道「AI 出錯了」並不足夠，企業需要查到更具體的資訊：當時它收到什麼任務、讀取了哪些資料、呼叫了哪個系統，以及是哪一層權限允許這個動作發生。

紀錄本身也必須可信，如果日誌能被任意修改，追溯就失去意義。這正是區塊鏈與可驗證憑證能補上的一環：以可驗證憑證標示 Agent 的身分與授權來源，或把關鍵紀錄的雜湊值留存在鏈上，讓紀錄事後無法被悄悄竄改，跨組織的合作對象也能自行查驗。不過，鏈上留痕證明的是「紀錄沒有被改過」，不代表每個決策都是對的。

即時：保有停止機制

最後，系統必須具備最基本的「停止機制」。Agent 若在短時間內大量建立訂單、重複送出付款請求，或嘗試存取原本不應接觸的資料，系統必須能即時收回權限，甚至直接中止任務。

結語

回顧三部曲：第 Ⅰ 部曲處理「AI 可以看到什麼」，第 Ⅱ 部曲處理「AI 可以做什麼」，第 Ⅲ 部曲則處理「當 AI 開始自己做決定，如何確保它始終不離開原本設定的邊界」。

當 AI Agent 從「回答問題」走向「實際執行」，企業面對的核心問題，也會從模型能力轉向權限與治理；而如何在劃定邊界與提升效率之間取得平衡，則是每個導入團隊都得持續拿捏的課題。

成熟的 AI Agent 治理，是讓 AI 在一套可驗證、可追溯、可中止的規則中自主行動。這是 AI Agent 從自動化工具走向「可信任的數位代理」之前，必須補上的基礎。當 AI 擁有真正的行動能力，可信 AI 也就不再只是抽象的治理原則，而是企業設計系統時必須面對的實際問題。

從 Chat 到 Action，真正困難的從來不是讓 AI「動起來」。

而是讓它在被授權之後，依然能安全地動、可被信任地動；即使遇到意外，也能把損失控制在可承受的範圍內。