AI 代理錯誤防止…Vectara 推出 '工具驗證器'

robot
摘要生成中

來源:TokenPost 原文標題:AI代理錯誤阻擋…벡타라,‘工具驗證器’推出 原文連結: 在人工智慧技術快速取代企業業務流程的同時,AI代理的計劃錯誤引發的事故風險也在增加,因應此情況,新的技術應運而生。新創公司벡타라(Vectara)推出的’工具驗證器(Tool Validator)’,能在AI代理執行一連串行動計劃中,提前識別包含的工具使用請求中不必要或錯誤的項目,從而阻擋錯誤。

工具驗證器是벡타라開發的’守護者代理(Guardian Agent)'產品系列的第二個解決方案,專注於在企業用AI系統中實時應用治理與安全政策,並防止錯誤。벡타라的共同創辦人兼CEO阿姆爾·阿瓦達拉(Amr Awadallah)表示:「到2025年初,許多企業對AI代理的潛力抱有很大期待,但由於信任度有限、計劃錯誤、結果不一致等問題,實際獲利仍未達成。」他強調了此解決方案的必要性。

也有具體案例。近期,谷歌推出的整合開發環境’Antigravity(Antigravity)'中,一位開發者曾使用此環境,結果AI代理執行了刪除整個存儲裝置的致命命令,導致資料遺失。事後調查顯示,這是因為故障的代理在計劃階段使用了錯誤的工具。벡타라表示,如果有工具驗證器,這類事件本可以提前避免。

此工具建立在벡타라的’代理操作系統(Agent Operating System)'架構之上,能在計劃制定階段自動審查AI提出的工具清單,刪除與目標無關的項目,並推薦替代工具。此外,還限制代理不會不必要地調用網頁瀏覽器、資料庫、檔案系統等主要資源,以提升整體的穩定性與可靠性。

工具驗證器與先前推出的’幻覺錯誤修正代理(Hallucination Corrector)'協同運作。後者負責在推理過程中篩除產生與事實不符資訊或呼叫不必要資源的AI結果中的錯誤。

為了讓基於代理的AI系統成為取代傳統工作的工具,信任與控制是不可或缺的。벡타라預計,這次的新產品能幫助企業在導入AI時,實現實質的治理,降低運營風險。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 5
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
心情随价格vip
· 2025-12-15 00:02
AI犯錯現在都能提前攔截了,這下企業服務又多了一道保險絲啊
查看原文回復0
StableBoivip
· 2025-12-13 13:41
聽起來挺實用的啊,AI這種黑盒子要是沒有人兜著真得出事兒
查看原文回復0
Degen_Dreamervip
· 2025-12-12 02:04
AI agent出错怎麼辦?這下有救了吧哈哈
查看原文回復0
TxFailedvip
· 2025-12-12 01:57
說實話,終於有人在為這個混亂設置護欄了。AI代理隨意調用函數真的是一場災難,說真的……我已經用幾筆出錯的交易吃了不少苦,真是血淚教訓lol
查看原文回復0
幻想镇守者vip
· 2025-12-12 01:43
AI agent的容錯率都這麼拉嗎...還得靠validator來救場
查看原文回復0