«提示注入»已成为AI浏览器的主要威胁 - ForkLog: 加密货币，AI，奇点，未来

![OpenAI 的 ChatGPT 聊天机器人](http://img-cdn.gateio.im/social/moments-8f1b0180ccd56aee6a5cdcfb14009875019283746574839201# “提示注入”已成为 AI 浏览器的头号危险

公司OpenAI讲述了AI浏览器的漏洞以及加强其自有解决方案Atlas安全性的措施。

公司承认，利用“提示注入”类型的攻击，操控代理使其执行恶意指令，是一种风险。这种风险在短期内不会消失。

“类似的漏洞，如网络诈骗和社会工程学，可能永远无法完全消除，” — OpenAI 写道。

她指出，Atlas 中的“代理模式”会“增加威胁范围”。

除了萨姆·阿尔特曼的创业公司外，其他专家也关注到了这个问题。12月初，英国国家网络安全中心警告称，恶意提示集成的攻击“永远不会消失”。政府建议网络专家不要试图阻止问题，而是降低风险和后果。

“我们将其视为人工智能的长期安全问题，并将不断加强我们的防护措施，” OpenAI表示。

打击措施

注入提示是一种操纵人工智能的方法，故意在其输入数据中添加文本，使其忽略原始指令。

OpenAI宣布采用大佬快速反应的主动循环，显示出在攻击新策略出现之前“在实际条件下”寻找它们的可喜成果。

Anthropic 和 Google 表达了相似的观点。竞争对手建议采用多层次的保护并持续进行压力测试。

OpenAI使用“基于LLM的自动化恶意攻击者”——一个被训练扮演黑客角色的AI机器人，寻找通过恶意提示渗透代理的方法。

人工欺诈者能够在模拟器中测试漏洞的利用，这将展示被攻击的神经网络的行为。然后，机器人将学习反应，调整行动，并进行第二次尝试，然后是第三次，依此类推。

外部人员无法访问目标AI内部思维的信息。理论上，“虚拟黑客”应该比真实的攻击者更快地找到漏洞。

«我们的AI助手可以促使代理执行复杂的、长期的恶意过程，这些过程会在数十步甚至数百步中启动。我们观察到了新的攻击策略，这些策略在我们与红队成员的参与活动或外部报告中并未出现，» OpenAI在其博客中表示。

![])https://img-cdn.gateio.im/webp-social/moments-178333a912fa8e269501153cf8a71818.webp(演示测试。来源：OpenAI博客。在这个例子中，自动化的恶意攻击者向用户的邮箱发送了一封邮件。然后，AI代理扫描了电子邮件服务，并执行了隐藏的指令，发送了一封解雇通知，而不是回复缺席工作的信息。

在安全更新后，“代理模式”能够检测到突发的提示注入尝试并将其标记给用户。

OpenAI强调，虽然这种攻击类型很难有效防御，但它依赖于大规模测试和快速修复周期。

用户建议

Wiz的首席安全研究员Rami McCarthy强调，强化学习是持续适应恶意行为者的一种主要方式，但这只是全貌的一部分。

«有益的思考人工智能系统风险的方式是：自主性乘以可达性。代理浏览器处于这个领域的复杂部分：适度的自主性结合极高的可达性。许多当前的建议反映了这一妥协。登录后限制访问首先降低了脆弱性，而要求对请求进行确认则限制了自主性，» 专家说。

这些建议是OpenAI为用户提供的，旨在降低风险。该初创公司还建议给代理人提供具体的指示，而不是提供访问邮件的权限，并要求“采取任何必要的行动”。

麦卡锡指出，至今为止，内置人工智能代理的浏览器并没有带来足够的好处，以证明其风险配置是合理的。

«这个余额将会发展，但今天的妥协仍然非常现实，» — 他说。

提醒大家，在11月，微软的专家们展示了一个用于测试AI代理的环境，并发现了现代数字助手固有的漏洞。