「プロンプトインジェクション」はAIブラウザにとっての最大の危険となった - ForkLog: 暗号通貨、AI、シンギュラリティ、未来

Froklog

2025-12-23 09:42:01

# 「プロンプトインジェクション」がAIブラウザにとって最大の脅威となりました

OpenAIはAIブラウザの脆弱性と自社のソリューションであるAtlasのセキュリティ強化策について説明しました。

企業は、エージェントを操作して悪意のある指示を実行させる「プロンプトインジェクション」タイプの攻撃がリスクであることを認めており、それは近い将来に消えることはない。

「このような脆弱性は、インターネットにおける詐欺やソーシャルエンジニアリングと同様に、完全に排除されることはないだろう」とOpenAIは書いた。

彼女は、Atlasの「エージェントモード」が「脅威の範囲を拡大する」と指摘しました。

サム・アルトマンのスタートアップに加えて、他の専門家もこの問題に注目しています。12月初旬、英国の国家サイバーセキュリティセンターは、悪意のあるプロンプトを統合した攻撃は「決して消えない」と警告しました。政府はサイバー専門家に問題を止めようとせず、リスクと影響を軽減するよう勧告しました。

「私たちはこれを人工知能の長期的なセキュリティ問題と見なし、常に防護手段を強化していくつもりです」とOpenAIは述べました。

戦うための措置

プロンプトインジェクションは、AIを操作する方法であり、その入力データに特定のテキストを追加して、元の指示を無視させるものです。

OpenAIは、実際の条件で現れる前に新しい攻撃戦略を見つけるのに有望な結果を示す、プロアクティブな迅速対応サイクルの適用について報告しました。

AnthropicとGoogleは類似の考えを表明しています。競合他社は多層的な保護を適用し、常にストレステストを実施することを提案しています。

OpenAIは「LLMベースの自動化された悪意のある攻撃者」を使用しています。これは、悪意のあるプロンプトを使ってエージェントに侵入しようとするハッカーの役割を演じるように訓練されたAIボットです。

人工詐欺師は、攻撃されたニューラルネットワークの動作を示すシミュレーターで脆弱性の利用をテストすることができます。その後、ボットは反応を学習し、行動を修正し、2回目の試みを行い、次に3回目、そしてその後も続けます。

外部の人間はターゲットAIの内部思考情報にアクセスできません。理論的には、「バーチャルハッカー」は実際の悪意のある攻撃者よりも迅速に脆弱性を見つけるべきです。

「私たちのAIアシスタントは、エージェントを数十または数百のステップにわたる複雑で長期的な悪意のあるプロセスを実行するよう促すことができます。私たちは、赤チームの人々や外部の報告書には現れなかった新しい攻撃戦略を観察しました。」とOpenAIのブログに記載されています。

テストのデモンストレーション。出典：OpenAIのブログ。この例では、自動化された攻撃者がユーザーのメールアドレスにメールを送信しました。その後、AIエージェントがメールサービスをスキャンし、欠勤の返信を作成する代わりに解雇通知を送信するという隠れた指示を実行しました。

セキュリティアップデート後、「エージェントモード」は突然のプロンプトインジェクションの試みを検出し、それをユーザーのためにマークすることができました。

OpenAIは、この種の攻撃から信頼できる方法で防御することが難しいとはいえ、大規模なテストと迅速な修正サイクルに依存していることを強調しました。

ユーザーへの推奨事項

Wizのセキュリティリサーチャーであるラミ・マッカーティは、強化学習が悪意のある行動に継続的に適応するための主要な方法の1つであると強調しましたが、これは全体の一部に過ぎません。

「AIシステムのリスクについて考える有益な方法は、自治とアクセスの掛け算です。エージェントブラウザはこの分野の難しい部分に位置しています：適度な自治と非常に高いアクセスの組み合わせです。現在の多くの推奨事項はこの妥協を反映しています。システムにログイン後のアクセス制限は主に脆弱性を低下させ、リクエストの確認を要求することは自治を制限します」と専門家は述べました。

OpenAIはユーザーにリスクを軽減するための2つの推奨事項を提供しました。スタートアップは、エージェントに具体的な指示を与えることを提案し、メールへのアクセスを提供して「必要な行動を取るように求める」ことは避けるべきだとしています。

マッカーシは、現在のところ、AIエージェントを内蔵したブラウザはリスクプロファイルを正当化するのに十分な利益をもたらしていないと指摘しました。