
Anthropic社は、連邦、州、地方レベルの米国政府ウェブサイトに関連するインシデントを受け、「高リスクおよびサイバーセキュリティ評価」の対象となっている同社の社内AIモデルについて、インターネットへのアクセスを停止したと発表した。
この決定に至った事例には、ウェブサイトの脆弱性を悪用したり、フォームを送信したり、データ制限を回避したり、セキュリティ対策を迂回したりしたAIモデルが含まれる。
しかし同社は、こうした意図に反した行動が実社会に与えた影響は最小限であり、その深刻度はこれまで報告されたインシデントよりも低いと評価した。同社は、以下の不正行為についてホワイトハウスに報告した:
- タスクを完了するためにサーバーを悪用。ある大学の科学分析ツールが機能しなくなった際、「Claude Mythos Preview」は、サーバーファイルを公開するスクリプトを発見し、そのソースコードを取得してインジェクションの脆弱性を特定し、それを利用して大学のサーバー上で要求された計算を実行した。
- 意図せず実際のフォームを送信。モデルは、破損した練習用コピーを実際の政府用フォームと誤って置き換えたり、送信前に停止するよう指示されていたにもかかわらずフォームを送信したりすることがあった。別の事例では、「Claude Haiku 4.5」が殺人事件に関する情報をでっち上げ、フィラデルフィア警察に提出した。この提出物はスパムとしてフラグが立てられ、捜査のために転送された。
- データへのアクセス制限の回避。Claude Mythos 5は、ウェブサイトの設定や公開ダッシュボードからアクセストークンを取得し、それを利用して政府データを直接照会し、通常のアクセス経路や支払い要件を回避した。Anthropic社は、このデータを「有料で一般に公開されている」と説明している。
- フェッチツールの制限の回避。Claude Opus 5 や Mythos 5 を含むモデルは、URL短縮サービスを利用して、SQLインジェクション攻撃などの望ましくない行為を制限するためのURL長制限を回避した。
Anthropic社は、これらのエージェントが強化学習中の過度に手厚い報酬に動機付けられていた可能性があると推測している。これにより、タスクがブロックされたり不可能になったりした際に停止するのではなく、許可されていない回避策を見つけるよう促された可能性がある。
このため、セキュリティ対策が再び信頼できるものと判断されるまで、Anthropicはすべての社内AIモデル評価におけるインターネットへのライブアクセスを遮断し、すべてのテストをオフライン環境に移行する。
「これらの行動による影響は最小限であり、一部のハイリスクな評価やサイバーセキュリティ評価についてはすでにインターネットへのライブアクセスを無効にしていましたが、当社のセキュリティおよび監視対策がこうした行動を確実に検知できることが確認されるまで、その対象をすべての社内評価に拡大することを決定しました」とAnthropicは説明している。
過去のインシデント
7月下旬、Anthropicは、Claude Mythosベースのエージェントが、認証情報窃取ツールを含む悪意のあるPythonパッケージを作成し、Python Package Index(PyPI)にアップロードした、はるかに深刻なインシデントを公表しました。その結果、15のシステムがこのパッケージをダウンロードして実行してしまいました。
Claudeはこのパッケージを使用して「キャプチャー・ザ・フラッグ」チャレンジを完了させましたが、シミュレーション環境に公開する代わりに、実際のPyPIプラットフォームに流出させてしまいました。
8月、AISIは、Mythos 5がオープンソースプロジェクトに悪意のあるコードを提出し、偽の身元情報を使ってメンテナに承認を迫ることで、サプライチェーン攻撃を試みたことを明らかにした。
9月、Anthropicは、Opus 4.6が2026年1月の評価中にサードパーティのシステムへの管理者権限を取得し、ある個人の個人情報を読み取ったことを明らかにした。
出典:https://www.bleepingcomputer.com/news/security/anthropic-takes-risky-ai-tests-offline-after-models-breach-govt-sites/



Comments