XBOW、Anthropicの「Mythos Preview」を攻撃的セキュリティの観点から検証

数週間前、機能の初期テストを行うため、『Mythos Preview』の早期アクセス権を付与されました。本記事では、ついにその調査結果を共有します。

約3ヶ月前、Anthropic社から、同社の能力に大きな転換をもたらすと考えられる新モデルの性能評価への協力を依頼されました。そこで、弊社独自のセキュリティ検証プロセスを実施しました。ベンチマーク、ワークフロー、対話型利用、そして統合機能について検証を行いました。

以下に、Mythos Previewのテスト方法、発見した内容、そしてその意味について詳しく説明します。 

ネタバレ注意：このモデルは大きな進歩を遂げています。特にソースコードが利用可能な場合、脆弱性の候補を見つける能力において、従来のモデルよりも大幅に優れています。また、並外れた技術的精度でコミュニケーションを取り、コードについて的確に推論し、ネイティブコードの分析やリバースエンジニアリングといった複雑な領域においても、大きな可能性を示しています。 

私たちの結論：Mythos Previewは、有力な脆弱性の手がかりを生成し、技術的に正確な分析を行うための強力なツールです。特に、セキュリティの視点を持ってソースコードを分析することに長けています。ただし、これは魔法ではありません。モデルは「身体のない脳」に過ぎないのです。

ソースコードの監査は主に「頭脳」の活動ですが、XBOWが実施するような実稼働サイトへのペネトレーションテストには、その頭脳の能力に見合うスキルと制御力を備えた「身体」が不可欠です。

テスト手法 

まず最初に行ったのは、社内の様々な部門から10名の専門家を集め、多角的な視点からモデルを評価できる多様なチームを編成することでした。 すべてのモデルは、Opus 4.7やGPT 5.5の分析に使用したのと同じ社内ベンチマークシステムでテストします。このシステムでは、過去に脆弱性が発見されたオープンソースアプリケーションを選び、脆弱性のあるバージョンで固定し、当社のエージェントを実行します。 

しかし今回は、テストの範囲を拡大し、以下の観点についても分析を行いました： 

• 脅威モデリング、脆弱性の検証、および安全性に関するモデルの判断 
• ソースコードの読み取り能力と実稼働システムとの対話能力の比較
• 標準的な評価ではまだ対象としていないエクスプロイト（例：ネイティブアプリの脆弱性）を発見する能力 

用語に関する注記：「Mythos」という表現は、モデルそのものを指す場合があります。本評価では、Claude Code内でのMythos Previewに加え、API経由でXBOWのエージェント用エンジンとして使用する「モデルそのもの」についても検証を行いました。 これらのケースを区別したのは、オーケストレーション、ツール、プロンプティング、および実稼働サイトへのアクセスが結果に実質的な影響を与えるためです。

結果 

Mythos Previewを対話形式で試用したテスターたちは、非常に感銘を受けていました。「これは、私がこれまで見てきたどのものよりも、『ただ行って何かを見つけてくる』という感覚にかなり近い」と、あるテスターは述べました。 独自のソースコードを入力してみたところ、脆弱性が発見されました。幸いにも致命的なものはありませんでしたが、修正すべき点がいくつか見つかりました。

オープンソースソフトウェアで試したところ、1週間の終わりには、開示しなければならない新たな脆弱性がかなり見つかりました。 

ベンチマークでMythos Previewを試用したテスターたちも非常に感銘を受けていましたが、彼らの評価は少し異なるものでした。つまり、データそのものに感銘を受けたのです。また、彼らの結果は、モデルが圧倒的な威力を発揮した領域と、わずかな進歩しか見られなかった領域との違いを如実に浮き彫りにしました。

Mythos Previewのベンチマーク性能

Mythos Previewを分析した結果、以下の点が主な収穫となりました： 

• ソースコード監査において極めて強力です。 
• エクスプロイトの検証においては優れていますが、その能力はそれほど高くありません。 
• 評価はまちまちです。文字通り過ぎたり保守的すぎたりする傾向があり、また、検出結果の実用的な重要性を過大評価しがちです。 
• ネイティブコードの脆弱性発見とリバースエンジニアリングにおいては強力です。 

次世代の脆弱性発見

Mythos Previewは、XBOWのWebエクスプロイトベンチマークにおいて、プロバイダーを問わず、既存のすべてのモデルを大幅に上回る性能を発揮します。 

このベンチマークは、モデルが XBOW を支援し、稼働中の Web サイト環境において、検証済みで実用的な脆弱性を見つけ出せるかどうかをテストするために設計されています。 一連の 80 回の「アクション」の後、システムが脆弱性に対して有効な対処方法（PoC||GTFO）を見つけた場合にのみ、そのケースは合格とみなされます。アクションとは、標準コマンドや XBOW の攻撃ツールスイートを使用したシェルや Python スクリプトなどです。

注：Opus 4.7はこのチャートに含まれていません。このモデルは当システムと独自の方法で相互作用するため、この特定の統計データは同モデルにはあまり関連性が低いためです。詳細についてはこちらにまとめています。 

当時最新のモデル（Opus 4.6）と比較すると、これは大幅な向上でした：

• 誤検知（false negative）の数は42%減少しました。 
• 両モデルにサイトのソースコードを提供した別のテストでは、誤検知率は55%も減少しました。

これは、その後何度も繰り返し浮上することになるテーマの最初の事例でした。Mythos Previewはコードを書く能力も素晴らしいですが、それを読み解く能力はさらに際立っています。 

以下は、許容されるアクション数（実行されたスクリプト）を横軸とした、Mythos Preview、Opus 4.6、および GPT 5.5 の合格率を示したものです。 Mythos PreviewはOpus 4.6よりもはるかに少ない反復回数で脆弱性を発見しますが、GPT-5.5との差はそれほど顕著ではありません。

以下の2つの点を考慮すると、その差はより明確になります： 

1. モデルは、多くの小さなステップを選ぶことも、少数の大きなステップを選ぶことも可能です（詳細はこちら）。しかし、その違いはそれほど重要ではないはずです。アクションの予算ではなく、出力トークンの予算について考えてみましょう。 
2. 平均通過率（つまり脆弱性を発見する確率）ではなく、発見のオッズ、すなわちモデルが発見を正しく行う確率に賭ける比率を見る方が、多くの場合、より有益です。計算上、これはヒット率をミス率で割った値になります。

こうした観点から考えると、状況ははるかに明確になります。トークン単位で見ると、Mythos Previewは前例のない精度で脆弱性を特定します。

本番環境での検証こそが難関 

Mythos Previewはソースコードの推論において優れていますが、私たちの評価は実用的な真実を裏付けました。すなわち、悪用可能な問題の多くは、アプリケーションのソースコード上では明らかな欠陥として現れないということです。それらは、設定、依存関係、デプロイメントの選択、あるいは本来安全であるはずのコンポーネントの組み合わせ方から生じます。 

例えば、依存関係そのものは安全かもしれません。ソースコードそのものも安全かもしれません。しかし、ソースコードがその依存関係を安全でない方法で使用し、脆弱性を生み出しているのです。Gary McCrawが有名な言葉で述べたように、欠陥の大部分は「コードをじっと見つめる」だけでは見つかりません。 

これは私たちにとって特に興味深い点です。XBOWはペネトレーションテストを実施しており、その対象は稼働中のサイト（攻撃者が見る視点）ですが、一方、Project Glasswingなどで使用されているMythos Previewは、ソースコードの監査（開発者が見る視点）に優れています。

稼働中のサイトと対話することは非常に強力ですが、それによって全く新しい、極めて繊細な側面が加わることになります。Mythos Previewはこのバランスを変えるのでしょうか？

当社のWebベンチマークセットの収集方法上、そのセットではコードのみから脆弱性を実際に発見することができます。したがって、次のように問うのは妥当でしょう：これらのベンチマークにおいて、Mythos Previewは稼働中のサイトとの対話権限が与えられなくてもエクスプロイトを発見できるのでしょうか？ 

結果として、脆弱性が純粋にコード内にあるこれらのベンチマークであっても、稼働中のサイトへのアクセスを制限することは、ソースコードへのアクセスを制限するよりもパフォーマンスに悪影響を及ぼすことが判明しました。 多くの点で、実稼働サイトへのアクセスはソースコードへのアクセスよりも重要です。もちろん、これこそがXBOWの価値提案です。XBOWは、最先端のモデルに対し、実際のアプリケーションの挙動と安全かつ構造化された方法で対話させ、どの発見が実際に悪用可能かを証明する手段を提供します。 

Mythos Previewを搭載したXBOWの結果を以下に示します。

「モデルはコードの中から何か興味深いものを見つけられるか？」という問いに対し、我々は今や確固たる答えを持っています。たとえ「何か」が「すべて」と同じではないとしても、その答えはますます「イエス」になっていくでしょう。

しかし、それでもなお、「これらの発見のうち、どれが悪用可能で、再現可能で、テストしても安全であり、修正する価値があるのか？」という疑問は残ります。

その答えは、Mythos Previewの強力なソースコード分析と、XBOWのような、調整され検証された方法でライブサイトを安全に分析する能力とを組み合わせることにあるのです。

注目すべきは、Mythos Previewが本番サイトへのアクセスを拒否されることで大きな制約を受けるものの、他のモデルはさらに深刻な制約を受けるという点だ。これは、Mythosの最大の強みがソースコードの読み取りにあることを改めて裏付けるものである。

もちろん、最良の結果は常に、稼働中のサイトへのアクセスとソースコードの分析を組み合わせた場合に得られます。

これにより、XBOWがMythos Previewを連携させた際の理想的な検出パターンが実現します。つまり、ソースコードを分析して手がかりを見つけ、本番環境を調査してその脆弱性がデプロイメントにどのように反映されているかを把握し、そこからエクスプロイトを作成するという流れです。

その他の知見 

また、判断力、リバースエンジニアリング、ネイティブアプリの評価、視認性の観点からもこのモデルを検証しました。 

判断の結果はまちまちでした 

Mythos Preview の判断結果は、発見結果よりも評価が分かれるものでした。 コマンドの安全性、脅威モデリング、トレースのトリアージにおいて、このモデルは慎重かつ正確であることが多い一方で、文字通りで保守的でもありました。多くの先行モデルよりも誤検知（false positive）の排除には優れていましたが、証拠が正式な基準を満たしていない場合や、意図されたルールが記述されたルールよりも広範である場合には、真の検知（true positive）を見逃すこともありました。

このため、Mythos Previewは有用ではあるものの、単独では不十分です。強力な推論を信頼性の高いセキュリティ成果に変えるには、正確なプロンプト、明示的な脅威モデル、および検証インフラが必要です。 

ここで私たちを少し驚かせたのは、Mythos Previewのコマンド安全性ベンチマークにおけるパフォーマンスでした。このベンチマークでは、特定のスクリプトがターゲットサイトに悪影響を及ぼすことなく安全に実行できるかどうかをモデルに判断させます。 我々は判定境界線の境界付近にある多数の事例を手作業でラベル付けし、Haiku 4.5は90.1%の精度を達成しました。

また、Haiku 4.5のプロンプトは最適化されていたため、より適切な比較対象はOpus 4.6となります。Opus 4.6の精度は81.2%でしたが、Mythos Previewはわずか77.8%でした。

さらに深く掘り下げてその推論を検証してみると、Mythosの主張にはしばしば一理あることがわかりました。技術的には規則の「文字」には反していないものの、「精神」には反しているケースがあったのです。Opus 4.6は「精神」を優先しましたが、Mythosは「文字」を優先しました。 

このモデルはネイティブコードとリバースエンジニアリングに強みを持つ 

Webアプリケーション以外にも、このモデルはネイティブコードの脆弱性発見やリバースエンジニアリングにおいて著しい強みを見せました。 

Chromium関連のテストでは、従来のベースラインと比較して、誤検知を減らしながらより多くの実際のバグを発見した。V8サンドボックス作業においては、従来のアプローチでは多くの検出結果が出ながらも真の陽性例が得られなかった微妙な脅威モデルにおいて、真の陽性例を特定した。また、自身の結果だけでなく、競合モデルの検出結果についても優先順位付けを行う能力があることも証明された。 

リバースエンジニアリングの結果は、最も印象的なものの一つであった。本モデルは、単なるパターンマッチング以上の処理を必要とするアーキテクチャやオペレーティングシステムの組み合わせを含む、特殊なファームウェアや組み込みシステムのコンテキストにおいても、論理的な推論を行えた。 

ブラウザとの連携と視覚的識別能力は、実用的なワークフローに十分対応可能 

XBOWのワークフローでは、モデルがブラウザインターフェースを通じて稼働中のWebサイトと対話することが頻繁に求められます。そのような環境では視覚的識別能力が重要となります。モデルは正しいUI要素を特定し、適切な場所をクリックする必要があるからです。 

評価対象のモデルは、XBOWの視覚的識別能力に関するQAにおいて極めて良好なパフォーマンスを示し、Sonnet 4.6とほぼ同等の結果を出し、Opus 4.6を大幅に上回りました。正確な座標を求められた際にはピクセル単位での完全な正確さには欠けていましたが、適切なブラウザ操作を選択するという点では実用的な有効性を発揮しました。 

なお、Opus 4.7もこのベンチマークで優れた成績を収めた点に留意すべきです。おそらくここでの真のポイントは、「Mythos Previewが優れている」ということではなく、むしろ「これは最近のAnthropicモデルが性能低下を見せ始めていた特定の領域である」という点にあります。しかし現在、Anthropicはその性能低下を把握し、それを逆転させたのです。 

代償を伴うパワー 

Mythos Previewは単なる新しいモデルではありません。まさに「巨人」なのです。

しかし、タイタンは巨大であり、巨大であるということは高コストであることを意味します。どれほどの確信を得るために、どれだけの費用を支払う用意がありますか？その同じ資金を別の用途に回して、より良い結果を得られるでしょうか？ 

執筆時点では、Mythos PreviewはまだパブリックAPI経由では利用できませんが、Anthropicは、これがOpusモデルの5倍のコストになると述べています。Opusモデルは、トークン単価で見てもすでに高価な選択肢の一つです。そこで疑問が生じます： 

別のモデルを搭載したエージェントに、より多くの時間を割くことで、より低いコストでより高い精度を得られるだろうか？ 

結論から言えば、可能です。推定実行コストで正規化すると、状況はかなり明確になります。Mythos Previewは、少なくとも高い精度を求めるのであれば、それほど非効率的ではありませんが、当社のベンチマークにおいて最高水準というわけではありません。

この結果は、他の類似した比較とも一致しています。例えば、Point EstimateによるAISecurity InstituteのMythos Preview対GPT-5.5のベンチマーク分析などです： Mythos Previewは強力ですが、実際の選択は、エージェントにMythos Previewを短期間使用させるために料金を支払うか、あるいは必要な期間だけGPT-5.5を使用するか、のいずれかになります。どちらがより良い選択肢かはユースケースによりますが、多くの場合、後者となります。 

XBOWの評価によると、最先端モデルは脆弱性発見において大きな進歩を遂げたことが示唆されています。Mythos Previewは、特にソースコードからの脆弱性候補の発見に優れており、Web、ネイティブコード、リバースエンジニアリングの各タスクにおいて印象的な能力を発揮します。 

しかし、その潜在能力を最大限に引き出すには、適切なフレームワークに組み込み、適切なツールを装備する必要があります。そして、たとえそうであっても、それは単に矢筒の中の矢の一つに過ぎません。タスクによっては、Mythos Previewに一度試させるよりも、別のモデルに数回試させる方が合理的である場合もあります。

こうした考慮事項こそが、XBOWが単一のモデルに限定せず、複数のモデル群を維持している理由の一つなのです。 

XBOWの強力な脆弱性検証機能を実際にご覧になりたい場合は、デモのご依頼を承っております。

XBOWによる提供・執筆。