AI hallucinations

slopsquatting(スロップスクワッティング)」と名付けられたサプライチェーン攻撃の新しいクラスが、コーディングのためのジェネレーティブAIツールの使用の増加と、存在しないパッケージ名を「幻覚」するモデルの傾向から出現した。

スロップスクワッティングという用語は、セキュリティ研究者のセス・ラーソンによって、typosquatting(一般的なライブラリに酷似した名前を使用することで、開発者を騙して悪意のあるパッケージをインストールさせる攻撃手法)をアレンジした造語である。

typosquattingとは異なり、slopsquattingはスペルミスに依存しない。その代わりに、脅威者はPyPIやnpmのようなインデックスに、AIモデルによってコーディング例でよく作られるものにちなんだ名前の悪意のあるパッケージを作成することができる。

2025年3月に発表されたパッケージの幻覚に関する研究論文によると、調査されたケースのおよそ20%(生成されたPythonとJavaScriptのコードサンプル576,000件)において、推奨されたパッケージは存在しなかった。

この状況は、CodeLlama、DeepSeek、WizardCoder、MistralのようなオープンソースのLLMでは悪化しているが、ChatGPT-4のような商用ツールでも約5%の割合で幻覚が発生しており、これは重要なことだ。

Hallucination rates for various LLMs
様々なLLMの幻覚率
出典:arxiv.org

この研究で記録されたユニークな幻覚パッケージ名の数は 200,000 を超える大規模なものであったが、それらの 43% は同様のプロンプトで一貫して繰り返され、58% は 10 回の実行で少なくとも 1 回は再び出現した。

研究によると、これらの幻覚のパッケージ名の38%は実際のパッケージからインスパイアされたもので、13%はタイプミスの結果であり、残りの51%は完全に捏造されたものであった。

攻撃者がこの新しいタイプの攻撃を利用し始めた兆候はないが、オープンソースのサイバーセキュリティ企業Socketの研究者は、幻覚のパッケージ名は一般的で、反復可能で、意味的にもっともらしく、簡単に武器化できる予測可能な攻撃対象であると警告している。

「全体として、58%の幻覚パッケージは10回の実行で1回以上繰り返されており、幻覚の大部分は単なるランダムなノイズではなく、モデルが特定のプロンプトにどのように反応するかの繰り返し可能なアーチファクトであることを示している」とSocketの研究者は説明している

“この再現性は攻撃者にとっての価値を高め、少数のモデル出力を観察するだけで、実行可能なslopsquattingターゲットを特定することを容易にする。”

Overview of the supply chain risk
サプライチェーンリスクの概要
出典:arxiv.org

このリスクを軽減する唯一の方法は、パッケージ名を手動で検証し、AIが生成したコードスニペットで言及されたパッケージが本物である、あるいは安全であるとは決して考えないことだ。

依存関係スキャナ、ロックファイル、ハッシュ検証を使用して、パッケージを既知の信頼できるバージョンに固定することは、セキュリティを向上させる効果的な方法である。

AIの “温度 “設定を低くする(ランダム性を低くする)と幻覚が減るという研究結果がある。

最終的には、AIが生成したコードを本番環境で実行またはデプロイする前に、常に安全で隔離された環境でテストすることが賢明です。

.ia_ad { background-color:#width: 95%; max-width: 800px; margin: 15px auto; border-radius: 8px; border:1px solid #d6ddee; display: flex; align-items: stretch; padding: 0; overflow: hidden; }:0; overflow: hidden; } .ia_lef { flex: 1; max-width: 200px; height: auto; display: flex; align-items: stretch; } .ia_lef a { display: flex; width: 100%; height: 100%; } .ia_lef a img { width: 100%; height: 100%; object-fit: cover; border-radius: 8px 0 0 8px; margin: 0; display: block; } .ia_rig { flex: 2; padding:display: flex; flex-direction: column; justify-content: center; } .ia_rig h2 { font-size: 17px !important; font-weight: 700; color:#line-height: 1.4; font-family:margin: 0 0 14px 0; } .ia_rig p { font-weight: bold; font-size: 14px; margin: 0 0 clamp(6px, 2vw, 14px) 0; } .ia_button { background-color:#border:1px solid #3b59aa; color: black; text-align: center; text-decoration: none; border-radius: 8px; display: inline-block; font-size: 16px; font-weight: bold; cursor: pointer; padding:10px 20px; width: fit-content; } .ia_button a { text-decoration: none; color: inherit; display: block; } @media (max-width: 600px) { .ia_ad { flex-direction: column; align-items: center; text-align: center; } .ia_lef { max-width: 100%; } .ia_lef a img { border-radius: 8px 8px 0 0; } .ia_rig { padding:15px; width: 100%; } .ia_button { width: 100%; } .

攻撃の93%を支えるMITRE ATT&CK©テクニック・トップ10

1,400万件の悪意のあるアクションの分析に基づき、攻撃の93%を支えるMITRE ATT&CKテクニックのトップ10とその防御方法をご覧ください。