ダークウェブとテレグラムで「ChatGPT」を簡単に検索すると、過去 6 か月間に 27,912 件の言及があったことがわかります。
脅威アクターが言語モデルを使用する可能性については、多くのことが書かれています。 LLaMA や Orca などのオープンソースの大規模言語モデル (LLM)、そして今回のサイバー犯罪モデル WormGPT により、 サイバー犯罪の商品化とモデルの機能向上を巡るトレンドが衝突することになります。
脅威アクターは、ゼロデイエクスプロイトの特定からスピアフィッシングメールの作成に至るまで、あらゆる用途に言語モデルをどのように使用できるかについて、すでに厳しい議論を行っています。
オープンソース モデルは、リスクのある回答や違法な回答の防止に重点を置いたヒューマン フィードバックによる強化学習 (RLHF) を受けていないため、脅威アクターにとって特に魅力的な機会となります。
これにより、脅威アクターは、ジェイルブレイクを必要とせずに、これらを積極的に使用して、ゼロデイを特定したり、スピアフィッシングメールを作成したり、その他の種類のサイバー犯罪を実行したりすることができます。
脅威暴露管理会社Flareは、現在ダークウェブ上でスティーラー ログの形式で販売されている 200,000 件を超えるOpenAI 認証情報を特定しました。
これは間違いなく懸念すべきことですが、この統計は、ChatGPT、GPT-4、および AI 言語モデルに対するより広範な脅威攻撃者の関心の表面をなぞり始めたにすぎません。
出典: フレア
トレンドの衝突: サイバー犯罪エコシステムとオープンソース AI 言語モデル
過去 5 年間で、サイバー犯罪の商品化が劇的に増加しました。現在、Tor チャネルや違法な Telegram チャネル全体に広大なアンダーグラウンド ネットワークが存在し、サイバー犯罪者は個人情報、ネットワーク アクセス、データ漏洩、認証情報、感染したデバイス、攻撃インフラストラクチャ、ランサムウェアなどを売買しています。
営利目的のサイバー犯罪者は、急速に普及しているオープンソース AI 言語モデルをますます採用する可能性があります。そのようなアプリケーションの最初の WormGPT はすでに作成されており、月額アクセス料金で販売されています。
カスタマイズされた大規模なスピアフィッシング
Phishing-aa-Service (PhaaS) はすでに存在しており、月額料金でフィッシング キャンペーンを開始するための既製のインフラストラクチャを提供します。
脅威アクターの間では、より広範でパーソナライズされたフィッシング攻撃を促進するために、WormGPT を使用する広範な議論がすでに行われています。
生成 AI の使用により、サイバー犯罪者はソーシャル メディア アカウント、 OSINT ソース、オンライン データベースのデータから収集したカスタマイズされたメッセージを使用して、数千のユーザーに対して攻撃を開始できる可能性があり、電子メール フィッシングによる従業員への脅威が劇的に増加します。
出典: フレア
「明日、API-WormGPT が Galaxy 開発チャネルによって提供されます。リクエスト ステータスは無制限で定期的に計算されます。API-WORMGPT を使用するには、API-KEY を取得する必要があります。最新のニュースが発表されます。」と脅威アクターは Telegram で WormGPT を宣伝します。
「WORMGPT が何なのかわからない場合: この WORMGPT は CHATGPT の無制限バージョンであり、ハッカーによって設計され、倫理的な情報源を持たずにフィッシングやマルウェアなどの違法な作業のために作成されました。」
自動化されたエクスプロイトとエクスポージャの識別
BabyAGIなどのプロジェクトは、言語モデルを使用して思考をループし、オンラインで、場合によっては現実世界でもアクションを実行することを目指しています。現状では、多くの企業は攻撃対象領域を完全に把握できていません。
これらは、パブリック GitHub リポジトリで公開されているパッチが適用されていないサービス、資格情報、API キー、およびその他の形式の高リスクのデータ公開を脅威アクターが迅速に特定できないことに依存しています。
半自律的な言語モデルは、脅威アクターの大規模な暴露検出を自動化することで、脅威の状況を迅速かつ突然変える可能性があります。
現在、脅威アクターは、サイバーセキュリティの専門家が使用するツールと手動の作業を組み合わせて、システムへの初期アクセスを許可する危険性を特定しています。
リポジトリ内の資格情報などの明白な漏洩を検出できるだけでなく、アプリケーション内の新たなゼロデイ エクスプロイトも識別できるシステムが完成するまでには、おそらく数年、あるいは数か月かかるでしょう。これにより、セキュリティ チームがエクスプロイトやデータ漏洩に対応しなければならない時間が大幅に短縮されます。
ビッシングとディープフェイク
生成 AI の進歩により、悪意のある攻撃にとって非常に困難な環境が生み出されることも予想されます。 AI 主導のサービスは、すでに 60 秒未満の音声で個人の声をリアルにコピーすることができ、ディープフェイク技術は向上し続けています。
現時点ではディープフェイクは不気味の谷に残っており、ある程度明らかになっています。ただし、テクノロジーは急速に進歩しており、研究者は追加のオープンソース プロジェクトを作成および展開し続けています。
出典: フレア
ハッキングおよびマルウェア生成 AI モデル
オープンソース LLM は、ペネトレーション テスト GPTなどのレッド チーム活動に焦点を当てて、すでに存在しています。
モデルの機能と特殊化は、モデルがトレーニングされるデータ、人間のフィードバックによる強化学習、その他の変数を含む複数のステップのプロセスに大きく依存します。
「orca のような有望なオープンソース モデルがいくつかあり、コードを調整すれば 0day を見つけられる可能性が期待されています」と、Microsoft の Orca LLM について議論する攻撃者は説明します。
これはセキュリティ チームにとって何を意味しますか?
ディフェンダーとしてのミスの許容範囲は大幅に減ろうとしています。 SOC ノイズを削減して価値の高いイベントに焦点を当て、ダークウェブでもクリアウェブでも高リスクの露出に対する平均検出時間 (MTTD) と平均応答時間 (MTTR) を改善することが優先されるべきです。
企業におけるセキュリティのための AI 導入は、攻撃者に比べてかなりゆっくりと進む可能性が高く、攻撃者が悪用しようとする非対称性が生じます。
セキュリティ チームは、効果的な攻撃対象領域管理プログラムを構築し、従業員がディープフェイクやスピア フィッシングに関する十分なトレーニングを受けられるようにする必要がありますが、それ以上に、AI を使用してセキュリティ境界のギャップを迅速に検出して修復する方法を評価する必要があります。
セキュリティの強さは最も弱い部分に応じて決まりますが、AI によってその弱い部分がはるかに簡単に発見されようとしています。
エリック・クレイについて
Eric は、脅威暴露監視プラットフォームであるFlareのセキュリティ研究者です。彼は、セキュリティ データ分析、セキュリティ研究、サイバーセキュリティにおける AI の応用の経験があります。
Flareがスポンサーおよび執筆
Comments