ChatGPT-4oは自律的な音声ベースの詐欺に使用できる

研究者は、高度なLLMチャットボットであるChatGPT-4o用のOpenAIのリアルタイム音声APIを悪用して、低～中程度の成功率で金融詐欺を行うことが可能であることを示しました。

ChatGPT-4oはOpenAIの最新AIモデルで、テキスト、音声、視覚の入出力を統合するなどの新たな機能拡張をもたらします。

これらの新機能により、OpenAIは、不正な音声の複製などの有害なコンテンツを検出し、ブロックするための様々なセーフガードを統合しました。

音声ベースの詐欺はすでに数百万ドル規模の問題になっており、ディープフェイク技術やAIを搭載した音声合成ツールの出現は状況を悪化させるだけだ。

UIUCの研究者リチャード・ファング、ディラン・ボウマン、ダニエル・カンが論文で示したように、現在制限なく利用できる新しい技術ツールは、サイバー犯罪者や詐欺師による悪用の可能性から保護するための十分な安全装置を備えていない。

これらのツールは、音声生成イベントのトークン費用を賄うことで、人手をかけずに大規模な詐欺行為を設計・実行するために使用できる。

研究結果

研究者の論文では、銀行送金、ギフトカード流出、暗号送金、ソーシャルメディアやGmailアカウントのクレデンシャル窃盗など、さまざまな詐欺を調査している。

詐欺を実行するAIエージェントは、音声対応のChatGPT-4o自動化ツールを使用してページをナビゲートし、データを入力し、二要素認証コードと特定の詐欺関連の指示を管理する。

GPT-4oは認証情報のような機密データの取り扱いを拒否することがあるため、研究者たちは簡単なプロンプトの脱獄テクニックを使ってこれらの保護を回避した。

研究者たちは、実際の人間の代わりに、バンク・オブ・アメリカなどの実際のウェブサイトを使って、騙されやすい被害者の役割をシミュレートしながら、AIエージェントと手動でやりとりする方法を実演し、取引の成功を確認した。

「我々は、一般的な詐欺のサブセットにエージェントを配置した。音声エージェントと手動で対話することで、詐欺をシミュレートしました。

「成功を判断するために、実際のアプリケーションやウェブサイトで最終状態が達成されたかどうかを手動で確認しました。例えば、バンク・オブ・アメリカを使って振り込め詐欺を行い、実際にお金が振り込まれたことを確認しました。しかし、これらのエージェントの説得力は測定していない。”

全体的な成功率は20～60％で、1回の試行には最大26回のブラウザ操作が必要で、最も複雑なシナリオでは3分にも及んだ。

銀行振り込みと国税庁の捜査官になりすますというもので、ほとんどの失敗の原因は転記ミスか複雑なサイトナビゲーション要件だった。しかし、Gmailからのクレデンシャル盗難は60％の確率で成功したが、暗号送金とInstagramからのクレデンシャル盗難は40％の確率でしか成功しなかった。

コストに関しては、これらの詐欺の実行は比較的安価であり、成功したケースのコストは平均0.75ドルであると研究者は指摘している。

より複雑な銀行振り込み詐欺は2.51ドル。かなり高いとはいえ、この種の詐欺で得られる潜在的利益に比べれば、これはまだ非常に低い。

OpenAIの対応

OpenAIは、”高度な推論 “をサポートする最新モデルo1（現在プレビュー中）は、この種の悪用に対する防御を強化したものだと語った。

「私たちは、ChatGPTの有用性や創造性を失うことなく、ChatGPTを騙そうとする意図的な試みを阻止できるよう、常に改良を続けています。

私たちの最新のo1推論モデルは、安全でないコンテンツを生成する意図的な試みに対する抵抗において、以前のモデルを大幅に凌駕しており、これまでで最も有能かつ安全です。”- OpenAIの広報担当者

OpenAIはまた、UIUCからのこのような論文は、ChatGPTが悪意のある利用を阻止するのをより良くするのに役立っており、どうすれば堅牢性を高められるかを常に調査していると述べている。

すでにGPT-4oは、なりすましを防止するために音声生成を事前に承認された音声セットに制限するなど、悪用を防止するための多くの対策を取り入れている。

o1-previewは、OpenAIの脱獄安全性評価では、敵対的なプロンプトに応答して安全でないコンテンツを生成することにどの程度抵抗するかを測定し、84％対GPT-4oの22％と、大幅に高いスコアを獲得しています。

新しい、より厳しい安全性評価のセットを使用してテストされた場合、o1-previewのスコアは93％対GPT-4oの71％と有意に高かった。

おそらく、悪用に対してより優れた耐性を持つより高度なLLMが利用できるようになれば、古いLLMは段階的に使用されなくなるだろう。

しかし、脅威行為者が制限の少ない他の音声対応チャットボットを使用するリスクは依然として残っており、このような研究は、これらの新しいツールが持つ実質的な被害の可能性を浮き彫りにしている。