現在、脅威アクターは、金融人工知能 (AI) システムに対して破壊的な操作を実行するために必要なテクノロジーへのアクセスが制限されており、このタイプの標的型攻撃のリスクは低いままです。ただし、脅威アクターが偽情報キャンペーンの一環として AI を利用して金融パニックを引き起こすリスクが高いです。 AI金融ツールがより一般的になるにつれて、これらのツールを悪用する敵対的な方法も利用可能になり、金融業界を標的とする操作は将来ますます可能性が高くなります.
効率性とリスクの両方を備えた AI 化合物
金融機関は、日々の業務を合理化し、顧客のリスクを評価し、インサイダー取引を検出するために、ますます AI 対応アプリケーションに依存するようになっています。ただし、研究者は、特定の AI モデルの脆弱性を悪用すると、システムの最終的なパフォーマンスに悪影響を与える可能性があることを実証しています。サイバー脅威のアクターは、これらの弱点を利用して、将来の財政的混乱や経済的利益を得る可能性があります。
敵対的 AI 研究の最近の進歩は、金融セクターで使用される一部の AI 技術の脆弱性を浮き彫りにしています。データ ポイズニング攻撃、またはモデルのトレーニング データの操作は、モデルに不正確な出力または評価を生成させることにより、システムの最終的なパフォーマンスに影響を与える可能性があります。モデルのトレーニングに使用されるデータの操作は、「完成した」モデルが暗黙のうちに信頼されることが多いため、検出されない場合は特に強力です。敵対的 AI の研究は、モデルの異常がユーザーを必ずしも間違った答えに向けるわけではなく、より正しい出力からユーザーをリダイレクトすることを示していることに注意してください。さらに、侵害の一部のケースでは、標的の機械学習パイプラインをリバース エンジニアリングまたは侵害することにより、攻撃者がモデル自体のコピーを取得する必要があります。以下は、攻撃対象のモデルに関するこのホワイトボックスの知識を前提とするいくつかの脆弱性です。
- 分類子は、自動運転車での物体認識やネットワークでのマルウェア検出など、検出と識別に使用されます。研究者は、これらの分類子がどのように回避されやすいかを実証してきました。つまり、モード固有の弱点により、オブジェクトが誤分類される可能性があります (図 1)。
- 研究者は、データ ポイズニングが AI レコメンデーション システムの出力にどのように影響するかを強調しています。報酬経路を変更することで、敵対者は、無謀な取引などの次善のアウトプットをモデルに提案させて、多大な経済的損失をもたらすことができます。さらに、グループは、攻撃者がトレーニング データのラベル付け方法を制御できないデータ ポイズニング攻撃を実証しました。
- 自然言語処理アプリケーションは、テキストを分析し、感情分析とも呼ばれる、表明された意見の基本的な理解を生成できます。最近の論文では、ユーザーが破損したテキスト トレーニングの例をセンチメント分析モデルに入力して、モデルの全体的なパフォーマンスを低下させ、テキストの本文を誤解させる方法が強調されています。
- 攻撃者がモデルの内部構造へのアクセスと理解を制限している場合にも、侵害が発生する可能性があります。研究者は、モデルの予測機能へのオープンなアクセスと知識の伝達がいかに妥協を助長するかを実証しました。
金融機関が AI を活用する方法
AI は大量の情報を非常に迅速に処理できます。金融機関は AI 対応ツールを採用して、正確なリスク評価を行い、日常業務を合理化しています。その結果、攻撃者は金融サービス AI ツールを、経済的利益や金融の不安定性を助長するための魅力的な標的と見なす可能性があります (図 2)。
感情分析
使用する
ブランディングと評判は、アナリストが将来の取引活動を計画し、ビジネスに関連する潜在的なリスクを調べるのに役立つ変数です。ニュースやオンライン ディスカッションは、世論を調査するための豊富なリソースを提供します。自然言語処理などの AI 技術は、アナリストがビジネスに言及している公の議論をすばやく特定し、これらの会話の感情を調べて、取引に情報を提供したり、企業に関連するリスクを評価したりするのに役立ちます。
潜在的な搾取
攻撃者は、上場企業に関する誤った分析を生成する可能性のある不正なデータを挿入する可能性があります。たとえば、脅威アクターは、企業の将来の取引活動に悪影響を及ぼしたり、リスク評価に損害を与えたりする可能性のある、企業に関する偽の否定的な情報を配布する可能性があります。モデルのトレーニングに使用されるデータの操作は、「完成した」モデルが暗黙のうちに信頼されることが多いため、検出されない場合は特に強力です。
偽情報を利用して金融パニックを引き起こす脅威アクター
ファイア・アイは、脅威アクターが虚偽の情報を広め、AI を活用した取引を引き起こし、金融パニックを引き起こすリスクが高いと確信を持って評価しています。さらに、攻撃者は AI 技術を利用して操作されたマルチメディアまたは「ディープ フェイク」を生成し、そのような混乱を助長する可能性があります。
虚偽の情報は、市場全体に大きな影響を与える可能性があります。悪意のあるアクターは、金融の不安定性を助長するために虚偽の情報を広めてきた歴史があります。たとえば、2013 年 4 月、 シリア電子軍(SEA) は AP 通信 (AP) の Twitter アカウントを侵害し、ホワイトハウスが攻撃され、オバマ大統領が負傷したと発表しました。虚偽の情報が掲載された後、株価は急落した。
- 2014 年にブルガリアとカザフスタンで銀行取り付け騒ぎを引き起こした偽のメッセージを悪意のある攻撃者が配布しました。2 つの別々の事件で、犯罪者は電子メール、テキスト メッセージ、およびソーシャル メディアの投稿を送信して、銀行預金が安全ではないことを示唆し、顧客が貯蓄をまとめて引き出しました。
- 攻撃者は、AI を使用して操作されたマルチメディア ビデオや「ディープ フェイク」を作成し、企業や市場を動かすイベントに関する誤った情報を広めることができます。脅威アクターは、AI アプリケーションを使用して企業の経営陣の声を複製し、金銭的利益を得るために不正取引を行うこともできます。
- 操作されたビデオが政治キャンペーンの結果に影響を与えた可能性が高い 1 つの例を観察しました。
ポートフォリオ管理
使用する
いくつかの金融機関は、AI アプリケーションを採用して投資ファンドの銘柄を選択したり、 AI ベースのヘッジファンドの場合は、 自動的に取引を行って利益を最大化しています。金融機関は、AI アプリケーションを活用して、クライアントの取引ポートフォリオをカスタマイズすることもできます。 AI アプリケーションは、顧客の以前の取引活動を分析し、顧客のポートフォリオに既にある取引に類似した将来の取引を提案できます。
潜在的な搾取
アクターは推奨システムに影響を与えて、ヘッジファンドを不可逆的な悪い取引にリダイレクトし、会社に損失をもたらす可能性があります (たとえば、推奨システムを混乱させ、システムが会社に損害を与えるような方法で取引を開始する可能性のある取引で市場をあふれさせるなど)。 .
さらに、ヘッジファンドが使用する自動取引ツールの多くは、人間の監督なしで動作し、市場に直接影響を与える取引活動を行っています。この監視の欠如により、異常な脅威活動を検出するループ内に人がいないため、将来の自動化されたアプリケーションは悪用に対してより脆弱になる可能性があります。
最適ではない取引を行う攻撃者
トレード推奨システムの操作が AI ベースのポートフォリオ マネージャーに中程度のリスクをもたらすことは、ある程度の確信を持って評価しています。
- 取引活動の不可逆性と相まって、取引推奨システムへの人間の関与の減少は、不利な推奨がすぐに大規模な影響にエスカレートする可能性があることを示唆しています。
- さらに、オペレーターは、洗練された AI テクノロジーにアクセスすることなく、レコメンデーション システムに影響を与えることができます。代わりに、市場や大量取引に関する知識を使用して、アプリケーションのパフォーマンスを低下させます。
- これまでに、悪意のある攻撃者が取引プラットフォームや取引所を標的にしたり、銀行ネットワークを侵害して操作された取引を行ったりすることを確認しています。
- 国家が支援するアクターと金銭的動機のあるアクターの両方が、自動取引ツールを悪用して利益を生み出したり、市場を不安定にしたり、外貨を弱めたりするインセンティブを持っています。
- ロシアのハッカーは、 Corkow マルウェアを利用して市場価格以外のレートで 5 億ドル相当の取引を行い、2015 年 2 月にドルとルーブルの為替レートを一時的に不安定化させたと報告されています。悪い取引。
コンプライアンスと不正検出
使用する
金融機関と規制当局は、AI 対応の異常検出ツールを活用して、トレーダーが違法行為に関与していないことを確認しています。これらのツールは、取引活動、 内部コミュニケーション、およびその他の従業員データを調査して、従業員が市場に関する高度な知識を利用して詐欺、盗難、インサイダー取引、または横領を行っていないことを確認できます。
潜在的な搾取
高度な攻撃者は、分類器の弱点を悪用して、AI ベースの検出ツールを変更し、異常な違法行為を通常の行為と誤認する可能性があります。モデルを操作することで、インサイダーの脅威が発覚を恐れずに犯罪行為を行うことができます。
インサイダーの脅威活動をカモフラージュする攻撃者
現在、脅威アクターは、これらの不正検出システムを回避するために必要な種類のテクノロジーへのアクセスが制限されているため、このタイプの活動の脅威は依然として低いと確信しています。ただし、AI 金融ツールがより一般的になるにつれて、これらのツールを悪用する敵対的な方法も利用可能になり、AI を利用して検出を回避するインサイダーの脅威が将来的に増加する可能性があります。
アンダーグラウンド フォーラムやソーシャル メディアの投稿は、金融機関へのインサイダー アクセスを持つ個人の市場があることを示しています。インサイダーの脅威は、AI ベースの異常検出器の弱点を悪用して、外部通信、不規則な取引、データ転送などの悪意のある活動を通常の活動として偽装する可能性があります。
トレードシミュレーション
使用する
金融機関は、以前の取引活動の履歴データを活用する AI ツールを使用して、取引をシミュレートし、その影響を調べることができます。クオンツ ファンド マネージャーと高速トレーダーは、この機能を使用して、1 日の取引に最適な時間帯など、将来の活動を戦略的に計画できます。さらに、金融保険会社はこれらのツールを使用して、市場を動かす活動の影響を観察し、より適切なリスク評価を生成できます。
潜在的な搾取
脅威アクターは、AI モデルに固有の弱点を悪用することで、取引がどのように展開されるかについて企業を誤った安心感に陥らせる可能性があります。具体的には、脅威アクターは、企業がモデルをトレーニングしていることを突き止め、モデルのトレーニングに使用されているデータセットに破損したデータを挿入する可能性があります。その後、最終アプリケーションは、潜在的な取引とその結果の誤ったシミュレーションを生成します。これらのモデルは、最新の財務情報に基づいて定期的にトレーニングされ、シミュレーションのパフォーマンスを向上させ、脅威アクターにデータ ポイズニング攻撃の機会を複数提供します。さらに、一部の高速トレーダーは、脅威が偽の売り注文で市場を氾濫させ、取引アルゴリズムを混乱させ、潜在的に市場を崩壊させる可能性があると推測しています.
FireEye Threat Intelligence は以前、金銭目的のアクターがパンプ アンド ダンプ詐欺や株操作を通じてデータ操作を利用して利益を得る方法を調査しました。
インサイダー取引を行う攻撃者
ファイア・アイは、これらの攻撃を悪用する脅威アクターの現在のリスクは低いと中程度の自信を持って評価しています。なぜなら、取引シミュレーションの悪用には、洗練されたテクノロジーと、金融会社がいつモデルをトレーニングするかに関する追加のインサイダー インテリジェンスが必要だからです。これらの制限にもかかわらず、金融 AI ツールがより一般的になるにつれて、これらのツールを悪用する敵対的な方法も、アンダーグラウンド フォーラムや国家が支援する脅威を介して、より一般的になる可能性があります。将来の金銭目的の運用では、今後の市場活動に関する高度な知識を得る別の手段として、取引シミュレーション ツールを監視または操作することができます。
リスク評価とモデリング
使用する
AI は、顧客データを調査し、市場を動かすアクション (合弁事業、合併と買収、研究開発のブレークスルーなど) の前に脆弱と見なされる機能を強調することで、金融保険セクターの引受プロセスを支援できます。市場の触媒に先んじて正確な保険証券を作成するには、クライアントの潜在的な弱点を浮き彫りにするリスク評価が必要です。
金融サービスは、AI アプリケーションを採用してリスク モデルを改善することもできます。敵対的生成ネットワークの進歩は、企業の内部リスク モデルをストレス テストしてパフォーマンスを評価したり、企業のモデルの潜在的な脆弱性を強調したりすることで、リスク管理に役立ちます。
潜在的な搾取
国が外国企業と市場を動かすイベントを実施している場合、国家が支援するスパイアクターはデータポイズニング攻撃を使用して、AI モデルに企業に関連する価値またはリスクを過大または過小評価させ、計画された取引活動に先立って競争上の優位性を獲得する可能性があります。 .たとえば、スパイアクターはこの知識をうまく利用して、合弁事業を敵対的買収に変えたり、入札プロセスで競合他社を排除したりすることができます。さらに、攻撃者は、価値の高いクライアントに対する大規模なサードパーティの侵害の一環として、金融 AI ツールの弱点を悪用する可能性があります。
貿易協定と交渉に影響を与える攻撃者
取引活動や商取引に対する現在の脅威リスクは低いと確信していますが、市場を動かす触媒に備えるために AI アプリケーションを活用する企業が増えるにつれて、これらのアプリケーションは将来のスパイ活動の攻撃対象になる可能性があります。
これまで、国が支援する攻撃者は、有利な商取引を確保するために、外国企業との協力中にスパイ活動を行ってきました。国家が後援する将来のスパイ活動は、金融モデリングツールの弱点を利用して、国家が競争上の優位性を獲得するのを助ける可能性があります.
展望と影響
AI アプリケーションを採用する企業は、これらのテクノロジーによってもたらされるリスクと脆弱性、および潜在的なメリットを認識する必要があります。 AI モデルは静的ではないことに注意してください。より正確にするために、定期的に新しい情報で更新されます。この絶え間ないモデル トレーニングにより、多くの場合、操作に対して脆弱になります。企業は警戒を怠らず、トレーニング データを定期的に監査して、汚染された入力を排除する必要があります。さらに、該当する場合は、AI アプリケーションに人間の監督を組み込み、誤った出力や推奨事項が自動的に財務上の混乱につながることがないようにする必要があります。
AI 固有の制限も、金融セクターが AI アプリケーションを業務に採用するケースが増えているため、問題を引き起こしています。モデルがどのようにしてその答えに到達したかについての透明性の欠如は、AI 推奨を使用して取引を行うアナリストにとって問題です。その出力の説明がなければ、取引が否定的な結果をもたらした場合の責任を判断することは困難です。この明確性の欠如により、アナリストはアプリケーションを信用できなくなり、最終的にはアプリケーションを完全に使用しなくなる可能性があります。さらに、データ プライバシー法の台頭により、金融セクターにおける説明可能な AI の必要性が加速する可能性もあります。ヨーロッパの一般データ保護規則 (GDPR)は、AI アプリケーションを採用している企業は、そのモデルによって下された決定について説明する必要があると規定しています。
一部の金融機関は、本質的に透明性の高いAI モデルを開発することで、この説明可能性の問題に対処し始めています。研究者は、自己説明型ニューラル ネットワークも開発しました。これは、システムによって生成された出力について理解できる説明を提供します。
参考： https ://www.mandiant.com/resources/blog/breaking-bank-weakness-financial-ai-applications
Comments