Counterfit を使用した AI セキュリティ リスク評価

news

本日、AI システムのセキュリティ テストの自動化ツールであるCounterfit をオープンソース プロジェクトとしてリリースします。 Counterfit は、組織が AI セキュリティ リスク評価を実施して、ビジネスで使用されるアルゴリズムが堅牢で、信頼性が高く、信頼できるものであることを確認するのに役立ちます。

AI システムは、ヘルスケア、金融、防衛などの重要な分野でますます使用されています。消費者は、これらの重要なドメインを動かす AI システムが敵対的な操作から保護されているという確信を持っている必要があります。たとえば、2021 年1月に公開されたGartner の MOST フレームワーク内で AI リスクを管理するための上位 5 つの優先事項の推奨事項の 1 つは、組織が「敵対的攻撃に対する特定の AI セキュリティ対策を採用して、耐性と回復力を確保する」ことであり、「2024 年までに、専用の AI リスク管理コントロールを実装している組織は、そうでない組織の 2 倍の頻度で AI の負の結果を回避することに成功しています。」

ただし、本番 AI システムのセキュリティ評価を実行することは簡単ではありません。 Microsoft は、フォーチュン 500 企業、政府、非営利団体、中小企業 (SMB) にまたがる 28 の組織を調査し、AI システムを保護するために実施されている現在のプロセスを理解しました。 28 の企業のうち 25 の企業が、自社の AI システムを保護するための適切なツールが整っていないことを示しており、セキュリティの専門家はこの分野で具体的なガイダンスを求めていることがわかりました。

このツールは、 Microsoft の責任ある AI の原則とエンジニアリングにおける責任ある AI 戦略 (RAISE) イニシアチブに従って、AI サービスをプロアクティブに保護することを目的として、Microsoft の AI システムの脆弱性を評価する必要性から生まれました。 Counterfit は、個々の AI モデルをターゲットにするために特別に作成された攻撃スクリプトのコーパスとして始まり、その後、複数の AI システムを大規模に攻撃する汎用自動化ツールに変化しました。

現在、私たちは AI レッドチームの運用の一環として Counterfit を日常的に使用しています。 MITRE の Adversarial ML Threat Matrix の手法を自動化し、Microsoft 独自の運用 AI サービスに対してそれらを再生して、AI 固有の脆弱性をプロアクティブにスキャンすることが役立つことがわかりました。 Counterfit は、AI システムの脆弱性を本番環境に到達する前に発見するために、AI 開発段階でも試験運用されています。

Counterfit がより広範なセキュリティ プロフェッショナルのニーズに確実に対応できるようにするため、大規模な組織、中小企業、政府機関にまたがる多様なパートナー プロファイルと協力して、環境内の ML モデルに対してツールをテストしました。

「AI は業界でますます使用されています。この技術を確保するために先を見越して、特に機能空間攻撃が問題空間のどこで実現できるかを理解することが重要です。 AI システムのセキュリティを評価するためのセキュリティ担当者向けの Microsoft などの組織からのオープンソース ツールのリリースは、歓迎されると同時に、業界がこの問題を真剣に受け止めていることを明確に示しています。」

Matilda Rhode 氏、Airbus シニア サイバーセキュリティ リサーチャー

Counterfit が柔軟である 3 つの主な方法

内外の取り組みの結果、Counterfit は次の 3 つの重要な点で柔軟性があります。

  1. Counterfit は環境にとらわれず、あらゆるクラウド環境、オンプレミス、またはエッジでホストされている AI モデルを評価するのに役立ちます。
  2. Counterfit はモデルに依存しません。このツールは AI モデルの内部動作を抽象化するため、セキュリティ プロフェッショナルはセキュリティ評価に専念できます。
  3. Counterfit はデータにとらわれないように努めており、テキスト、画像、または一般的な入力を使用する AI モデルで機能します。

内部的には、Counterfit は、 Adversarial Robustness ToolboxTextAttackなどの敵対的 AI フレームワークに一般的な自動化レイヤーを提供するコマンドライン ツールです。私たちのツールは、公開された攻撃アルゴリズムにセキュリティ コミュニティがアクセスできるようにし、AI モデルに対する攻撃を構築、管理、開始するための拡張可能なインターフェイスを提供するのに役立ちます。

セキュリティの専門家向けに設計

Counterfit は、Metasploit や PowerShell Empyre など、セキュリティの専門家がすでに使い慣れている一般的な攻撃ツールと同様のワークフローと用語を使用します。セキュリティ プロフェッショナルは、次の方法でこのツールを利用できます。

  • ペネトレーション テストとレッド チームの AI システム:このツールには、AI モデルを回避して盗むためのレッド チームのオペレーションをブートストラップするために使用できる、公開されている攻撃アルゴリズムがプリロードされています。 AI システムへの攻撃には従来の悪用の要素も含まれるため、セキュリティ プロフェッショナルは、ターゲット インターフェイスと組み込みの cmd2 スクリプト エンジンを使用して、既存の攻撃ツールから Counterfit にフックできます。さらに、ターゲット インターフェイスを使用すると、ネットワーク トラフィックをきめ細かく制御できます。 Counterfit をAdversarial ML Threat Matrixと一緒に使用することをお勧めします。これは、セキュリティ アナリストが AI システムに対する脅威に方向付けるために、MITRE と Microsoft によってリリースされた ATT&CK スタイルのフレームワークです。

モデル回避の脆弱性について AI モデルをスキャンするために使用される Microsoft Counterfit のデモ。

  • AI システムの脆弱性スキャン:このツールは、公開されている攻撃アルゴリズムを使用して AI モデルをスキャンするのに役立ちます。セキュリティ プロフェッショナルは、AI モデルの幅広い脆弱性をカバーするために、デフォルトを使用したり、ランダム パラメーターを設定したり、カスタマイズしたりできます。 AI システムに複数のモデルがある組織は、Counterfit の組み込みの自動化を使用して大規模にスキャンできます。オプションで、Counterfit を使用すると、組織は AI システムを関連する攻撃で何度でもスキャンして、ベースラインを作成できます。脆弱性に対処しながらこのシステムを定期的に実行することは、AI システムの保護に向けた継続的な進捗状況を測定するのにも役立ちます。
  • AI システムのロギング: Counterfit は、ターゲット モデルに対する攻撃を記録するためのロギングも提供します。テレメトリは、データ サイエンス チームとエンジニアリング チームが AI システムの障害モードについて理解を深めるのに役立つ可能性があります。

このツールは、エンジニアが AI システムを安全に開発および展開できるようにするための Microsoft の広範な取り組みの一部です。次のリソースと一緒に使用することをお勧めします。

  • セキュリティ アナリストが AI システムに対する脅威に目を向けるために、Microsoft は MITRE と協力して、運用 ML システムに対する攻撃のケース スタディを備えた ATT&CK スタイルのAdversarial ML Threat Matrixをリリースしました。
  • セキュリティ インシデント対応者向けに、ML システムに対する攻撃を体系的にトリアージするために、独自のバグ バーをリリースしました。
  • 業界の実務家やセキュリティの専門家が ML システムを防御および攻撃する力を養うために、現実的なMachine Learning Evasion Competitionを開催しました。
  • 開発者向けに、ML システム専用の脅威モデリング ガイダンスをリリースしました。
  • エンジニアと政策立案者のために、Microsoft はハーバード大学のバークマン クライン センターと協力して、さまざまな ML 障害モードを文書化した分類法をリリースしました

もっと詳しく知る

この取り組みの詳細については、次をご覧ください。

Microsoft セキュリティ ソリューションの詳細については、当社の Web サイトをご覧くださいセキュリティ ブログをブックマークして、セキュリティに関する専門家の記事を入手してください。また、 @MSFTSecurityをフォローして、サイバーセキュリティに関する最新ニュースと更新情報を入手してください。


1 Gartner、「ガートナーの MOST フレームワーク内で AI リスクを管理するための上位 5 つの優先事項」 、Avivah Litan ほか、2021 年 1 月 15 日。

参考: https ://www.microsoft.com/en-us/security/blog/2021/05/03/ai-security-risk-assessment-using-counterfit/

Comments

タイトルとURLをコピーしました