機械学習システムに対するサイバー攻撃は、あなたが思っているよりも一般的です

news

機械学習 (ML) は、金融、ヘルスケア、防衛などの重要な分野で驚異的な変革を遂げており、私たちの生活のほぼすべての側面に影響を与えています。多くの企業は、ML の進歩を活用したいと考えていますが、自社の ML システムのセキュリティを精査していません。本日、MITRE とともに、IBM、NVIDIA、Bosch を含む 11 の組織からの貢献により、Microsoft は業界に焦点を当てたオープン フレームワークであるAdversarial ML Threat Matrixをリリースし、セキュリティ アナリストが ML システムに対する脅威を検出、対応、修復できるようにします。 .

過去 4 年間で、Microsoft は商用 ML システムに対する攻撃が著しく増加したことを確認しました。市場レポートもこの問題に注目しています。2019 年 10 月に公開された Gartner の2020 年の戦略的テクノロジー トレンドのトップ 10では、「2022 年までに、すべての AI サイバー攻撃の 30% がトレーニング データ ポイズニング、AI モデルの盗難、または敵対的なサンプルを利用するようになる」と予測しています。 AIを搭載したシステムを攻撃します。」 ML システムを保護するこれらの説得力のある理由にもかかわらず、 Microsoft が 28 の企業を対象に実施した調査では、ほとんどの業界関係者がまだ敵対的機械学習を受け入れていないことがわかりました。 28 の企業のうち 25 は、ML システムを保護するための適切なツールが整っていないことを示しています。さらに、彼らは明確にガイダンスを求めています。準備は小規模な組織だけに限定されるものではないことがわかりました。 Fortune 500 の企業、政府、非営利団体、中小規模の組織に話を聞きました。

私たちの調査では、特にセキュリティ アナリストの間で、機械学習システムへのリスクが将来の懸念事項であると一般的に信じられていることから、顕著な認知的不協和が指摘されました。 ML システムに対するサイバー攻撃が増加しているため、これは問題です。たとえば、2020 年に商用システムの ML コンポーネントの最初の CVE が確認され、SEI/CERT が最初の脆弱性に関する注意事項を発行して、現在の ML システムの多くが、機密性、完全性、およびML システムの可用性。学術界は2004 年以来警鐘を鳴らしており、機械学習システムは注意深く保護しなければ危険にさらされる可能性があることを日常的に示してきました。

Adversarial ML Threat Matrix の紹介

Microsoft は MITRE と協力して Adversarial ML Threat Matrix を作成しました。これは、セキュリティ チームが ML システムへの攻撃から防御できるようにするための最初のステップは、悪意のある攻撃者が ML システムを破壊する際に使用する手法を体系的に整理するフレームワークを用意することであると考えているためです。セキュリティ コミュニティが、表にまとめた戦術と手法を使用して、組織のミッション クリティカルな ML システムに関する監視戦略を強化できることを願っています。

  1. 主な対象者はセキュリティ アナリストです。ML システムの保護は情報セキュリティの問題であると考えています。 Adversarial ML Threat Matrix の目標は、ML システムへの攻撃を、セキュリティ アナリストがこれらの新しい今後の脅威に向けることができるフレームワークに配置することです。マトリックスは、セキュリティ アナリスト コミュニティで広く採用されているため、ATT&CK フレームワークのように構成されています。このように、セキュリティ アナリストは、ML システムに対する脅威について学ぶために、新しいフレームワークや別のフレームワークを学ぶ必要がありません。 ML システムに対する攻撃は、企業ネットワークに対する従来の攻撃とは本質的に異なるため、Adversarial ML Threat Matrix も著しく異なります。
  2. ML システムに対する実際の攻撃に基づいている: このフレームワークには、Microsoft と MITRE が実稼働 ML システムに対して有効であると精査した一連の脆弱性と攻撃者の動作がシードされています。このようにして、セキュリティ アナリストは ML システムに対する現実的な脅威に集中できます。また、この分野での Microsoft の膨大な経験から学んだことをフレームワークに組み込みました。たとえば、モデルの盗用は攻撃者の最終目標ではなく、実際にはより狡猾なモデル回避につながることがわかりました。また、ML システムを攻撃する際、攻撃者はフィッシングやラテラル ムーブメントなどの「従来の手法」と敵対的な ML 手法を組み合わせて使用することもわかりました。

コミュニティに公開

私たちは、敵対的 ML が学界における重要な研究分野であることを認識しているため、トロント大学、カーディフ大学、カーネギー メロン大学のソフトウェア エンジニアリング研究所の研究者からも意見を集めました。 Adversarial ML Threat Matrix は、ML システムに対する既知の攻撃者の手法を収集する最初の試みであり、フィードバックと貢献を歓迎します。脅威の状況が進化するにつれて、このフレームワークは、セキュリティおよび機械学習コミュニティからの情報に基づいて変更されます。

機械学習のセキュリティに関して言えば、公的および私的な努力と責任の間の障壁はあいまいになっています。国家安全保障のような公共部門の課題は、公共投資と同様に民間主体の協力を必要とします。そのため、これらの課題への対処を支援するために、MITRE は Microsoft などの組織やより広範なコミュニティと協力して、機械学習サプライ チェーン全体の重大な脆弱性を特定することに取り組んでいます。

このフレームワークは、組織が機械学習システムをより全体的に保護する際の新たな課題について考えることができるように、コミュニティをまとめるための最初のステップです。」

– Mikel Rodriguez 氏、機械学習研究ディレクター、MITRE

このイニシアチブは、ML システムを安全に開発および展開するというマイクロソフトの取り組みの一環です。 AI, Ethics, and Effects in Engineering and Research (Aether)委員会は、エンジニアが安全でセキュアで信頼性の高い ML システムを開発し、顧客の信頼を維持するためのガイダンスを提供します。アクティブな攻撃から ML システムを包括的に保護および監視するために、Azure Trustworthy Machine Learning チームは、重要な ML システムのセキュリティ体制を定期的に評価し、製品チームおよびMicrosoft Security Response Center (MSRC) チームの最前線の防御者と協力しています。これらの活動からの教訓は、さまざまな人々のためにコミュニティと定期的に共有されています。

  • エンジニアと政策立案者のために、ハーバード大学のバークマン クライン センターと協力して、さまざまな ML 障害モードを文書化した分類法をリリースしました
  • 開発者向けに、ML システム専用の脅威モデリング ガイダンスをリリースしました。
  • セキュリティ インシデント対応者向けに、ML システムへの攻撃を体系的にトリアージする独自のバグ バーをリリースしました。
  • 学術研究者向けに、マイクロソフトは 30 万ドルのSecurity AI RFPを開始し、その結果、複数の大学と提携してこの分野の境界を押し広げました。
  • 業界の実務家やセキュリティの専門家が ML システムを防御および攻撃する力を養うために、Microsoft は現実的な機械学習回避コンテストを主催しました。

この取り組みは、セキュリティ アナリストとより広範なセキュリティ コミュニティを対象としています。マトリックスとケース スタディは、保護と検出の戦略を立てるのに役立つことを目的としています。このフレームワークは ML システムへの攻撃をシードするため、組織内で同様の演習を慎重に実行し、監視戦略を検証できます。

この取り組みの詳細については、Adversarial ML Threat Matrix GitHub リポジトリにアクセスし、 MITRE の発表およびSEI/CERT ブログのトピックを参照してください。

内部にマイクが付いたロックのイラストが表示された、セキュリティ ロック解除済みのポッドキャスト アイコン

Security Unlocked ポッドキャストを聞く

Security Unlocked のエピソード #9 で、このブログの著者からの詳細をお聞きください。最新のセキュリティ ニュースを取り上げた新しいエピソードを毎週購読してください。

今すぐ聞く

参照: https://www.microsoft.com/en-us/security/blog/2020/10/22/cyberattacks-against-machine-learning-systems-are-more-common-than-you-think/

Comments

タイトルとURLをコピーしました