Hugging Face、自律型AIエージェントが同社のネットワークをハッキングしたと警告

人工知能リポジトリ「Hugging Face」は、攻撃者が自律型AIエージェントシステムを用いて同社の本番環境インフラに侵入し、内部データセットや認証情報へのアクセス権を取得したことを明らかにした。

Hugging Faceは、主要なAIプロバイダーが提供する45,000以上のモデルへのアクセスを提供し、50,000以上の組織で利用されているオープンソースのAIおよび機械学習プラットフォームである。

同社は、パートナーや顧客のデータが影響を受けたかどうかについて現在も調査中であり、影響を受けた当事者には直接連絡すると述べた。Hugging Faceは、現時点で一般公開されているモデル、データセット、またはSpacesへの改ざんの証拠は見つかっておらず、同社のソフトウェアサプライチェーンは「安全であることが確認された」としている。

侵入はHugging Faceのデータ処理パイプラインから始まり、攻撃者は悪意のあるデータセットを利用して2つのコード実行の脆弱性を悪用し、処理ワーカー上でコードを実行した。これにより、攻撃者はクラウドおよびクラスターの認証情報を盗み出し、複数の内部クラスター間で横方向の移動を行うことが可能となった。

「この攻撃キャンペーンは、自律型エージェントフレームワーク（エージェント型セキュリティ研究用ハネス上に構築されたものとみられる。使用されたLLMは依然として不明）によって実行され、短命なサンドボックスの群れにおいて数千もの個別のアクションを実行し、パブリックサービス上に構築された自己移行型のコマンド＆コントロールシステムを介して行われた」 と、Hugging Faceは木曜日に公開したインシデント開示で述べた。「これは、業界が予測してきた『エージェント型攻撃者』のシナリオと一致する。」

この侵害を受けて、Hugging Faceは脆弱なコード実行経路（データセット構成におけるテンプレートインジェクションおよびリモートコードデータセットローダー）を閉鎖し、攻撃者を排除し、侵害されたノードを再構築し、影響を受けたすべての認証情報を無効化およびローテーションした。

また、悪意のある活動の検知システムを強化して導入し、法執行機関にインシデントを報告するとともに、現在、外部のフォレンジック専門家と協力して侵害の影響を評価している。

「攻撃者のエージェントを駆動していたモデルが、ジェイルブレイクされたホスト型モデルなのか、それとも制限のないオープンウェイトモデルなのかは不明です。いずれにせよ、攻撃者は利用ポリシーの制約を受けませんでしたが、私たちが最初に試みたホスト型モデルのガードレールによって、自社のフォレンジック調査が阻まれてしまいました」とHugging Faceは付け加えた。

「防御担当者への実践的な教訓は、インシデント発生前に、自社のインフラ上で実行可能な高性能モデルを事前に検証・準備しておくことです。これにより、ガードレールによるロックアウトを回避できるだけでなく、攻撃者のデータや認証情報が自社環境から流出するのを防ぐことができます。」

Hugging Faceは、ユーザーに対し、アクセストークンのローテーションや、不審な行動の兆候がないか最近のアカウント活動を確認するよう助言するとともに、AIによる攻撃への防御に関する知見を引き続き共有していくと述べた。

AIエージェントに関連付けられた同プラットフォームへのセキュリティインシデントとしてはこれが初めてだが、Hugging Faceが近年公表した侵害事例としてはこれが初めてではない。

同社は2年前、ハッカーが「Spaces」プラットフォームに侵入した際、一部のメンバーの認証シークレットを無効化し、きめ細かなアクセス トークンへの切り替えを推奨した。

また、近年では、脅威アクターがこのプラットフォームを悪用し、悪意のあるAI/MLモデルや情報窃取型マルウェアを拡散させたり、数千種類のAndroidマルウェアの亜種を広めたりしている。