AIレッドチーミングとは？

AIレッドチーミングとは、攻撃者の立場でAIシステムに意図的な入力や操作を試み、有害な出力・情報の漏えい・想定外の動作などの弱点を洗い出す評価の手法のことです。 AIセキュリティの比較表では、対策の類型の1つ「診断・レッドチーミング」として扱っています。

脆弱性診断との関係

AIレッドチーミングは、AIに特有の弱点を攻撃者の視点で試す評価で、脆弱性診断サービスの工程の一部として提供されることがあります。一般的なアプリケーションの脆弱性診断がシステムの実装上の欠陥を対象とするのに対し、AIレッドチーミングはプロンプトへの応答や生成される出力そのものの振る舞いを確認の対象に含める点が特徴です。

役務として提供される場合と、製品として自動で試す場合

AIレッドチーミングは、専門家が手動で試行する役務として提供される場合と、あらかじめ用意した攻撃パターンを自動で実行する製品・機能として提供される場合があります。どちらの形で提供されるかは、サービスや製品によって異なります。

結果の読み方

評価の結果は、見つかった弱点の一覧と対策の提案をまとめた報告書の形で提供されることが多く、対象のAIシステムの構成や利用範囲によって確認する観点も変わります。攻撃の具体的な手順や入力例は、悪用を避けるため本サイトでは扱いません。

比較表の「対策の類型」欄で、「診断・レッドチーミング」を主な対策とするサービス・あわせて提供するサービスを確認できます。詳しくは比較表をご覧ください。

関連用語

プロンプトインジェクションとは／ジェイルブレイクとは／OWASP Top 10 for LLM Applicationsとは／ガードレールとは／LLMとは