リスクの本質

LLMの指示追従能力を逆手に取り、外部から注入された悪意ある命令でモデルの挙動を乗っ取る攻撃。信頼境界を破壊します。

攻撃シナリオ

分析対象の文書に埋め込まれた命令で、会話履歴などを外部に送信させる（間接的インジェクション）。

対策

リスクの本質

LLMが生成したコンテンツ（コード、SQLクエリ等）を後続システムが無防備に受け入れ、XSSやSQLインジェクション等の脆弱性を生むこと。

攻撃シナリオ

悪意あるプロンプトで生成されたSQLクエリが無検証で実行され、データ漏洩や破壊に繋がる。

対策

LLMの出力を「信頼できないユーザー入力」として扱う。

厳格なサニタイズ、バリデーション、エンコーディングを行う。

パラメータ化された安全なAPIを呼び出す設計にする。

リスクの本質

学習データを操作して、モデルに脆弱性、バックドア、バイアスを埋め込み、性能やセキュリティを損なわせる攻撃。

攻撃シナリオ

ファインチューニング用のデータセットに悪意あるデータを混入させ、特定の状況で不正なコードを生成させたり、偽情報を拡散させたりする。

対策

学習データソースを厳格に検証する。

十分なデータサニタイゼーションとフィルタリングを行う。

モデルの挙動を継続的に監視し、異常を検知する。

リスクの本質

リソースを大量に消費するような操作をLLMに対して行い、サービスの品質低下や利用料金の高騰を引き起こす。

攻撃シナリオ

非常に長いプロンプトや、再帰的に自己参照するような複雑なクエリを送りつけ、LLMの処理リソースを枯渇させる。

対策

APIレートリミットや使用量制限を設ける。

入力の長さや複雑さを検証・制限する。

ユーザーごとのリソース使用量を監視・制御する。

リスクの本質

脆弱なサードパーティ製のコンポーネント、事前学習済みモデル、データセットなどを利用することで、LLMアプリケーション全体が危険に晒される。

攻撃シナリオ

信頼できない提供元から入手した事前学習済みモデルにバックドアが仕込まれている。アプリケーションが利用するライブラリに脆弱性が存在する。

対策

信頼できる提供元からのモデルやコンポーネントのみを使用する。

依存関係を定期的にスキャンし、脆弱性を管理する。

ソフトウェア部品表（SBOM）を維持・管理する。

リスクの本質

LLMが応答を生成する際に、学習データに含まれていた機密情報や個人情報、専有情報を意図せず暴露してしまう。

攻撃シナリオ

入力した機密コードや事業戦略が学習され、他ユーザーのプロンプトに応答する形で断片的に生成されてしまう。

対策

データサニタイゼーションを徹底し、学習データから機密情報を除去する。

データの機微性に応じ、適切なモデルやサービスを使い分ける。

データ最小化の原則を遵守する。

リスクの本質

LLMが利用するプラグインの入力検証が不十分であったり、アクセス制御が緩かったりすることで、悪用される危険性。

攻撃シナリオ

自然言語でDBを操作するプラグインが、LLMからの入力をサニタイズせずに実行し、SQLインジェクションを引き起こす。

対策

プラグインへの入力を厳格に検証・型チェックする。

プラグインに最小権限の原則を適用する。

重要な操作にはユーザーの承認を必須とする。 

リスクの本質

LLMに与えられた権限や自律性が過剰であるため、意図しない、有害な、または危険なアクションを実行してしまう。

攻撃シナリオ

予定管理エージェントが騙され、全ての会議を削除したり、連絡先リストの全員にスパムメールを送信したりする。

対策

LLMが呼び出せるツールや機能を厳密に制限する。

機微なアクションには人間の承認（Human-in-the-loop）を必須とする。

詳細なログ記録と監視を行う。

リスクの本質

人間がLLMの出力を鵜呑みにし、検証を怠ることで、誤情報、セキュリティ脆弱性、不適切な決定に繋がる。ハルシネーションもこれに含まれる。

攻撃シナリオ

開発者がLLMの生成した安全でないコードをそのままコピー＆ペーストする。ユーザーがLLMの誤った法的・医学的アドバイスに従ってしまう。

対策

LLMの出力は助言であり、事実ではないと明確にユーザーに伝える。

生成された情報の根拠を提示し、ファクトチェックを促す。

最終的な意思決定の責任は人間が負うという原則を徹底する。

リスクの本質

専有されたLLMモデルへの不正アクセス、コピー、抽出。重大な知的財産および金銭的損失に繋がる。

攻撃シナリオ

サーバーに侵入し、モデルの重みファイルを直接ダウンロードする。巧妙なクエリでモデルの挙動を再現し、クローンを作成する。

対策

モデルとインフラへの厳格なアクセス制御を実装する。

ネットワークセグメンテーションや侵入検知システムを導入する。

モデルに電子透かし（ウォーターマーキング）技術を適用する。