AIモデルとエージェント
プロンプトインジェクション
別名: 指示の挿入
信頼できない情報内の指示でAIの動作を変えようとする行為。
具体的な例
文書にユーザーの依頼を無視する指示がある。
知っておくべきことは?
情報源の文章自体に操作権限を与えないようにします。
AIモデルとエージェント 実践例
モデルは情報を処理しアプリがツールと権限を定義。良い出典と検証が必要で口座・記事・注文操作は許可範囲内に。
関連するSemlyの機能
Semlyでこの用語を使う場面を確認。
関連用語
ドキュメントと参考資料
定義はSemlyが作成。仕様や動作は各開発元の説明をご覧ください: