Модели и агенты ИИ
Промпт-инъекция
Также известен как: внедрение инструкций
Попытка изменить поведение ИИ инструкциями, скрытыми в недоверенных данных.
Пример на практике
Документ содержит указание игнорировать задачу пользователя.
Что нужно знать?
Контент источника сам не должен давать разрешения действий.
Модели и агенты ИИ на практике
Модель обрабатывает сведения, приложение определяет инструменты и права. Надежным ответам нужны источники и проверка. Действия с аккаунтами, контентом и заказами ограничены выданными правами.
Связанные функции Semly
Как понятие применяется в работе с Semly.
Связанные термины
Документация и материалы
Определение подготовлено Semly. Стандарты и поведение описывают их создатели: