Modelos y agentes de IA

Inyección de prompts

También llamado: inyección de instrucciones

Intento de cambiar la conducta IA con instrucciones ocultas en datos no fiables.

Un ejemplo práctico

Un documento ordena ignorar la tarea del usuario.

¿Qué debo saber?

El contenido fuente no debe dar permisos de acción por sí mismo.

Modelos y agentes de IA en la práctica

El modelo procesa información; la aplicación define herramientas y permisos. Las respuestas fiables necesitan buenas fuentes y verificación. Las acciones sobre cuentas, contenido y pedidos deben respetar los permisos concedidos.

Funciones Semly relacionadas

Descubre cómo se aplica este concepto en Semly.

Semly MCPConecta datos y herramientas Semly a tu asistente. Analiza y trabaja con Leon conversando.Sitios para agentes de IAComparte conocimiento y formularios estructurados en un canal para agentes.

Términos relacionados

Agente de IASistema que usa modelo y herramientas para lograr objetivos con sus capacidades.AutorizaciónDeterminar a qué recursos y operaciones accede un usuario o aplicación identificados.Llamadas a herramientasMecanismo para que un modelo proponga usar una función que ejecuta la aplicación.

Documentación y lecturas adicionales

Definición preparada por Semly. Sus creadores explican estándares y comportamiento: