EN हि ES FR AR
SOC 2 · ISO 27001 · Residencia de datos bajo solicitud
A.26Seguridad

Inyección de prompts y seguridad de agentes de IA: cómo proteger los sistemas de IA empresariales

Medidas prácticas para proteger sistemas de IA que leen contenido no confiable, recuperan datos de la empresa y utilizan herramientas.

Un agente de IA puede leer un correo, buscar en una base de conocimientos, llamar a una API y preparar una acción empresarial. Esta combinación resulta útil, pero crea un límite de seguridad que no existe en las interfaces de chat habituales. La inyección de prompts intenta dirigir el modelo mediante instrucciones incluidas en un prompt o en el contenido que lee. Un diseño seguro parte de que algunas instrucciones serán engañosas y limita a qué puede acceder o qué puede hacer el sistema si el modelo las sigue. No es posible eliminar de forma fiable la inyección de prompts con solo idear un prompt de sistema ingenioso.

Qué es la inyección de prompts

Los modelos de lenguaje procesan instrucciones y texto corriente dentro de un mismo contexto. Una inyección directa de prompts aparece en el mensaje de un usuario, por ejemplo, en una solicitud para ignorar la tarea y revelar información. Una inyección indirecta se incluye en contenido que el sistema leerá después, como una página web, un correo, un documento, un ticket de soporte o un comentario en código. El texto puede parecer normal a una persona e intentar influir en el modelo al mismo tiempo. La aplicación no puede dar por sentado que el material recuperado sea fiable solo porque proceda de un índice de búsqueda aprobado. Riesgo de inyección de prompts según OWASP

Esto es distinto de una vulnerabilidad clásica de inyección en bases de datos. SQL puede separar los comandos ejecutables de los datos mediante mecanismos de consulta estructurados. Los modelos de lenguaje natural están diseñados para interpretar el lenguaje, y los atacantes pueden aprovechar esa capacidad mezclando instrucciones y datos. Los filtros y los prompts de sistema pueden reducir algunos riesgos, pero no crean una separación garantizada entre las instrucciones de confianza y el texto no confiable. La entrada LLM01 de OWASP señala que la recuperación y el ajuste fino no mitigan por completo la inyección de prompts, y que no está claro que existan métodos de prevención infalibles. Riesgo de inyección de prompts según OWASP

Las consecuencias dependen de la aplicación que rodea al modelo. Un asistente de solo texto podría responder de forma engañosa. Uno conectado podría exponer contenido que puede recuperar. Un agente con herramientas también podría enviar un mensaje, modificar un registro o llamar a una API. No hace falta que el modelo sea objeto de un «hackeo» en el sentido tradicional para que falle un flujo de trabajo. La cuestión de seguridad es si una entrada no confiable puede influir en una decisión sensible y si el software verifica de forma independiente el acceso a los datos y la acción posterior.

Qué nos enseñan los casos documentados

En 2025 se publicó CVE-2025-32711 para Microsoft 365 Copilot. La National Vulnerability Database describe un problema de inyección de comandos en IA que podría permitir a un atacante no autorizado divulgar información a través de una red. NVD incluye entre sus referencias un aviso de seguridad de Microsoft. Esto demuestra que se divulgó una vulnerabilidad documentada, pero por sí solo no demuestra que los atacantes la explotaran en el mundo real. La lección para las organizaciones es tratar las funciones de asistente que procesan mensajes e información conectada como software con un modelo de amenazas, permisos, actualizaciones y responsables de incidentes. Registro de NVD para CVE-2025-32711

La guía de OWASP para prevenir la inyección de prompts también remite a investigaciones sobre la inyección remota de prompts en GitLab Duo. Ese caso muestra por qué el contenido aportado por otro usuario, un repositorio o una fuente externa debe tratarse como no confiable cuando un asistente lo resume o actúa a partir de él. Una revisión útil pregunta qué puede ver el asistente, si un texto externo puede cambiar su tarea y si una sugerencia puede llegar a una herramienta sin una verificación de autorización independiente. Las demostraciones de investigación en seguridad ayudan a los equipos a crear pruebas, pero una vía de ataque demostrada no debe describirse como un incidente confirmado en producción salvo que una fuente fiable lo establezca. Referencias de casos de inyección de prompts de OWASP

Estos ejemplos no significan que todos los asistentes de IA estén expuestos de la misma manera. Importan la configuración del producto, los conectores disponibles, la identidad del usuario y los controles de acciones de la aplicación. Sí muestran por qué la inyección de prompts debe incluirse en el modelado de amenazas y las pruebas de seguridad. Un mismo documento puede ser inocuo al resumirlo con una herramienta de solo lectura y peligroso si un agente puede utilizarlo para iniciar acciones privilegiadas.

Represente el ataque como una secuencia en vez de buscar una sola frase sospechosa. Primero, identifique por dónde entra el contenido no confiable. Después, siga lo que puede recuperar el modelo, las herramientas que expone la aplicación, cómo se verifica la acción propuesta y adónde se envía el resultado. Un control en cada límite puede frenar el paso siguiente. Por ejemplo, una instrucción inyectada puede influir en un borrador, pero no debería poder elegir un destinatario arbitrario, leer un documento restringido ni enviar el borrador sin las verificaciones de autorización de la aplicación. Esta perspectiva de cadena también proporciona pruebas útiles para quienes responden a incidentes.

Riesgos habituales para asistentes y agentes

Acceso no autorizado y exposición de datos sensibles

Si un asistente recupera contenido con una cuenta de servicio de permisos amplios, puede exponer información que excede la autoridad del usuario actual. Una inyección de prompts puede intentar que el asistente busque secretos o incluya material privado en su respuesta. El problema de fondo es el exceso de acceso, no solo el comportamiento poco fiable del modelo. Aplique la autorización al recuperar contenido mediante la identidad del usuario solicitante o una comprobación equivalente que tenga en cuenta los permisos. No confíe en que el modelo decida si una persona puede ver un documento.

Acciones realizadas sin autorización válida

Un agente puede disponer de herramientas para crear tickets, actualizar registros de clientes, enviar correos o cambiar la configuración de una cuenta. Una instrucción maliciosa puede intentar redirigir esas herramientas a un destino u operación no previstos. Una negativa expresada en lenguaje natural no es un mecanismo de control de acceso. La API debe comprobar por separado quién realiza la solicitud, el recurso, la acción y las reglas de negocio. Mantenga separados los permisos de lectura, borrador y escritura para que una tarea de resumen no se convierta sin aviso en una tarea de administración de cuentas.

Filtración de datos mediante resultados y destinos externos

Un asistente podría incluir texto confidencial en una respuesta generada, un argumento de herramienta, un mensaje o una solicitud a un servicio externo. Revise todas las vías de salida, incluidos los registros, las trazas, las notificaciones y los sistemas conectados. Aplique reglas de prevención de pérdida de datos cuando corresponda, pero no suponga que un filtro reconocerá todos los valores sensibles ni todas las codificaciones. Limite desde el principio los datos que recibe el modelo y valide en el código de la aplicación los destinos y destinatarios antes de enviar información fuera de la organización.

Agencia excesiva y responsabilidad poco clara

La «agencia» es la capacidad de un sistema para actuar mediante herramientas conectadas. Un agente con permisos amplios y persistentes puede convertir un pequeño error del modelo en un problema operativo mayor. Si se encadenan varias herramientas, puede ser difícil identificar qué decisión provocó una acción, a menos que el sistema registre cada paso. Defina un responsable, una tarea permitida y una condición para detenerse. Procure que las acciones sean reversibles y asigne a una persona usuaria o revisora la responsabilidad de las decisiones de alto impacto.

Buenas prácticas para proteger agentes de IA

Aplique el principio de privilegio mínimo fuera del modelo

Asigne a cada agente una identidad propia con únicamente los permisos necesarios para su tarea aprobada. Prefiera credenciales de corta duración y de alcance limitado. Aplique la autorización en la API o la capa de integración, no en el prompt. Valide cada llamada a una herramienta con una lista de operaciones y recursos permitidos. El modelo puede proponer una llamada, pero el software habitual debe decidir si está autorizada. Mantenga separadas las credenciales de desarrollo, prueba y producción, y facilite su revocación.

Como ejemplo ilustrativo, un agente de soporte que redacta respuestas a tickets puede necesitar acceso de lectura a un solo ticket y a contenido de ayuda aprobado, pero no permiso para exportar una base de datos de clientes o cambiar el acceso de un usuario. Si más adelante se amplía la tarea, revise el nuevo permiso como un cambio de diseño. No añada una cuenta potente solo porque sea más fácil de configurar. El conjunto mínimo de permisos facilita contener tanto las acciones accidentales como las hostiles.

Imagine un agente de incorporación que lee la lista de verificación de una nueva persona empleada y prepara solicitudes de cuentas. Un diseño seguro puede permitirle leer material de incorporación aprobado y crear una solicitud como borrador, mientras un gerente confirma la identidad, el puesto y los accesos antes de que un sistema de identidades independiente aplique el cambio. Una instrucción hostil dentro de un documento cargado no debe conceder nuevos accesos ni alterar la vía de aprobación. El ejemplo es ilustrativo, pero el patrón de control es reutilizable: limite lo que el agente puede proponer, verifique la solicitud en el sistema que administra el registro y deje la autoridad final en manos de un responsable.

Mantenga separado el contenido no confiable y adapte la recuperación a los permisos

Marque el contenido externo y el aportado por los usuarios como no confiable en el modelo de datos de la aplicación. Siempre que sea posible, mantenga las instrucciones del sistema, las decisiones de autorización y los secretos fuera de los documentos recuperados y del contexto visible para el modelo. Use filtros de recuperación vinculados a los permisos del usuario y vuelva a comprobar esos permisos antes de devolver contenido. En un caso ilustrativo, un asistente de proyecto busca archivos internos para un gerente. Solo debe recuperar los documentos que ese gerente pueda abrir directamente, aunque un archivo indexado incluya instrucciones para que el asistente ignore sus reglas. Guía de APLS para la recuperación con control de permisos

Exija aprobación humana para las acciones importantes

Intercale un paso de aprobación entre el agente y las acciones que envían comunicaciones externas, transfieren dinero, divulgan datos sensibles, conceden accesos o realizan cambios difíciles de revertir. Muestre a quien revisa la acción propuesta, su destino, los datos implicados y el motivo de la solicitud. La aprobación debe ser una comprobación real de autorización en la aplicación, no una frase que el modelo pueda generar. Para tareas de bajo riesgo, utilice límites, controles de frecuencia y borradores reversibles, en vez de pedir a una persona que apruebe cada paso menor.

Valide de forma determinista las entradas y salidas de las herramientas

Defina esquemas estrictos para los argumentos de las herramientas y rechace los campos desconocidos, los identificadores no válidos y las operaciones ajenas a la tarea. Realice comprobaciones en el servidor sobre la titularidad de las cuentas, los destinatarios permitidos, los límites de las transacciones y las transiciones de estado. Trate el código, los enlaces, las consultas y los comandos generados como no confiables hasta revisarlos y probarlos. Si otro sistema utiliza un resultado, codifíquelo para ese destino y aplique las validaciones habituales del sistema receptor. La confianza o explicación del modelo no demuestra que el resultado sea seguro.

Diseñe una respuesta segura ante fallos. Si un servicio de aprobación no está disponible, falla una comprobación de permisos o el agente recibe instrucciones contradictorias, debe detenerse o volver a una respuesta de solo lectura, en lugar de adivinar. Haga que los reintentos sean idempotentes para que un resultado incierto no provoque escrituras repetidas. Permita que una persona inspeccione una acción propuesta antes de enviarla y registre por qué se rechazó o pausó una solicitud. Estos controles habituales de fiabilidad son importantes porque un límite de seguridad que desaparece durante una interrupción no es un límite fiable.

Pruebe de forma adversarial y supervise el comportamiento

Diseñe pruebas a partir de fuentes realistas de texto no confiable: un archivo adjunto de correo, una página web pública, un comentario de cliente, una imagen o un documento con instrucciones contradictorias. Compruebe si el sistema revela contenido restringido, llama a herramientas fuera de su alcance o se salta una aprobación obligatoria. Pruebe distintos roles de usuario y cambios de acceso, no solo una cuenta de administrador. La guía de prevención de OWASP recomienda realizar pruebas de seguridad periódicas con patrones de ataque conocidos y aplicar un diseño de defensa en profundidad, y describe el filtrado de entradas y los prompts estructurados como capas, no como una defensa completa. Pruebas y medidas de mitigación de OWASP

Registre, cuando lo permitan las políticas y los requisitos de privacidad, el usuario, las fuentes recuperadas, las versiones del modelo y del prompt, el nombre de la herramienta, los argumentos validados, la aprobación y el resultado final. Evite almacenar prompts sensibles de forma indiscriminada. Genere alertas ante recuperaciones inusuales, repetidos rechazos de acciones, destinos inesperados, cambios de permisos o un aumento repentino del uso de herramientas. Permita que los operadores pausen el agente, revoquen sus credenciales y pasen a un proceso manual seguro. La guía del NCSC considera la operación y el mantenimiento seguros parte del ciclo de vida del sistema de IA. Guía del NCSC para el desarrollo seguro de sistemas de IA

Lista práctica de verificación de seguridad para agentes de IA

  • Documente el responsable, la finalidad, los usuarios, las fuentes de datos, las herramientas y las acciones prohibidas del agente.
  • Clasifique cada fuente como confiable, aportada por un usuario o externa, y trate las instrucciones recuperadas como no confiables.
  • Aplique la autorización del usuario en cada operación de recuperación y de API.
  • Utilice identidades específicas, permisos de alcance reducido, credenciales de corta duración y una revocación sencilla.
  • Exija una aprobación humana clara para las acciones sensibles, externas o difíciles de revertir.
  • Valide los argumentos y destinos de las herramientas, los resultados y las reglas de negocio mediante código determinista.
  • Pruebe la inyección directa e indirecta de prompts en distintos roles, documentos, enlaces y herramientas conectadas.
  • Supervise la recuperación y las acciones de las herramientas, conserve pruebas de auditoría útiles y ensaye cómo pausar y revocar el acceso.

La inyección de prompts es un riesgo que debe gestionarse, no un problema que pueda darse por resuelto. Establezca límites de seguridad en los sistemas de identidad, los controles de recuperación, las comprobaciones de API y la aprobación humana. Permita que el modelo ayude a interpretar información, pero mantenga la autoridad sobre los datos y las acciones en el software y en personas responsables.

Para conocer el modelo operativo más amplio, lea la guía de APLS sobre agentes de IA empresariales con autonomía acotada y consulte las capacidades de gobernanza de agentes.

← Todas las perspectivas Iniciar una conversación →