EN हि ES FR AR
SOC 2 · ISO 27001 · Residencia de datos bajo solicitud
A.25Seguridad

Ciberseguridad con IA en las organizaciones: riesgos, amenazas y buenas prácticas

Guía práctica para proteger el uso de la IA por parte del personal, los datos de la empresa y los sistemas de IA, sin tratar cada herramienta nueva como una crisis.

La ciberseguridad de la IA no es un programa de seguridad aparte. Consiste en aplicar buenas prácticas de seguridad a nuevos sistemas, flujos de datos y formas de interactuar con el software. Hoy las organizaciones usan asistentes de IA para redactar mensajes, buscar en el conocimiento interno, analizar documentos y activar flujos de trabajo. Cada uso puede cambiar por dónde circula la información y qué puede hacer una persona o un sistema automatizado. El objetivo es entender esos cambios, proteger lo importante y mantener la IA útil dentro de límites claros.

Por qué importa la ciberseguridad de la IA para las organizaciones

Los sistemas de IA pueden procesar grandes volúmenes de texto, código, imágenes, audio y registros empresariales. Pueden conectarse a repositorios de documentos, correo electrónico, sistemas de clientes, herramientas de software o sitios web públicos. Por eso forman parte del entorno de información e identidad de la organización; no son simplemente una ventana de chat. Una revisión de seguridad debe plantear las preguntas habituales: qué datos entran, dónde se procesan, quién puede recuperarlos, qué acciones pueden realizarse y cómo se registra la actividad. El perfil de IA generativa del NIST integra la seguridad de la IA en una gestión de riesgos más amplia que abarca el diseño, el uso y la evaluación. Perfil de IA generativa del Marco de Gestión de Riesgos de IA del NIST

El riesgo no se limita a que ataquen un modelo. Un empleado podría pegar datos de un cliente en una herramienta no aprobada. Un asistente de IA podría recuperar un documento con permisos más amplios que los del propio empleado. Un flujo de trabajo podría aceptar texto generado como instrucción para actualizar un registro o enviar un mensaje. Son problemas habituales de seguridad de la información y control de acceso en un contexto nuevo. Un buen punto de partida es identificar el servicio de IA, los datos conectados, las identidades implicadas y cualquier acción que pueda realizar el sistema. Las directrices del NCSC para el desarrollo seguro de sistemas de IA abarcan prácticas relacionadas, como la comprensión de los riesgos, el modelado de amenazas y la gestión de activos. Guía del NCSC para el desarrollo seguro de sistemas de IA

Por tanto, antes de intentar controlar el uso de la IA, las organizaciones deben hacerlo visible. Inventaríe los productos de IA aprobados, los modelos internos, las extensiones del navegador, las funciones de agente, las API y las integraciones. Pregunte a los equipos qué usan y qué tareas esperan que realice la IA. Una prohibición general no resuelve el uso de IA no autorizada si el personal sigue necesitando hacer el trabajo; son más útiles las opciones aprobadas y un proceso rápido para solicitar una revisión. Mantenga actualizado el inventario a medida que los productos incorporan funciones, porque un asistente de escritura que obtiene acceso a archivos o herramientas tiene otro perfil de seguridad.

Ciberamenazas habituales relacionadas con la IA

Phishing y suplantación asistidos por IA

Las herramientas generativas pueden ayudar a un delincuente a redactar un mensaje verosímil, adaptar el texto a quien lo recibe o preparar un guion de suplantación. Esto no hace que todos los mensajes sean más convincentes ni elimina las señales de alerta habituales. Sí significa que la gramática y el tono, por sí solos, son criterios poco fiables para determinar si una solicitud es auténtica. Ante un cambio de pago inesperado, un restablecimiento de contraseña, una solicitud de archivos sensibles o una aprobación urgente, verifique el proceso en lugar de analizar el estilo de redacción. Utilice otro canal de confianza y la vía de aprobación establecida por la organización.

También es posible manipular o sintetizar la voz y el vídeo. Una llamada que parece provenir de un directivo no debe bastar para eludir controles de pago, revelar credenciales o saltarse la aprobación de dos personas. Acuerde un procedimiento de verificación antes de que ocurra un incidente: devuelva la llamada a un número del directorio, confirme la solicitud mediante el flujo habitual y exija una aprobación independiente para las acciones de alto impacto. Como ejemplo ilustrativo, un empleado de finanzas recibe un mensaje de voz familiar que solicita cambiar ese mismo día los datos de un proveedor. En vez de actuar basándose en la grabación, hace una pausa, llama al número conocido y confirma la solicitud con un segundo aprobador.

Exposición de datos mediante prompts y servicios conectados

Cuando los empleados envían prompts, archivos o el historial de conversaciones a un servicio de IA, la información sale del límite de su aplicación de origen. El tratamiento concreto depende del producto, el tipo de cuenta, el contrato, la configuración y las integraciones conectadas. En vez de suponer que todos los productos de IA funcionan igual, la organización debe verificar la retención, los ajustes de mejora del modelo, los controles administrativos, los subencargados del tratamiento, la ubicación de los datos y las condiciones de eliminación. También puede aparecer información sensible en respuestas generadas si el sistema recupera datos que el usuario actual no debería ver. OWASP señala la divulgación de información sensible como un riesgo clave en las aplicaciones de IA generativa. OWASP Top 10 para aplicaciones LLM

Como ejemplo ilustrativo, piense en un empleado que pide a un chatbot no aprobado resumir una hoja de cálculo con nombres de clientes y notas de casos. La preocupación inmediata no es si el modelo memorizará el archivo. Las preguntas concretas son si el servicio está aprobado para esos datos, quién puede acceder al prompt y a la respuesta, cuánto tiempo se conservan y si el archivo incluye más información de la necesaria. La minimización de datos ayuda en cualquier configuración: elimine identificadores, use un fragmento pequeño o trabaje con ejemplos sintéticos cuando no necesite el registro real.

Inyección de prompts e instrucciones maliciosas

Un asistente de IA puede procesar instrucciones insertadas en un correo, una página web, una imagen o un documento. Una instrucción maliciosa puede intentar que ignore su tarea, revele información o utilice una herramienta conectada de forma inesperada. Esto se denomina inyección de prompts. Es especialmente relevante cuando un sistema mezcla instrucciones de confianza con contenido recuperado de fuentes externas. Trate el material recuperado como entrada no confiable, gestione los permisos fuera del modelo y haga que la aplicación verifique cada acción propuesta. OWASP explica que la inyección de prompts puede afectar a los sistemas que utilizan recuperación u otro contenido externo. Riesgo de inyección de prompts según OWASP

Uso indebido, componentes comprometidos y resultados inseguros

Una persona interna o un atacante externo pueden hacer un uso indebido de la IA, igual que del correo, los editores de código, las consolas en la nube y otras herramientas legítimas. Los sistemas de IA también dependen de modelos, conjuntos de datos, complementos, bibliotecas, servicios de alojamiento y API. Una integración deficiente o una dependencia comprometida puede exponer más que un defecto del modelo. El código o las instrucciones generados pueden ser incorrectos o inseguros; revíselos antes de ejecutarlos o usarlos en una decisión importante. Los equipos de seguridad deben incluir los componentes de IA en las revisiones habituales de proveedores, la gestión de vulnerabilidades, el control de cambios y la respuesta a incidentes, en lugar de crear un proceso aparte sin responsables.

Riesgos de seguridad cuando los empleados usan ChatGPT y otras herramientas de IA

Los empleados suelen recurrir a una herramienta de IA porque les ahorra tiempo en una tarea real. Una política que se limite a decir «no introduzca datos confidenciales» deja preguntas importantes sin responder: qué herramientas están aprobadas, qué se considera confidencial, cómo solicitar acceso y qué hacer si una herramienta ya está conectada a archivos de la empresa. Proporcione al personal una política breve y práctica con ejemplos. Por ejemplo, puede ser aceptable usar en un asistente aprobado textos de productos de dominio público, mientras que los identificadores de clientes, el código fuente, las credenciales, los borradores jurídicos y la información financiera aún no publicada requieren autorización expresa o deben quedar excluidos.

No dé por sentado que una cuenta personal y una cuenta administrada por la organización ofrecen los mismos controles. Compruebe las condiciones y la configuración reales del servicio, y documente lo que la organización haya verificado. Confirme si los administradores pueden gestionar las cuentas, la autenticación, la retención, el intercambio de datos, los complementos y los registros de auditoría. Si el personal conecta una herramienta a una unidad en la nube o a un sistema de mensajería, revise los permisos concedidos y vuelva a comprobarlos cuando cambien las funciones. Desactive los conectores opcionales que no se necesiten. Mantenga el acceso dentro de la autorización que ya tiene cada empleado y permita revocar rápidamente las sesiones y los tokens.

La formación debe enseñar acciones, no eslóganes. Muestre a los empleados cómo identificar herramientas aprobadas, quitar datos innecesarios de un prompt, validar el contenido generado y notificar una posible exposición. Aclare que una respuesta generada no demuestra que algo sea cierto, autorizado o aprobado. Como ejemplo ilustrativo, un analista del servicio de asistencia puede usar un asistente aprobado para redactar una respuesta a partir de un fragmento de ticket depurado, comprobar la política citada y enviar el mensaje mediante el sistema habitual de tickets. El asistente ayuda con la redacción; el analista sigue siendo responsable del contenido y de la divulgación.

Proteja los sistemas de IA, los datos de la empresa, las API y los accesos

Empiece por la gobernanza y un modelo de amenazas

Asigne un responsable a cada caso de uso de IA y registre su finalidad empresarial, las clases de datos, los proveedores, las integraciones, los usuarios y las posibles consecuencias. Trace los límites de confianza: prompts públicos, archivos cargados, material interno recuperado, proveedores de modelos, herramientas y sistemas posteriores. Considere el uso indebido por parte de un empleado, una cuenta comprometida, un documento malicioso, la interrupción de un proveedor y una actualización del modelo que cambie su comportamiento. La guía del NCSC recomienda tener en cuenta la seguridad durante todo el diseño, desarrollo, despliegue y funcionamiento de los sistemas de IA, no solo en el lanzamiento. Guía del NCSC sobre el ciclo de vida de seguridad de la IA

Proteja los datos y las vías de recuperación

Clasifique la información antes de que entre en un modelo o índice de recuperación. Recopile solo lo que necesite la tarea, oculte los identificadores cuando sea posible y establezca el periodo de retención más breve que permita cumplir la finalidad aprobada. Compruebe los accesos al recuperar el contenido, no solo al crear el índice. Si una persona no puede abrir directamente un documento de origen, la IA no debe revelar su contenido en un resumen. Pruebe los cambios de acceso, los registros eliminados y los límites entre equipos con cuentas representativas. Registre lo suficiente para investigar los accesos, sin copiar innecesariamente prompts sensibles a otro repositorio sin control.

Mantenga bajo control las identidades, las API y las acciones

Asigne a cada servicio o agente una identidad propia y únicamente los permisos necesarios para una tarea definida. No incluya secretos de larga duración en prompts, código fuente, almacenamiento del navegador ni registros. Guarde las credenciales de API en un gestor de secretos aprobado, rótelas, limite su alcance y supervise su uso. Valide las solicitudes en el servidor, aplique autorización a cada operación de API y cree una lista de herramientas permitidas para el agente. El modelo puede sugerir una acción, pero el código determinista de la aplicación debe verificar al usuario, el objetivo, los límites y las reglas de negocio antes de ejecutarla.

Añada controles para las acciones con consecuencias importantes. El envío de un mensaje externo, la modificación de un registro financiero, la concesión de acceso, la eliminación de información o la aprobación de una transacción deben contar con un paso de confirmación definido. La aprobación humana solo sirve si quien revisa puede ver qué ocurrirá, por qué y en qué registro. Para las acciones de menor riesgo, use permisos de alcance reducido, límites de frecuencia, cambios reversibles y registros de auditoría claros. Si el sistema no puede explicar qué permiso permitió una acción, debe mejorar el modelo de permisos antes de ampliar la función.

Pruebe, supervise y prepárese para responder

Pruebe la aplicación completa, no solo las respuestas del modelo. Incluya documentos maliciosos, formatos de archivo inusuales, intentos de cruzar permisos de usuarios, inyección de prompts, resultados inseguros, abuso de API y fallos de servicios conectados. Registre el comportamiento esperado y las condiciones para detenerse antes de iniciar un piloto. Supervise la autenticación, la recuperación, las llamadas a herramientas, el tratamiento de resultados y los cambios de configuración. Establezca una vía para responder ante datos expuestos, acciones inesperadas, credenciales comprometidas e incidentes de proveedores. Preserve los registros pertinentes, revoque las credenciales cuando sea necesario, contenga la integración e informe a los responsables afectados cómo notificar sus inquietudes.

La seguridad de la IA es una responsabilidad operativa continua. Revise los cambios en las versiones de los modelos, las funciones de los proveedores, las fuentes de datos y los permisos antes de que lleguen a los usuarios. Repita las pruebas tras cambios importantes y aproveche los incidentes o cuasiincidentes para actualizar los controles. La guía de CISA sobre seguridad desde el diseño insta a los fabricantes de tecnología a asumir la responsabilidad de los resultados de seguridad de sus clientes y a entregar productos seguros desde el diseño. Para una organización que adopta herramientas de IA, es un motivo para preguntar a los proveedores cómo se integra la seguridad en sus productos, sin dejar de gestionar su propia configuración, accesos y datos. Principios de CISA sobre seguridad desde el diseño

Lista práctica de verificación de ciberseguridad de IA para empresas

  • Mantenga un inventario de herramientas de IA, cuentas, modelos, API, agentes, fuentes de datos y responsables empresariales.
  • Defina los usos aprobados y los datos prohibidos con ejemplos que el personal pueda aplicar en su trabajo.
  • Antes de aprobar un servicio, revise las condiciones del proveedor, la retención, los ajustes de mejora del modelo, los controles de acceso y la notificación de incidentes.
  • Clasifique y minimice los datos de entrada; evite enviar credenciales, secretos o información personal innecesaria.
  • Aplique el principio de privilegio mínimo a los empleados, las integraciones, las identidades de servicio, las claves de API y las herramientas de los agentes.
  • Exija una verificación independiente para las solicitudes de pago, acceso, divulgación, eliminación u otras acciones de alto impacto.
  • Pruebe la inyección de prompts, la recuperación no autorizada, los resultados inseguros y el uso indebido de herramientas antes y después de los cambios.
  • Registre los accesos y las acciones pertinentes, asigne responsables de incidentes y practique la revocación del acceso y la contención de integraciones.

El objetivo práctico no es impedir que los empleados usen la IA. Es hacer comprensible el uso aprobado, mantener los datos sensibles y los permisos dentro de límites claros y verificar las acciones antes de que afecten a personas o registros empresariales. Empiece con un inventario y una revisión concreta de riesgos; amplíe el uso solo cuando estén listos los controles y sus responsables.

Lea nuestra guía de gobernanza de IA para saber más sobre cómo convertir los controles en requisitos de ingeniería, o consulte los servicios de gobernanza y operaciones de APLS.

← Todas las perspectivas Iniciar una conversación →