La necesidad de auditar y fortalecer los sistemas de inteligencia artificial se ha vuelto crítica en el contexto empresarial actual. En el reciente artículo titulado «Desde barandillas hasta gobernanza: Una guía de CEO para asegurar sistemas agentes», Jessica Hammond presenta un enfoque sistemático para abordar el creciente riesgo que presentan los sistemas agentes. En un entorno donde los agentes funcionan casi de manera autónoma, es esencial implementar controles rigurosos que aseguren no solo la identidad y capacidad de estos sistemas, sino también su relación con herramientas y datos. Este marco operativo establece un enfoque proactivo a la seguridad, donde los CEOs deben reconocer la importancia de tratar a los agentes como usuarios reales dentro de los mismos parámetros de gobernanza que se aplicarían a los empleados humanos.
La primera clave del plan propuesto por Hammond es la identificación clara y la restricción de capacidades para cada agente. Es vital que las empresas implementen políticas que limiten los accesos y derechos de estos agentes, asegurando que operen bajo identidades definidas y con permisos acordes a su rol dentro de la organización. Esta medida no solo previene el acceso no autorizado a información sensible, sino que también proporciona un camino claro para la rendición de cuentas, ya que cada acción puede ser rastreada y auditada. La pregunta que cada CEO debe hacerse es: ¿Quién tiene acceso a qué, y cómo podemos controlar estas interacciones de manera efectiva?
En segundo lugar, la guía enfatiza la necesidad de controlar las herramientas que los agentes utilizan. La falta de regulación en el manejo de las herramientas podría llevar a situaciones peligrosas, como el caso de espionaje recientemente documentado. Al establecer un marco donde cada herramienta sea aprobada y limitada, se minimiza el riesgo de que los agentes interactúen con elementos no verificados o potencialmente maliciosos. Este enfoque destaca la importancia de una vigilancia continua y la necesidad de un protocolo de verificación para cualquier nueva herramienta que se integre al sistema, asegurando que solo aquellas que cumplen con los criterios de seguridad sean autorizadas.
Además, Hammond sugiere abordar la manera en que los agentes manejan los datos y sus comportamientos. Tratar las entradas de datos como potencialmente hostiles es crucial para prevenir incidentes de seguridad. Cada dato externo debe ser evaluado y validado antes de ser utilizado por los agentes, asegurando que solo la información confiable sea procesada. Igualmente, el manejo de las salidas debe incluir validadores que revisen cualquier acción de los agentes antes de ser ejecutada, lo que puede evitar graves consecuencias de decisiones erróneas tomadas por un sistema automatizado. Este enfoque integral reduce los puntos de falla y fortalece el sistema en su conjunto.
Por último, la guía de Hammond propone establecer mecanismos de evaluación continua y una gobernanza eficaz para mantener la resiliencia de los sistemas agentes. Esto implica no solo auditar cómo operan los agentes, sino también mantener un inventario exhaustivo de las herramientas y permisos asociados a cada uno. La transparencia en la auditoría y el control es fundamental para responder a la creciente presión sobre las empresas para demostrar la seguridad de sus sistemas. En un mundo donde la ciberseguridad es primordial, es imprescindible que los ejecutivos respondan a las preguntas críticas que ponen a prueba la integridad de sus operaciones. Con una estructura de gobernanza sólida, los líderes empresariales pueden abordar el riesgo de forma informada y efectiva, transformando así la relación entre la IA y la seguridad corporativa.
