IA segura: El reto tecnológico que destaca Seguritech

Los sistemas de Inteligencia Artificial (IA) están evolucionando de herramientas que responden a instrucciones hacia agentes capaces de ejecutar secuencias de tareas e interactuar con diferentes entornos digitales.

Ante ese cambio, en Seguritech destacan la necesidad de incorporar mecanismos de seguridad que permitan anticipar fallas, limitar acciones no previstas y mantener la supervisión humana sobre las operaciones críticas.

La transición hacia modelos más autónomos plantea nuevas exigencias para la arquitectura tecnológica de las organizaciones.

La protección de redes y aplicaciones sigue siendo indispensable, pero ahora debe complementarse con evaluaciones del comportamiento de los modelos, controles de acceso, validación de resultados y protocolos para responder ante anomalías.

Para Pablo Maiolo, CTO de la compañía mexicana, la seguridad debe integrarse desde la concepción de las soluciones de IA y mantenerse como una responsabilidad permanente durante su operación.

Nuevos escenarios de riesgo

La autonomía amplía las posibilidades de automatización, pero también introduce variables que deben analizarse antes de desplegar un sistema.

Las interacciones con servicios externos, el uso de herramientas y la ejecución de acciones encadenadas pueden generar resultados distintos de los previstos por sus desarrolladores.

El tema fue abordado durante una cumbre sobre seguridad de la IA en Dublín; en ella, Demis Hassabis, director de Google DeepMind, advirtió sobre incidentes relacionados con agentes autónomos y la necesidad de intensificar las medidas preventivas.

Brad Smith, presidente de Microsoft, propuso mecanismos de emergencia para detener o ralentizar sistemas cuando las circunstancias lo ameriten; en tanto, Jensen Huang, director ejecutivo de NVIDIA, enfatizó, por su parte, la responsabilidad de las empresas que desarrollan inteligencia artificial de garantizar la seguridad de sus productos.

Radio Francia Internacional (RFI) informó que las declaraciones de Huang se produjeron después de incidentes en los que sistemas de distintas compañías interactuaron con entornos externos de formas no previstas.

Para Seguritech, dichos antecedentes refuerzan la necesidad de pasar de una protección centrada exclusivamente en la infraestructura a un modelo de seguridad que contemple tanto los componentes técnicos como las acciones que puede ejecutar cada sistema.

Controles técnicos para una IA confiable: Seguritech

Una estrategia de protección debe abarcar diferentes capas de la solución tecnológica; entre los elementos que requieren atención se encuentran:

• Evaluación preventiva de riesgos: identificar vulnerabilidades y escenarios de fallo antes de desplegar una aplicación en entornos reales.
• Protección de datos: establecer controles para resguardar la información utilizada durante el entrenamiento y la operación de los modelos.
• Pruebas de comportamiento: comprobar las respuestas de los sistemas ante instrucciones ambiguas, situaciones excepcionales y condiciones fuera de los escenarios habituales.
• Límites de autonomía: definir qué acciones puede realizar un agente, a qué recursos puede acceder y en qué circunstancias necesita autorización.
• Mecanismos de intervención: habilitar procedimientos para suspender operaciones, aislar componentes o corregir comportamientos anómalos.
• Supervisión y trazabilidad: facilitar la revisión de las decisiones automatizadas, la identificación de errores y la asignación de responsabilidades.

 

Tales medidas deben complementarse con políticas de privacidad, transparencia y evaluación de posibles sesgos algorítmicos, así como con criterios claros para el uso responsable de la tecnología.

Innovación, regulación y responsabilidad tecnológica

El debate internacional refleja distintas posturas sobre cómo avanzar; ya que, algunos especialistas consideran que los modelos más avanzados requieren mayores restricciones y supervisión; otros defienden que las medidas de protección deben desarrollarse sin obstaculizar innecesariamente la innovación.

No obstante, la evaluación independiente, la responsabilidad de los desarrolladores y la creación de marcos regulatorios figuran entre los componentes centrales de la discusión.

Desde la perspectiva de Seguritech, la seguridad no debe entenderse como una función aislada que se activa ante un incidente.

sin embargo, debe formar parte de la planificación, el desarrollo, las pruebas, el despliegue, el monitoreo y la actualización de los sistemas.

El desafío técnico consiste en asegurar que la autonomía no implique ausencia de control y para conseguirlo, las organizaciones necesitan combinar innovación con procedimientos comprobables, supervisión efectiva y capacidad de respuesta ante fallas.

De ahí que, la IA podrá desplegar su potencial sin dejar de lado la protección de los datos, las operaciones y las personas.