Crean un ‘detector de mentiras’ para controlar las respuestas de los chatbots de IA

Los investigadores de inteligencia artificial han puesto el foco en uno de los grandes problemas de los actuales chatbots de IA: no basta con saber qué responde una máquina, también empieza a ser necesario averiguar qué está ocurriendo dentro de ella cuando responde.

Con ese objetivo, un grupo de científicos de la Universidad Northeastern, en Estados Unidos, y el International Consortium for Interpretable AI (ICINAi) trabaja en el desarrollo de una especie de «detector de mentiras» para sistemas de IA capaz de identificar señales internas asociadas a comportamientos engañosos, alucinaciones y otros fallos que pueden pasar inadvertidos en una conversación normal.

Caja blanca y caja negra

Según una nota de prensa, el ICINAi es un consorcio internacional que reúne a académicos y profesionales de distintos centros para desarrollar métodos de interpretación y auditoría de los modelos de inteligencia artificial. El grupo cuenta con más de 40 investigadores y trabaja compartiendo modelos, métodos de evaluación y recursos de computación.

La idea del «detector de mentiras» no consiste en analizar el tono de una respuesta o buscar determinadas palabras, como haría una herramienta tradicional de detección de engaños. El objetivo es mucho más ambicioso: observar directamente la actividad interna de la red neuronal y localizar patrones que indiquen que el sistema está siguiendo un proceso incompatible con aquello que finalmente comunica al usuario.

ICINAi define esta aproximación como una auditoría de «caja blanca», en contraste con la habitual visión de «caja negra» de los grandes modelos de lenguaje, que hace referencia a la imposibilidad de acceder a algunos de sus procesos internos una vez que son entrenados.

Fuente: Fuente: levante-emv.com