OpenAI ha publicado reporte sobre generadora de texto que, era demasiado «peligrosa» para compartir

El laboratorio de investigación OpenAI ha publicado la versión completa de un sistema de IA que genera texto y que, según los expertos, podría utilizarse con fines maliciosos.

El instituto anunció originalmente el sistema, GPT-2, en febrero de este año, pero retuvo la versión completa del programa por temor a que se utilizara para difundir noticias falsas, spam y desinformación. Desde entonces ha lanzado versiones más pequeñas y menos complejas de GPT-2 y ha estudiado su recepción. Otros también replicaron el trabajo. En una entrada del blog de esta semana, OpenAI ahora dice que ha visto «ninguna evidencia fuerte de mal uso» y ha lanzado el modelo en su totalidad.

GPT-2 es parte de una nueva generación de sistemas de generación de texto que han impresionado a los expertos por su capacidad para generar textos coherentes a partir de un mínimo de instrucciones. El sistema fue entrenado en ocho millones de documentos de texto raspados de la web y responde a fragmentos de texto suministrados por los usuarios. Dale un titular falso, por ejemplo, y escribirá una noticia; dale el primer verso de un poema y te dará un verso completo.

Es difícil transmitir exactamente lo bueno que es el rendimiento del GPT-2, pero el modelo a menudo produce una escritura extrañamente convincente que a menudo puede dar la apariencia de inteligencia (aunque eso no quiere decir que lo que el GPT-2 está haciendo involucra cualquier cosa que reconozcamos como cognición). Sin embargo, si se juega con el sistema el tiempo suficiente, sus limitaciones se hacen evidentes. Sufre particularmente con el desafío de la coherencia a largo plazo; por ejemplo, usar los nombres y atributos de los personajes de manera consistente en una historia, o apegarse a un solo tema en un artículo de noticias.

La mejor manera de tener una idea de las habilidades del GPT-2 es probarlo usted mismo. Puede acceder a una versión web en TalkToTransformer.com e ingresar sus propias indicaciones. (Un «transformador» es un componente de la arquitectura de aprendizaje de la máquina utilizada para crear GPT-2 y sus compañeros.)

Aparte de las capacidades en bruto del GPT-2, la publicación del modelo es notable como parte de un debate en curso sobre la responsabilidad de los investigadores de la IA de mitigar los daños causados por su trabajo. Los expertos han señalado que el fácil acceso a herramientas de inteligencia artificial de última generación puede permitir a actores maliciosos; una dinámica que hemos visto con el uso de falsificaciones profundas para generar porno venganza, por ejemplo. OpenAI limitó la publicación de su modelo debido a esta preocupación.

Sin embargo, no todos aplaudieron el enfoque del laboratorio. Muchos expertos criticaron la decisión, diciendo que limitaba la cantidad de investigación que otros podían hacer para mitigar los daños del modelo, y que creaba una publicidad innecesaria sobre los peligros de la inteligencia artificial.

«Las palabras ‘demasiado peligroso’ fueron lanzadas aquí de manera casual sin mucho pensamiento o experimentación», dijo el investigador Delip Rao a The Verge en febrero. «No creo que[OpenAI] pasara suficiente tiempo probando que era realmente peligroso.»

En su anuncio del modelo completo esta semana, OpenAI señaló que el GPT-2 podría ser mal utilizado, citando investigaciones de terceros que afirman que el sistema podría ayudar a generar «propaganda sintética» para posiciones ideológicas extremas. Pero también admitió que sus temores de que el sistema se utilizara para bombear un gran volumen de spam coherente, sistemas de información en línea abrumadores como los medios sociales, aún no se han cumplido.

El laboratorio también observó que sus propios investigadores habían creado sistemas automáticos que podían detectar la salida del GPT-2 con una precisión de ~95%, pero que esta cifra no era lo suficientemente alta «para la detección independiente» y significa que cualquier sistema utilizado para detectar automáticamente texto falso tendría que ser emparejado con jueces humanos. Esto, sin embargo, no es particularmente inusual para estas tareas de moderación, que a menudo dependen de los humanos en el bucle para detectar imágenes y videos falsos.

OpenAI dice que continuará observando cómo la comunidad y el público utilizan el GPT-2, y desarrollará aún más sus políticas sobre la publicación responsable de la investigación de la IA.