Anthropic fortalece el sistema de seguridad de Claude.
Esta vez, la compañía liderada por Dario Amodei ha trabajado en conjunto con la Administración Nacional de Seguridad Nuclear (NNSA ) de Estados Unidos en un clasificador de preguntas para detectar prompts que sean sospechosos por coincidir con riesgo sobre el desarrollo de armas nucleares u otros problemas de seguridad.
El modelo de IA Claude recibe un clasificador potente para que no haya un uso indebido del chatbot
Al igual que sucede con otros asistentes virtuales del mercado, la información que se maneja dentro de las conversaciones con la inteligencia artificial tiene sus límites.
Riesgo
Lo normal, las restricciones sobre temas delicados e ilegales que puedan significar un riesgo para la sociedad o causar diversos inconvenientes.
The Register explica que la empresa en cuestión ha trabajado con el gobierno de EE. UU. para poder generar un sistema más estricto ante las preguntas peligrosas, especialmente aquellas que se relacionan con armas nucleares caseras o profesionales y otras conversaciones de las que se podrían sacar contenidos ilegítimos.
La decisión ha sido tomada debido a la gran cantidad de hackers que usan ingeniería de prompts para engañar a los chatbots cuando hay posibles vulnerabilidades.
Para ello, la empresa se encargó de crear un clasificador especializado con aprendizaje automático capaz de detectar cuando se envían solicitudes maliciosas, teniendo un rango de éxito del 94,8% en los tests realizados de falsos positivos.
Fuente: Fuente: computerhoy.20minutos.es
