Anthropic fortalece el sistema de seguridad de Claude.
Esta vez, la compañía liderada por Dario Amodei ha trabajado en conjunto con la Administración Nacional de Seguridad Nuclear (NNSA ) de Estados Unidos en un clasificador de preguntas para detectar prompts que sean sospechosos por coincidir con riesgo sobre el desarrollo de armas nucleares u otros problemas de seguridad.
El modelo de IA Claude recibe un clasificador potente para que no haya un uso indebido del chatbot
Al igual que sucede con otros asistentes virtuales del mercado, la información que se maneja dentro de las conversaciones con la inteligencia artificial tiene sus límites.
Lo normal, las restricciones sobre temas delicados e ilegales que puedan significar un riesgo para la sociedad o causar diversos inconvenientes.
The Register explica que la empresa en cuestión ha trabajado con el gobierno de EE. UU. para poder generar un sistema más estricto ante las preguntas peligrosas, especialmente aquellas que se relacionan con armas nucleares caseras o profesionales y otras conversaciones de las que se podrían sacar contenidos ilegítimos.
La decisión ha sido tomada debido a la gran cantidad de hackers que usan ingeniería de prompts para engañar a los chatbots cuando hay posibles vulnerabilidades.
Para ello, la empresa se encargó de crear un clasificador especializado con aprendizaje automático capaz de detectar cuando se envían solicitudes maliciosas, teniendo un rango de éxito del 94,8% en los tests realizados de falsos positivos.
Fuente: Fuente: computerhoy.20minutos.es
Google volvió a quedar en el centro de la conversación tecnológica tras detectarse un fallo…
A lo largo de más de un siglo, la insulina transformó la diabetes de una…
El marketing agresivo de fórmulas infantiles y sucedáneos de la leche materna está provocando que…
Los mensajes falsos enviados a celulares a través del Sistema de Mensajería de Alerta Temprana…
La IA transforma las oficinas: crece la necesidad de conexión humana laboral. El más reciente…
Querétaro reafirmó su posición como uno de los polos industriales y logísticos más dinámicos del…