Anthropic fortalece el sistema de seguridad de Claude.
Esta vez, la compañía liderada por Dario Amodei ha trabajado en conjunto con la Administración Nacional de Seguridad Nuclear (NNSA ) de Estados Unidos en un clasificador de preguntas para detectar prompts que sean sospechosos por coincidir con riesgo sobre el desarrollo de armas nucleares u otros problemas de seguridad.
El modelo de IA Claude recibe un clasificador potente para que no haya un uso indebido del chatbot
Al igual que sucede con otros asistentes virtuales del mercado, la información que se maneja dentro de las conversaciones con la inteligencia artificial tiene sus límites.
Lo normal, las restricciones sobre temas delicados e ilegales que puedan significar un riesgo para la sociedad o causar diversos inconvenientes.
The Register explica que la empresa en cuestión ha trabajado con el gobierno de EE. UU. para poder generar un sistema más estricto ante las preguntas peligrosas, especialmente aquellas que se relacionan con armas nucleares caseras o profesionales y otras conversaciones de las que se podrían sacar contenidos ilegítimos.
La decisión ha sido tomada debido a la gran cantidad de hackers que usan ingeniería de prompts para engañar a los chatbots cuando hay posibles vulnerabilidades.
Para ello, la empresa se encargó de crear un clasificador especializado con aprendizaje automático capaz de detectar cuando se envían solicitudes maliciosas, teniendo un rango de éxito del 94,8% en los tests realizados de falsos positivos.
Fuente: Fuente: computerhoy.20minutos.es
Los estudios dirigidos por investigadores del Centro Oncológico Kimmel de la Universidad Johns Hopkins, el…
El Aeropuerto Internacional Dallas-Fort Worth (DFW), uno de los más transitados del mundo implementó Touchless…
De acuerdo con el Reporte sobre el futuro de los profesionistas 2025, de Thomson Reuters,…
En las últimas semanas, el nombre 'Nano Banana’ irrumpió en la comunidad de inteligencia artificial…
La ingeniería de prótesis robóticas ha avanzado de manera significativa en la última década. Investigadores…
Este centro virtual cuenta con 14 médicos y cuatro enfermeras generadas con IA que puede…