Anthropic fortalece el sistema de seguridad de Claude.
Esta vez, la compañía liderada por Dario Amodei ha trabajado en conjunto con la Administración Nacional de Seguridad Nuclear (NNSA ) de Estados Unidos en un clasificador de preguntas para detectar prompts que sean sospechosos por coincidir con riesgo sobre el desarrollo de armas nucleares u otros problemas de seguridad.
El modelo de IA Claude recibe un clasificador potente para que no haya un uso indebido del chatbot
Al igual que sucede con otros asistentes virtuales del mercado, la información que se maneja dentro de las conversaciones con la inteligencia artificial tiene sus límites.
Lo normal, las restricciones sobre temas delicados e ilegales que puedan significar un riesgo para la sociedad o causar diversos inconvenientes.
The Register explica que la empresa en cuestión ha trabajado con el gobierno de EE. UU. para poder generar un sistema más estricto ante las preguntas peligrosas, especialmente aquellas que se relacionan con armas nucleares caseras o profesionales y otras conversaciones de las que se podrían sacar contenidos ilegítimos.
La decisión ha sido tomada debido a la gran cantidad de hackers que usan ingeniería de prompts para engañar a los chatbots cuando hay posibles vulnerabilidades.
Para ello, la empresa se encargó de crear un clasificador especializado con aprendizaje automático capaz de detectar cuando se envían solicitudes maliciosas, teniendo un rango de éxito del 94,8% en los tests realizados de falsos positivos.
Fuente: Fuente: computerhoy.20minutos.es
El uso masivo de la inteligencia artificial (IA) para redactar y revisar el CV provoca…
La integralidad en los servicios financieros contemporáneos ha comenzado a medirse más allá de los…
Anthropic actualizó las políticas de uso de Claude para prohibir los comportamientos abusivos o crueles,…
Los inversionistas institucionales en el país están dirigiendo su capital hacia la infraestructura de la…
La inteligencia artificial de Amazon comienza a intervenir en procesos que van más allá de…
El secretario de Educación Pública, Mario Delgado Carrillo, destacó que el Gobierno de México impulsa…