Operai dijo que estaba haciendo una serie de cambios en la forma en que su popular chatbot interactúa con los usuarios después de una demanda presentada por los padres de un joven de 16 años, que se quedó hasta la muerte.
Los padres de Adam Raine alegan que ChatGPT entrenó a su hijo en métodos de autolesión, lo que eventualmente lo llevó a quitarse la vida el 11 de abril. Agregaron que la compañía puso las ganancias a sabiendas por encima de la seguridad cuando lanzó la versión GPT-4O de su chatbot de inteligencia artificial el año pasado.
Operai mejora las salvaguardas de salud mental
La compañía de Sam Altman ha lanzado un blog sobre su sitio webDecir “los recientes casos desgarradores de personas que usan ChatGPT en medio de crisis agudas pesan en gran medida sobre nosotros, y creemos que es importante compartir más ahora”. El blog detalla las formas en que Operai está tratando de abordar la situación.
“Nuestro objetivo es que nuestras herramientas sean lo más útiles posible para las personas, y como parte de esto, seguimos mejorando cómo nuestros modelos reconocen y responden a los signos de angustia mental y emocional y conectan a las personas con cuidado, guiados por aportes de expertos”, agregó el blog.
La compañía dijo que actualizará ChatGPT para reconocer y responder mejor a diferentes formas en que las personas pueden expresar angustia mental, como explicar los peligros de la privación del sueño y sugerir que los usuarios descansen si mencionan que se sienten invencibles después de estar despiertos por dos noches. La compañía también dijo que fortalecería las salvaguardas en torno a las conversaciones sobre el suicidio y trabajaría para fortalecer algunas de las barandillas que se descomponen durante las largas conversaciones.
“Estamos mejorando continuamente cómo nuestros modelos responden en interacciones sensibles y actualmente están trabajando en mejoras de seguridad específicas en varias áreas, incluida la dependencia emocional, las emergencias de salud mental y la sileno”, dijo el blog.
Operai también presentará pronto controles parentales que brindan a los padres opciones para obtener más información y dar forma a cómo sus adolescentes usan ChatGPT. También está en proceso la opción para los adolescentes (con supervisión de los padres) para designar un contacto de emergencia confiable. De esa manera, en momentos de angustia aguda, ChatGPT puede hacer más que apuntar a los recursos y sus expertos de confianza y ayudar a conectar a los adolescentes directamente a alguien que puede intervenir.
Operai ofrecerá más ayuda localizada para las personas que expresan la intención de dañarse. “Hemos comenzado a localizar los recursos en los Estados Unidos y Europa, y planeamos expandirnos a otros mercados globales. También aumentaremos la accesibilidad con acceso único a los servicios de emergencia”, dijo la compañía.
“Estamos explorando cómo intervenir antes y conectar a las personas con los terapeutas certificados antes de que estén en una crisis aguda. Eso significa ir más allá de las líneas directas de crisis y considerar cómo podríamos construir una red de profesionales con licencia que las personas puedan alcanzar directamente a través de ChatGPT. Esto tomará tiempo y trabajo cuidadoso para acertar”.
En la demanda de Raine, un portavoz de la compañía dijo: “Extendemos nuestras más profundas simpatías a la familia Raine durante este momento difícil y estamos revisando la presentación”.
Un informe de Bloomberg agregó que la demanda Raine se suma a una serie de informes sobre los pesados usuarios de chatbot que participan en un comportamiento peligroso. Más de 40 fiscales generales estatales emitieron una advertencia a una docena de las principales compañías de IA de que están legalmente obligados a proteger a los niños de las interacciones sexualmente inapropiadas con los chatbots.
