ChatGPT está recibiendo controles parentales, incluidas alertas que se pueden enviar a un padre si el chatbot detecta a su hijo está en “angustia emocional”. Crédito: Alyssa Stone/Northeastern University
ADVERTENCIA: Este artículo contiene discusión sobre el suicidio y la autolesión. Si usted o alguien que conoce está luchando con la salud mental o los pensamientos suicidas, llame o envíe un mensaje de texto al 988 (el suicidio y la crisis de crisis) en los Estados Unidos para aquellos fuera de los Estados Unidos, la Asociación Internacional para la Prevención del Suicidio puede proporcionar acceso a Información del contacto a más de 1.300 centros de crisis en todo el mundo.
Los padres pronto podrían tener más control sobre cómo interactúan sus hijos con ChatGPT. Operai afirma que se implementará controles parentales Por su IA Chatbot tenía como objetivo dar a los padres más supervisión.
El anuncio de Openai llega a raíz de dos padres que presentan un demanda por muerte injusta Contra la compañía por lo que afirman es el papel de Chatgpt en el suicidio de su hijo de 16 años. La demanda en sí se produce en un momento en que la preocupación aumenta cómo las personas interactúan con los chatbots de inteligencia artificiales y su tendencia a conversaciones sensibles y potencialmente fatales.
A la luz de eso, puede parecer que los cambios que Openai está haciendo para Chatgpt es un movimiento en la dirección correcta. En particular, los padres podrán recibir alertas de ChatGPT si detecta que su hijo está “en un momento de angustia emocional aguda”.
Sin embargo, los expertos argumentan que estos cambios son insuficientes para abordar la raíz de las preocupaciones sobre cómo los chatbots están mal manejando la salud mental y la creación Delirios fomentados con AI.
“En cierto sentido, si ve que una empresa hace un esfuerzo para poner en práctica algunas salvaguardas, parece un buen primer paso”, dice CANSU Cange, director de la práctica de IA responsable de la Northeastern University. “Pero … si ese primer paso está directamente vinculado a cambiar la responsabilidad al usuario, no puedo decir que ese sea un buen primer paso. Esa parece ser una dirección en la que usted como individuo, usted como padre, usted, como usuario, tiene que hacer el trabajo ahora para controlar cómo se usa este sistema en usted”.
Los sistemas de alerta de los padres no logran abordar los problemas tecnológicos subyacentes que ChatGPT tiene cuando se trata de manejar estos temas sensibles, explica Cancro. Operai ha tratado de implementar algunas salvaguardas en la versión más reciente del chatbot. Pero la gente de Chatgpt que complace tendencias y la facilidad con la que las personas pueden evitar sus salvaguardas permanecen.
Varios de los chatbots más utilizados, incluido el chatGPT, inicialmente remitirán a las personas a los recursos de salud mental. Sin embargo, Annika Marie Schoene, científica de investigación de la práctica de IA responsable, junto con Cange, se mostró recientemente Que simplemente decir un suicidio o una consulta relacionada con el autolesión es para fines de investigación es suficiente para que el chatbot ofrezca consejos altamente detallados sobre cualquier tema.
Un sistema que potencialmente alerta a los padres sobre la “angustia emocional” de sus hijos no aborda estos desafíos tecnológicos centrales, dice Schoene. Ella dice que la implicación de que un chatbot de IA puede incluso detectar angustia emocional en primer lugar es cuestionable, dadas las capacidades actuales de la tecnología.
“Creo que hasta ahora la investigación ha demostrado una y otra vez que la mayoría de los LLM no son buenos en las emociones, no son buenas para detectar el riesgo más allá de las palabras clave limitadas”, dice Schoene. “Para detectar rigurosamente y luego notificar a un tutor en cualquier forma o forma, ¿por qué tendrías entonces todos los demás controles (de los padres) si pudieras hacer eso?”
Cancca agrega que un sistema de alerta de los padres como este también tiene implicaciones de privacidad para los jóvenes que interactúan con la tecnología. Ella pregunta si algún adolescente elegiría voluntariamente usar un chatbot que podría informar el contenido de una conversación a sus padres.
Schoene dice que hay varios “ascensores de bajo nivel” que Operai podría implementar para “hacer que la tecnología realmente sea un poco más segura”. Uno, que OpenAi ya tiene Empecé a desplegarse En ChatGPT-5, está dejando que el chatbot “rechace o retrase el compromiso en estos temas”, dice ella.
“Retrasar el acceso a la información o, por ejemplo, PI (AI) hace esto, rechazando directamente y reafirmando cuál es el papel del modelo en lugar de agregar esta pregunta principal al final, esas no son cosas difíciles de hacer”, dice Schoene.
Una solución más a gran escala y desafiante que ingresa al mundo de la política sería adaptar la estrategia que algunos estados han tomado con las regulaciones de armas.
“Los activistas, investigadores y científicos de la prevención del suicidio han abogado e implementaron leyes en múltiples estados que permiten a las personas que son vulnerables no tener armas que les vendan”, dice Schoene. “¿Por qué no haríamos algo similar con (cómo) le pedimos a los modelos que se involucren con nosotros?”
Schoene especula que esto podría parecerse a un sistema de autoinforme donde los usuarios podrían decirle a un chatbot que no se involucre con ellos en ciertos temas.
Vale la pena explorar soluciones como esta, especialmente porque los problemas relacionados con la IA y la salud mental no están aislados para los jóvenes.
“Estamos descubriendo que, en cierto modo, todos somos vulnerables a diversos grados porque los modelos de IA se comprometen con nosotros de manera que una herramienta nunca antes se ha comprometido con nosotros”, dice Cancca.
Con una tecnología que se ha adoptado tan rápido y tan ampliamente, Cancca dice que no es sorprendente que los impactos en nuestras vidas hayan sido igualmente significativos. Es por eso que ella dice que es aún más importante recordar que no es demasiado tarde para cambiar la tecnología para satisfacer nuestras necesidades, no al revés.
“Este es un producto diseñado: el diseño del producto mejor”, dice Canca. “Veamos el problema real y creemos soluciones reales. Simplemente creó esto. No necesita decir: ‘Este monstruo está fuera. ¿Cómo agregamos un sistema de alerta para saber dónde está el monstruo?’ Ese no es el objetivo.
Proporcionado por la Universidad del Nordeste
Esta historia se vuelve a publicar por cortesía de Northeastern Global News News.northeastern.edu.
Cita: ChatGPT está recibiendo controles parentales después de que un adolescente murió por suicidio: por qué los expertos dicen que no son suficientes (2025, 18 de septiembre) recuperado el 18 de septiembre de 2025 de https://techxplore.com/news/2025-09-chatgpt-parental-teen-died-suicide.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
