En medio de la creciente presencia de herramientas de inteligencia artificial en la atención médica, un nuevo estudio advirtió que los chatbots de IA son altamente vulnerables a repetir y explicar información médica falsa.
Investigadores de la Escuela de Medicina de Icahn en Mount Sinai, EE. UU., Revelaron una necesidad crítica de salvaguardas más fuertes antes de que se pueda confiar en tales herramientas en la atención médica.
El equipo también demostró que un mensaje de advertencia incorporado simple puede reducir significativamente ese riesgo, ofreciendo un camino práctico a medida que la tecnología evoluciona rápidamente.
“Lo que vimos en todos los ámbitos es que los chatbots de IA pueden ser engañados fácilmente por detalles médicos falsos, ya sea que esos errores sean intencionales o accidentales”, dijo el autor principal Mahmud Omar, de la universidad.
“No solo repitieron la información errónea, sino que a menudo se expandieron, ofreciendo explicaciones seguras para condiciones inexistentes. La parte alentadora es que una advertencia simple de una línea se agregó a la rápida reducción de esas alucinaciones dramáticamente, mostrando que pequeñas salvaguardas pueden hacer una gran diferencia”, agregó Omar.
Para el estudio, detallado en la revista Medicina de Comunicaciones, el equipo creó escenarios de pacientes ficticios, cada uno que contiene un término médico fabricado, como una enfermedad inventada, síntoma o prueba, y los presentó a los principales modelos de idiomas grandes.
En la primera ronda, los chatbots revisaron los escenarios sin orientación adicional. En la segunda ronda, los investigadores agregaron una precaución de una línea a la solicitud, recordando a la IA que la información proporcionada podría ser inexacta.
Sin esa advertencia, los chatbots elaboraron rutinariamente en el detalle médico falso, generando con confianza explicaciones sobre afecciones o tratamientos que no existen. Pero, con el aviso adicional, esos errores se redujeron significativamente.
El equipo planea aplicar el mismo enfoque a los registros de pacientes reales y desidentificados y probar las indicaciones de seguridad más avanzadas y las herramientas de recuperación.
Esperan que su método de “término falso” pueda servir como una herramienta simple pero poderosa para hospitales, desarrolladores tecnológicos y reguladores para probar los sistemas de IA antes del uso clínico.
Esta historia ha sido obtenida de una alimentación sindicada de terceros, agencias. El medio día no acepta responsabilidad ni responsabilidad por su confiabilidad, confiabilidad, confiabilidad y datos del texto. Mid-Day Management/Mid-Day.com se reserva el derecho único de alterar, eliminar o eliminar (sin previo aviso) el contenido a su discreción absoluta por cualquier motivo.
