Crédito: Universidad de Michigan
Detectar la escritura a través de la inteligencia artificial es un baile complicado: hacerlo bien significa ser efectivo para identificarlo mientras tiene cuidado de no acusar falsamente a un humano de emplearlo. Y pocas herramientas logran el equilibrio correcto.
Un equipo de investigadores de la Universidad de Michigan dice que han ideado una nueva forma de saber si un texto escrito por IA pasa ambas pruebas, algo que podría ser especialmente útil en la academia y las políticas públicas a medida que el contenido de IA prolifere y se vuelve más indistinguible del contenido generado por humanos.
El equipo llama a su herramienta “Liketropy”, que se inspira en la columna vertebral teórica de su método: combina la probabilidad y la entropía, dos ideas estadísticas que impulsan su prueba.
Diseñaron “pruebas estadísticas de disparo cero”, que pueden determinar si una escritura fue escrita por un modelo de lenguaje humano o grande sin requerir capacitación previa en ejemplos de cada uno.
La herramienta actual se centra en LLM, un tipo específico de IA para producir texto. Utiliza propiedades estadísticas del texto en sí, como lo sorprendentes o predecibles que son las palabras, para decidir si se ve más humano o una ametralladora.
En las pruebas en conjuntos de datos a gran escala, incluso aquellos cuyos modelos estaban ocultos al público o donde el texto generado por IA fue diseñado para superar a los detectores, los investigadores dicen que su herramienta funcionó bien. Cuando la prueba está diseñada con LLM específicas en mente como generadores potenciales del texto, logra una precisión promedio por encima del 96% y una tasa de acusación falsa tan baja como 1%.
“Fuimos muy intencionales al no crear un detector que solo apunte a los dedos. Los detectores de IA pueden ser demasiado confiados, y eso es arriesgado, especialmente en educación y política”, dijo Tara Radvand, una estudiante de doctorado de la Escuela de Negocios Ross de UM que coautó el estudio. “Nuestro objetivo era ser cauteloso con las acusaciones falsas y al mismo tiempo marcar el contenido generado por la IA con la confianza estadística”.
Entre los hallazgos inesperados de los investigadores estaban lo poco que necesitaban saber sobre un modelo de idioma para ser capaz de atraparlo. La prueba funcionó y aún funcionó bien, desafiando la suposición de que la detección debe confiar en el acceso, la capacitación o la cooperación, dijo Radvand.
El equipo fue motivado por la equidad, particularmente para estudiantes internacionales y hablantes de inglés no nativos. La literatura emergente muestra que los estudiantes que hablan inglés como segundo idioma pueden ser marcados injustamente para la escritura “similar a la IA” debido al tono o la estructura de las oraciones.
“Nuestra herramienta puede ayudar a estos estudiantes a marcar su escritura de manera baja y transparente antes de la presentación”, dijo Radvand.
En cuanto a los próximos pasos, ella y sus colegas planean expandir su manifestación en una herramienta que se puede adaptar en diferentes dominios. Han aprendido que los campos como la ley y la ciencia, así como las aplicaciones como las admisiones universitarias, tienen diferentes umbrales en la compensación “cautelosa efectiva”.
Una aplicación crítica para los detectores de IA es reducir la propagación de la información errónea en las redes sociales. Algunas herramientas capacitan intencionalmente a los LLM para adoptar creencias extremas y difundir información errónea en las redes sociales para manipular la opinión pública.
Debido a que estos sistemas pueden generar contenido falso a gran escala, los investigadores dicen que es crucial desarrollar herramientas de detección confiables que puedan marcar dicho contenido y comentarios. La identificación temprana ayuda a las plataformas a limitar el alcance de las narrativas dañinas y proteger la integridad del discurso público.
También planean hablar con los líderes empresariales y universitarios de la UM sobre la posibilidad de adoptar su herramienta como un complemento de UM GPT y el asistente de IA de Maizey para verificar si estas herramientas generaron texto versus un modelo de IA externo, como ChatGPT.
Liketropy recibió un premio a la mejor presentación en el Simposio de Estudiantes de Michigan para las Ciencias Estadísticas Interdisciplinarias, un evento anual organizado por estudiantes graduados. También fue presentado por Paris Women in Machine Learning and Data Science, una comunidad de mujeres con sede en Francia interesada en el aprendizaje automático y la ciencia de datos que alberga varios eventos.
La investigación es publicado en el servidor de preimpresión ARXIV.
Más información: Tara Radvand et al, pruebas estadísticas de disparo cero para la detección de texto generada por LLM utilizando desigualdades de concentración de muestra finita, ARXIV (2025). Doi: 10.48550/arxiv.2501.02406
Huggingface: huggingface.co/spaces/tararad/ … ketropy-llm-detector
Información en el diario: ARXIV
Proporcionado por la Universidad de Michigan
Cita: Herramienta diseñada para detectar AI que obtenga un alto máximo de precisión, bajos en acusaciones falsas (2025, 10 de julio) Consultado el 10 de julio de 2025 de https://techxplore.com/news/2025-07-07-07-ai-scores-scores-accuracy.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
