Google está cambiando la forma en que prueba los modelos de IA para la codificación de Android siguiendo nuevas clasificaciones lideradas por Fable 5.
Google lanzó el “Android Bench” a principios de año como un sistema de clasificación visual para los mejores modelos de IA. Todas esas clasificaciones se basan en la capacidad del modelo para codificar para Android; no es un sistema de clasificación general, pero es increíblemente útil para los desarrolladores.
Google dice Se avecinan un par de cambios en la forma en que clasifica esos modelos de IA para el desarrollo de Android. El sistema central de evaluación comparativa se está cambiando al marco estandarizado de Harbour. Tal como estaban las cosas, modelos como GPT-5.5, Claude Opus 4.7 y Gemini 3.1 Pro Preview se clasificaron según una herramienta de referencia mini-swe-agent v1 desarrollada para uso general.
Cambiar de pista y abrir el sistema al marco Harbour permite a los desarrolladores de Android utilizar las mismas herramientas para analizar modelos de IA para casos de uso individuales. De hecho, Google dice que está abriendo el Banco Android a usuarios dispuestos a enviar tareas de desarrollo de Android. Se utilizarán para evaluar cómo los modelos manejan cada escenario. También se invita a los desarrolladores a compartir sus evaluaciones comparativas.
Anuncio: desplácese para ver más contenido
Desde el principio, hemos valorado un enfoque abierto y transparente, por lo que pusimos a disposición del público nuestra metodología original y nuestro método de prueba en
GitHub. Usted solicitó una forma de proporcionar comentarios sobre nuestro conjunto de datos, por lo que ahora llevamos la colaboración un paso más allá brindándole a usted, el desarrollador de Android.
comunidad, una oportunidad para darle forma a Android Bench.
Android Bench añade Claude Fable 5
Para completar el nuevo enfoque, Google ha actualizado la lista de Android Bench utilizando el nuevo marco para modelos de IA. Cada modelo, entre las variantes de peso cerrado y abierto, ha sido reevaluado en el nuevo banco de pruebas.
Como era de esperar, Claude Fable 5 se sitúa en lo más alto de la lista con una ventaja bastante cómoda. Google le dio una puntuación de 84,5, 4 puntos saludables por delante de GPT-5.5, clasificado en 80,2. Claude Sonnet 5 está casi 10 puntos por debajo de Fable 5. Las afirmaciones de poder de Anthropic parecen ser razonables, y vale la pena señalar que Fable 5 todavía tiene fuertes restricciones.
La mayoría de los modelos de IA que tenían un lugar en las clasificaciones anteriores de Android Bench han recibido una nueva puntuación, ya que las reglas subyacentes esencialmente han cambiado. Aquí están las nuevas clasificaciones tal como las enumera Android Bench:
ModeloPuntuaciónLatencia promedioCosto promedioClaude Fable 584.58.0$133.2GPT 5.580.215.7$138.3Claude Sonnet 576.212.3$99.9GPT 5.474.18.4$83.4Gemini 3.1 Pro Preview73.710.6$87.4Claude Opus 4.872.46.7$88.0GLM 5.272.238.9$117.0Gemini 3.5 Flash71.128.3$165.6Kimi K2.7 Code70.431.8$48.1
FTC: Utilizamos enlaces de afiliados automáticos que generan ingresos. Más.
