Home Tecnología Google detalla las ‘AppFunctions’ que permiten a Gemini usar aplicaciones de Android

Google detalla las ‘AppFunctions’ que permiten a Gemini usar aplicaciones de Android

10
0

Tras el anuncio de automatización de Gemini de hoy, Google está detallando cómo funciona todo esto bajo el capó en Android.

Google está “introduciendo capacidades de desarrollador en etapa inicial que cierran la brecha entre sus aplicaciones y las aplicaciones de agente y asistentes personalizados, como Google Gemini”.

Si bien nos encontramos en las primeras etapas beta de este viaje, estamos diseñando estas funciones teniendo en cuenta la privacidad y la seguridad como nuestro primer paso para explorar este cambio de paradigma como ecosistema de aplicaciones.

Funciones de la aplicación

Android tiene dos enfoques, comenzando con Funciones de la aplicación. Esto fue anunciado silenciosamente. el año pasado y sólo ahora se está detallando por completo.

AppFunctions es una Característica de la plataforma Android 16 y un acompañante Biblioteca Jetpack que permite que las aplicaciones expongan funciones específicas para que las personas que llaman, como las aplicaciones de agentes, accedan y ejecuten en el dispositivo.

Los desarrolladores detallan las capacidades de su aplicación como herramientas que los agentes y asistentes de IA (como Gemini) pueden usar. Google equipara AppFunctions con el Model Context Protocol (MCP), que es popular para agentes y herramientas del lado del servidor. Sin embargo, estas funciones ocurren localmente en el dispositivo Android. Los casos de uso de ejemplo son:

Anuncio: desplácese para ver más contenido Gestión de tareas y productividad Solicitud del usuario: “Recuérdame recoger mi paquete en el trabajo hoy a las 5 p.m.“. Acción AppFunction: la persona que llama identifica la aplicación de administración de tareas relevante e invoca una función para crear una tarea, completando automáticamente los campos de título, hora y ubicación según la solicitud del usuario. Medios y entretenimiento Solicitud del usuario: “Crea una nueva lista de reproducción con los mejores álbumes de jazz de este año”. Acción de AppFunction: la persona que llama ejecuta una función de creación de lista de reproducción dentro de una aplicación de música, pasando un contexto como “mejores álbumes de jazz para 2026” como consulta para generar y lanzar el contenido inmediatamente. Flujos de trabajo entre aplicaciones Solicitud del usuario: “Encuentre la receta de fideos en el correo electrónico de Lisa y agregue los ingredientes a mi lista de compras”. Acción AppFunction: esta solicitud utiliza funciones de múltiples aplicaciones. Primero, la persona que llama utiliza la función de búsqueda de una aplicación de correo electrónico para recuperar el contenido. Luego, extrae los ingredientes relevantes e invoca la función de una aplicación de lista de compras para completar la lista del usuario. Calendario y programación Solicitud de usuario: “Agregar la fiesta de cumpleaños de mamá a mi calendario para el próximo lunes a las 6 p. m.“. Acción de AppFunction: la aplicación agente aprobada invoca la función “crear evento” de la aplicación de calendario, analizando el contexto relevante como “el próximo lunes” y “6 p.m.” para crear la entrada sin que el usuario tenga que abrir manualmente el calendario.

A continuación se muestra un ejemplo de AppFunctions que utiliza la aplicación Samsung Gallery en el Galaxy S26. También llegará a los dispositivos Samsung que ejecutan OneUI 8.5 y superior.

En lugar de desplazarte manualmente por los álbumes de fotos, ahora puedes simplemente pedirle a Gemini que “Muéstrame fotos de mi gato de la Galería Samsung”. Gemini toma la consulta del usuario, identifica y activa de manera inteligente la función correcta y presenta las fotos devueltas desde Samsung Gallery directamente en la aplicación Gemini, para que los usuarios nunca tengan que salir. Esta experiencia es multimodal y se puede realizar mediante voz o texto. Los usuarios pueden incluso utilizar las fotos devueltas en conversaciones de seguimiento, como enviárselas a sus amigos en un mensaje de texto.

Mientras tanto, Google dice que la aplicación Gemini ya está usando AppFunctions para impulsar sus integraciones de Calendario, Notas y Tareas en las aplicaciones de Google y los valores predeterminados de OEM.

Automatización de la interfaz de usuario

Android también está trabajando en un segundo enfoque, como se ve con la automatización Gemini anunciada para las series Galaxy S26 y Pixel 10 esta mañana.

Si bien AppFunctions proporciona un marco estructurado y más control para que las aplicaciones se comuniquen con agentes y asistentes de IA, sabemos que no todas las interacciones tienen todavía una integración dedicada.

Google está “desarrollando un marco de automatización de la interfaz de usuario para que los agentes y asistentes de IA ejecuten de forma inteligente tareas genéricas en las aplicaciones instaladas de los usuarios”.

Esta es la plataforma que hace el trabajo pesado, por lo que los desarrolladores pueden obtener alcance agente sin código. Es una forma que requiere poco esfuerzo de ampliar su alcance sin necesidad de un gran esfuerzo de ingeniería en este momento.

Google dice que Android 17 “ampliará estas capacidades para llegar a aún más usuarios, desarrolladores y fabricantes de dispositivos”.

Actualmente estamos creando experiencias con un pequeño grupo de desarrolladores de aplicaciones, centrándonos en experiencias de usuario de alta calidad a medida que evoluciona el ecosistema. Planeamos compartir más detalles a finales de este año sobre cómo puede utilizar AppFunctions y la automatización de la interfaz de usuario para permitir integraciones agentes para su aplicación. Estén atentos a las actualizaciones.

FTC: Utilizamos enlaces de afiliados automáticos que generan ingresos. Más.

Fuente de noticias