El Magic Pointer de Googlebook se creó con Google DeepMind. El equipo de investigación detrás de esta capacidad subyacente compartió más sobre la premisa de los punteros habilitados por IA.
DeepMind quiere utilizar la IA “para ayudar al puntero no sólo a comprender a qué apunta, sino también por qué es importante para el usuario”.
Nuestro objetivo es abordar una frustración común: debido a que una herramienta de IA típica vive en su propia ventana, los usuarios necesitan arrastrar su mundo hacia ella. Queremos lo contrario: IA intuitiva que se encuentre con los usuarios en todas las herramientas que utilizan, sin interrumpir su flujo. Por ejemplo, imagine señalar la imagen de un edificio y solicitar “Muéstrame direcciones”. No se necesita nada más cuando el sistema de IA ya comprende el contexto.
La idea es reemplazar “indicaciones con mucho texto por interacciones más simples e intuitivas”.
Un puntero con IA agilizaría este proceso al capturar suavemente el contexto visual y semántico alrededor del puntero, permitiendo que la computadora “vea” y comprenda lo que es importante para el usuario.
De manera similar, un “sistema de inteligencia artificial que comprenda esta combinación de contexto, señalización y habla permitiría a los usuarios realizar solicitudes complejas en taquigrafía natural”.
Anuncio: desplácese para ver más contenido
Los casos de uso de ejemplo incluyen:
podría señalar un PDF y solicitar un resumen con viñetas para pegarlo directamente en un correo electrónico. Pase el cursor sobre una tabla de estadísticas y solicite una versión de gráfico circular, resalte una receta y solicite que se dupliquen todos los ingredientes.
En el siguiente ejemplo, un “fotograma en pausa en un vídeo de viaje se convierte en un enlace de reserva para ese restaurante atractivo”.
Google tiene dos demostraciones de punteros habilitados para IA en AI Studio:
Además, pronto tendrá la posibilidad de “usar el puntero para preguntarle a Gemini en Chrome sobre la parte de la página web que le interesa”. Esto está en proceso de implementación.
Por ejemplo, puede seleccionar algunos productos en una página y pedir que los comparen, o señalar dónde desea visualizar un nuevo sofá en su sala de estar.
FTC: Utilizamos enlaces de afiliados automáticos que generan ingresos. Más.
