Gemini Live es el modo de conversación natural y charlatán dentro de la aplicación Gemini de Google, y solo recibió una actualización significativa: la IA ahora puede responder a las preguntas instantáneamente sobre lo que está viendo a través de la cámara de su teléfono y en la pantalla de su teléfono en tiempo real. La característica será el primero en Google Pixel 9 y los teléfonos Samsung Galaxy S25.
Durante mucho tiempo ha podido ofrecer fotos y capturas de pantalla para que Gemini analice, pero es el aspecto en tiempo real de la actualización lo que hace que esto sea más interesante, es como si el bot de IA realmente pueda ver el mundo que lo rodea. Puede recordar que Google mostró algo de esta funcionalidad bajo el nombre Astra del proyecto el año pasado.
Hay muchas maneras de usar Gemini Live. Crédito: Samsung
Samsung dice que “se siente como un amigo de confianza que siempre está listo para ayudar”, mientras que Google dice que podría usar las características mejoradas para obtener consejos de compras personalizados, solucionar algo que está roto u organizar un espacio desordenado. Puede tener una discusión con Gemini Live sobre cualquier cosa a la que pueda señalar su cámara.
Ahora está disponible como una actualización gratuita en los teléfonos Pixel 9 y Galaxy S25, con más dispositivos Android que lo obtienen pronto, aunque la disponibilidad más amplia estará vinculada a una suscripción avanzada de Gemini. Hasta el momento, no hay una lista definitiva de qué teléfonos están en línea para la actualización, aunque presumiblemente necesita un cierto nivel de poder de procesamiento local para funcionar. Todavía no se sabe que llegue la aplicación Gemini para el iPhone.
Como siempre, el consejo oficial es “verificar las respuestas de precisión”, por lo que solo porque hay una nueva interfaz elegante para hacer uso no significa que la IA Gemini sea más confiable de lo que era antes. También necesitará una conexión a Internet activa para que esto funcione, por lo que la aplicación puede obtener ayuda de la web.
Se han agregado dos botones nuevos para compartir la cámara y la pantalla. Crédito: Lifehacker
La función es fácil de encontrar: puede iniciar la interfaz Gemini Live tocando el botón al extremo derecho del cuadro de entrada en cualquier chat de Gemini (se parece un poco a una onda de sonido). Desde allí, verá dos nuevos íconos en la parte inferior: uno para acceder a la cámara (el icono de la cámara de video) y otro para acceder a la pantalla del teléfono (la flecha dentro de un rectángulo).
Cierre la interfaz Gemini Live, y encontrará que su conversación se ha grabado como un chat de texto estándar, para que pueda consultarlo si es necesario. Como las nuevas características han aparecido en mi Google Pixel 9, las probé usando preguntas a las que ya conocía las respuestas, para verificar las alucinaciones inútiles.
Poner a Géminis en vivo
Primero, cargué la interfaz de la cámara y le pregunté a Gemini en vivo sobre el episodio de indemnización que estaba viendo en mi computadora portátil. Inicialmente, la IA pensó que te estaba mirando, presumiblemente confundiendo a su Penn Badgleys con sus Adam Scotts, pero rápidamente arregló su error, identificando el programa correcto y nombrando a los actores en la pantalla.
Luego pregunté sobre un paquete con una etiqueta UN3481: baterías de iones de litio empaquetadas en el equipo interno (auriculares con la oreja, en este caso). Géminis vive correctamente descubrió que las baterías de iones de litio estaban involucradas, necesitando un “cuidado adicional” cuando se manejó, pero no dio más información. Cuando se empujó, dijo que estas baterías estaban empacadas por separado, no en equipos. Respuesta incorrecta, Gemini Live, estás pensando en el código UN3480.
¿Qué piensas hasta ahora? Publica un comentario.
Gemini Live descubrió cómo reiniciar una carga 6 (esta es una transcripción de la conversación en vivo). Crédito: Lifehacker
Gemini Live también pudo decirme cómo restablecer mi Fitbit Charge 6 cuando le apunté a la cámara de mi teléfono (aunque la IA originalmente pensó que era un Fitbit Charge 5, lo cual es un error bastante fácil de cometer). Es fácil ver cómo esto podría ser útil si está tratando de solucionar los dispositivos de problemas, y no está muy seguro de las marcas y los números de modelo de los dispositivos.
Compartir tu pantalla con Gemini Live es interesante. La aplicación se encoge a un pequeño widget, por lo que puede usar su teléfono de manera normal, y luego hacer preguntas sobre cualquier cosa en la pantalla. Gemini Live hizo un buen trabajo identificando qué aplicaciones estaba usando, y parte del contenido en esas aplicaciones, como carteles de películas y fotos de la banda. También tradujo con precisión una publicación en las redes sociales en un idioma extranjero para mí.
Con respecto a un sitio web que muestra el reciente partido de fútbol de Leicester V Newcastle, Gemini Live me dijo correctamente cuál era el puntaje y qué jugadores obtuvieron los objetivos, toda la información que ya estaba en la pantalla. Cuando pregunté cuándo estaba el partido, la IA se confundió y me dijo que sucedió el 22 de mayo de 2023 (los mismos equipos jugando, pero hace casi dos años).
Gemini Live puede ver lo que hay en la pantalla de su teléfono, con permiso. Crédito: Lifehacker
No hubo fallas en la velocidad con la que Gemini Live regresó con respuestas, y la manera tranquila y tranquilizadora de que respondió, pero todavía hay problemas en torno a la calidad de los resultados. Por supuesto, la conveniencia de usar esto, señalar la cámara y decir “¿Cómo soluciono esto?” En lugar de elaborar una consulta compleja de Google: los que muchas personas bien prefieren usarla incluso con los errores, pero sigue siendo una preocupación.
Esencialmente, esta es solo una versión instantánea mejorada de la búsqueda visual: anteriormente, podría escribir “etiqueta UN3481” en Google para la misma consulta. Pero mientras que la lista tradicional de resultados de búsqueda de enlaces azules le permite ver la información que está buscando y hacer un juicio sobre su confiabilidad y autoridad, Gemini Live es mucho más una caja cerrada que no muestra sus trabajos. Si bien a veces se siente casi como la magia, debido a esa interfaz, tener que verificar todo lo que dice no es ideal.
