OpenAI presentó una versión avanzada de ChatGPT que integra capacidades de “ver, oír y hablar” en las interacciones con usuarios. Hasta ahora, ChatGPT solo permitía interacciones mediante texto escrito, pero en dos semanas, los usuarios de pago podrán interactuar en voz alta y recibir respuestas habladas de la máquina, así como enviar imágenes y documentos para obtener respuestas específicas. Los usuarios gratuitos tendrán acceso a estas actualizaciones en un futuro cercano.

Esta ampliación con voz e imágenes expande las posibilidades de uso de ChatGPT en la vida diaria, como recibir recetas al fotografiar la despensa. Inicialmente, estará disponible en iOS y Android, no en PC, ofreciendo cinco voces distintas para elegir. OpenAI utiliza Whisper para transcribir la voz del usuario a texto y luego su modelo de conversión de texto a voz para generar la respuesta.

La tecnología de voz de OpenAI puede crear voces sintéticas realistas a partir de breves grabaciones de voz real, ofreciendo aplicaciones creativas y de accesibilidad. No obstante, también plantea desafíos, como el riesgo de que personas malintencionadas utilicen estas capacidades de manera fraudulenta. Spotify utilizará esta tecnología para traducir algunos podcasts a idiomas adicionales manteniendo las voces originales de los presentadores e invitados.