Codec Avatars 2.0 se acerca al realismo completo

Los investigadores de Meta se acercan al realismo completo con Codec Avatars 2.0, sus prototipos de avatares de realidad virtual que utilizan técnicas avanzadas de aprendizaje automático.

Facebook mostró por primera vez el trabajo en ‘Codec Avatars’ en marzo de 2019. Impulsados ​​por múltiples redes neuronales, los avatares se generan utilizando una plataforma de captura especializada con 171 cámaras. Una vez generados, pueden ser conducidos en tiempo real por un casco prototipo VR con cinco cámaras; dos de visión interna en cada ojo y tres de visión externa en la parte inferior de la cara. Desde entonces, los investigadores han mostrado varias evoluciones del sistema, como ojos más realistas y una versión que solo requiere seguimiento ocular y entrada de micrófono.

En el taller Virtual Beings & Being Virtual del MIT en abril, Yaser Sheikh, quien lidera el equipo de Codec Avatars, mostró un video de la última versión del proyecto, descrito como «Codec Avatars 2.0»:

“Diría que un gran desafío de la próxima década es ver si podemos habilitar interacciones remotas que no se pueden distinguir de las interacciones en persona.“, comentó el jeque.

En un artículo publicado el año pasado, Sheikh y sus colegas afirman que sus modelos más nuevos son más pequeños y más eficientes que sus investigaciones anteriores, con la red neuronal ahora calculando solo los píxeles visibles para los auriculares. Con este avance, un auricular Quest 2 aparentemente puede representar cinco avatares en una escena vacía a 50 cuadros por segundo.

Aún así, la compañía parece tener un largo camino por recorrer para alcanzar este tipo de fidelidad en el envío de productos. Los metaavatares de hoy en día tienen un estilo de arte caricaturesco básico. De hecho, su realismo ha disminuido con el tiempo, probablemente para adaptarse mejor a grupos más grandes con entornos complejos en aplicaciones como Horizon Worlds en el procesador móvil de Quest 2.

Sin embargo, Codec Avatars puede terminar como una opción separada, en lugar de una actualización directa de los avatares de dibujos animados de hoy. En su entrevista con Lex Fridman, el CEO Mark Zuckerberg describió un futuro en el que podría usar un avatar «expresionista» en juegos casuales y un avatar «realista» en reuniones de trabajo.

Durante el taller, Sheikh señaló que es imposible predecir qué tan lejos está Codec Avatars del envío real. Sin embargo, dijo que cuando comenzó el proyecto estaba a “diez milagros de distancia”, y ahora cree que está a “cinco milagros de distancia”.