Los investigadores de Google desarrollaron el primer sistema de video 6DoF de extremo a extremo que incluso puede transmitir a través de conexiones de Internet (ancho de banda alto).
Los videos 360 actuales pueden llevarlo a lugares y eventos exóticos, y puede mirar a su alrededor, pero en realidad no puede mover la cabeza hacia adelante o hacia atrás de manera posicional. Esto hace que el mundo entero se sienta bloqueado en tu cabeza, lo que en realidad no es lo mismo que estar en algún lugar.
El nuevo sistema de Google encapsula toda la pila de videos; captura, reconstrucción, compresión y renderizado, entregando un resultado histórico.
El equipo de cámara cuenta con 46 cámaras 4K sincronizadas que funcionan a 30 fotogramas por segundo. Cada cámara está unida a una cúpula acrílica de “bajo costo”. Dado que el acrílico es semitransparente, incluso se puede utilizar como visor.
Cada cámara utilizada tiene un precio minorista de $ 160, lo que sumaría un poco más de $ 7,000 por la plataforma. Eso puede sonar alto, pero en realidad es un costo considerablemente más bajo que las alternativas a medida. El video 6DoF es una nueva tecnología que recién comienza a ser viable.
El resultado es un «campo de luz» de 220 grados con un ancho de 70 cm, eso es lo que puede mover la cabeza. La resolución resultante es de 10 píxeles por grado, lo que significa que probablemente se verá algo borroso en cualquier auricular moderno con la excepción del HTC Vive original. Como toda tecnología, eso mejorará con el tiempo.
Pero lo realmente impresionante es la compresión y el renderizado. Se puede transmitir un video de campo de luz a través de una conexión a Internet confiable de 300 Mbit/seg. Eso todavía está muy por encima de las velocidades promedio de Internet, pero la mayoría de las ciudades importantes ahora ofrecen este tipo de ancho de banda.
¿Como funciona?
En 2019, los investigadores de inteligencia artificial de Google desarrollaron un algoritmo de aprendizaje automático llamado DeepView. Con una entrada de 4 imágenes de la misma escena, desde perspectivas ligeramente diferentes, DeepView puede generar un mapa de profundidad e incluso generar nuevas imágenes desde perspectivas arbitrarias.
Este nuevo sistema de video 6DoF utiliza una versión modificada de DeepView. En lugar de representar la escena a través de planos 2D, el algoritmo utiliza una colección de capas esféricas. Un nuevo algoritmo reprocesa esta salida a un número mucho menor de proyectiles.
Finalmente, estas capas esféricas se transforman en una «malla en capas» mucho más liviana, que toma muestras de un atlas de texturas para ahorrar aún más recursos (esta es una técnica utilizada en los motores de juegos, donde las texturas para diferentes modelos se almacenan en el mismo archivo, estrechamente empacados juntos.)
Puede leer el documento de investigación y probar algunas muestras en su navegador en la página pública de Google para el proyecto.
El video de campo de luz sigue siendo una tecnología emergente en las primeras etapas, así que no espere que YouTube comience a admitir videos de campo de luz en un futuro cercano. Pero parece claro que uno de los santos griales del contenido de realidad virtual, el video 6DoF que se puede transmitir, ahora es un problema solucionable.
Seguiremos de cerca esta tecnología a medida que comience la transición de la investigación a los productos del mundo real.
Relacionado:
Los servicios de Oculus se cayeron cuando Facebook desapareció de Internet
Cómo el video de animación 3D ayuda a mejorar el mundo de la animación
Navegar Por Internet Con Gafas De Realidad Virtual
