Contenido

• Presupuesto de energía limitado
• Ancho de banda y alta resolución
• Baja latencia y paneles de visualización
• Audio y sensores
• Desarrolladores y software
• Envolver

Finalmente, nos estamos sumergiendo profundamente en la revolución, como algunos podrían decirlo, con productos de hardware y software en abundancia en el mercado, y recursos vertidos para estimular las innovaciones. Sin embargo, hemos pasado más de un año desde que se lanzan los principales productos en este espacio y todavía estamos esperando que esa aplicación asesina haga de la realidad virtual un éxito general. Mientras esperamos, los nuevos desarrollos continúan haciendo de la realidad virtual una opción comercial más viable, pero todavía hay una serie de obstáculos técnicos que superar, particularmente en el espacio de realidad virtual móvil.

Presupuesto de energía limitado

El desafío más obvio y bien discutido que enfrentan las aplicaciones de realidad virtual móvil es el presupuesto de energía mucho más limitado y las restricciones térmicas en comparación con su PC de escritorio equivalente. Ejecutar aplicaciones de gráficos intensivos desde una batería significa que se requieren componentes de menor potencia y un uso eficiente de la energía para preservar la vida útil de la batería. Además, la proximidad del hardware de procesamiento al usuario significa que el presupuesto térmico tampoco se puede aumentar. En comparación, los dispositivos móviles generalmente funcionan dentro de un límite de menos de 4 vatios, mientras que una GPU de escritorio VR puede consumir fácilmente 150 vatios o más.

Es ampliamente reconocido que la realidad virtual móvil no va a igualar el hardware de escritorio para la potencia bruta, pero eso no significa que los consumidores no exijan experiencias 3D inmersivas con una resolución nítida y con altas velocidades de cuadros.

Es ampliamente reconocido que la realidad virtual móvil no va a igualar el hardware de escritorio para la potencia bruta, pero eso no significa que los consumidores no van a exigir experiencias 3D inmersivas con una resolución nítida y con altas velocidades de cuadros, a pesar de la potencia más limitada presupuesto. Entre mirar videos en 3D, explorar lugares recreados en 360 grados e incluso jugar, todavía hay muchos casos de uso adecuados para la realidad virtual móvil.

Mirando hacia atrás en su SoC móvil típico, esto crea problemas adicionales que son menos apreciados. Aunque los SoC móviles pueden empacar en una disposición de CPU de octa-core decente y una potencia de GPU notable, no es posible ejecutar estos chips a toda velocidad, debido tanto al consumo de energía como a las limitaciones térmicas mencionadas anteriormente. En realidad, la CPU en una instancia de realidad virtual móvil quiere funcionar durante el menor tiempo posible, liberando la GPU para consumir la mayor parte del presupuesto de energía limitado. Esto no solo limita los recursos disponibles para la lógica del juego, los cálculos de física e incluso los procesos móviles en segundo plano, sino que también supone una carga para las tareas esenciales de realidad virtual, como las llamadas de dibujo para la representación estereoscópica.

La industria ya está trabajando en soluciones para esto, que no solo se aplican a los dispositivos móviles. El renderizado multiview es compatible con OpenGL 3.0 y ES 3.0, y fue desarrollado por colaboradores de Oculus, Qualcomm, Nvidia, Google, Epic, ARM y Sony. Multiview permite la representación estereoscópica con una sola llamada de dibujo, en lugar de una para cada punto de vista, lo que reduce los requisitos de CPU y también reduce el trabajo de vértice de la GPU. Esta tecnología puede mejorar el rendimiento entre un 40 y un 50 por ciento. En el espacio móvil, Multiview ya es compatible con varios dispositivos ARM Mali y Qualcomm Adreno.

Otra innovación que se espera que aparezca en los próximos productos de realidad virtual móvil es el renderizado favorito. Utilizado junto con la tecnología de seguimiento ocular, el renderizado ligero aligera la carga en una GPU al representar solo el punto focal exacto del usuario a resolución completa y reduciendo la resolución de los objetos en la visión periférica. Complementa muy bien el sistema de visión humana y puede reducir significativamente la carga de GPU, ahorrando así energía y / o liberando más energía para otras tareas de CPU o GPU.

Ancho de banda y alta resolución

Si bien la potencia de procesamiento es limitada en situaciones de realidad virtual móvil, la plataforma aún tiene los mismos requisitos que otras plataformas de realidad virtual, incluidas las demandas de paneles de visualización de baja resolución y alta latencia. Incluso aquellos que han visto pantallas VR que cuentan con una resolución QHD (2560 x 1440) o la resolución 1080 × 1200 de los auriculares Rift por ojo probablemente se hayan sentido un poco decepcionados por la claridad de la imagen. El alias es especialmente problemático dado que nuestros ojos están muy cerca de la pantalla, con bordes que parecen particularmente ásperos o irregulares durante el movimiento.

Si bien la potencia de procesamiento es limitada en situaciones de realidad virtual móvil, la plataforma aún tiene los mismos requisitos que otras plataformas de realidad virtual, incluidas las demandas de paneles de visualización de baja resolución y alta latencia.

La solución de fuerza bruta es aumentar la resolución de la pantalla, siendo 4K la próxima progresión lógica. Sin embargo, los dispositivos deben mantener una alta frecuencia de actualización independientemente de la resolución, con 60Hz como mínimo, pero 90 o incluso 120Hz son mucho más preferibles. Esto supone una gran carga para la memoria del sistema, con entre dos y ocho veces más que los dispositivos actuales. El ancho de banda de la memoria ya es más limitado en la realidad virtual móvil que en los productos de escritorio, que utilizan una memoria gráfica dedicada más rápida en lugar de un grupo compartido.

Las posibles soluciones para ahorrar en ancho de banda de gráficos incluyen el uso de tecnologías de compresión, como el estándar de compresión adaptativa de textura escalable (ASTC) de ARM y AMD o el formato sin compresión Ericsson Texture Compression, ambos extensiones oficiales de OpenGL y OpenGL ES. ASTC también es compatible con hardware en las últimas GPU Mali de ARM, los SoC Kepler y Maxwell Tegra de Nvidia y las últimas GPU integradas de Intel, y puede ahorrar más del 50 por ciento de ancho de banda en algunos escenarios en comparación con el uso de texturas sin comprimir.

El uso de la compresión de texturas puede reducir en gran medida el ancho de banda, la latencia y la memoria requeridas por las aplicaciones 3D. Fuente - ARM.

También se pueden implementar otras técnicas.El uso de teselación puede crear una geometría de aspecto más detallada a partir de objetos más simples, aunque requiera algunos otros recursos sustanciales de GPU. La renderización diferida y la eliminación de píxeles hacia adelante pueden evitar la representación de píxeles ocluidos, mientras que las arquitecturas Binning / Tiling se pueden usar para dividir la imagen en cuadrículas o mosaicos más pequeños que se representan por separado, todo lo cual puede ahorrar en ancho de banda.

Alternativamente, o preferiblemente adicionalmente, los desarrolladores pueden hacer sacrificios a la calidad de la imagen para reducir el estrés en el ancho de banda del sistema. La densidad de la geometría se puede sacrificar o se puede utilizar una eliminación más agresiva para reducir la carga, y la resolución de datos de vértice se puede reducir a 16 bits, por debajo de la precisión de 32 bits tradicionalmente utilizada. Muchas de estas técnicas ya se están utilizando en varios paquetes móviles, y juntas pueden ayudar a reducir la tensión en el ancho de banda.

La memoria no solo es una limitación importante en el espacio de realidad virtual móvil, sino que también es un gran consumidor de energía, a menudo igual al consumo de la CPU o GPU. Al ahorrar en el uso y el ancho de banda de la memoria, las soluciones de realidad virtual portátiles deberían aumentar la duración de la batería.

Baja latencia y paneles de visualización

Hablando de problemas de latencia, hasta ahora solo hemos visto auriculares VR con paneles de pantalla OLED y esto se debe principalmente a los rápidos tiempos de cambio de píxeles de menos de un milisegundo. Históricamente, la pantalla LCD se ha asociado con problemas de efecto fantasma con velocidades de actualización muy rápidas, lo que los hace bastante inadecuados para la realidad virtual. Sin embargo, los paneles LCD de muy alta resolución siguen siendo más baratos de producir que los equivalentes OLED, por lo que cambiar a esta tecnología podría ayudar a reducir el precio de los auriculares VR a niveles más asequibles.

La latencia de movimiento a fotón debe ser inferior a 20 ms. Esto incluye registrar y procesar el movimiento, procesar gráficos y audio, y actualizar la pantalla.

Las pantallas son una parte particularmente importante en la latencia general de un sistema de realidad virtual, ya que a menudo marcan la diferencia entre una experiencia sin apariencia y una experiencia inferior. En un sistema ideal, la latencia de movimiento a fotón, el tiempo que lleva entre mover la cabeza y responder la pantalla, debe ser inferior a 20 milisegundos. Claramente, una pantalla de 50 ms no es buena aquí. Idealmente, los paneles deben tener menos de 5 ms para acomodar también el sensor y la latencia de procesamiento.

Actualmente hay una compensación de rendimiento de costos que favorece a OLED, pero esto podría cambiar pronto. Los paneles LCD con soporte para frecuencias de actualización más altas y tiempos de respuesta bajos en blanco y negro que hacen uso de técnicas de vanguardia, como el parpadeo de las luces traseras, podrían encajar perfectamente. Japan Display mostró tal panel el año pasado, y podemos ver que otros fabricantes también anuncian tecnologías similares.

Audio y sensores

Si bien muchos de los temas comunes de realidad virtual giran en torno a la calidad de la imagen, la realidad virtual inmersiva también requiere alta resolución, audio 3D espacialmente preciso y sensores de baja latencia. En el ámbito móvil, todo esto debe hacerse dentro del mismo presupuesto de energía restringido que afecta la CPU, la GPU y la memoria, lo que presenta más desafíos.

Ya hemos abordado los problemas de latencia del sensor, en los que un movimiento debe registrarse y procesarse como parte del límite de latencia de movimiento a fotón de menos de 20 ms. Cuando consideramos que los auriculares VR usan 6 grados de movimiento, rotación y guiñada en cada uno de los ejes X, Y y Z, además de nuevas tecnologías como el seguimiento ocular, hay una cantidad considerable de datos constantes para recopilar y procesar, todo con un mínimo estado latente.

Las soluciones para mantener esta latencia lo más baja posible requieren un enfoque de extremo a extremo, con hardware y software capaces de realizar estas tareas en paralelo. Afortunadamente para los dispositivos móviles, el uso de procesadores dedicados de sensores de baja potencia y tecnología siempre activa es muy común, y estos funcionan a una potencia bastante baja.

Para el audio, la posición 3D es una técnica utilizada durante mucho tiempo para juegos y cosas por el estilo, pero el uso de una función de transferencia relacionada con la cabeza (HRTF) y el procesamiento de reverberación por convolución, que son necesarios para el posicionamiento realista de la fuente de sonido, son tareas bastante intensivas del procesador. Aunque estos pueden realizarse en la CPU, un procesador de señal digital (DSD) dedicado puede realizar este tipo de procesos de manera mucho más eficiente, tanto en términos de tiempo de procesamiento como de potencia.

Combinando estas características con los requisitos gráficos y de visualización que ya hemos mencionado, está claro que el uso de múltiples procesadores especializados es la forma más eficiente de satisfacer estas necesidades. Hemos visto a Qualcomm aprovechar gran parte de la capacidad de cómputo heterogénea de sus plataformas móviles Snapdragon de nivel medio más recientes y emblemáticas, que combinan una variedad de unidades de procesamiento en un solo paquete con capacidades que se prestan muy bien para satisfacer muchas de estas necesidades de realidad virtual móvil. Probablemente veremos el tipo de paquetes de energía en una serie de productos móviles de realidad virtual, incluido el hardware portátil independiente.

Desarrolladores y software

Finalmente, ninguno de estos avances de hardware es muy bueno sin suites de software, motores de juegos y SDK para apoyar a los desarrolladores. Después de todo, no podemos hacer que cada desarrollador reinvente la rueda para cada aplicación. Mantener bajos los costos de desarrollo y acelerar lo más rápido posible es clave si vamos a ver una amplia gama de aplicaciones.

Los SDK en particular son esenciales para implementar tareas clave de procesamiento de realidad virtual, como la deformación de tiempo asincrónica, la corrección de la distorsión de la lente y el renderizado estereoscópico. Sin mencionar la administración de energía, térmica y de procesamiento en configuraciones de hardware heterogéneas.

Afortunadamente, todos los principales fabricantes de plataformas de hardware ofrecen SDK a los desarrolladores, aunque el mercado está bastante fragmentado, lo que resulta en una falta de soporte multiplataforma. Por ejemplo, Google tiene su VR SDK para Android y un SDK dedicado para el popular motor Unity, mientras que Oculus tiene su Mobile SDK integrado en conjunto con Samsung para el Gear VR. Es importante destacar que el grupo Khronos presentó recientemente su iniciativa OpenXR, que tiene como objetivo proporcionar una API para cubrir todas las plataformas principales tanto en el dispositivo como en las capas de nivel de aplicación, para facilitar el desarrollo multiplataforma más fácil. OpenXR podría ver soporte en su primer dispositivo de realidad virtual en algún momento antes de 2018.

Envolver

A pesar de algunos problemas, la tecnología está en desarrollo y, en cierta medida, aquí, eso hace que la realidad virtual móvil sea viable para varias aplicaciones. Mobile VR también tiene una serie de beneficios que simplemente no se aplican a los equivalentes de escritorio, lo que continuará convirtiéndolo en una plataforma digna de inversión e intriga. El factor de portabilidad hace que la realidad virtual móvil sea una plataforma atractiva para experiencias multimedia e incluso juegos livianos, sin la necesidad de cables conectados a una PC más potente.

Además, la gran cantidad de dispositivos móviles en el mercado que están cada vez más equipados con capacidades de realidad virtual lo convierten en la plataforma elegida para llegar al mayor público objetivo. Si la realidad virtual se va a convertir en una plataforma convencional, necesita usuarios, y el móvil es la mayor base de usuarios para aprovechar.