Dentro del proyecto TAA se ha desarrollado un demostrador a partir de los análisis realizados sobre las distintas técnicas de SLAM

Entrenamiento y almacenamiento de una escena

En este demostrador se tomó como base para el entrenamiento de la nube de puntos un stand del instituto de investigación, y como objetos virtuales el modelo 3D de un coche y un motor.

La aplicación de demostrador permitía la interacción con el entorno desde todos los puntos de vista posibles dentro de la sala en un rango de tres octavas, de tal manera que el usuario podía tener una visualización global de todo el contenido virtual sobre la imagen real, y acercarse a diferentes zona del stand para tener una visualización de mayor detalle de los objetos virtuales.

En ambos demostradores se incluye además un “shader” de reflexión y un modelo de iluminación basado en el entorno de la sala con el objetivo de mejorar la integración del contenido virtual.

Entrenamiento en tiempo real en base a una referencia

Para esta segunda demostración se desarrolló una aplicación que implementaba el método de entrenamiento de la nube de puntos en tiempo de ejecución en base a un marcador de referencia.

La función de la aplicación era la de, una vez reconocido el entorno, permitir la disposición de
mobiliario virtual (mesas, sillas, estanterías) en tiempo real, para un posterior análisis de la
configuración realizada mediante la exploración de la escena.

Como muestra de los resultados alcanzados se presenta una producción del uso de la aplicación del demostrador en el espacio de pruebas en i3a.

Dentro del proyecto TAA han analizado distintas técnicas basadas en detección de características en tiempo real, en concreto en técnicas basadas en SLAM (Simultaneous Location And Mapping). Las principales problemáticas de esta técnica es la necesidad de una referencia inicial , ya que nuestro objetivo final es ubicar de forma correcta un objeto virtual en un entorno real, y la influencia de los distractores en el entrenamiento. Para realizar este análisis hemos trabajado con librerías que permiten implementar experimentar en dispositivo móvil, y que a su vez ofrecen las funcionalidades de entrenamiento en tiempo real de una escena y posterior almacenamiento. Gracias a esto tenemos la posibilidad de realizar un prototipado rápido en distintos tipos de escenario.

Entrenamiento y almacenamiento de una escena

La primera estrategia a seguir ha sido el establecimiento de una zona de test, en este caso una sala de las instalaciones del i3a (Instituto de Investigación en Ingeniería de Aragón). Dentro de esta sala se han ubicado distintos tipos de cartelería, mobiliario, etc. como elementos necesarios para la detección de características y por lo tanto el entrenamiento de una nube de puntos.

Una vez que disponemos de un escenario de pruebas realizamos el entrenamiento mediante SLAM de una nube de puntos del entorno.

Esta nube de puntos es introducida en una aplicación móvil de test para verificar el correcto emparejamiento a distintas escalas u octavas (consideramos una octava la duplicación de la distancia entre el observador y el objeto a reconocer) y puntos de vista, así como la robustez frente a oclusiones y distractores. Lo que observamos bajo esta estrategia es:

• El sistema es capaz emparejar correctamente a tres octavas
• Existe cierta robustez frente a oclusiones en fase de tracking, pero no en el
  emparejamiento inicial.
• Existe dependencia de la iluminación.

Al margen de las limitaciones una de las ventajas de esta técnica es que, al haber entrenamiento previo, se ofrece un punto de referencia sobre el cual integrar objetos virtuales.

Entrenamiento en tiempo real en base a una referencia

Otra estrategia abordada consiste en trabajar con un marcador de referencia y realizar el entrenamiento de la escena en tiempo de ejecución de la aplicación. Los experimentos realizados utilizan como referencia un marcador de 500×500 mm dispuesto en el suelo.

En este caso la aplicación de prototipo integra la información del marcador como referencia inicial para el entrenamiento de una nube de puntos mediante SLAM. Una vez localizado el marcador la aplicación analiza de forma continua la escena y acumula la información de nuevos puntos 3D, lo que permite mantener el tracking del escenario sin necesidad de tener visibilidad sobre el marcador de referencia.

Bajo este nuevo método mantenemos la ventaja del sistema anterior, en el cual se dispone de una referencia del espacio real, y evitamos la influencia de la iluminación a corto plazo.