Dentro del proyecto TAA han analizado distintas técnicas basadas en detección de características en tiempo real, en concreto en técnicas basadas en SLAM (Simultaneous Location And Mapping). Las principales problemáticas de esta técnica es la necesidad de una referencia inicial , ya que nuestro objetivo final es ubicar de forma correcta un objeto virtual en un entorno real, y la influencia de los distractores en el entrenamiento. Para realizar este análisis hemos trabajado con librerías que permiten implementar experimentar en dispositivo móvil, y que a su vez ofrecen las funcionalidades de entrenamiento en tiempo real de una escena y posterior almacenamiento. Gracias a esto tenemos la posibilidad de realizar un prototipado rápido en distintos tipos de escenario.
Entrenamiento y almacenamiento de una escena
La primera estrategia a seguir ha sido el establecimiento de una zona de test, en este caso una sala de las instalaciones del i3a (Instituto de Investigación en Ingeniería de Aragón). Dentro de esta sala se han ubicado distintos tipos de cartelería, mobiliario, etc. como elementos necesarios para la detección de características y por lo tanto el entrenamiento de una nube de puntos.
Una vez que disponemos de un escenario de pruebas realizamos el entrenamiento mediante SLAM de una nube de puntos del entorno.
Esta nube de puntos es introducida en una aplicación móvil de test para verificar el correcto emparejamiento a distintas escalas u octavas (consideramos una octava la duplicación de la distancia entre el observador y el objeto a reconocer) y puntos de vista, así como la robustez frente a oclusiones y distractores. Lo que observamos bajo esta estrategia es:
- El sistema es capaz emparejar correctamente a tres octavas
- Existe cierta robustez frente a oclusiones en fase de tracking, pero no en el
emparejamiento inicial. - Existe dependencia de la iluminación.
Al margen de las limitaciones una de las ventajas de esta técnica es que, al haber entrenamiento previo, se ofrece un punto de referencia sobre el cual integrar objetos virtuales.
Entrenamiento en tiempo real en base a una referencia
Otra estrategia abordada consiste en trabajar con un marcador de referencia y realizar el entrenamiento de la escena en tiempo de ejecución de la aplicación. Los experimentos realizados utilizan como referencia un marcador de 500×500 mm dispuesto en el suelo.
En este caso la aplicación de prototipo integra la información del marcador como referencia inicial para el entrenamiento de una nube de puntos mediante SLAM. Una vez localizado el marcador la aplicación analiza de forma continua la escena y acumula la información de nuevos puntos 3D, lo que permite mantener el tracking del escenario sin necesidad de tener visibilidad sobre el marcador de referencia.
Bajo este nuevo método mantenemos la ventaja del sistema anterior, en el cual se dispone de una referencia del espacio real, y evitamos la influencia de la iluminación a corto plazo.