Archivado - El aprendizaje inmersivo potencia la educación

Intel® RealSense™ SDK ha sido discontinuado. No habrá más actualizaciones ni continuará la asistencia.

Transformación de la IU: la interfaz del mañana la diseñamos hoy (parte 3 de 5)

Las distinciones entre el mundo real y el virtual desparecen cuando la tecnología Intel® RealSense™ enriquece la enseñanza interactiva

Por John Tyrrell

El control táctil y por gestos, el reconocimiento de imágenes y la realidad aumentada se han incorporado a innumerables aplicaciones y juguetes educativos, y aúnan el mundo virtual y el real de un modo que a los adultos les cuesta comprender. Otras tecnologías más sofisticadas como Intel® RealSense™ dan impulso a estos cambios al hacerse más accesibles. Con cada nuevo truco de estos aparatos, las fronteras entre mundos se desdibujan cada vez más. El resultado de todo esto es un mundo de juego y aprendizaje en el cual no importa distinguir entre lo real y lo virtual.

Los equipos de desarrollo de 3D4Medical, PlayTales y Scholastic son unos de los primeros en aceptar el desafío de implementar la tecnología Intel RealSense en el campo de la educación y el entretenimiento educativo. Están trabajando codo a codo con Intel mientras investigan el potencial de esta tecnología y superan escollos técnicos. Sus próximas aplicaciones y productos acercarán la próxima ola de innovación interactiva tanto a niños como a adultos.

Curación perceptual

El aprendizaje interactivo no se limita a las aplicaciones dirigidas a niños. La empresa irlandesa 3D4Medical crea aplicaciones multiplataforma que abarcan varias especialidades: anatomía, salud y bienestar, y material de consulta para medicina. La cuarta versión de su Essential Anatomy* (Figura 1) es la aplicación médica que más se está vendiendo en Windows*, Android* e iOS*.
 

Figura 1: Captura de pantalla de Essential Anatomy

Actualmente están trabajando en utilizar la tecnología Intel RealSense de manera que satisfaga las rigurosas exigencias que tienen las aplicaciones en el ámbito médico. Sergey Bushtyrkov, gerente de desarrollo de software de 3D4Medical, optó por emplear el SDK de Intel® RealSense™ con un complemento de Unity para alcanzar con más facilidad los resultados que buscaban al crear modelos de extremidades en el espacio virtual.

“La cámara 3D Intel® RealSense™ y el SDK de Intel RealSense proporcionan información, pero para llegar a la versión comercial final de la aplicación, se necesita más que datos”, explicó Bushtyrkov. “Necesitamos un motor 3D para crear algo atractivo, por eso usamos Unity para confeccionar un entorno y manipular las manos”.

La granularidad con que se mapea cada extremidad y articulación adquiere mucha mayor importancia en el contexto de la medicina. El equipo de Bushtyrkov está trabajando en mapear manos con una precisión anatómica que supera lo exigido en la mayoría de las aplicaciones que se controlan por gestos. “La cámara captura cierta cantidad de puntos de las manos y los digitaliza”. “Este flujo de datos es un conjunto de coordenadas y ángulos de rotación por cada uno de los 22 puntos de la mano” (Figura 2).

Figura 2:  Puntos de la mano que rastrea la cámara 3D Intel RealSense

Transformar los datos en bruto en una mano virtual modelada con precisión es un procedimiento complejo, y las exigencias son mayores para el equipo en cuando al grado de detalle que exigen las aplicaciones médicas. “Llevamos la tecnología al límite cuando creamos modelos muy cualitativos de manos humanas, los adaptamos a la información que obtenemos de la cámara 3D Intel RealSense y los hacemos mover, los coordinamos”, dijo Bushtyrkov.

“Puede ser difícil alcanzar la precisión de datos que intentamos aplicar a las manos”, continuó Bushtyrkov. “Con la ayuda de Intel, podremos superar las dificultades; estamos interpolando las animaciones de las manos con el motor de Unity”.

El equipo de 3D4Medical trabajará con la tecnología Intel RealSense en los años por venir, para continuar con su misión de siempre estar en la primera línea de las tecnologías emergentes. “En cuanto a empresas de nuestro ramo, estamos a la vanguardia de la técnica en muchas áreas diferentes”, recalcó Niall Johnston, vicepresidente de desarrollo comercial de 3D4Medical.Nos encontramos en las primeras etapas de desarrollo con esta tecnología, y es una buena oportunidad para que investiguemos las posibilidades”.

Cuentos que no solo son cuentos

La empresa PlayTales, con sede en España, comenzó a vender libros interactivos en la tienda de Apple a principios de 2012 y en poco tiempo se afianzó como una de las líderes del mercado. Ha desarrollado productos basados en franquicias de éxito mundial como Garfield*, Sesame Street* y El Principito, junto con los suyos propios, como My New Baby*. El escaparate de PlayTales, con más de 200 títulos en siete idiomas, se ha convertido en lugar de visita obligado para padres y niños de todos los rincones del planeta que buscan cuentos interactivos de gran calidad.

El equipo es entusiasta acerca de integrar la tecnología Intel RealSense en su libro animado interactivo de próxima aparición El Mago de Oz* y en su aplicación de educación científica Professor Garfield* (Figura 3). “Cuando nos enteramos de la nueva tecnología de Intel, tuvimos que investigar qué podíamos ofrecer a los clientes en cuanto a experiencia del usuario, gráficos tridimensionales e interacción”, dijo Enrique Tapias, director ejecutivo de PlayTales.

Figura 3: La mano de un niño manipula mariposas en la aplicación Professor Garfield

Durante la etapa anterior al lanzamiento comercial de la tecnología Intel RealSense, la oportunidad que se le presentó a PlayTales no fue meramente la de incluir algo nuevo en sus productos. Ha habido un trabajo de colaboración. “Mientras implementábamos las aplicaciones, Intel estaba desarrollando en simultáneo el SDK de Intel RealSense. Tuvimos que adaptarnos a eso”, dijo Pablo Benítez, director de tecnología de PlayTales. “Lo positivo es que podemos probar de primera mano todo lo nuevo que surge. Vemos cómo evolucionan tanto la aplicación como el SDK y agregan funcionalidades fabulosas con las que podemos mejorar las interacciones. Nos encanta el modo de contorno porque sigue la silueta del objeto más cercano a la cámara. Lo usamos para trasladar la mano del usuario a nuestro mundo tridimensional en los juegos: representamos la mano con un dibujo de ella. De esta manera, los usuarios pueden delinear un balde con las manos y así recoger ‘agua’ o, por ejemplo, hacer que un grupo de mariposas siga sus dedos”.

Cambio de comportamiento

Trabajar con la tecnología Intel RealSense brinda grandes ventajas a PlayTales. “Estamos al frente en una tecnología que estará en el mercado durante los próximos años. Eso es importante para nosotros”, dijo Tapias. “También estamos a la vanguardia en investigación de la experiencia de uso de los niños. Efectuamos nuestras propias pruebas de facilidad de uso, y ahora estamos recibiendo ayuda de paneles de discusión de Intel para probar nuestro contenido y la implementación de la tecnología Intel RealSense”. Benítez agregó que “Cuando probamos El Mago de Oz y Professor Garfield, observamos que a los niños les costaba entender el concepto de profundidad cuando interactuaban en estos nuevos mundos 3D. También tendían a salirse del campo visual de la cámara. Por eso, vamos a incluir instrucciones paso a paso, guías y alertas para enseñarles adónde pueden moverse y cómo hacerlo”.

PlayTales está utilizando estos conocimientos como guía para elaborar sus productos actuales y los que planea para el futuro, a medida que los consumidores, y sus expectativas, evolucionan a un ritmo que no da tregua. “El comportamiento de los niños ha ido cambiando muy rápido y ello se debe más que nada a la tecnología y los aparatos que les ofrecen”, dijo Tapias. “Creo que los niños tienen más opciones con la tecnología Intel RealSense. Ya no se trata solo de aprender o leer, sino también de interactuar con contenido, por ejemplo, dirigir el movimiento de una mariposa en Professor Garfield”.

Tapias y su equipo ven mucho potencial en las nuevas interacciones que la tecnología Intel RealSense hace posibles, y a la vez reconocen que cada implementación se debe controlar con cuidado, perfeccionar para que cumpla con criterios de calidad y determinar que sea adecuada para el contexto, sea este educación o entretenimiento. Para Tapias, las perspectivas son inequívocamente alentadoras: “La tecnología Intel RealSense es sin dudas una de las más importantes que habrá el próximo año, y no solo en computadoras y equipos portátiles, sino también en los aparatos que están usando los niños, como tabletas y smartphones”.

Scholastic fantástico

Scholastic tiene una reputación magnífica en entretenimiento infantil. Produce desde libros y programas de televisión ganadores del Emmy hasta videojuegos y productos de aprendizaje interactivo en variadas plataformas. “Cuando creamos contenido, combinamos el tema y los personajes de nuestras marcas con la tecnología”, comentó Jennifer Contrucci, directora de producción digital de Scholastic Media. “Intentamos usar tecnología porque da resultado, no como un simple agregado”.

Muchas de las marcas de esta empresa han pasado a formar una parte integral de la infancia de muchos niños de los Estados Unidos y otras partes del mundo, entre ellas Clifford the Big Red Dog* y Magic School Bus*. Pero I Spy*, que apareció por primera vez en 1992 como una serie de libros infantiles y ahora domina en el sector interactivo, es la que ahora está integrando la tecnología Intel RealSense.

Figura 4:  Captura de pantalla de I Spy Pirate Ship

I Spy Pirate Ship* (Figura 4) es una de las novedades de la marca. Se diseñó para equipos todo en uno y dos en uno. “La aplicación incluye muchas de las funcionalidades del SDK de Intel RealSense; usa gestos, detección de mano abierta y cerrada, y seguimiento por puntos del rostro” dijo Contrucci. “En este juego, se puede ver todo el abanico de capacidades perceptuales”.

Los niños y las cámaras

En una de las actividades de I Spy Pirate Ship, hay que mirar por un telescopio desde el puesto de vigía y buscar objetos escondidos en las estrellas (Figura 5). Cuando hubo que implementar la tecnología Intel RealSense para seguir el movimiento de las manos del usuario mientras busca en el cielo, surgieron dificultades interesantes.

Figura 5: Vista por el telescopio en I Spy Pirate Ship

“Como los niños tienden a hacer movimientos repentinos e incontrolados, no siempre podíamos detectar en qué dirección miraban”, explicó Contrucci. “Por eso cambiamos la programación a seguimiento por puntos. Ahora el juego busca puntos específicos del rostro (la punta de la nariz, por ejemplo) y está funcionando mucho mejor”.

Cuando el usuario encuentra un objeto, la manera en que se lo comunica al programa es hacer una pausa sobre él, una interacción aparentemente simple que los jugadores aceptaron con mucho entusiasmo. “Los niños sienten que es como magia sentir que en verdad están en el puesto de vigía y que las acciones físicas que hacen allí son importantes”.

Contrucci piensa que la capacidad de reconocer cuándo la mirada del usuario se ha posado sobre un lugar específico se aprovechará mucho en el futuro. “Tendrá muchas otras aplicaciones”, continuó. “Por ejemplo, si una pequeña está mirando un eBook* y hace una pausa sobre la imagen de un león, es una oportunidad para que el software reaccione y comunique el nombre del animal y su descripción. Brindaría a los niños ayuda instantánea”.

Aprendizaje social

En cuanto a la pregunta de si la interactividad es una ventaja genuina para el proceso educativo, Ornit Gross, gerente de productos de juegos y educación de Intel, tiene una respuesta rotunda. “Cuando uno hace que el material educativo cobre vida, sea inmersivo y entretenga, se vuelve más fácil recordar. Ayuda a aprender”.

“Cuando nos adentramos en este campo, aprendimos que se pueden combinar muchos factores para que la experiencia de aprender dé resultado”, continuó Ornit. “Uno de ellos es la interactividad; sea con el maestro, un amigo o una aplicación, es necesario que sea interactiva para que se profundice el aprendizaje”.

Pero aunque la tecnología Intel RealSense es lo más reciente en materia de interactividad, conforma solo una parte de la cuestión. “El segundo factor es social. Uno no aprende sólo de manera individual, sino en equipo”, dijo Ornit. “Creo que se podría avanzar en ese aspecto y lo estamos evaluando para la próxima generación. Lo importante es que la experiencia pase a ser de uno a muchos y no de uno a uno; que mi amigo y yo podamos aprender juntos”.

Las manos casi mágicas

Mientras tanto, la tecnología Intel RealSense está demostrando su valor a los equipos de desarrollo de aplicaciones que han apostado a ella. Está cambiando de una manera fundamental la manera en que ellos, y en última instancia los usuarios finales, interactúan con las computadoras y los dispositivos móviles. La voracidad con la que han aceptado el desafío es una recompensa en sí misma para Ornit y su equipo. “Me sorprendió que los desarrolladores, cuando entendieron que el SDK de Intel RealSense expone datos tanto de bajo nivel como de alto nivel, codificaron sus propias interacciones y aprovecharon todas las API del SDK. Por ejemplo, el SDK puede seguir 78 puntos de referencia de todo el rostro y detecta expresiones faciales tales como abrir y cerrar los ojos o tener la boca abierta. Todo esto se combinó de modo que el SDK pudiera identificar cuándo el usuario hace una cara graciosa. Otro ejemplo es el reconocimiento de gestos de la mano. El SDK sigue 22 puntos de articulaciones de las manos y reconoce el pellizco o gesto de reducir; un desarrollador combinó esas API e identificó un pellizco muy particular, que diseñaron especialmente para el personaje principal del juego”.

Como Intel ya sabe, la tecnología es solo el comienzo. Lo que importa es el contenido. Contrucci resume lo que estimula a Scholastic a explorar las posibilidades de la tecnología Intel RealSense: “Mucha gente cree que el control por gestos es lo que se viene, debido al potencial de registrar no solo con qué desea interactuar el niño, sino también ese acto tan natural. Cuando probamos en I Spy Pirate Ship esa interacción natural con los niños, fue una experiencia totalmente nueva para ellos. Llenó a todos de entusiasmo”.

Recursos

En esta página se puede explorar más a fondo la tecnología Intel RealSense, conocer más acerca del SDK de Intel® RealSense™ para Windows y descargar el kit para desarrolladores.

En el futuro, la cámara 3D Intel® RealSense™ vendrá integrada en equipos portátiles, dispositivos todo en uno y tabletas. faceshift la usó para controlar avatares en 16 tabletas y crear así una selfi virtual insuperable.

La tecnología Intel RealSense hace posible que nuestros mundos digitales interactúen con nuestros mundos físicos, orgánicos, y que esa interacción pueda tener una utilidad. El desarrollador Stefan Sadchikov cruzó límites que hace pocos años habrían parecido imposibles de superar.

La industria de los videojuegos también está presentando propuestas de juego envolvente con la tecnología Intel RealSense. En este artículo se pueden leer las apreciaciones de cuatro destacados equipos que están a la vanguardia en el uso de esta técnica.

La tecnología Intel RealSense tiende puentes entre la comunicación remota y la comunicación en persona para dar un nuevo significado a la frase “súmese a la reunión”. Este artículo se puede leer aquí.

Intel e Intel RealSense son marcas comerciales de Intel Corporation en los EE. UU. y otros países.

Para obtener información más completa sobre las optimizaciones del compilador, consulte nuestro Aviso de optimización.