Probador virtual Kinect
En el 2009 empece a sentir mucho interés por la realidad aumentada, para esos días no existía el kinect y solo se podía lograr con la web cam, el detalle era que yo no sabía nada de AS3 que es el lenguaje de programación que me permitio hacer todo lo que he venido haciendo.
En esos días trabajaba para Yannick Warnier en su empresa llamada Beeznest, fomentaban mucho la investigación y yo como siempre curioso aprovechaba el tiempo que nos permitian para investigar, eso fue bueno ya que me permitio experimentar mucho.
para el 2010 logre desarrollar un probador virtual con muy pocos conocimientos de programación y gracias a la ayuda de mi amigo Christian Fasanando, hablo de este probador :
Luego logramos mejorar la detección de movimiento con esta librería :
http://blog.soulwire.co.uk/code/actionscript-3/webcam-motion-detection-tracking
y quedo perfecto a pesar de que yo no sabía nada de programación as3 me metí y logre hacerlo, el detalle era que consumia recursos, sobre todo procesador.
ya para el 2011 conocí a quien es mi actual empleador, le mostre la beta del proyecto con la detección de movimiento y le gusto, nos ofrecio el 30% del monto total de la venta que le hiciera a Saga Falabella ya que el consideraba que era super bueno el producto, así pasaron los meses y Saga Falabella adquirio el primer probador virtual en el Perú, pero no lo desarrolle yo ya que andaba compeltamente ocupado con el proyecto mistura, así que mi empleador decidío contratar a un Desarrollador as3 para que mejorara el rendimiento de mi beta, y allí empezó el caos , en lugar de mejorarla la detección era pésima, tanto que el probador virtual que usamos en saga falabella los usuarios tenían que usar unos objetos en sus manos ya que eso permitía mejorar un poco la detección, tengo tantos emails que cruce ese día con el desarrollador que aún los guardo como el recuerdo de que quien se supone era el mejor no pudo estar a la altura.
En fin Saga Falabella el primer día se quejo con quien es mi empleador y yo tuve que ir a reunirme con mi amigo Christian Fasando a poner el diseño a nuestra beta ya que el que hizo el desarrollador no funciono, pero para el día siguiente se decidío de que a pesar el probador virtual no funcionaba bien se utilizaría como comente unos objetos “pin” en la mano, aunque el inicio no era mas que un sujetador de cabello que entregabamos a los usuarios para que se lo pusieran en la mano, pienso en eso y siento tanta verguenza.
Este fué el probador virtual noten que no detecta bien :
Para solucionar ello se decidió colocar estos pines que el usuario tiene en la mano además de contratar a una persona para que ayudara a los usuarios, ella hizo un buen trabajo :
En fin esta es la historia del primer probador virtual, y vale decir que del 30% que me ofrecieron no cobre nada y es que ese fue otro tema que he dejado pasar ya que creo que el destino y el tiempo se encarga de devolvernos el favor.
hace 3 días decidí hacer un probador virtual Kinect, esto fué motivado por un Argentino que me contacto y con el cual llegamos a un acuerdo. Kinect permite ya no depender de los botones y manejarlo todo a nivel de gestos y eso es lo bueno, he trabajado aquí el seguimiento del cuerpo, además de escalar en base a la proporción, tambien el reconocimiento de gestos y si que ha sido divertido utilizar airkinect que es la librería que utilice para comunicar el kinect con Adobe Flash, Gracias nuevamente al equipo de as3nui.com por hacer esta librería que es tan maravillosa como el kinect.
les muestro las 2 betas del nuevo Probador Virtual Kinect, cada una con su propia funcionalidad, recomiendo verlas ya que quedaron muy bonitas .
TEKI el doctor desde tu casa
Suelo escribir en este blog solo sobre los proyectos en los que vengo trabajando, pero ayer me di con la noticia que el País Vasco invertira 1.5 millones de Euros en un proyecto llamado TEKI, Teki es un proyecto el cual pretende llevar el doctor a casa de pacientes crónicos.
La iniciativa es grandiosa, el uso mucho mas aún , la cantidad de dinero que ahorrarán el paciente al no tener que movilizarse a la clínica pues es beneficiosos.
Me gustaría ver a Kinect Intervention en los hogares de las personas, creo que el inicio de TEKI impulsado por el País Vasco es el inicio de lo que serán los doctores en casa, y con el creo que se abre una gran puerta para que llevemos tambien kinect intervention a muchos hogares.
Airkinect 2 en FlashDevelop
Mi mayor problema siempre ha sido el día en que se vencio mi licencia de prueba de Flash Builder, es por eso que busque una manera de correr Airkinect en Flash Develop, encontre mucha documentación para la version 7.1 de airkinect pero no para la versión 2, es así que decidí hacer un tutorial de como correr airkinect 2 en Flash Develop, para todos aquellos que quieran iniciarse en la programación con Kinect y Air.
Primero deben considerar que deben tener un kinect y el sdk instalado en su máquina, la manera de instalar y de donde sacar el sdk se encuentra aquí :
http://www.kinectforwindows.org/
Lo segundo que deben considerar es que deben tener el core de airkinect y lo descargan de aquí :
http://as3nui.github.com/airkinect-2-core/
Este es el vídeo tutorial :
El código con el que llame a la cámara depth es el siguiente
package
{
import flash.display.Sprite;
import com.as3nui.nativeExtensions.air.kinect.Kinect;
import com.as3nui.nativeExtensions.air.kinect.KinectSettings;
import com.as3nui.nativeExtensions.air.kinect.data.SkeletonJoint;
import com.as3nui.nativeExtensions.air.kinect.data.User;
import com.as3nui.nativeExtensions.air.kinect.events.CameraImageEvent;
import flash.display.Bitmap;
import flash.display.Sprite;
import flash.display.Stage;
import flash.display.StageAlign;
import flash.display.StageScaleMode;
import flash.events.Event;
/**
* …
* @author Luis Rodriguez
*/
public class Main extends Sprite
{
private var kinect:Kinect;
private var bmp:Bitmap;
private var skeletonContainer:Sprite;
public function Main():void
{
stage.align = StageAlign.TOP_LEFT;
stage.scaleMode = StageScaleMode.NO_SCALE;
stage.nativeWindow.visible = true;
if(Kinect.isSupported())
{
bmp = new Bitmap();
addChild(bmp);
skeletonContainer = new Sprite();
addChild(skeletonContainer);
kinect = Kinect.getDevice();
kinect.addEventListener(CameraImageEvent.DEPTH_IMAGE_UPDATE, depthImageHandler);
var settings:KinectSettings = new KinectSettings();
settings.depthEnabled = true;
kinect.start(settings);
addEventListener(Event.ENTER_FRAME, enterFrameHandler);
}
}
protected function depthImageHandler(event:CameraImageEvent):void
{
bmp.bitmapData = event.imageData;
}
protected function enterFrameHandler(event:Event):void
{
skeletonContainer.graphics.clear();
for each(var user:User in kinect.usersWithSkeleton)
{
for each( var joint:SkeletonJoint in user.skeletonJoints)
{
skeletonContainer.graphics.beginFill(0xff0000);
skeletonContainer.graphics.drawCircle(joint.depthPosition.x, joint.depthPosition.y , 3);
skeletonContainer.graphics.endFill();
}
}
}
}
}
KINECT INTERVENTION
Actualización 04/04/2012 :
Estamos muy contentos de haber pasado a la competencia final nacional de Imagine Cup, el vídeo nos sirvio mucho para poder comunicar de manera adecuada nuestro proyecto.
Quiero presentarles el proyecto en el cual actualmente me encuentro trabajando, se llama Kinect Intervention; es una aplicación que recopila datos de posición y movimiento desde la comodidad de tu casa para detectar a transtornos de tdah, hiper actividad y hiperquinesia, según los psicologos con los que venimos trabajando esta aplicación tambien les brinda datos de otros transtornos como la esquizofrenia infantil, autismo.
Este video lo hicimos para presentarlo en el concurso imagine cup .
Kinect Aplicación educativa para aprender las vocales
Pues he venido trabajando todas las madrugadas después de la oficina sobre esta aplicación educativa para aprender las vocales con kinect y as3nui, he logrado ya hacer un bonito diseño y el seguimiento de rostro al cual le he agregado una carita de abeja para que los niños se diviertan con ello, les dejo el vídeo del mismo como adelanto a lo que se viene ya que aún como decía me falta animar los personajes hacer la colisión de los globos con mi mano y otras cositas mas que le pondré así que si tienen alguna idea comentario o quieren apoyar con las tareas de animación, diseño y programación déjenme saber
Segundo Prototipo educativo Kinect
Hola aprovechando el poco tiempo libre que tengo he hecho un segundo prototipo educativo kinect para aprender las vocales, esta dirigido a niños muy pequeños , sigo pensando que los “nativos digitales” deberían tener herramientas interactivas que los ayuden a desarrollar mucho más rápido su capacidad de aprender, creo que Kinect ayudará mucho en esa tarea.
Manual Ostrich web cam flash
Hola, esta ves para dejar el manual de uso para novatos como yo de la librería Ostrich Web cam flash, que es la librería en as3 que nos permite hacer la deteccion de movimiento de manera muy sencilla.
Esta librería la pueden descargar de LA WEB DE DANZEN.
