Busca entre las piedras

widgetPiedras1 

Este proyecto es el resultado de la experimentación con la cámara kinect y con programación en Processing. Partió como un  trabajo desarrollado para la exposición Sensorium, del grupo Ecoarte en Salvador de Bahia. En este montaje se desarrolló  para una de las obras, que consistía en ocho videos con material del proyecto (pueden saber detalles del proyecto aqui). un sistema interactivo para visitar estos videos.

La idea fue de cubrir una superficie con piedras, captar esa zona con la cámara kinect y a través de programación usando Processing convertir la interacción con las piedras en un sistema de navegación para visualizar cada uno de los videos.

Lo interesante de esta experiencia fue descubrir la dificultad para obtener con la cámara kinect una imagen estable, que nos permitiera acceder correctamente a la imagen obtenida. El problema fue que de algún modo la luz del entorno influenciaba el funcionamiento de la cámara, y la zona central de la imagen captada cambiaba en la medida que transcurría el día, y era muy inestable, no nos permitía contar con esa zona para la interacción.

Con Taller dínamo seguimos experimentando posibilidades interactivas a través de esta solución, jugando con los posibles materiales a colocar sobre la mesa y mejorando la solución de código. En este sentido el mayor avance ha sido prescindir de la cámara Kinect y ocupar una cámara Web común y corriente. Es decir pasamos de trabajar con una imagen de profundidad, que funciona en base a puntos de luz infrarojos, a trabajar con una imagen RGB común y luz visible.

Este ejercicio interactivo nos permite contar con una solución atractiva y novedosa para compartir con el público material multimedia que dentro del Taller consideramos interesante y valioso de compartir. Otro objeto también es abrir el código y compartirlo con todo aquel que se interese, ofreciendo una solución de interacción de bajo costo, soportada con herramientas de software libre y de fácil montaje y comprensión.

 

Descripción técnica

Este proyecto consiste en una solución interactiva para exhibir videos o cualquier otro tipo de material digital, considera como sus componentes físicos principales: un computador,un monitor de 40’’( o 32’’),  una webcam, parlantes de audio, una mesa con superficie de vidrio, un material para colocar sobre la superficie  y un foco de iluminación. En cuanto al software, se utiliza Processing y, el computador puede ser Windows, Mac o Linux. Los videos utilizados deben estar en formato .mp4 o .mov. Y la cámara web no requiere de ninguna especificación especial.

El montaje consiste en lo siguiente:

1.-  Instalar la cámara web dentro de la mesa que se utilizará,  de modo que enfoque desde abajo hacia arriba apuntando a la superficie.

2.- Colocar sobre la superficie el elemento con el cuál el público interactuará, la cámara enfocará esta superficie desde el interior de la mesa.

3.- Se debe considerar iluminación constante sobre la superficie de la mesa, ya sea con un foco especialmente instalado o gracias a la iluminación del espacio disponible

4.- La cámara se conectará directamente al computador y desde la programación de Processing se accederá a la imagen para generar la solución interactiva.

5.- El monitor se conectará al computador para visualizar el resultado de la programación con la visualización del contenido multimedia a mostrar.

Descripción de funcionamiento

El funcionamiento del módulo en cuanto a la interacción con el público consiste en lo siguiente:

1.- El público se encontrará con una mesa cuya superficie estará llena de distintos tipos de elementos (podrán ser piedras, componentes electrónicos u otro elemento que vayamos experimentando).
2.- Junto a la mesa estará el monitor que además de tener una animación básica en pantalla tendrá una indicación para invitar a las personas a interactuar con lo que encuentren sobre la mesa.
3.- La interacción con los elementos sobre la mesa gatillará respuestas en la programación, que mostrará contenido multimedia de trabajos, proyectos e información general de proyectos interactivos y de cultura libre.
4.- El material a exhibir será seleccionado especialmente por el equipo de taller dínamo, para mostrar aquella información que como colectivo nos gustaría compartir con el público.

El funcionamiento del módulo en términos de programación esta hecho exclusivamente con Processing, y el código generado consiste básicamente en lo siguiente:

 

En el inicio de la programación:

  1. 1A. Se determina una zona “activa de lectura” que será la zona de la imagen que nos iteresará evaluar.
  2. 2A. Esta zona a su vez se dividirá según la cantidad indicada.
  3. 3A. Toma una imagen de la cámara (IMPORTANTE con todas las piedras cubriendo la superficie).
  4. 4A. La filtra como imagen en blanco y negro.
  5. 5A. Se cuenta por zonas cuanta cantidad de pixeles blancos había en cada zona de la imagen (lugares donde pasaba la luz).

En cada iteración o loop de la programación:

  1. 1B. Toma una imagen de la cámara (30 pfs)
  2. 2B. La filtra como imagen en blanco y negro.
  3. 3B. Se cuenta por zonas cuanta cantidad de pixeles blancos había en la imagen.
  4. 4B. Compara la cantidad recién leída  con la cantidad previamente evaluada (5A)
  5. 5B. Según el resultado se gatillan distintos videos previamente cargados en la programación.