C072 UNC Hermes Domotic System

Hermes Domotic System
Nieva, Eduardo Gabriel (1) Peralta, María Florencia (1) Beltramone, Diego Antonio (2).
[email protected] – [email protected] – [email protected]
(1
Ingeniería Biomédica. Facultad de Ciencias Exactas Físicas y Naturales – U.N.C., Argentina
Laboratorio de Ing. En Rehabilitación. Facultad de Ciencias Exactas Físicas y Naturales – U.N.C., Argentina.
(2)
Resumen
En el presente trabajo se propone la utilización de una Interfaz Cerebro Computadora para
permitir a personas con discapacidad motora, pero con una actividad intelectual intacta, la
utilización de los elementos básicos de su vivienda, como encender y apagar las luces, subir y
bajar una persiana o manejar el control del televisor. Para esto es necesario automatizar estos
dispositivos y centralizar su manejo en una plataforma, lo que constituye un Sistema de
Domótica.
Para lograr dicho objetivo, se utiliza un dispositivo comercial asequible, portátil e inalámbrico
que sensa y entrega a la computadora las señales electroencefálicas producidas en el lóbulo
frontal y mediante ellas se determinan los niveles de atención, relajación y parpadeo del
usuario en cada instante. Se desarrolló un Software que adquiere, almacena y procesa los
valores obtenidos, permitiendo la selección de distintas tareas, como iluminación o
calefacción, de acuerdo a una combinación determinada (que puede ser personalizada para
cada usuario) de los niveles de atención, relajación y parpadeo. Una vez seleccionada la
acción, el programa envía dicha información como comando a una placa Arduino® que se
encarga de actuarla físicamente.
Destinatarios
Si bien el sistema puede ser utilizado por cualquier persona por gusto, cuestiones de ocio u
optimización de los sistemas, los usuarios potenciales y para los que está dirigido el proyecto
son personas dependientes, que han perdido su autonomía debido a una discapacidad
adquirida como consecuencia de accidentes, traumas o enfermedades, que implican problemas
motores graves e impiden su comunicación natural con el exterior, pero que tienen actividad
intelectual intacta.
Para tomar conciencia de la incidencia de estos trastornos en la sociedad y la necesidad de
obtener una solución, expondremos algunos datos sobre su presencia en Argentina:
Patología
Incidencia en Argentina
Referencias
Esclerosis múltiple
18-20 casos cada 100.000
habitantes
Kollmann, A. y Simeoni, E.
(2012) [4]
Esclerosis lateral
amiotrófica
Unos 2000 habitantes
Rodriguez, G. et al.
Distrofia muscular
1 cada 3500 nacidos vivos por año
Kollmann, A. y Simeoni, E.
(2012) [4]
Apoplejías
34,4% de Mayores de 18 años. 1
ACV cada 4 minutos
Kollmann, A. y Simeoni, E.
(2012) [4]
(2011) [7]
Tabla 1. Incidencia de enfermedades incapacitantes en Argentina.
Sistema de implementación
El Sistema consiste en una serie de bloques que se van relacionando entre sí de manera
consecutiva. Así, en primer lugar encontramos la Adquisición de las Señales mediante un
dispositivo MindWave. A continuación de esta etapa, el Software de Implementación recibe
las señales enviadas por el equipo antes mencionado y se encarga de interpretarlas, de modo
que selecciona la acción deseada por el usuario y la envía mediante un código a la placa
Arduino®. Al mismo tiempo, este Software realiza una retroalimentación visual para el
usuario. En una tercera sección encontramos la placa Arduino® que, previamente programada,
recibe el código del Software de Implementación, lo descifra y de acuerdo a esto modifica el
valor de sus pines de salida para que finalmente los dispositivos del hogar conectados a la
dichos pines puedan ser controlados (encendido, apagado, intensidad, etcétera). En el
siguiente esquema se puede apreciar un diagrama de este Sistema.
Figura 1. Esquema del Sistema de Implementación.
Adquisición de las señales
Para obtener una aplicación que sea útil y amigable se debe comenzar por contar con un
sistema que pueda utilizarse en el hogar sin necesidad de ayuda profesional diaria. Para esto,
realizamos el registro de las señales mediante el dispositivo comercial MindWave (Figura 2)
de la empresa NeuroSky®, por ser un equipo fácil de utilizar, portátil, ligero y asequible.
Figura 2. Dispositivo MindWave y sus partes.
MindWave detecta las señales eléctricas que se producen en el cerebro con cada pensamiento
mediante un sensor seco (sin necesidad de utilizar el gel conductor propio de los EEG
convencionales) ubicado en la posición conocida como FP1 en las neurociencias.
Los valores que utilizaremos en nuestro trabajo -que se encuentran entre los que devuelve este
dispositivo- son los niveles de concentración, de relajación y la detección de parpadeo. El
pensamiento alto, es decir: las emociones, estados mentales, de concentración, etcétera son
todos dominantes en la corteza pre-frontal, en la parte anterior del cerebro. Esta es la razón
para la colocación del sensor principal de MindWave en la posición FP1 del sistema
internacional 10-20.
Una vez reveladas las señales, éstas reciben un mínimo tratamiento con filtros dentro del
dispositivo y luego son enviadas a la computadora mediante Bluetooth. Una vez en la
computadora, se puede hacer uso de las señales mediante las librerías y kits de desarrollo que
provee la empresa.
Software de implementación
Se desarrolló un Software que denominamos Hermes debido a que en la antigüedad el dios
mitológico encargado de transmitir los mensajes entre los distintos dioses tenía este nombre.
Haciendo una analogía con nuestro trabajo, este software no sólo funciona como interfaz con
el usuario sino que también actúa como mensajero al conectar el cerebro del usuario con su
hogar.
Se realizaron dos versiones de este programa.
Hermes v1
El objetivo de este software fue la interconexión del dispositivo MindWave y la Placa de
desarrollo Arduino®.
En el panel inicial, sobre el borde inferior, se pueden ver los estados actuales de las
conexiones del programa con: la base de datos, el MindWave y la placa de desarrollo
Arduino®. Ver Figura 3.
Figura 3. Panel inicial de Hermes v1.
La pantalla de Umbral se creó con el fin de permitir al usuario una familiarización con el
dispositivo MindWave y el control del mismo a través del pensamiento, mediante una
aplicación simple que sólo tenga la función de encender una lámpara, como paso intermedio
para llegar al Software final.
Al acceder a la ventana de Umbral (Figura 4) vemos por medio de barras y en tiempo real los
coeficientes normalizados que envía el MindWave. Cuando los niveles superan el umbral
adyacente, el ícono de la lámpara apagada cambia al de una lámpara encendida y
simultáneamente envía una señal por USB a la Placa Arduino®, la cual completa la acción
cerrando un relé. Cuando los niveles vuelven a superar el umbral la lámpara se apaga.
Figura 4. Ventana de umbral Hermes v1.
Ya pensando en el futuro del programa se incluyó una opción de usar las variables
combinadas, es decir, una vez seleccionadas se puede elegir la dificultad del desafío y hasta
inclusive se pueden elegir los valores, escapándose de lo preestablecido.
Esta última modalidad cuenta con la característica de que las 3 señales deben estar por encima
de sus umbrales simultáneamente para que la lámpara se encienda, evitando que un pico
involuntario de alguna de las señales active la acción.
Hermes v2
El objetivo es diseñar un software libre para la automatización del hogar por medio de
Interfaz Cerebro Computadora, que tenga la capacidad de ser comprendido, aprendido
y usado con facilidad, además de ser atractivo para el usuario.
Una interfaz natural es aquélla que se maneja intuitivamente, de forma similar a la que el
usuario está habituado, y que por ello no provoca en él sentimiento de rechazo.
Adicionalmente, una buena interfaz de usuario debe ser fácil de aprender y debe mantener un
estilo, asistencia y pautas de interacción uniformes, con independencia de la tarea a realizar [9].
Éste fue el concepto por el cual nos guiamos a la hora de diseñar esta versión de Hermes.
El panel principal (Figura 5) cuenta con dos sectores definidos: Por un lado se encuentran las
señales mostradas en barras junto a su selector de umbral. En la parte superior de los paneles
de la señales se encuentra una etiqueta que cambia de color cuando se hizo el click virtual, el
cual permite seleccionar la acción elegida. Cabe recordar que para que se realice el click
virtual todas las señales usadas deben estar encima del nivel del umbral.
Una vez que se logró la conexión con la placa Arduino®, el programa habilita las opciones del
panel de las acciones y comienza a funcionar el enfocador (cuadrado rojo), una función de
esta versión del software que escanea cada una de las opciones y mantiene el foco durante un
tiempo determinado previamente por el usuario, resaltando la opción enfocada en ese
momento. Si la opción está enfocada y el usuario realiza el click virtual se ejecuta una acción.
Figura 5. Panel principal Hermes v2.
Hermes v2 es un software pensado para que sea fácil, simple, robusto y que permita reducir el
tiempo de aprendizaje y desenvolvimiento del usuario frente a la cotidianeidad del uso del
programa. Apunta fuertemente a la personalización del mismo brindando un entorno amigable
e intuitivo al usuario.
Implementación
Para implementar el Sistema de Domótica, y con el fin de poder probar en distintos usuarios
el Sistema de la manera más real e intuitiva posible, se realizó una adaptación de los equipos
del hogar convencionales de modo que puedan ser controlados por una placa Arduino® UNO,
y se programó la placa para que los controle de acuerdo a los valores recibidos desde el
Software de Implementación.
Se realizaron tres paneles comunicados entre sí con el fin de representar un control de
iluminación, un control de motor y un control de calefacción. Para esto, se incluyeron los
siguientes dispositivos: una lámpara de 220V con las funciones ON/OFF; una lámpara de
220V incandescente dimmerizada con tres intensidades diferentes; dos tomacorrientes de
220V para encender diferentes equipos eléctricos a elección; una persiana con un motor de
12V y un ventilador de 5V.
Figura 6. Vista frontal de los paneles.
Pruebas clínicas
Las pruebas clínicas tienen el fin de evaluar el uso del Sistema de Domótica por parte de los
usuarios, con el objetivo de verificar la factibilidad de control del Sistema por la mayoría de
las personas, siempre y cuando éstas posean una actividad intelectual intacta. Para esto, se
probó el Sistema en una población de veinticinco voluntarios. Cabe indicar que los sujetos no
fueron personas en situación de discapacidad, ya que ante la necesidad de tener actividad
intelectual intacta se podía probar con cualquier sujeto.
Las pruebas consistieron en primera instancia en una familiarización del usuario con el uso
del dispositivo MindWave, mediante el uso de Hermes v1. Se le otorgaron diez minutos para
que intentaran controlar las tres variables (atención, meditación y parpadeo) y eligieran las
dos que le resultaran más fáciles. A continuación, se configuró el Software Hermes v2 para
que fuera controlado con las dos variables seleccionadas y se comenzó con las pruebas
propiamente dichas, las cuales consistieron en una serie de acciones que el usuario debía
realizar.
Las mismas se detallan a continuación:
1. Encender la lámpara ON/OFF.
2. Apagar la lámpara ON/OFF.
3. Subir la persiana.
4. Bajar la persiana.
5. Encender la lámpara dimmerizada a 25%.
6. Apagar la lámpara dimmerizada.
7. Encender la lámpara dimmerizada a 50%.
8. Apagar la lámpara dimmerizada.
9. Acción elegida por el usuario 1.
10. Acción elegida por el usuario 2.
Se cronometró el tiempo que se tarda en realizar cada una de las acciones y se sumaron la
cantidad de intentos fallidos.
Resultados
El primer análisis que se realizará es la elección del par de señales escogidas por los usuarios.
Del total de pruebas realizadas, el 62% eligió el par Meditación-Parpadeo (Figura 6a), esto se
lo atribuye a que, a pesar de que la meditación es más complicada de controlar, se mantiene
por más tiempo en coeficientes superiores al umbral. El parpadeo sigue siendo la señal más
usada por los usuarios, llegando a ser usada alrededor del 45% de las veces, como muestra la
Figura 6b.
Figura 7. Variables elegidas por el usuario para el control del sistema. A - por pares. B - individualmente.
Analizando los tiempos, los resultados que se obtuvieron fueron alentadores ya que en general
mostraron que el software es fácil de usar, intuitivo, robusto y flexible, ya que se adapta a un
rango de edad amplio. La Figura 7 nos indica que los tiempos de realización de las 10
acciones exigidas en las pruebas no deben ser mayores a 1433 segundos, es decir alrededor de
25 minutos, mientras que el tiempo inicialmente estimado de cada prueba eran 60 minutos.
Esto nos indica que el software tiene un grado de facilidad mayor al previsto. Otro detalle
muy importante que nos brinda este gráfico es que los datos son sesgados a la izquierda,
donde los tiempos son más chicos.
Figura 8. Histograma de Tiempos totales con Ajuste Normal.
El ajuste normal (curva en negro sobre el histograma) está hecho con la media de µ= 715.650,
pero se puede observar que la mayoría de los tiempos de realización de las pruebas son
menores a ésta en una frecuencia relativa de alrededor del 55%.
Siguiendo el estudio de los tiempos podemos interpretar que a medida que se avanza en la
prueba el promedio de la ejecución de la acción van disminuyendo, como muestra el siguiente
gráfico:
S
Figura 9. Tiempos promedio en la realización de cada acción.
El otro tipo de dato que se recaudó en las pruebas fue la cantidad de intentos fallidos a la hora
de realizar una acción pedida por los mediadores de la prueba.
Figura 10. Promedio de Intentos fallidos a lo largo de la prueba.
Considerando la media µ=12.05 intentos fallidos por prueba y considerando que cada prueba
tiene 10 acciones, podemos deducir que una persona sin entrenamiento comete 1 intento
fallido por cada acción que quiera realizar. Esto muestra la flexibilidad que tiene el software y
el fácil manejo de las variables electroencefálicas.
Por último analizamos el grafico anterior, el cual muestra el promedio de intentos fallidos a lo
largo de la prueba, esto demuestra que mientras más tiempo se usa y se entrena en el manejo
de las señales neurológicas, mejor resultados se obtiene y los intentos fallidos tienden a
disminuir rápidamente. El grafico muestra una disminución de 2.00 a 0.8 intentos fallidos en
alrededor de 12 minutos que dura en promedio la prueba.
Conclusión
En relación a los objetivos planteados, podemos afirmar que se desarrolló un Software que
permite a personas con incapacidad motora pero con una actividad intelectual intacta
desempeñarse de manera autónoma en el uso de los dispositivos de su hogar; esto con un
entrenamiento mínimo, que no debería llevar más de una hora. La implementación del
Sistema se mostró en un prototipo compuesto por tres paneles que contienen dispositivos
reales pero que no se encontraban dispuestos en una casa.
Para corroborar la utilidad del Sistema desarrollado se realizaron Pruebas Clínicas en una
población de veinticinco personas, y los resultados fueron más satisfactorios de lo esperado.
Como primer punto, la totalidad de los sujetos realizaron todas las acciones que se les solicitó.
Como segundo punto, los tiempos totales de cada prueba resultaron en un promedio de doce
minutos, con un máximo de veinticinco minutos, cuando lo estipulado era de una hora.
Finalmente, la gran mayoría de los sujetos comprendieron rápidamente el funcionamiento del
Sistema.
Bibliografía
1.
2.
3.
4.
5.
6.
7.
8.
9.
Corralejos Palacios, R., Hornero Sánchez, R., Álvarez González, D. y Martín
González, L. (2012). Improving the accessibility at home: implementation of a
domotic application using a P300 – based Brain Computer Interface System.
Universidad de Valladolid, España.
Da Silva Sauer, L., Valero Aguayo, L., Velasco Álvarez, F. y Ron Angevin, R.
(2011). Variables psicológicas en el control de interfaces cerebro-computadora.
Universidad de Málaga.
Jue Wang, Nan Yan, Hailong Liu, Mingyu Liu y Changfeng Tai (2007). BrainComputer Interfaces Based on Attention and Complex Mental Task. China.
Kollmann, A. y Simeoni, E. (2012). Exoesqueleto de Miembro Superior con
Detección de Intención. Córdoba, Argentina.
NeuroSky® (2009). Brain Wave Signal (EEG) of NeuroSky®, Inc. Estados Unidos:
autor.
Sánchez, R. H. (2011). Brain Computer Interface (BCI) aplicado al control de
dispositivos demóticos para incrementar la accesibilidad de las personas
dependientes en el hogar digital y su entorno habitual Domo-BCI. Universidad de
Valladolid. Disponible:
http://www.imserso.es/InterPresent1/groups/imserso/documents/binario/08_18idi.pdf
. Ultimo acceso: 29 de Agosto de 2012.
Rodriguez, G., Fulgenzi, E. y Milstein, C. (2011). Día Mundial de la Esclerosis
Lateral Amiotrófica (ELA). Argentina.
http://www.NeuroSky®.com/
http://www.universaldesign.com/