Informe - Escuela de Ingeniería Eléctrica
Anuncio
Universidad de Costa Rica Facultad de Ingenierı́a Escuela de Ingenierı́a Eléctrica Establecimiento de lineamientos para la implementación computacional del fenómeno sinestésico Por: Jose Andrés Reyes Vı́quez Ciudad Universitaria “Rodrigo Facio”, Costa Rica Julio de 2014 Establecimiento de lineamientos para la implementación computacional del fenómeno sinestésico Por: Jose Andrés Reyes Vı́quez IE-0499 Proyecto eléctrico Aprobado por el Tribunal: Prof. Juan Luis Crespo Mariño, Dr. Ing. Profesor guı́a Prof. Lochi Yu, Ph. D. Profesor lector Prof. Mauricio Molina Delgado, Dr. Profesor lector Resumen Este proyecto es un primer paso en la implementación del fenómeno biológico conocido como sinestesia en sistemas artificiales, con el fin de potenciar la arquitectura AMADIS en cuanto a atención a estı́mulos sonoros. Primero se realizó un exhaustiva búsqueda de fuentes bibliográficas relacionadas con el fenómeno sinestésico en materia de neurociencia, y relaciones de este fenómeno con implementaciones computacionales del mismo, a fin de obtener la información necesaria para el desarrollo del proyecto; seguido de eso y con la información extraı́da y analizada de las fuentes consultadas, se da una breve caracterización del fenómeno sinestésico con mayor énfasis en el tipo de sinestesia que provoca sensaciones visuales al escuchar sonidos; luego, se expone información relacionada a implementaciones artificiales de sinestesia, y finalmente, se provee una serie de lineamientos y recomendaciones de diseño que ayudarán a implementar un modelo del fenómeno psiconeurológico conocido como sinestesia en sistemas artificiales; la implementación de dicho modelo será realizada en investigaciones posteriores. v Índice general Índice de figuras viii Índice de cuadros viii 1 Introducción 1.1 Introducción del informe 1.2 Alcance del proyecto . . 1.3 Objetivos . . . . . . . . 1.4 Metodologı́a . . . . . . . 1.5 Desarrollo . . . . . . . . . . . . . 1 1 2 2 3 3 2 Marco teórico 2.1 Sinestesia: Caracterización del fenómeno . . . . . . . . . . . . . 2.2 La arquitectura AMADIS. . . . . . . . . . . . . . . . . . . . . . 5 5 11 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Implementaciones artificiales del fenómeno sinestésico 13 3.1 Modelos computacionales para el desarrollo de investigaciones a nivel psiconeurológico . . . . . . . . . . . . . . . . . . . . . . 13 3.2 Modelos sinestésicos artificiales como solución a problemas de carácter no biológico . . . . . . . . . . . . . . . . . . . . . . . . 13 4 Lineamientos para la implementación de sinestesia sonidovisual. 21 5 Conclusiones y recomendaciones 25 5.1 Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 5.2 Recomendaciones . . . . . . . . . . . . . . . . . . . . . . . . . . 25 Bibliografı́a 27 vii Índice de figuras 2.1 2.2 2.3 2.4 2.5 3.1 3.2 3.3 3.4 3.5 Ilustración del tipo de sinestesia grafema-color. (Robertson et al., 2005) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Escala de tonos y colores vistos por Korsakov. Según el artı́culo “Sinestesia: El poder de ver la música” . . . . . . . . . . . . . . . . Escala de acordes y colores vistos por Scriabin. Según el artı́culo “Sinestesia: El poder de ver la música” . . . . . . . . . . . . . . . . Fotismos inducidos acústicamente a tres sinestésicos: en (A) inducido por la nota “La” de un piano y (B) provocado por un acorde “La”, las flechas indican el movimiento del fotismo. (Neufeld et al., 2011). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Esquema genérico de una implementación de la arquitectura AMADIS. (Crespo, 2007). . . . . . . . . . . . . . . . . . . . . . . . . . . Mapeo de frecuencias de luz a notas musicales.(Kim y Jung, 2010). Estructura de una neurona artificial. (Seneker, 2002). . . . . . . . Estructura de las redes neuronales cruzadas. (Seneker, 2002). . . . Prototipo del dispositivo propuesto por Foner en su artı́culo (s.f.). Dispositivo en uso (a), primer (b) y segundo (c) experimento. (Plouznikoff, 2005). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Índice de cuadros viii 7 9 9 10 12 14 15 16 17 18 1 Introducción La arquitectura AMADIS (Arquitectura Modular de Atención con Distribución de la Información y la Sensorización) propuesta por el Prof. Juan Luis Crespo (2007) en su tesis doctoral, es una implementación a nivel computacional del fenómeno conocido como atención, con el fin de utilizarse en sistemas artificiales como robots u otros con cierta capacidad de cómputo. El sistema AMADIS, en los distintos experimentos mostrados en el trabajo del profesor, muestra un desempeño adecuado de acuerdo a lo propuesto en la teorı́a en cuanto a atención de estı́mulos visuales; sin embargo, también se resalta el hecho de que es una arquitectura modular con la capacidad de implementar respuesta a estı́mulos de cualquier naturaleza, incluso a sentidos de los cuales carece el ser humano como atención a ondas electromagnéticas por ejemplo. AMADIS también toma en cuenta otros fenómenos como pueden ser, simulación de comportamientos instintivos y reflexivos; de vital importancia en los seres vivos. Conociendo las capacidades de la arquitectura AMADIS, es posible la implementación de operadores que ayuden a incrementar las capacidades de dicha arquitectura cuando hay de por medio información sonora; en otra palabras, atención a estı́mulos sonoros; es cuando, el profesor Crespo propone la hipótesis de poder manipular la información sonora con una implementación computacional del fenómeno neurológico conocido como sinestesia, el cual será definido apropiadamente más adelante. Se pretende entonces, establecer una serie de recomendaciones y lineamientos para la futura implementación del fenómeno sinestésico a nivel computacional, cuyo objetivo será aumentar las capacidades de la arquitectura AMADIS en cuanto a atención a estı́mulos sonoros. 1.1 Introducción del informe La estructura fundamental del escrito se compone de un marco teórico donde se da una descripción del fenómeno de la sinestesia, con el fin de tener una mejor comprensión del mismo, además de otros conceptos de interés; seguidamente, se muestra el resultado de la búsqueda bibliográfica, dedicando un capı́tulo tanto, a la exposición de la información disponible con respecto al uso de herramientas computacionales que ayuden a tener una mejor comprensión del fenómeno biológico de la sinestesia, como a la información relacionada con implementación de sistemas computacionales totalmente inspiradas en el fenó1 2 1 Introducción meno fisiológico para la resolución de problemas no necesariamente biológicos; finalmente se extraerán y citarán lineamientos para una posible implementación del fenómeno sinestésico en la arquitectura AMADIS, que incremente sus capacidades en cuanto a proceso de información sonora con fines atentivos. 1.2 Alcance del proyecto Este proyecto es un primer paso a la implementación de un módulo sinestésico de tipo sonido-visual (el cual será definido apropiadamente más adelante) que ayude a potenciar las capacidades de la arquitectura AMADIS, por lo que el fin último de este trabajo es el establecimiento de los lineamientos de diseño a seguir para desarrollar una emulación de dicho fenómeno biológico en sistemas artificiales; por lo tanto, la implementación a nivel de software del mismo se espera sea desarrollada en investigaciones posteriores, apoyándose en la información que provee este documento. 1.3 Objetivos Objetivo general Establecer un conjunto de lineamientos de diseño que guı́en el proceso de implementación computacional de operadores inspirados en el fenómeno sinestésico de tipo sonido-visual. Objetivos especı́ficos • Determinar los términos significativos y relevantes que ayuden a categorizar y comprender el fenómeno. • Realizar una búsqueda bibliográfica exhaustiva del estado del arte, tanto del uso de paradigmas computacionales para la mejor comprensión del fenómeno sinestésico, como de las posibles referencias que usen dicho fenómeno como inspiración para implementar sistemas que ayuden a la resolución de problemas no necesariamente biológicos. • Establecer, con base en el estudio bibliográfico, un conjunto de lineamientos de diseño que habrán de ser tenidos en cuenta en fases posteriores de la investigación, y que constituyan una guı́a de diseño para la incorporación del fenómeno sinestésico en las operaciones de la arquitectura atencional AMADIS. 1.4. Metodologı́a 1.4 3 Metodologı́a La metodologı́a seguida para el desarrollo del proyecto consiste en: 1. Una búsqueda bibliográfica exhaustiva de información relacionada con el fenómeno sinestésico, además de implementaciones de dicho fenómeno a nivel computacional. 2. Se procede a clasificar y analizar la información habida en dichos documentos. 3. Por último, se podrá proveer de una serie de lineamientos, requerimientos y recomendaciones que habrán de ser seguidas en fases posteriores de la investigación . 1.5 Desarrollo El desarrollo del documento del proyecto se compone de un capı́tulo correspondiente al marco teórico donde se desarrollan entre otros conceptos, los que ayudan a caracterizar y comprender mejor el fenómeno sinestésico; luego, hay otro capı́tulo destinado a mostrar las investigaciones que se han realizado en cuanto a implementaciones artificiales del fenómeno sinestésico, y finalmente, el último capı́tulo corresponde a los lineamientos de diseño que se extrajeron luego de analizar los documentos bibliográficos encontrados. 2 Marco teórico 2.1 Sinestesia: Caracterización del fenómeno Definición La sinestesia (del griego: syn = junto, aesthesia = sensación) es el fenómeno neurológico en el que la estimulación de un sentido también activa sensaciones en otro sentido; por ejemplo: el hecho de que la forma de una letra haga que se vea de cierto color, o que cierta frecuencia de sonido como el “Do” medio provoque un estı́mulo visual rojo; o también, que la forma circular sea asociada con un sabor a chocolate (Robertson et al., 2005). De lo anterior se puede inferir que la sinestesia es una especie de ruido o interferencia entre sentidos. A las personas que presentan este peculiar fenómeno se les conoce como sinestésicos. Causas Es posible que una persona llegue a presentar el fenómeno sinestésico por algún trauma a nivel cerebral, enfermedades de la vista o migrañas; inclusive puede presentarse por el uso de sustancias como la mezcalina o el LSD u otras sustancias psicoactivas; pero también, puede darse en personas completamente sanas de manera regular bajo condiciones normales, a esto se le conoce como sinestesia desarrollada, y se dice que al menos un 0.05 % de la población puede presentarla según Robertson et al. (2005). Teorı́as sobre las causas del fenómeno sinestésico Es un hecho la existencia de la sinestesia, pero el origen del fenómeno es lo que no está del todo claro, más que todo por la falta de consenso de los sinestésicos sobre lo que perciben; es fácil por consenso definir por ejemplo que una rosa es roja (siendo esta de ese color), o el sonido de un piano y poder diferenciarlo del llanto de un bebé por ejemplo; pero, cuando hay de por medio algo percibido de manera individual por muy pocas personas y además estas difieren en lo que dicen percibir dificultan el estudio de la sinestesia, como por ejemplo que un sinestésico afirme ver una nota musical de color azul, mientras otro vea la misma nota en color verde; estas diferencias complican el trabajo de establecer una explicación concreta para el fenómeno, ya que es como si se tuvieran “sı́ntomas” distintos que varı́an de persona a persona, para 5 6 2 Marco teórico la misma “enfermedad”; sin embargo, en estos años de estudio del fenómeno se han producido algunas teorı́as que podrı́an explicar el origen de la sinestesia a nivel neurológico. (Cytowic, 2002). Una de esas teorı́as es llamada según Cytowic (2002) de “actividad neuronal diferenciada”, popular en el siglo diecinueve, donde entre 1881 y 1931 el fenómeno sinestésico fue popular como tema de estudio, luego la inclinación por su estudio descendió, y es en los últimos veinte años que ha recobrado el interés de los investigadores. Esta teorı́a dicta que la sinestesia es causada por un sistema nervioso inmaduro y asocia este fenómeno con el fenómeno natural de la sinkinesia (“movimiento unido”) que se observa en los bebes de temprana edad; por ejemplo, un bebe acostado tratando de alcanzar un juguete que su mamá le sostiene en el aire, mueve sus dos brazos hacia arriba pero también el tronco y las dos piernas, no domina con claridad el movimiento del cuerpo; esto se logra hasta que haya madurado el sistema nervioso. Otro nombre con que se conoce a esta hipótesis es “sinestesia neonatal”. Otro grupo de teorı́as son las “teorı́as de vinculación” las cuales asumen que hay diferencias en las conexiones nerviosas de un cerebro sinestésico y un cerebro normal; como por ejemplo: conexiones cruzadas, cortos circuitos o “crosstalk”. (Cytowic, 2002). También se encuentran las “teorı́as de abstracción”, las cuales, a “grosso modo”, sostienen que la sinestesia es perceptiva en su naturaleza y que las percepciones sin lenguaje pueden tener significado; dictan que la sinestesia es algo similar al habla metafórico pero más intenso y que está asociado a experiencias personales e imaginación; por ejemplo, si una sensación A sugiere una sensación B, entonces A y B tienen que haber sido experimentadas simultáneamente tiempo atrás. (Cytowic, 2002). En cada uno de los grupos citados anteriormente hay teorı́as individuales establecidas con sus respectivos nombres, explicaciones y diferencias particulares, pero no es prioridad de este trabajo ahondar en tecnicismos complejos en materia de neurociencia; sino, más bien, explicar el concepto de manera general, de forma que sea comprensible para las personas interesadas en esta investigación. Tampoco interesa conocer en detalle la conexión fisiológica que desencadena la sinestesia en los seres humanos, ya que a la hora de implementar este fenómeno a nivel computacional, lo importante es tener una abstracción del mismo con el fin de implementarlo de manera conductual en un programa de computadora por ejemplo. Tipos de sinestesia Robertson et al. (2005) clasifican los tipos de sinestesia tomando en pares las sensaciones involucradas en el comportamiento sinestésico de las personas con esta caracterı́stica; es decir, hacen la clasificación tomando el estı́mulo 2.1. Sinestesia: Caracterización del fenómeno 7 Figura 2.1: Ilustración del tipo de sinestesia grafema-color. (Robertson et al., 2005) percibido por el sentido correspondiente, con la sensación que provoca en el otro sentido con el que normalmente no se percibirı́a dicho estı́mulo; aunque a veces se puede percibir con el mismo sentido, como por ejemplo la sinestésia de tipo colores visuales en grafemas, que serı́a un tipo visual-visual. Este es uno de los tipos de sinestesia más comunes; se refiere al hecho de que al observar cierto grafema como una letra o un número, no importa en qué color esté impreso, será observado en un determinado color por los sinestésicos; por ejemplo, percibir la letra “a” en color rosado, la “b” en azul, y ası́ para las demás letras y números. Para ilustrar este tipo de sinestesia se adjunta la figura 2.1, la cual, es un ejercicio de detección de simetrı́a; se observa que el primer cuadro es lo que ve una persona normal, mientras el segundo muestra lo que verı́a un sinestésico de tipo grafema-color, este último tiene clara ventaja en este tipo de ejercicios. Mencionan Robertson et al. (2005) que otro tipo de sinestesia bastante común es el relacionado con experiencias de sensaciones visuales en sonidos, esto es una asociación sonido-visual en donde un sonido evoca una sensación visual en el sinestésico. La información de este tipo de sinestesia se ampliará más adelante dado que es de particular importancia para el desarrollo de este trabajo; ya que, se desea utilizar este fenómeno para el manejo de atención a estı́mulos sonoros en la arquitectura AMADIS, aunque esto se realizará en investigaciones posteriores ya que como se ha dicho, este proyecto solo establecerá los lineamientos que han de ser seguidos para la implementación de este tipo de sinestesia a nivel computacional. Se dice que hay otros tipos de sinestesia menos comunes que consisten básicamente en otras combinaciones de los sentidos, como por ejemplo: olor-sonido, color-olor, olor-gusto, gusto-sonido, tacto-olor y muchos otros; en donde un estı́mulo del primer tipo, provoca una sensación del segundo tipo. (Robertson et al., 2005). 8 2 Marco teórico La sinestesia de tipo sonido-visual Se espera profundizar en este apartado dado que el análisis de la información sobre este tipo de sinestesia proveerá en mayor medida los lineamientos de diseño a seguir para la implementación de la sinestesia de tipo sonido-visual a nivel computacional. Primero que todo, se debe definir un concepto muy mencionado en esta parte llamado fotismo; el cual, según el diccionario de oftalmologı́a de Aguilar y de la Cruz (1977) es una: “Fosia producida a nivel de áreas cerebrales de elaboración por un estı́mulo auditivo, olfativo, táctil o gustativo”. A su vez fosia significa: “Sensación subjetiva de luz o color (del griego fos=luz)”. En otras palabras, un fotismo es una imagen o sensación visual de color producida por algún sentido distinto al de la vista. Es notable que el concepto de fotismo pareciera ser una particularidad de la definición general de sinestesia; es decir, es la definición de un tipo especı́fico de sinestesia, la sinestesia del tipo sonidovisual. Estudios sugieren que las percepciones sinestésicas tienden a seguir convencionalismos; por ejemplo, los sinestésicos y personas normales tienden a asociar sonidos de tono bajo con grandes y oscuros fotismos, mientras que los tonos altos se asocian con luz y fotismos pequeños; la diferencia está en que los sinestesicos afirman ver esto mientras las personas normales solo imaginan esta asociación. (Cytowic, 2002). Se habı́a mencionado que la sinestesia puede resultar de algún daño cerebral producido por algún golpe o accidente; se sabe de casos de personas sinestésicas de tipo sonido-visual que adquirieron esta caracterı́stica de esa forma, en las que el fotismo parece ser percibido por el ojo del mismo lado del oı́do en el que se escucha la señal auditiva. (Robertson et al., 2005). Otro aspecto importante de resaltar, es que hay principalmente cuatro subtipos en la sinestesia sonido-visual los cuales son: sonidos musicales coloreados, que consisten en tener experiencias visuales provocadas por estı́mulos como acordes o melodı́as; también está el subtipo de los sonidos generales coloreados, que se refiere al hecho de ver fotismos ante ruidos generales como: ladridos, motores, golpes, entre otros; otro subtipo es el de notas musicales coloreadas, que se manifiesta como sensaciones visuales producidas por el sonido de determinadas frecuencias auditivas (correspondientes a las notas musicales como el “La”, “Do” o cualquier otra); finalmente, se tiene el subtipo de fonemas coloreados, que como su nombre indica, muestran fotismos en el sinestésico cuando se escuchan fonemas. Se dice que el famoso compositor ruso Nikolai Rimsky-Korsakov (1844-1908) era sinestésico del subtipo de notas musicales coloreadas y veı́a la escala musical de acuerdo a la figura 2.2.(Robertson et al., 2005). Otro famoso compositor sinestésico fue Alexander Scriabin (1872-1915), 2.1. Sinestesia: Caracterización del fenómeno 9 Figura 2.2: Escala de tonos y colores vistos por Korsakov. Según el artı́culo “Sinestesia: El poder de ver la música” Figura 2.3: Escala de acordes y colores vistos por Scriabin. Según el artı́culo “Sinestesia: El poder de ver la música” quien parecı́a poseer el subtipo de sonidos musicales coloreados ya que poseı́a la capacidad de percibir un fotismos no con notas aisladas, sino más bien, con acordes; y además, las tonalidades son distintas a las de Korsakov, por lo que se puede observar que la sinestesia no se manifiesta igual en todos aun cuando tienen el mismo tipo de sinestesia; la figura 2.3 muestra los colores que Scriabin percibı́a. (“Sinestesia”, s.f). Amy Beach fue otra compositora que utilizó sus habilidades sinestésicas para sus composiciones; quien también asociaba notas musicales a colores, pero con distintos colores por nota a los reportados por Korsakov; además de estos, hay otros compositores con esta habilidad. (Robertson et al., 2005). Una de las caracterı́sticas de la sinestesia es que el mismo estı́mulo siempre evoca la misma sensación sinestésica, por ejemplo, si determinada frecuencia provoca un fotismo de determinado color a una persona, el fotismo será el mismo a esa frecuencia durante toda la vida del sinestésico; tampoco puede ser suprimido ni modificado a voluntad por la persona que presenta este fenómeno. Los sinestésicos del tipo sonido-color ven las sensaciones visuales sinestésicas con variaciones en: colores, formas y texturas. (Neufeld et al., 2011). El documento de Neufeld y sus compañeros (2011), es una investigación de un experimento realizado por ellos para verificar utilizando imagen de resonancia magnética (RMI) si las personas sinestésicas del tipo sonido-color presentan mayor actividad cerebral y que partes del cerebro se activan ante estı́mulos musicales; en resumen tomaron varios sinestésicos de este tipo y varias personas normales y las pusieron a escuchar tonos y acordes musicales para establecer comparaciones, esto lo hacı́an mientras mantenı́an sus ojos cerrados para evitar confusiones con lo que pudieran ver, los sinestésicos pue- 10 2 Marco teórico Figura 2.4: Fotismos inducidos acústicamente a tres sinestésicos: en (A) inducido por la nota “La” de un piano y (B) provocado por un acorde “La”, las flechas indican el movimiento del fotismo. (Neufeld et al., 2011). den ver fotismos tanto con sus ojos abiertos como si los mantienen cerrados; en realidad el experimento de esas personas no tiene un enfoque de particular interés para este proyecto por el hecho de analizar el fenómeno desde un punto de vista tan fisiológico como la verificación de la actividad cerebral, pero aporta algo de información importante como lo que se puede obtener de la figura 2.4, donde se observa que los tres sinestésicos de prueba ante los mismos estı́mulos musicales perciben distintos fotismos, sobre todo en forma, ya que en color son bastante similares. Dice ese documento que para algunos sujetos y ante un mismo tono o acorde, la complejidad del fotismo observado en color, forma y textura es diferente, pero que esto no es consistente en todos los sujetos; es decir, que normalmente presentan similitudes ya sea en color, forma o textura. En el trabajo de Jacobs y otros (1981), se hace un estudio sobre la sinestesia auditiva-visual en el que los pacientes estudiados, que son nueve, adquirieron esta caracterı́stica por daños en el nervio óptico provocados por tumores u otras causas; estos pacientes presentan fotismos de formas diversas como: flamas, caleidoscopio, ameba y destellos, todas ellas en distintos colores, y el detonante de esas sensaciones visuales son sonidos generales como por ejemplo: aplausos, ruidos de motores de autos o motocicletas, relojes digitales o ladridos de perros. De estos pacientes, cinco presentaron un mismo fotismo en común (en apariencia y localización), dos de ellos experimentaron dos fotismos 2.2. La arquitectura AMADIS. 11 similares, y dos pacientes tuvieron tres fotismos en común; aunque los sonidos que los provocaban en cada paciente eran distintos. Se dice que el sonido que induce el fotismo fue escuchado por los pacientes en el mismo lado donde fue reportado el fotismo, pero si solo uno de los lados es el que presenta el daño en el nervio óptico, solo los sonidos escuchados con el lado dañado desencadenarán en un fotismo en ese mismo lado visual. (Jacobs et al., 1981). 2.2 La arquitectura AMADIS. La arquitectura AMADIS es una arquitectura modular inspirada en el fenómeno atencional que presentan los seres vivos, la función de AMADIS es modelar dicho fenómeno en sistemas artificiales; para su implementación primero se hizo un estudio correspondiente al fenómeno psicofisiológico de la atención para comprender mejor dicho fenómeno y caracterizarlo de manera que pueda ser trasladado a un sistema artificial; seguido de esto se hizo un estudio bibliográfico para encontrar la información correspondiente a la implementación de aproximaciones del fenómeno atentivo a nivel computacional; finalmente, se analiza la información encontrada para establecer las especificaciones de diseño de una arquitectura de atención que cuente con ciertos mecanismos y capacidades deseadas(Crespo, 2007). Se muestra en la figura 2.5 un esquema genérico de AMADIS con los componentes que lo conforman; se observa que tiene detectores, los cuales se encargan de proporcionar información sensorial, fı́sica o anı́mica; también están los atentores, que son una abstracción sin correspondencia biológica que se encargan de realizar funciones atencionales especı́ficas dependiendo de las tareas que vaya a realizar el sistema artificial; por ejemplo, hay atentores primarios, que están asociados a a los detectores y podrı́an provocar que el sistema actúe de acuerdo a la información en ellos (se dice que ”podrı́an”porque al final la decisión de actuar va a ser tomada en los módulos de integración), también hay atentores instintivos, que podrı́an dictar el comportamiento del agente artificial dependiendo de información invariable que el diseñador haya puesto en él, como por ejemplo, si el sistema se percata que su nivel de baterı́a es bajo, que busque una fuente para que le provea energı́a. Los módulos de integración son los encargados de decidir la acción atentiva del agente de acuerdo a información de entrada (proveniente de detectores o atentores), siguiendo los algoritmos o reglas que el diseñador haya decidido utilizar para la realización de la tarea. (Crespo, 2007). Los requerimientos de diseño que sirvieron como guı́a para la implementación de la arquitectura AMADIS se obtuvieron de un proceso de búsqueda de términos básicos de atención, ası́ como de sus aproximaciones artificiales, de- 12 2 Marco teórico Figura 2.5: Esquema genérico de una implementación de la arquitectura AMADIS. (Crespo, 2007). jando de lado el funcionamiento biológico de lo que se conoce como atención. (Crespo, 2007). 3 Implementaciones artificiales del fenómeno sinestésico 3.1 Modelos computacionales para el desarrollo de investigaciones a nivel psiconeurológico La presente sección pretendı́a exponer la información relacionada a implementaciones artificiales del fenómeno sinestésico, con el fin de que los estudiosos del fenómeno psiconeurológico cuenten con una herramienta computacional que simule el comportamiento sinestésico, y que esta les provea de información para sus investigaciones sobre la sinestesia; sin embargo, tal parece que no se ha desarrollado algo similar, se afirma esto dado la escasa o nula bibliografı́a en cuanto a este tema; como lo confirman las búsquedas realizadas con herramientas como “CiteSeerX” o “Google scholar”, que al realizar la búsqueda con palabras clave como “synesthesia”, “artificial”, “computational”, “emulation” o similares, aparecen documentos como “papers”, artı́culos o tesis con información de sistemas sinestésicos artificiales utilizados en problemas no biológicos, tema que se tratará en la siguiente sección, pero no aparece nada sobre lo que se esperaba en esta. 3.2 Modelos sinestésicos artificiales como solución a problemas de carácter no biológico Este es un punto de particular interés para poder seguir con la investigación y depuración de la arquitectura AMADIS en un futuro; se espera poder implementar operadores basados en el fenómeno biológico de la sinestesia que van a ser una extensión de la arquitectura AMADIS, con el fin de poder manipular la atención a estı́mulos sonoros de una mejor manera. Los coreanos Kim y Jung (2010) exponen un trabajo llamado “A Basic Study on the System of Converting Color Image into Sound” en donde implementan un método para la emulación de la sinestesia visual-sonora en sistemas artificiales; su objetivo es convertir imágenes en sonidos, para esto y a lo poco que se comprende de las imágenes y el abstract, ya que lastimosamente el “paper” está en idioma coreano; lo que hacen es un mapeo de las frecuencias de luz visible de los colores a las frecuencias de las notas musicales como se 13 14 3 Implementaciones artificiales del fenómeno sinestésico Figura 3.1: Mapeo de frecuencias de luz a notas musicales.(Kim y Jung, 2010). aprecia en la figura 3.1. La implementación del trabajo la hacen en C++ tanto para el manejo de las imágenes como el de los sonidos. En el trabajo de Seneker (2002), se da un especial énfasis a la fusión de sensores, ya que este tipo de implementación proporciona una obtención de datos más confiable y robusta que si se hiciera con sensores individuales, las cuales proporcionan unas mediciones menos precisas, erróneas e incompletas. Este concepto de la fusión de sensores, trata de la unión de los datos percibidos por distintos sensores para obtener una sola percepción completa y coherente. Para el estudio de la implementación de la fusión de sensores, se utilizan dos redes neuronales combinadas utilizando la hipótesis de la sinestesia de cableado cruzado o “cross wiring” (teorı́a que sugiere que las redes de neuronas que conectan un sentido con la parte del cerebro que procesa su información, está entrecruzada con la red de conexión de otro sentido); este modelo sinestésico de fusión de sensores no presenta una respuesta sinestésica per se, pero se utiliza este concepto de sinestesia para obtener un par de redes individuales cruzadas en donde su funcionalidad individual no se ve en ningún momento afectada, pero que sin embargo, permite que la entrada a una red neuronal afecte parcialmente la salida de la otra red en algunos casos particulares. (Seneker, 2002). Las redes neuronales como explica Seneker (2002) son estructuras computacionales que están inspiradas en el estudio del proceso biológico neuronal; la unidad elemental de una red neuronal es el neurona artificial, que simula las funciones básicas de las neuronas biológicas, en la figura 3.2 una imagen de una neurona artificial y sus elementos: Las entradas son Xn y están multiplicadas por un peso Wn en cada entrada, en este caso las entradas se suman y se procesan con una función de transferencia para producir una salida; luego, esta salida entrará a otra neurona de estructura similar produciendo una estructura más compleja; este 3.2. Modelos sinestésicos artificiales como solución a problemas de carácter no biológico 15 Figura 3.2: Estructura de una neurona artificial. (Seneker, 2002). conjunto de neuronas es lo que se conoce como una red neuronal. Estas redes neuronales pueden tener un comportamiento de aprendizaje simplemente ajustando los pesos asociados a cada conexión. En la investigación de Seneker se utiliza un modelo neuronal basado en la neurona biológica; sin embargo, es importante mencionar que hay otro tipo de neurona poco ligado a la neurona biológica según dice el artı́culo “Redes neuronales artificiales” (s.f.), las redes formadas por este tipo de neuronas se llaman redes neuronales para aplicaciones concretas, parten del hecho de que la información que se tiene del sistema nervioso no es completo del todo, por lo que se definen otras funcionalidades y estructuras distintas a las biológicas dependiendo de la aplicación, estas redes tienen una arquitectura concreta. Los pesos que forman parte de las redes neuronales artificiales se obtienen en una fase de entrenamiento optimizando para algún criterio en particular, aunque también existen las redes de pesos fijos. La arquitectura de las dos redes neuronales cruzadas utilizada por Seneker (2002) para validar su teorı́a se representa en la imagen 3.3; donde se ven claramente las dos redes neuronales individuales, estas redes están formadas por neuronas cuyas salidas son entradas en otras neuronas para formar la red; pero ambas redes están interconectadas para simular el fenómeno sinestésico basado en la teorı́a de conexiones cruzadas. El experimento que Seneker (2002) utiliza para validar su arquitectura lo implementa con un programa de simulación escrito en C++; y utiliza tres escenarios variando los vectores de prueba de una red o la otra con el fin de obtener resultados que validen o refuten su hipótesis. Al final, llega a las siguientes conclusiones: • Dos redes neuronales cruzadas no afectan de manera significativa el comportamiento individual de las redes neuronales, se observó que una red puede afectar parcialmente la salida de la otra en algunos escenarios; 16 3 Implementaciones artificiales del fenómeno sinestésico Figura 3.3: Estructura de las redes neuronales cruzadas. (Seneker, 2002). pero en general, cada red responde independientemente a sus propias entradas. • Ningún vector de entrada causa ninguna alteración significativa en los vectores de salida de las redes neuronales; por lo tanto, se concluye que no hay respuesta sinestésica en dos redes neuronales cruzadas. • Se puede utilizar el “entrenamiento” o “aprendisaje” previo de una red neuronal sobre otra, sin tener que “reentrenar” a la red neuronal que se cruce con la que sı́ lo está. • Podrı́a ser viable la implementación de sensores fusionados con una arquitectura de redes neuronales artificiales cruzadas para unir los datos que vengan de dichos sensores y darles algún tipo de procesamiento, con el fin de obtener una percepción más precisa y robusta. En la investigación realizada por Foner (s.f.), se realiza un tratamiento de imágenes para convertirlas en sonido, similar al trabajo de Kim y Jung (2010); pero Foner realiza su trabajo con el fin de crear un prototipo de un dispositivo electrónico para ayudar a las personas con algún tipo de limitación visual mediante la emulación del fenómeno sinestésico de manera artificial, en la figura 3.4 muestra el diseño del sistema. 3.2. Modelos sinestésicos artificiales como solución a problemas de carácter no biológico 17 Figura 3.4: Prototipo del dispositivo propuesto por Foner en su artı́culo (s.f.). El sistema es un dispositivo “wearable”; es decir, que las personas que lo necesiten, podrán usarlo como un accesorio personal y transportarse con normalidad; este sistema se coloca en la cabeza cerca de los ojos con algún soporte, de manera que el sensor apunte hacia donde esté apuntando la cabeza. El autor manifiesta algunas aplicaciones de este sistema como en personas con algún déficit visual, en donde el dispositivo podrı́a usarse por estas personas, y que habrı́a una especie de aprendizaje por parte del usuario para mapear el espacio en el que se mueve asociado a los sonidos que pueda producir, o poder diferenciar los materiales de los objetos que tiene enfrente. También puede ser usado, en aplicaciones médicas, para detectar ciertos tipos de cáncer de piel que tienen un espectro inusual. (Foner, s.f.). Foner (s.f.) propone una sencilla estrategia de sonificación de imágenes, cada longitud de onda visual se asocia a una longitud de onda sonora correspondiente; solamente, se toma el punto de la imagen visual a donde está apuntando el dispositivo y con la lectura del color de ese punto particular se genera el sonido con el que se mapeó ese color. Se termina el “paper” con la descripción del hardware utilizado y varias propuestas de trabajo a futuro como la adición de más sensores para mejorar las funciones el dispositivo. Un trabajo interesante es el realizado por Plouznikoff y otros (2005), se trata de la implementación de un dispositivo computacional “wearable” o personal que pretende emular la sinestesia de tipo visual- visual, más en concreto, la sinestesia grafema-color, la cual consiste en asociar colores a distintos caracteres como números y letras aunque estos estén todos ilustrados del mismo color. Se comienza con una explicación del significado de computadora “wearable”, la cual, es un dispositivo personal pequeño que cualquier persona puede utilizar como cualquier otro accesorio de vestir (definición similar a la que se habı́a dado anteriormente); se puede definir como un objeto que ayude de manera directa o indirectamente a una persona en algún tipo de tarea, a manera de herramienta simbiótica, que aumente las capacidades de los sentidos 18 3 Implementaciones artificiales del fenómeno sinestésico Figura 3.5: Dispositivo en uso (a), primer (b) y segundo (c) experimento. (Plouznikoff, 2005). humanos. (Plouznikoff et al., 2005). El tipo especı́fico de sinestesia que Plouznikoff y sus compañeros (2005) desean emular es el de dı́gito-color, para la implementación del dispositivo; usan un hardware computacional conectado a una pantalla que irá montada en unas gafas de manera que el usuario verá en tiempo real los dı́gitos con el color correspondiente al que los estudios sobre este tipo de sinestesia han asociado cada dı́gito; el software que usan para el procesado de las imágenes que percibe la cámara es un programa en C++ que utiliza la librerı́a OpenCV. Cuando tenı́an el dispositivo armado y funcionando correctamente como se muestra en la figura 3.5 (a), hicieron dos experimentos en varias personas; el primero consistı́a en memorizar una matriz de dı́gitos aleatorios de 5x5 como el observado en la figura 3.5 (b), tenı́an dos minutos para memorizar todos los dı́gitos posibles, luego tenı́an un minuto para escribir todos los dı́gitos de los que se acordaran en otra matriz vacı́a de 5x5 casillas; este experimento arrojo resultados de mejora en el rendimiento al recordar la matriz de números, se pasa de un 47 % a un 61.5 % de dı́gitos recordados cuando se emplea la sinestesia artificial, siendo un dato significativo. El otro experimento se trataba de encontrar un patrón irregular para contar el número de dı́gitos distintos (de 4 a 8 dı́gitos 5), revuelto en una gran cantidad de dı́gitos de forma similar (60 a 80 dı́gitos 2) como el de la imagen 3.5 (c), todos puestos de forma aleatoria y nunca uno sobre otro, se guardaba el tiempo que tomaba a la persona dar la respuesta correcta del numero de dı́gitos buscados; los resultados muestran que se pasó de 6.81 s a 3.58 s en promedio, lo que representa una disminución en el tiempo de respuesta de un 47.4 %. (Plouznikoff, 2005). El documento de Plouznikoff et al. (2005) indica que la sinestesia artificial implementada, presenta la mayorı́a de las caracterı́sticas de la sinestesia real como por ejemplo: • Es involuntaria (a menos que el usuario retire el dispositivo de su cuerpo). • Solo es percibido por la persona que utiliza el dispositivo. 3.2. Modelos sinestésicos artificiales como solución a problemas de carácter no biológico 19 • Es estable todo el tiempo porque la asociación de determinado dı́gito a cierto color no cambia. Como conclusiones finales, los autores señalan que al menos con estos experimentos preliminares, la memoria parece mejorar; al mismo tiempo que se reducen los tiempos de búsqueda. (Plouznikoff, 2005). 4 Lineamientos para la implementación de sinestesia sonido-visual. A continuación se exponen los lineamientos y recomendaciones de diseño, para la implementación a nivel computacional del fenómeno sinestésico de tipo sonido-visual: • Primero que todo, se resalta el hecho de que se desea implementar una emulación del fenómeno sinestésico de tipo sonido-color de manera conductual; es decir, en ningún momento se espera dar lineamientos de diseño basándose en cómo es que el fenómeno biológico se da, no interesa modelar entrecruzamiento de vı́as de información de los sentidos ni ninguna otra teorı́a biológica sobre el origen de la sinestesia, se espera poder implementar solo un modelo de comportamiento. • Es importante hacer hincapié en el hecho de que la sinestesia no es una habilidad aislada de sonorización, solo es la interferencia entre sentidos; es cuando algún estimulo evoca, una sensación en un sentido con el que normalmente no se percibirı́a dicho estimulo; en el caso particular de interés de este estudio, es el hecho de que un sonido especı́fico provoque alguna sensación visual o fotismo. Es necesario comprender que esto no afecta en lo absoluto el funcionamiento individual de cada sentido, en este caso, el sentido de la vista y el oı́do funcionan con total normalidad por sı́ mismos. Por lo tanto, en caso de una implementación a nivel computacional, un módulo programado de sinestesia no deberı́a reemplazar en ningún momento algún módulo que trate la información sonora como el sentido biológico del oı́do lo hace. Puede utilizarse la sinestesia como una habilidad adicional para tratar información sonora de interés dependiendo de la tarea que vaya a realizar el ente artificial, pero debe trabajar en conjunto con un sentido artificial del oı́do y de la vista. • Los fotismos provocados por sonidos, pueden ser percibidos, aún con los ojos cerrados, o incluso si se presenta ceguera; esta caracterı́stica también puede ser implementada en el sistema artificial, y serı́a de utilidad en casos en donde algún error provoque la desconexión de la entrada de información visual en el agente, ya que por ejemplo la información que 21 22 4 Lineamientos para la implementación de sinestesia sonido-visual. le provee el operador sinestésico, le podrı́a permitir al sistema reaccionar de cierta manera instintiva ante la repentina “ceguera”, con el fin de intentar corregir el problema o atenuar sus efectos en la realización de las tareas para las que se programó el sistema artificial. • Se observó que en caso de personas que presentan sinestesia por algún tipo de trauma cerebral tienden a percibir las sensaciones visuales con el ojo del mismo lado donde escucharon el sonido que provocó el fotismo; esto podrı́a utilizarse si se tiene más de un receptor de sonido con lo que se podrı́an colocar a ambos lados del sistema artificial y mostrar en la pantalla capturada por la cámara una sensación visual sinestésica más notoria del lado donde se escuche más fuerte el sonido, o si el sistema tiene dos cámaras con el fin de estimar la longitud de los objetos, entonces se puede optar por mostrar fotismos más grandes en la imagen capturada por la cámara del lado donde se escuche más fuerte el sonido. • No se encontraron datos suficientes que afirmen que la potencia del sonido o volumen influyan directamente sobre las sensaciones visuales sinestésicas; serı́a natural pensar que ante un estı́mulo sonoro de mayor potencia, se percibirı́a un fotismo igualmente más potente o grande, pero no se encontró información al respecto que ayude a validar esta hipótesis; sin embargo, puede resultar útil tratar el volumen de un sonido en una sensación visual para un sistema artificial; por ejemplo que un fotismo grande alerte al ente de un sonido alto que puede suponer algún peligro y manejarlo como una reacción instintiva, ya que a veces los sonidos potentes se asocian a peligros o advertencias, como lo pueden ser: el pito de un tren o automóvil, un rayo, la caı́da de un objeto pesado, un disparo, el grito de una persona, y otros. Es importante señalar que esta última propuesta no surge del estudio bibliográfico, solo se expone como una posibilidad de incrementar las funciones sinestésicas del sistema, el diseñador estará en libertad de decidir si utiliza esta propuesta o no. • Se mencionó que hay cuatro subtipos principales en la sinestesia sonidovisual: sonidos musicales coloreados (como los acordes), sonidos generales coloreados (golpes, ruidos), notas musicales coloreadas (frecuencias individuales correspondientes a las notas musicales) y fonemas coloreados (correspondiente a los fonemas que componen los alfabetos); cualquiera de estos subtipos de sinestesia sonido-visual puede ser implementado, incluso tal vez se podrı́a crear una clasificación de información sonora distinta a las anteriores para implementarla en el agente artificial; sin embargo, no es aconsejable combinar dos o más de esos subtipos ya que complicarı́a el manejo de los datos y la implementación. Por ejemplo: si se implementan en conjunto la sinestesia de tipo notas musicales 4 Lineamientos para la implementación de sinestesia sonido-visual. 23 coloreadas y la de tipo fonemas coloreados, se tendrı́an problemas al tratar un fonema que este sonando en una frecuencia de una nota musical especı́fica, el problema serı́a: ¿Qué hacer? ¿Cuál de los subtipos de sinestesia tiene más peso? Por supuesto todo esto puede ser tratado vı́a software y podrı́a encontrarse alguna estrategia para usar más de un subtipo de sinestesia sonido-color, pero no deja de ser una complicación adicional que si no se trata adecuadamente y de manera robusta, puede desencadenar en comportamientos extraños por parte del sistema artificial, en otras palabras, se pueden presentar errores de programación como pulgas (“bugs”). • Se ha visto también que las formas de los fotismos son muy diversas y algunas de ellas muy complejas, hay formas de: amebas, destellos, formas como las que muestran los caleidoscopios, entre otras; sin embargo, se sugiere utilizar formas sencillas que sean fáciles de dibujar en la imagen captada por la entrada de información visual del agente artificial; formas como un cuadrado o un cı́rculo que faciliten este trabajo. Después de todo, siendo este módulo sinestésico programado, hay mucha libertad de implementación; además, tampoco es objeto de este proyecto, modelar exactamente el fenómeno biológico hacia seres artificiales, no hay mucha ganancia en ello, ya que se espera que el módulo sinestésico sea una habilidad de apoyo a la información sonora para el sistema artificial de acuerdo a las necesidades de las tares que vaya a realizar, no tiene por qué ser una emulación idéntica a la del fenómeno biológico. • La textura es otro asunto que varı́a en los las sensaciones visuales sinestésicas reportadas por los pacientes estudiados de los documentos analizados; sin embargo, la textura no aporta información adicional sobre el fenómeno, puede variar de un sinestésico a otro como lo hacen los colores, la textura es solamente una caracterı́stica de cada fotismo individual por lo que se puede obviar esto ya que como se dijo en el punto anterior, para efectos de un agente artificial, se puede utilizar un modelo más sencillo del fenómeno sinestésico; en este caso, lo más fácil serı́a evitar texturas y dibujar en pantalla, fotismos de textura plana (un solo color uniforme); aunque si lo desea el diseñador, puede utilizar la textura como una variable más en su implementación para que el sistema artificial manipule más información sonora por ejemplo. • Con respecto al color de los fotismos, estos se deberı́an seleccionar de acuerdo a lo que se vaya a implementar, aunque en general en este aspecto hay mucha libertad ya que no hay convención alguna para los colores que representan sonidos; serı́a recomendable eso sı́, seleccionar los colores de acuerdo a algún tipo de orden lógico cuando esto se pueda aplicar; 24 4 Lineamientos para la implementación de sinestesia sonido-visual. por ejemplo: si se implementa la sinestesia de tipo notas musicales coloreadas porque el agente va a realizar tareas relacionadas con música, lo lógico es seleccionar del espectro visible colores que representen a las frecuencias de las notas musicales de forma escalada; es decir, que si la escala musical va aumentando su frecuencia (do, re, mi, fa, etc); los colores deberı́an ir en orden de frecuencias ascendentes también (colores rojizos, amarillentos, verdes, azulados, etc). • Se debe resaltar que las sensaciones visuales sinestésicas no se presentan de igual manera aun en dos personas que tengan el mismo tipo de sinestesia, pueden compartir similitudes en algunos de los fotismos ante un mismo estı́mulo, pero no es ası́ para todos los estı́mulos que desencadenen las sensaciones visuales; por ejemplo, si se tienen dos personas que presentan sinestesia de tipo fonemas coloreados, puede que hayan algunos fonemas especı́ficos que muestren fotismos similares, pero no van a compartir absolutamente todos los fotismos asociados a los fonemas; esto se ha dicho de manera implı́cita en anteriores lineamientos, como cuando se habla de diferencias en formas, colores o texturas, pero es importante resaltarlo de manera explı́cita. Esta caracterı́stica de la sinestesia, provee de libertad a la hora de la implementación en un sistema artificial. • Se habı́a mencionado también que una sensación sinestésica siempre va a ser la misma ante el mismo estı́mulo durante la vida del sinestésico, entonces serı́a deseable que esta misma caracterı́stica esté presente en el sistema artificial; es decir, que si se programa una sensación visual ante determinado sonido, esta sea invariable durante la vida del agente. También debe respetarse el hecho de que la sinestesia es involuntaria; osea, el sistema artificial no debe poder desactivar o activar el operador sinestésico a voluntad. 5 Conclusiones y recomendaciones 5.1 Conclusiones • Se comprende con claridad, el concepto del fenómeno biológico conocido como sinestesia y sus caracterı́sticas e implicaciones básicas, y se expone la información de forma clara al lector, de manera que no necesita ser un experto en el área de neurociencia para comprender esta sección o cualquier otra del documento. • Se realiza la búsqueda bibliográfica donde se obtiene una cantidad aceptable de documentos, que luego de ser analizados, separados y después de haber extraı́do la información relevante; proveen interesantes implementaciones artificiales del fenómeno sinestésico, que brindan un importante apoyo a la hora de establecer los lineamientos de diseño del modelo artificial de sinestesia. • Se establecen de forma clara y coherente una serie de lineamientos y recomendaciones de diseño, que deberán ser tomados como guı́a de diseño, en caso de querer desarrollar un sistema sinestésico artificial que cumpla con las caracterı́sticas de comportamiento del fenómeno biológico. • Se tiene una mejor comprensión del proceso a seguir, en caso de necesitar realizar una búsqueda bibliográfica para la elaboración de un trabajo de investigación de calidad. • Se observa que no se encontró información relacionada con implementaciones computacionales sinestésicas del tipo sonido-visuales, que es de interés en este trabajo; esto confirma que se esta haciendo un trabajo innovador que nadie ha realizado antes, y que puede aportar mucho en la mejora de los sistemas atencionales artificiales, tan importantes en la robótica moderna. 5.2 Recomendaciones • Tomar en cuenta los lineamientos dictados en este trabajo con el fin tener una adecuada aproximación del fenómeno sinestésico a la hora de la implementacion computacional. 25 26 5 Conclusiones y recomendaciones • Algunos lineamientos dan cierta flexibilidad al encargado de realizar la implementación computacional; debe tenerse cuidado a la hora de tomar decisiones, para que no se complique la implementación, porque se tuvo una idea muy fuera del contexto del lineamiento que da esa libertad de diseño. • Se recomienda estudiar todo el trabajo a la persona que realizará la tarea de la implementación, puede que se encuentre información útil que provea de algún lineamiento que no se haya citado de manera explı́cita. Bibliografı́a Crespo, J. L. (2007). Una arquitectura de atención distribuida para agentes con sensorización multimodal. Tesis doctoral, Universidade da Coruña. Robertson, L., Sagiv, N., Day, S., Tyler, C., Blake, R., Palmeri, T., Marois, R. y otros (2005). SYNESTHESIA: Perspectives from Cognitive Neuroscience. Oxford University Press, Inc., 198 Madison Avenue, Ney York. Cytowic, R. (2002). Synesthesia: a union of senses. The MIT press, Cambridge, Massachusetts, 2nd edition. Aguilar, J. y De la Cruz, J. (1977). Diccionario Oftalmológico: E, F, G, H, I, J, L, LL. Archivo Sociedad Canaria Oftalmologı́a. Sinestesia: El poder de ver la música (s.f). Consultado el Mayo 17,2014, de http://tono-menor.blogspot.com/2012/01/sinestesia-el-poder-de-ver-la-musica.html. Neufeld, J., Sinke, C., Dillo, W., Emrich, H., Szycik, G., Dima, D., y otros (2011). The neural correlates of coloured music: A functional MRI investigation of auditory-visual synaesthesia. Elsevier. Jacobs, L., Karpik, A., Bozian, D. y Gothgen, S. (1981). Auditory-Visual Synesthesia: Sound-Induced Photisms. Arch Neurol. Kim, S. y Jung, J. (2010). A Basic Study on the System of Converting Color Image into Sound. Department of Electronic Engineering, Kyungnam University. Seneker, S. (2002). Synesthetic Sensor Fusion via a Cross-Wired Artificial Neural Network.. Electronic Theses and Dissertations. Paper 673. http://dc.etsu.edu/etd/673. 27 28 5 Conclusiones y recomendaciones Foner, L. (s.f). Artificial Synesthesia via Sonification: A Wearable Augmented Sensory System. Cambridge, MA. Plouznikoff, N., Plouznikoff, A. y Robert, J. (2005). Artificial Grapheme-Color Synesthesia for Wearable Task Support. École Polytechnique de Montréal, Montreal, Canada. Afra, P., Funke, M. y Matsuo, F. (2009). Acquired auditory-visual synesthesia: A window to early cross-modal sensory iteractions. Department of Neurology, University of Utah. Lumbreras, M., Barcia, M. y Sánchez, J. (1996). A 3D sound hypermedial system for the blind. Department of Computer Science, University of Chile. Kumar, D. (1999). Learning Words from Sigths and Sounds: A Computational Model. Massachusetts Institute of Technology. Robert, M. (s.f.). Synesthetic Art Through 3-D Projection: The Requirements of a Computer-Based Supermedium. University of Massachusetts. Alfaro, V. M. (2013). Manual de usuario de la clase eieproyecto - IE-0499 Proyecto eléctrico. Escuela de Ingenierı́a Eléctrica, Universidad de Costa Rica. Redes neuronales artificiales (s.f). Consultado el Julio 18,2014, a las 5:30 pm, de http://www.gc.ssr.upm.es/inves/neural/ann2/anntutorial.html.
