Los denominados sistemas de diálogo (dialogue systems) o sistemas conversacionales (conversational systems), son programas informáticos que tienen como finalidad interactuar con los usuarios para proporcionarles determinados servicios proporcionados usualmente por un ser humano, como por ejemplo, información o reserva de viajes en avión o tren, información meteorológica, venta de productos, etc. Estos sistemas se pueden clasificar en tres tipos: sistemas de diálogo oral (spoken dialogue systems), multilingüe (multilingual dialogue systems) y multimodal (multimodal dialogue systems), dependiendo del número de idiomas y modalidades de interacción soportados.
En los sistemas de diálogo oral, la interacción persona-ordenador se basa exclusivamente en el habla como canal de comunicación, desarrollándose ésta por lo general a través del teléfono. Los sistemas de diálogo multilingüe constituyen una generalización de los anteriores, pues permiten que la comunicación se lleve a cabo usando una variedad de idiomas (p. e. Castellano, Inglés o Francés). En los sistemas de diálogo multimodales, objeto de este proyecto de investigación, la interacción persona-ordenador se basa en el uso de múltiples canales de comunicación, lo que permite que los usuarios puedan recibir mayor información del sistema y viceversa, reduciéndose así los errores en la interacción.
Estos sistemas intentan replicar la interacción persona-persona, la cual se basa en el uso de varias modalidades de comunicación (p. e. miradas, gestos, expresiones faciales, etc.). Los seres humanos usamos toda esta información, muchas veces de forma inconsciente, para añadir, modificar o sustituir información de la comunicación oral. Ello nos permite alcanzar tasas de reconocimiento altas incluso cuando existen problemas de comunicación en el entorno (p. e. ruido, otra gente hablando cerca, etc.). Además, los sistemas de diálogo multimodales permiten que el usuario escoja las modalidades de interacción más adecuadas para llevar a cabo la comunicación, permitiendo así la adaptación a las condiciones del entorno en términos de luz, condiciones acústicas, etc. Esta característica permite además, que las personas con alguna minusvalía puedan comunicarse con este tipo de sistemas empleando algunas de las modalidades de interacción disponibles.
La finalidad del proyecto propuesto es analizar y aplicar nuevas técnicas, herramientas y metodologías con objeto de implementar un sistema de diálogo multimodal que facilite el acceso a información existente en Internet. Una vez implementado, el usuario podrá interactuar con el sistema mediante voz, gestos de sus brazos y manos en el espacio 3D, y gestos en el espacio 2D realizados sobre una pantalla táctil. Por su parte, el sistema podrá interactuar con el usuario mediante voz artificial, sonidos, gráficos y texto. La comunicación estará basada en dos tipos de dispositivos de comunicación. Por una parte, un ordenador PC dotado con software y hardware para reconocimiento automático de habla, una pantalla táctil y una cámara de visión artificial. Por otra parte, un PDA (Personal Digital Assistant) cuya finalidad será permitirnos comprobar la funcionalidad del sistema implementado funcionando en un entorno móvil.
El proyecto nos permitirá determinar en qué medida las ventajas teóricas ofrecidas por la interacción multimodal son realmente percibidas como un útiles por el usuario. Asimismo, el proyecto nos permitirá analizar en qué medida nuestro sistema es capaz de hacer frente a los problemas derivados de la interacción multimodal. Este análisis es muy importante pues el sistema deberá hacer frente, entre otras cuestiones, a informaciones posiblemente contradictorias provenientes de las diversas modalidades de entrada utilizadas.
Por otra parte, este proyecto pretende ser el punto de partida para crear una infraestructura básica basada en dispositivos multimodales. Esta infraestructura nos permitirá llevar a cabo proyectos de investigación de mayor envergadura, en los que podremos aplicar los conocimientos adquiridos y la tecnología desarrollada gracias al presente proyecto.
Universidad de Granada
Universidad de Granada
1 enero 2007 a 31 diciembre 2007
3 000 €
Ramón López-Cózar Delgado (Univ. Granada)