Departamento de Computación

Las interfaces de usuario fueron creadas con el propósito de facilitar la interacción hombre-máquina. Así, la evolución de la computación conlleva también a interfaces de usuario más poderosas, las cuales buscan ser cada vez más naturales y amigables, adaptándose a las necesidades del usuario mas no inversamente. En la última década un nuevo tipo de interfaces de usuario, denominadas NUI (Natural User Interface), empieza a ganar terreno sobre el paradigma GUI (Graphical User Interface), que ha sido el más popular en la creación de interfaces de usuario. Las interfaces NUI hacen uso de las gesticulaciones del cuerpo humano como datos de entrada, así el usuario puede emplear movimientos que le parecen familiares para crear una interacción más natural, como si estuviera manejando objetos reales. Una sub-categoría de las interfaces NUI es la tecnología de Sexto Sentido, la cual busca expandir el concepto de NUI, añadiendo funciones de movilidad y realidad aumentada. Esta tesis encuentra un campo fértil en este nuevo tipo de tecnología, ya que los prototipos hasta ahora propuestos son meramente experimentales e imprácticos en la vida real. En este trabajo llevamos la tecnología de sexto sentido a los dispositivos móviles, permitiendo que el sistema se vuelva ubiquo y sea facilmente aceptado por los usuarios. Para lograr este objetivo, la presente tesis de maestría aporta una arquitectura desarrollada a partir de las necesidades de la tecnología de Sexto Sentido y de las capacidades del cómputo móvil. Adicionalmente, se presentan las especificaciones de cada módulo y los algoritmos de visión por computadora correspondientes (descomposición de imágenes, reconocimiento de caracteres y tratamiento de imágenes). Los algoritmos desarrollados responden a un estudio sobre las especificaciones de las imágenes tratadas y las características de los dispositivos móviles, acercándonos lo más posible a un punto óptimo en las capacidades de procesamiento, velocidad y memoria. El resultado de nuestro trabajo son: 1) un prototipo de sexto sentido funcional, práctico y fácilmente reproducible, 2) una arquitectura que da sustento a las partes física y lógica, 3) un software encargado de los procesos de visión por computadora, los cuales utilizan nuevos algoritmos capaces de realizar su trabajo en los dispositivos móviles de forma eficiente y finalmente 4) un conjunto de aplicaciones que permiten medir y experimentar con las capacidades del sistema, constituyendo un conjunto de pruebas que pueden ser utilizadas como métricas de comparación por cualquier sistema de Sexto Sentido. Palabras clave: tecnología de sexto sentido, interacción humano-computadora, natural user interface, realidad aumentada, cómputo móvil, cómputo ubicuo

Abstract

User interfaces were created with the aim of facilitating human-computer interaction. Thus, the evolution of computing also leads to more powerful user interfaces, which try to be more and more natural and friendly, adapting themselves to the user’s needs but not inversely. In the last decade a new type of user interfaces, named NUI (Natural User Interface), starts gaining ground on the GUI (Graphical User Interface) paradigm, which has been the most popular in the creation of user interfaces. The NUI interfaces use human body’s gesticulations as input data, so the user can employ movements that seem familiar to him in order to create a more natural interaction as if he were handling real objects. A sub-category of the NUI interfaces is the Sixth Sense Technology, which aims to extend the concept of NUI by adding mobility and augmented reality functions. This thesis finds a fertile ground in this new type of technology because the proposed prototypes are merely experimental and hardly practical for real life. In this work, we transpose the Sixth Sense technology to the mobile devices, allowing the system to become ubiquitous and to be well-accepted by the users. In order to achieve this goal, we proposes an architecture developed from the Sixth Sense technology needs and the mobile computing capabilities. In addition, we present each module specifications and the corresponding computer-vision algorithms (image decomposition, character recognition and image processing). The developed algorithms respond to a study about the especifications of the processed images and the characteristics of the mobile devices, approaching as much as possible to an optimum point in the processing, speed and memory capabilities. The results of this work are: 1) a functional, practical, and easily reproducible Sixth Sense prototype, 2) an architecture that supports the physical and logical parts, 3) a software responsible for the computer-vision processes, which use new algorithms able to efficiently carry out their work on mobile devices, and finally 4) a set of applications that allow to measure and experiment with the system capabilities, constituting a test set that can be used as comparison metrics by any Sixth Sense system. Key words: sixth sense technology; human-compueter interaction; natural user interface; augmented reality; mobile computing; pervasive computing.