Departamento de Computación

Al comunicarnos con las personas, usamos, consciente o inconscientemente, gestos. ¿Es posible que los humanos se comuniquen con un dispositivo inteligente, como un VANT (Vehículo Aéreo No Tripulado), a través de gestos manuales? Éste trabajo de tesis se enfoca en responder ésta pregunta, y su objetivo es diseñar y desarrollar un sistema de reconocimiento de gestos manuales para controlar un VANT cuadrirrotor. En el sistema, 13 gestos fueron diseñados (5 estáticos y 8 dinámicos) para controlar la operación y dirección de un VANT. Para entrenar al sistema a reconocer los gestos, se usaron datos esqueléticos de la mano recolectados a través del dispositivo Leap Motion (6 características puras en total). El Clasificador Adaptativo Ingenuo de Bayes (ANBC por sus siglas en inglés Adaptive Naïve Bayes Classifier) y las Máquinas de Soporte Vectorial (SVM, Support Vector Machines) son seleccionados como los algoritmos base de aprendizaje para el método de ensamble desarrollado; ésto fue requerido para mejorar la precisión en el reconocimiento. Para reconocer gestos dinámicos utilizando los clasificadores estáticos, se presenta un enfoque temporal, en el cual se crean características a través de la composición de datos secuenciales de la mano, ésto generó en total 8 características compuestas. Con ello, los clasificadores son entrenados utilizando datos de 14 características (6 puras y 8 compuestas) en vez de 6 características puras para reconocer gestos dinámicos a través de clasificadores estáticos. Los componentes de software son tres nodos del Sistema Operativo Robótico (ROS, por sus siglas en inglés, Robot Operating System) que generan las funciones de creación del vector de características, reconocimiento de gestos y control del VANT. La plataforma ROS se ha vuelto el estándar para la robótica industrial, de investigación y entretenimiento. Por tanto, ésta implementación puede ser utilizada por cualquier otro dispositivo compatible con ROS. Para probar el sistema, se usó el software Gazebo (un simulador de ROS) así como un VANT emulado (con el software ArduCopter). Los resultados indican que el sistema desarrollado es capaz de controlar un VANT de manera estable.

Keywords: Reconocimiento de Gestos Manuales, Leap Motion, ROS, control de VANT.

Abstract

When communicating with each other, we use, conscious or unconsciously, gestures. Can human communicate with an intelligent device, such as an UAV (Unmanned Aerial Vehicle), through hand gestures? This thesis work focuses on answering this question, and its aim is to design and develop a hand gesture recognition system to control a quadrotor UAV. In the system, 13 gestures were designed (5 statics and 8 dynamics) to control the UAV operation and direction. In order to train the system to recognize these gestures, hand skeleton data were collected from the Leap Motion device (6 raw features in total). Adaptive Naïve Bayes Classifier (ANBC) and Support Vector Machines (SVM) are selected as the base learning algorithms for the ensemble method we developed; this was required to improve the recognition accuracy. To recognize dynamic gestures using the static classifiers, we introduce the temporal approach in which the features are created by composing sequential hand data; this provided in total 8 composed features. Therefore, the classifiers are trained using data of 14 features (6 raw and 8 composed) instead of 6 raw features in pursuance of dynamic gestures recognition through static classifiers. The software components are three nodes of the Robot Operating System (ROS) that accomplish feature vector creation, gesture recognition, and UAV Control functions. ROS platform has become the standard for industrial, research and entertainment robotics. Therefore, this implementation can be used by any other ROS compatible device. To test the system, the Gazebo software (a ROS simulator) was used along with an emulated UAV (with the ArduCopter software). Experimental results indicate that the developed system is able to control the UAV stably.

Keywords: Hand Gesture Recognition, Leap Motion, ROS, UAV Control.