6th IEEE Colombian Conference on Communications and

Human Machine Interface HMI using
Kinect sensor to control a SCARA
Robot
Carlos Pillajo and Javier E. Sierra
UPS-ECUADOR /UPB-COLOMBIA
6th IEEE Colombian Conference on Communications and Computing
Introducción
Kinect es un dispositivo que permite
iteración con el ser Humano
Prime Sense en Diciembre 2010 lanza el
primer SDK para kinect
Microsoft desarrolla un SDK gratuito
para Windows 7, actualmente se tiene
SDK 1.7v
2
6th IEEE Colombian Conference on Communications and Computing
Motivación
3
6th IEEE Colombian Conference on Communications and Computing
Descripción del Problema
Personas con capacidades especiales no cuentan
con las herramientas necesarias para integrarse
a su entorno físico y social
4
6th IEEE Colombian Conference on Communications and Computing
Modelo a implementar
5
6th IEEE Colombian Conference on Communications and Computing
Metodología
Se planteó manipular el robot SCARA
(Selective Compliance Assembly Robot
Arm) en tiempo real a través del sensor
kinect
El programa de adquisición de datos del
esqueleto proporcionado por kinect se
implementa en C#, el cual envía
comandos por puerto USB a la
controladora del SCARA
6
6th IEEE Colombian Conference on Communications and Computing
Características del sensor kinect
Cámara de Video RGB
Sensor de Profundidad o cámara IR
Arreglo de micrófonos
Un acelerómetro de 3 ejes
Una luz led
Un pequeño servo motor
7
6th IEEE Colombian Conference on Communications and Computing
Arquitectura del HMI
Sensor Kinect envía información que representa
las acciones del operador las cuales en el PC las
procesa y este a su vez envía comandos de
control a la controladora del respectivo brazo
robótico.
8
6th IEEE Colombian Conference on Communications and Computing
Cinemática del SCARA
Posición final del efector
respecto a eje de referencia
en la base del hombro del
robot
9
6th IEEE Colombian Conference on Communications and Computing
Librerías Open NI para controlar
el SCARA
Kinect utiliza OpenNI
que es el marco multiidioma, multi-plataforma
en donde se define las
API.
OpenNI API se compone
de un conjunto de
interfaces para escribir
aplicaciones NI
10
6th IEEE Colombian Conference on Communications and Computing
Diagrama de Flujo del Algoritmo
para el control del SCARA
Programa realizado
en C#, para el
control a distancia de
motores del brazo
robótico SCARA
11
6th IEEE Colombian Conference on Communications and Computing
Resultados
Control Brazo con
Servos
Control del SCARA
12
6th IEEE Colombian Conference on Communications and Computing
Conclusiones
Se realizó un sistema Hombre-Maquina el cual
es controlado mediante sensor kinect
utilizando librerias de Interface Natural en C#
Se tiene mejor control con servomotores que
con motores DC con encoders en lazo abierto
Los algoritmo propuesto utiliza métodos que
funcionan para el control del hardware
adaptándolo a según sea se necesidad
Se debe realizar una buena calibración de los
brazos robóticos, sobre todo el espacio de
trabajo debe ajustarse a las acciones del
operador.
13
6th IEEE Colombian Conference on Communications and Computing
Trabajos Futuros
Se puede añadir
algoritmos de visión e
inteligencia artificial
utilizando el sensor
kinect
Se esta trabajando en
el control de brazos
semi-industriales
Mitsubitshi
Se pretende manipular
los brazos robóticos
desde cualquier sitio
web
Control Brazo
Mitsubitshi
14
6th IEEE Colombian Conference on Communications and Computing
Referencias
Bibliografía
Reconocimientos
Al equipo de trabajo:
MSc. Vinicio Tapia
Sr. Alejandro Hernández
Sr. Slim Castro
Sr. Fernando Jiménez
B. Wang, C. Yang, and Q. Xie, “Human-machine interfaces
based on emg and kinect applied to teleoperation of a
mobile humanoid robot,” in Intelligent Control and
Automation (WCICA), 2012 10th World Congress on, july
2012, pp. 3903 –3908.
[2] K.-T. Song and S.-C. Tsai, “Vision-based adaptive
grasping of a humanoid robot arm,” in Automation and
Logistics (ICAL), 2012 IEEE International Conference on,
aug. 2012, pp. 155 –160.
[3] C. Matuszek, B. Mayton, R. Aimi, M. Deisenroth, L. Bo,
R. Chu, M. Kung, L. Legrand, J. Smith, and D. Fox, “Gambit:
An autonomous chess-playing robotic system,” in Robotics
and Automation (ICRA), 2011 IEEE International
Conference on, may 2011, pp. 4291 –4297.
[4] A. Ramisa, G. Alenya, F. Moreno-Noguer, and C. Torras, “Using depth and appearance features for informed robot
grasping of highly wrinkled clothes,” in Robotics and Automation (ICRA), 2012 IEEE International Conference on, may
2012, pp. 1703 –1708.
[5] P. Rakprayoon, M. Ruchanurucks, and A. Coundoul, “Kinect-based obstacle detection for manipulator,” in System
Integration (SII), 2011 IEEE/SICE International Symposium on, dec. 2011, pp. 68 –73.
[6] M. Nkomo and M. Collier, “A color-sorting scara robotic arm,” in Consumer Electronics, Communications and Networks
(CECNet), 2012 2nd International Conference on, april 2012, pp. 763 –768.
[7] T. Arici, “Introduction to programming with kinect: Understanding hand / arm / head motion and spoken commands,”
in Signal Processing and Communications Applications Conference (SIU), 2012 20th, april 2012
[8] C. M. S.Jaime, F.Andrew, “Real-time human pose recognition in parts from single depth images,” Junio 2011.
[9] J. Koenemann and M. Bennewitz, “Whole-body imitation of human motions with a nao humanoid,” in Human-Robot
Interaction (HRI), 2012 7th ACM/IEEE International Conference on, march 2012, p. 425.
[12] F. i. Mahdi Salman Alshamasi, “Kinematic modeling and simulation of a scara robot by using solid dynamics and
verification by matlab/simulink,” 2009.
[13] Openni standar framework for 3d sensing. http://www.openni.org/.http://msdn.microsoft.com/enus/library/hh855347.aspx
http://perso.wanadoo.es/e/alimapp/scara/index.htm
15
6th IEEE Colombian Conference on Communications and Computing
GRACIAS POR SU
ATENCIÓN
16