Reconocimiento de bj t i bj t i objetos en una cocina con una webcam

Reconocimiento de
objetos
bj t
en una cocina
i
con una webcam
Autor: Fco.
Fco Javier García Fernández
Tutor: D. Javier Ortiz Laguna
ÍNDICE
1. Introducción
2. Estado del arte
3. Diseño de la aplicación
p
4. Implementación de la aplicación
5. Evaluación de la aplicación
6. Conclusiones
oducción
do del arte
eño de la
Introducción
Motivación
ot ac ó del
de proyecto
p oyecto
 Visión por computador en el
reconocimiento de actividades
cación
mentación
plicación
p
Obj i
Objetivos
d
dell proyecto
 Captura mediante webcam y

ación de la
cación
clusiones



funcionamiento en tiempo real
Detección y reconocimiento de
objetos
S
Seguimiento
i i t d
de objetos
bj t
Videos como alternativa a webcam
Modificación de parámetros con
fichero de configuración
oducción
do del arte
Estado del arte
Visión
Vi
ió por
computador
eño de la
cación
mentación
Captura
Preproceso
Segmentación
S
Seguimiento
i i
R
Reconocimiento
i i
D
Descripción
i ió
plicación
p
ación de la
cación
clusiones
oducción
do del arte
eño de la
cación
mentación
Estado del arte
Captura
 Adquisición de la imagen
 Cámara oscura
 Escaneo
plicación
p
 Digitalización
ación de la
 Representación de la imagen
cación
clusiones
 Muestreo y cuantificación
 M
Mapa d
de bits
bit o píxeles
í l
 Imágenes sin compresión
 Imágenes con compresión
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Estado del arte
Preprocesamiento de imágenes
 Operaciones básicas entre píxeles
 Aritmético-lógicas
g
yg
geométricas
 Histograma
 Contraste y ecualizado
 Filtrado espacial

Suavizado y obtención de
contornos
t
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
Estado del arte
Procesamiento de imágenes
 Operaciones básicas entre píxeles
 Aritmético-lógicas
g
yg
geométricas
 Histograma
 Contraste y ecualizado
 Filtrado espacial

cación
clusiones
Suavizado y obtención de
contornos
t
 Filtrado frecuencial

DFT y filtros en frecuencia
 Operaciones morfológicas
oducción
do del arte
eño de la
cación
mentación
p
plicación
ación de la
cación
clusiones
Estado del arte
Segmentación
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Estado del arte
Segmentación
 Umbralización
 Color
 Movimiento
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Estado del arte
Representación
 Códigos de cadenas
 Aproximaciones poligonales
 Signaturas
Descripción
 Descriptores frontera

Momentos estadísticos y
descriptores de Fourier
 Descriptores de región

Simples y textura
oducción
do del arte
eño de la
cación
mentación
plicación
p
Estado del arte
Reconocimiento de objetos
 Características discriminantes, patrón
 Aprendizaje
 Algoritmos de clasificación


ación de la

cación

clusiones



K-vecinos mas cercanos (
(KNN)
)
Árboles de decisión (DTREE)
Árboles aleatorios (RTREE)
Máquina de soporte de vectores (SVM)
Redes neuronales (NN)
Clasificador bayesiano (NBC)
Esperanza-maximización (EM)
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Estado del arte
Seguimiento de objetos
 Búsqueda de esquinas (corners)
 Flujo óptico
 Algoritmo de seguimiento

Método Lucas
Lucas-Kanade
Kanade
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Diseño de la aplicación
Segmentación y preprocesado
 Segmentación basada en movimiento
 Filtro de mediana: suavizado
 Filtro de gaussiana: difuminado
 Extracción de contornos: Canny
 Dilatación de los bordes
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Diseño de la aplicación
Representación
 Contorno como secuencia de

puntos
Aproximación poligonal del
contorno
Descripción
 Patrones



Compacidad = perimetro2/área
Momentos del contorno
Valor medio de los canales rojo,
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Diseño de la aplicación
Reconocimiento de objetos
 Entrenamiento: base de datos de

350 imágenes
Fichero de configuración XML
 Selección de p
patrones
 Selección algoritmo de
clasificación
 Clasificación
Cl ifi
ió
oducción
do del arte
eño de la
cación
Diseño de la aplicación
Seguimiento de objetos
 Cálculo del centro del objeto
 Seguimiento con algoritmo LucasLucas
mentación
plicación
p
ación de la
cación
clusiones

Kanade
Fichero de salida XML
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Diseño de la aplicación
Búsqueda y seguimiento de
manos
 Búsqueda por histograma
 Apertura y cierre
 Umbralización
 Cálculo del centro del contorno
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Implementación
p
de la
aplicación
 Librería de visión por computador

OpenCV
Lenguaje de programación C++
 Ejemplo de ejecución
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Evaluación de la aplicación
Evaluación de los clasificadores
 500 imágenes
 70% entrenamiento
 30% test
 Clasificador con peores resultados
 Clasificador con mejores resultados
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Evaluación de la aplicación
Evaluación del seguimiento
g
de
objetos
 Objetos
j
con color liso
 Objetos reflectantes
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Evaluación de la aplicación
Evaluación de la detección de
manos
 Resultados satisfactorios
 Dos problemas


Ralentiza la aplicación
Detección errónea
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Conclusiones
Cumplimiento de objetivos
 Detectar y reconocer objetos en
una cocina
Seguir objetos
Fichero de configuración
g
Fichero de salida



Funciones añadidas
 Elección de clasificador desde

fichero de configuración
g
Búsqueda de manos
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Trabajos futuros
Entrenar múltiples posiciones
 Objetos girados, tumbados, al

revés,, etc.
Puede crear confusión al
clasificador
Múltiples cámaras
 Visión 3D ((x,, y, z))
 Solución a la oclusión de objetos
Cámara con frame rate
superior
oducción
do del arte
eño de la
cación
mentación
plicación
p
ación de la
cación
clusiones
Cuestiones
Reconocimiento de
objetos
bj t
en una cocina
i
con una webcam
Autor: Fco.
Fco Javier García Fernández
Tutor: D. Javier Ortiz Laguna