Sistema para captura y procesamiento de video y fotografia aerea para drones y aviones ligeros - Inegi
←
→
Transcripción del contenido de la página
Si su navegador no muestra la página correctamente, lea el contenido de la página a continuación
Sistema para captura y procesamiento de video
y fotografia aerea para drones y aviones ligeros
(Avances del 1er año)
Jose Martinez-Carranza
Investigador Titular A
Royal Society-Newton Advanced Fellowship (2015-2018)
Sistema Nacional de Investigadores – C (2017-2019)
Laboratorio de Robotica
Coordinación de Ciencias Computacionales
Instituto Nacional de Astrofisica Optica y Electronica (INAOE)
http://ccc.inaoep.mx/~carranza/
carranza@inaoep.mx
Twitter: @josemtzcarranza
Agenda • Objetivos y Propuesta • Avances con software libre • Avances de investigación • Demostración en Aguascalientes • Publicaciones
Objetivo General • Desarrollar un software prototipo y la metodología para su uso en la tarea de levantamiento (captura) visualización y procesamiento de video y fotografías aéreas a partir de una cámara montada sobre un vehículo aéreo tipo drone o avión ligero.
Propuesta General • Uso de software libre como base para el desarrollo de la metodología
Etapas del proyecto • Versión inicial del prototipo de software para levantamiento y procesamiento de videos y fotografías aéreas en una o más misiones de vuelo. – Calibración – Captura de fotografías con georeferencia – Captura de videos de alta resolución (RGB, Térmico) – Generación de mosaico de imágenes en tiempo real – Captura de video y fotografía en tiempo real • Versión final del prototipo de software así como desarrollo de metodología para levantamiento y procesamiento de video y fotos aéreas en una o más misiones de vuelo, basados en dicho software (esta metodología incluirá la calibración de la cámara de vuelo).
Objetivos Específicos del 1er Año • Metodología para la generación de modelos 3D utilizando software libre y drones comerciales. • Calibración de cámaras. • Generación de mosaicos. • Reconstricción 3D en tiempo real.
Calibración de Cámaras basada en ROS
Investigación Desarrollada • Generación de Mosaicos en Tiempo Real • Generación de Mapas 3D en Tiempo Real • Estimación de Profundidad en una Imágen
Generación de Mosaicos en Tiempo Real
Real-Time Aerial Image Mosaicing
Using Hashing Based Matching
Arquitectura de Comunicación basada en ROS
position in image, roll, pitch,
image altitude,
meters odometry yaw override roll, pitch, yaw
ORB-SLAM
position in
meters overrideAdquisición de Video y Fotografía en Tiempo
Real con Drones Comerciales• El problema de empalmar
imágenes aéreas se conoce como:
mosaico de imágenes aéreas.
• Aplicaciones:
– Monitoring.
– Localization.
– Surveillance
13Resultados
Comparación contra el estado del arte
Approach No. Features Resolution Time [ms]
Ours 2200 800x480 35
OpenCV 2200 800x480 240
G. Wang et al. n/m 720x576 192.6
J. Li et al. n/m 320x240 6.001
A. Kern et al. 500 480x360 31.3
14Estimación de Profundidad a partir de una sóla Imagen
Sistema para captura y procesamiento de video
y fotografia aerea para drones y aviones ligeros
Demostración en INEGI-AguasCalientes
Resultados PostProcesamiento
Jose Martinez-Carranza
Investigador Titular A
Royal Society-Newton Advanced Fellowship (2015-2018)
Sistema Nacional de Investigadores – C (2017-2019)
Laboratorio de Robotica
Coordinación de Ciencias Computacionales
Instituto Nacional de Astrofisica Optica y Electronica (INAOE)
http://ccc.inaoep.mx/~carranza/
carranza@inaoep.mx
Twitter: @josemtzcarranzaDatos de Videos Capturados • Imagenes aereas RGB: 554 Fotos • Resolucion camara RGB: 1280 x 720 Pxeles • Tiempo de Procesamiento: 4 Horas • Imagenes aereas Termica: 348 Fotos • Resolucion camara Termica 512 x 480 Pxeles • Tiempo de Procesamiento: 2 Horas 32 Minutos
Modelos 3D (Post-Procesamiento)
Orto-imágenes (Post-Procesamiento)
Metas 2do Año • Trabajar con cámara multiespectral • Generación de mosaicos con alta resolución (4000x2000, uso de GPU). • Evaluación de modelos 3D generados con OpenDroneMap • Genéración de modelos de elevación (depth in single image) • Clasificación de regiones. • Protocolo para calibración. • Escritura de manuales. • Escritura de artículo de revista (INEGI). • Transferencia de tecnología. • Curso para usuario final
Publicaciones
• Publicadas
1. R. Munguia-Silva, J. Martinez-Carranza. Autonomous Flight Using RGB-D SLAM with a
Monocular Onboard Camera. 2018 International Conference on Electronics,
Communications and Computers (CONIELECOMP). Cholula, México. February, 2018.
2. R. De Lima, J. Martinez-Carranza. Real-Time Aerial Image Mosaicing Using Hashing-based
Matching. IEEE 4th Workshop on Research, Education and Development of Unmanned
Aerial Systems (RED-UAS). Linköping, México. October, 2017.
• En preparación
1. A Novel GPU Architecture for Real-Time Image Mosaicing. ISPRS Journal of
Photogrammetry and Remote Sensing. Elsevier. Q1
2. Optical Flow and CNN for Depth Estimation in Aerial Images. Computer Vision and Image
Understanding. Elsevier. Q2.
3. Metric Monocular SLAM using Planar Assumptions for Autonomous Flight. Autonomous
Robots. Springer. Q2.
4. Deep Learning for Depth Estimation in Single Aerial Images. IEEE International Conference
on Inteliigent Robots 2018. Madrid. Spain. September, 2018.
• Al concluir el proyecto
1. Revista de INEGIPreguntas
Jose Martinez-Carranza
Investigador Titular A
Royal Society-Newton Advanced Fellowship
Sistema Nacional de Investigadores - C
Laboratorio de Robotica
Coordinación de Ciencias Computacionales
Instituto Nacional de Astrofisica Optica y Electronica (INAOE)
http://ccc.inaoep.mx/~carranza/
carranza@inaoep.mx
Twitter: @josemtzcarranzaTambién puede leer
