"América" de J. Torres García 1942 que dijo "nuestro norte es el Sur"

“América” de
J. Torres García
1942

que dijo
“nuestro norte es el Sur”

NUCLEO DE INGENIERIA BIOMEDICA
  de las Facultades de Medicina e Ingeniería
   UNIVERSIDAD DE LA REPUBLICA
          Montevideo - URUGUAY

Determinación de la orientación
del ojo mediante procesamiento
     del electro oculograma

          Franco Simini

   Hospital Británico - Montevideo
         15 de junio de 2012

Material tomado de las publicaciones:

José Pereira, Agustín Senatore, Andrés Touya, Javier
  De Lima, Roberto Soler y Franco Simini
  “Determinación de la orientación del ojo
  mediante procesamiento del
  electrooculograma”, XVIII Congreso Argentino de
  Bioingeniería SABI 2011, Mar del Plata, 28 al 30 de
  septiembre de 2011

Franco Simini, Andrés Touya, Agustín Senatore and
  José Pereira “Gaze Tracker by
  Electrooculography (EOG) on a Head-Band”
  Proceedings of the 10th International Workshop on
  Biomedical Engineering, Kos, Greece, October
  2011, 978-1-4577-0554-0/11/$26.00 ©2011 IEEE

Problema inicial que motiva la
         investigación

• Prótesis ocular completa es fija
• Al mover el ojo sano, queda inmóvil
• Pacientes resienten el estigma social

Objetivos
• Determinar la dirección de la mirada del ojo
  sano para –en otro proyecto- dar el mismo
  movimiento a la prótesis ocular

• Interactuar con una computadora por
  intermedio del movimiento de los ojos
  detectados por EOG

Movimientos Oculares

Movimientos    Automáticos   Reflejos vestíbulo-oculares

                             Reflejos optocinéticos

                             Micromovimientos o microsacadas

               Voluntarios   Sacádicos con fijación

                             Seguimiento y vergencia

    los movimientos sacádicos son los más frecuentes

Métodos de “gaze tracking”

• Campo magnético del ojo (dipolo)
• Luz incidente y captura de luz reflejada
• Lente de contacto con espira que se mueve
en campo
• Videooculograma (VOG) con cámara
• Electrooculograma (EOG)
• Posiblemente impedancia electrical (?)

Lente de contacto con espira

Videooculograma (VOG) con cámara

Método seleccionado EOG

      No interfiere
        Pasivo
        Inocuo

EOG

  Potencial entre la retina y la cornea: 4 a 6 mV

“Neurobiología de la visión”, Utrubia C, 1997

Posición de los electrodos

        A   B   RR

VD

        conexiones de
        electrodos de                                              R

            EOG                                     VAR                VBR
                                                              -
                                               A             VOO             B

                                                             +
                                                            VBR = VAR
                                                        VD = VAR - VBR = 0

Gila Villanueva, Cabeza R “Fisiopatología y técnicas de registro de los movimientos
oculares”

Posición de los electrodos

                                                   VD

                                                                 R
         A      B         R
                                                     VAR             VBR

                                               A            VO              B

                                                        +

                                                                 -
                                                        VBR = VAR - VO
                                                      VD = VAR - VBR = Vo
*Fuente: Gila L, Villanueva, Cabeza R; “Fisiopatología y técnicas de registro de los
movimientos oculares”; 2009; Pp 9-26

Especificación general
• Adquirir y procesar la señal EOG en tiempo real

• Determinar el ángulo en el plano axial del ojo sano

• Que el error entre la posición determinada y la real no
  sea perceptible

• Transmisión de la posición a la ojo protésico

EOG y objetivo ideal (rojo)

 A (mV)

     10s              segundos                         40s              45s

    Ganancia 1500, BW 0.15Hz – 30Hz
*Diseño del circuito, PhD. Luis Corrales, Escuela Politécnica Nacional, Ecuador

Deriva de la línea de base del EOG...

Ganancia 1700, BW 0.15Hz – 30Hz

Ante la imposibilidad de filtrar la deriva, se detectan las sacadas

Módulos Electrónicos
                  Procesamiento e
Amplificación y                     Transmisión de
                    Interfaz con
  Filtrado                              datos
                      usuario

                   Alimentación

Amp. 1     Filtro 1      Amp. 2     Filtro 2      Amp. 3     Filtro 3      Amp. 4

G=3.0                    G=6.2                    G=46.2                   G=2.3

          fc = 19.4 Hz             fc = 1.59 Hz             fc = 0.08 Hz

Procesamiento e
  Amplificación y                     Transmisión de
                      Interfaz con
    Filtrado                              datos
                        usuario

                     Alimentación

• Ganancia total = 1985 = 66 dB
• LPF 1er orden, fc = 19.4 Hz
• HPF 1er orden, fc = 1.59 Hz
• HPF 1er orden, fc = 0.08 Hz

PANTOJO: etapas de ampl y filtrado

Diagrama de Bode de filtro del EOG

Procesamiento e
       Amplificación y                                Transmisión de
                              Interfaz con
         Filtrado                                         datos
                                usuario

                             Alimentación

• Procesamiento             • Interfaz con usuario
      PIC 18F2553                Comando ON/OFF
      24 I/O                     Pulsador (modo, calibración)
      4 timers 8/16 bits         Buzzer (error, batería)
      Clk 12 MHz                 Led rojo (modo, batería)
      Flash 32 kB                Led verde (ON/OFF)
      SRAM 2048 B                Dispositivo para calibración
      EEPROM 256 B
      EUSART
      Módulo USB

Procesamiento e
      Amplificación y                                      Transmisión de
                                 Interfaz con
        Filtrado                                               datos
                                   usuario

                                   Alimentación

• Transmisión Bluetooth
      Módulo KC21 - PIC
      Dongle Bluetooth/USB - PC

       PIC              KC21                      Dongle             PC

Procesamiento e
      Amplificación y                                    Transmisión de
                                Interfaz con
        Filtrado                                             datos
                                  usuario

                                Alimentación

Fuente de poder: 4 pilas AA – 6V/1700mAh

                              Regulación en 3,3V
                                  Amplificación y filtrado
                                  Transmisión de datos
                              Regulación en 5V
                                  Procesamiento e interfaz con usuario

Autonomía: 20 horas

Electrodos
•   Several options tried
•   Skin to be scrubbed
•   Conductive material (EEG type)
•   From spectacles to head band

Evolución de la posición de electrodos

Spectacles   Spectacles + screw   Electrodes   Head band +Eds

Vincha de            Módulo        Brazo
     Electrodos           Principal   Calibrador

Soporte de electrodos
Módulo de amplificación y filtrado

Vincha
   con
caja de
preampl
 y filtro
 abierta

Eye band (incl. filters and ampl.)

Vincha de               Módulo                Brazo
     Electrodos              Principal           Calibrador

Módulo de procesamiento e interfaz con usuario
Módulo de transmisión de datos
Módulo de alimentación

PANTOJO Power supply,
processing and communication

PANTOJO
  inside

Just noticeable angle difference

Photos of the eye looking in 5º
    increment directions taken
• Sequence from 0 º outwards
• Sequence from outwards to front (0 º)
• Independent observer asked to judge if the
  subject in the picture was looking elsewhere

Sequence of photos

               40°

               35°

Discretización de la Posición

                                20°

                                15°

Discretización de la Posición

                                -15°

                                -20°

5° cannot be noticed, in either
  ascending or discending sequence

5 ° is the surgical goal for gaze correction, incidentally

Por lo tanto
La salida del gaze tracker es dada en
  incrementos de 5 grados (o de 10 grados)

Determinación de la relación entre
posición y voltaje del pico del EOG

Relación Ángulo Voltaje

Ida derecha     Vuelta derecha   Ida izquierda   Vuelta izquierda

Relación Ángulo Voltaje

 Tipo de Mov:          Tipo de Mov:
 • Ida derecha         • Vuelta derecha
 Valor de Norm:        Valor de Norm:
 • Ida derecha 30º     • Vuelta derecha 30º

Tipo de Mov:          Tipo de Mov:
• Ida izquierda       • Vuelta izquierda
Valor de Norm:        Valor de Norm:
• Ida izquierda 30º   • Vuelta izquierda 30º

relación ángulo-voltaje

Relación Ángulo Voltaje

Movimientos de Ida   Movimientos de Vuelta

Ajuste de polinomio de 3er grado

     Movimientos de Ida            Movimientos de Vuelta

a(v)  p.v

Movimientos de Ida

a(v)  p.v
 Indeterminación
  en los extremos

Relación Ángulo Voltaje

Error grande más allá de ±30º

Relación Ángulo Voltaje
Modelo lineal hasta ±30º: a ( v )  27 , 9 .v

     Movimientos de Ida    Movimientos de Vuelta

Relación Ángulo Voltaje
o Zona no lineal

Relación Ángulo Voltaje

Modelo combinado: lineal y extremos

Signal processing
•   Filtering to discard baseline and to limit
•   Derivation
•   Peak detection (threshold)
•   Saccadic movements are thus detected
•   Amplitude of peak related to angle moved
•   Software keeps track of eye direction

Processed EOG & deduced eye position
Normalized amplitude

                                       Blue: processed EOG
                                       Red: visual clue given to subject
                                       Black: reconstucted eye direction

Latency of aprox 500 ms from clue to eye movement        Time (seconds)

Posición del ojo
• Como una cuenta corriente, entrada (giro a
  la derecha) y salidas (giro a la izquierda)
• Ante toda incertidumbre, vuelve a cero

Experimental set-up to measure
EOG voltage to gaze saccades

Routines
•   5 º increment saccades
•   10 º increment saccades
•   Repeated thrice for each person
•   4194 measurements taken
•   3 minutes sessions

Application to determine angle-voltage ratio

                              Black dot: eye position
                              Red dot: clue

Procesamiento por Picos
 Determinación de la posición del ojo a través de la detección de
 movimientos sacádicos.

For every saccade produced and detected, an angle is estimated in either 5 º or 10 º increments

       Modo 1 (cada 5 grados)
-40º        -30º   -25º   -20º   -15º   -10º   -5º   0º   +5º   +10º   +15º   +20º   +25º   +30º   +40º

       Modo 2 (cada 10 grados)
-40º        -30º          -20º          -10º         0º         +10º          +20º          +30º   +40º

State diagram to detect processed EOG peaks

Comunication protocol (ASCII char)
TP   NP2 NP1 NP0 DO
                  6
                         DO
                          5
                              DO
                              4
                                   DO
                                   3
                                        DO
                                        2
                                             DO
                                             1
                                                  DO
                                                  0
                                                       DR
                                                       3
                                                            DR
                                                            2
                                                                 DR
                                                                 1

        TP: Type of packet (n, c or d)
        NP: Number of packet
        DO: Original Data in Volts
        DR: Reconstructed Data in degrees[º]

     Examples:
     n006-0.5023+0.6102+0.4986-0.5923
     c122+1.024+00
     d255-0.3221-15

Necesidad de calibrar

Dispositivo de calibración

Relación Ángulo Voltaje

Rango ±45º
Pasos de 5º
Sacadas con fijación

Calibration
•   Two leds at either side at fixed distance
•   Repetition of saccades 7 times
•   Measurement of output to be averaged
•   voltage for 30° thus determined for both
    sides

Determination of angle of gaze to
     peak voltage detected
• Measurements were made on three subjects
• Clue given to guide subject
• Peak measured compared with gaze angle

Head fixation to allow
measurements of gaze direction

Procesamiento por Picos
                  Detección de
    Filtrado                          Reconstrucción de la Posición
                     Picos

                                 Calibración             Normalización

• Detección de valores para normalización

• Secuencia de LEDs con brazo calibrador

               -30º              0º                       +30º

Procesamiento por Picos
                  Detección de
    Filtrado                          Reconstrucción de la Posición
                     Picos

                                 Calibración             Normalización

• Detección de valores para normalización

• Secuencia de LEDs con brazo calibrador

               -30º              0º                       +30º

Procesamiento por Picos
                  Detección de
    Filtrado                          Reconstrucción de la Posición
                     Picos

                                 Calibración             Normalización

• Detección de valores para normalización
    Ida derecha

• Secuencia de LEDs con brazo calibrador

               -30º              0º                       +30º

Procesamiento por Picos
                  Detección de
    Filtrado                          Reconstrucción de la Posición
                     Picos

                                 Calibración             Normalización

• Detección de valores para normalización
    Ida derecha
    Vuelta derecha

• Secuencia de LEDs con brazo calibrador

               -30º              0º                       +30º

Procesamiento por Picos
                  Detección de
    Filtrado                          Reconstrucción de la Posición
                     Picos

                                 Calibración             Normalización

• Detección de valores para normalización
    Ida derecha
    Vuelta derecha
    Ida izquierda

• Secuencia de LEDs con brazo calibrador

               -30º              0º                       +30º

Procesamiento por Picos
                  Detección de
    Filtrado                          Reconstrucción de la Posición
                     Picos

                                 Calibración             Normalización

• Detección de valores para normalización
     Ida derecha
     Vuelta derecha
     Ida izquierda
     Vuelta izquierda
• Secuencia de LEDs con brazo calibrador

               -30º              0º                       +30º

Procesamiento por Picos
            Detección de
Filtrado                       Reconstrucción de la Posición
               Picos

                           Calibración            Normalización

Procesamiento por Picos
                 Detección de
    Filtrado                          Reconstrucción de la Posición
                    Picos

                                  Calibración            Normalización

• Pasa-bajos Butterworth de 4to orden, fc=10Hz

• Entrada
     Señal EOG filtrada
• Salida
     Bandera de detección de pico
     Amplitud y signo del pico

Procesamiento por Picos
               Detección de
   Filtrado                       Reconstrucción de la Posición
                  Picos

                              Calibración            Normalización

• Entrada
    Tipo de movimiento
    Amplitud del pico [V]
    Parámetro de normalización
• Salida
    Amplitud de movimiento sacádico [º]

Procesamiento por Picos
                    Detección de
    Filtrado                               Reconstrucción de la Posición
                       Picos

                                       Calibración            Normalización

• Zona lineal
    Historia discreta
     0º         +         9º       =             9º                        10º

    Historia continua
     0º         +         9º       =             9º                        10º

Procesamiento por Picos
                   Detección de
    Filtrado                          Reconstrucción de la Posición
                      Picos

                                  Calibración            Normalización

• Zona no lineal
    Sólo se admiten retornos a 0°

Protocolo de la posición del ojo

• Implementación en el microcontrolador
     Frecuencia de muestreo: 46Hz
     Procesamiento en tiempo real
• Formato de la salida

   TP   NP2 NP1 NP0 DO
                     6
                         DO
                          5
                              DO
                              4
                                   DO
                                   3
                                        DO
                                        2
                                             DO
                                             1
                                                  DO
                                                  0
                                                       DR
                                                       3
                                                            DR
                                                            2
                                                                 DR
                                                                 1

    TP: Tipo de paquete
    NP: Numero de paquete
    DO: Dato original [V]
    DR: Dato reconstruído [º]
• Casos de error
    Buzzer

o Ensayos
 •Consta del seguimiento de la guía con
 la mirada durante 3 minutos
 •Fueron testeados los 4 tipos de
 tratamiento de la señal
     1.   Saltos   de   a   10º, historia de la señal continua
     2.   Saltos   de   a   10º, historia de la señal discreta
     3.   Saltos   de   a   5º, historia de la señal continua
     4.   Saltos   de   a   5º, historia de la señal discreta
 •   Realizados por 3 personas
 •   Cada persona realizó 3 veces cada uno
     de los 4 tratamientos

resultados
                   Aciertos   Aciertos
                   Exactos    Flexibles
 Tratamiento 1
                    52,9%      88,9%
(10º, continuo)
 Tratamiento 2
                    76,6%      93,6%
 (10º, discreto)
 Tratamiento 3
                    40,8%      80,2%
 (5º, continuo)
 Tratamiento 4
                    37,7%      74,6%
  (5º, discreto)

o Conclusiones
 •El tratamiento que mejores resultados
 presenta es el 2, con 76.6% de aciertos
 exactos y 93.6% de aciertos flexibles
 •En saltos de a 5º el mejor tratamiento
 es el 3, con 40.8% de aciertos exactos
 y 80.2% de aciertos flexibles.

Results

% correct detection of eye movement
                                             Final eye position (degrees)
 Initial eye position (degrees)

The overall accuracy of PANTOJO gaze tracker (10º) is 76.6%.

In lieu of a conclusion
PANTOJO recognizes eye saccadic
 movements in increments of 5º or 10º
PANTOJO determines eye position with
 non linear logic based on heuristics
PANTOJO moves a token on a screen
 according to eye position

Future Work
• Automatic calibration based on statistics
• Application to menu operation for people
  with no limb use
• Application to wheel chair control
• Reduction in size
• Inclusion in a mobile phone

Posible mejora: aplicar
tratamiento “Wavelet” que
     reduce la deriva

Discusión y conclusiones
        parciales
El procesamiento de EOG es adecuado para
determinar la posición del ojo
Se podrá comandar una prótesis móvil
Se podrá mover un cursor mediante un
“driver” en el PC, que simule un “mouse”
Se podrá comandar una silla de ruedas
Paciente internado sin capacidad de
movimiento ni de habla
Juegos para niños físicamente disminuidos

Mejoras futuras

Detectar circunstancias
  (Reposo o movimiento -acelerómetros-
  habla o no habla -micrófonos-
  Luminosidad del ambiente –fotosensor-)

Aumentar autonomía de baterías

Vincha más discreta

Calibración por estadística de posiciones

Síntesis
• Vincha que capta mov sacádicos del ojo
• Procesador que transmite posición del ojo
• Dispositivo calibrador
• Programa que permite poner en pantalla la
  posición del ojo
• Entonces comando de menú por ojos
• Entonces mov de prótesis

NIB 2011 (ausentes Lobo, Santos, Thevenet, Urruty y Sosa)

gracias

www.nib.fmed.edu.uy