Modelado 3D de tumores cerebrales empleando endoneurosonograf´ıa y redes neuronales artificiales
Andr´ es Felipe Serna Morales
Universidad Nacional de Colombia Departamento de Ingenier´ıa El´ectrica, Electr´onica y Computaci´on Universidad Nacional de Colombia, Sede Manizales Manizales, Colombia 2011
Modelado 3D de tumores cerebrales empleando endoneurosonograf´ıa y redes neuronales artificiales
Andr´ es Felipe Serna Morales
Tesis presentada como requisito parcial para optar al t´ıtulo de: Mag´ıster en Ingenier´ıa - Automatizaci´ on Industrial
Director: Flavio Augusto Prieto Ortiz, PhD
L´ınea de Investigaci´on: Visi´on por Computador, Modelado 3D, Redes Neuronales Grupo de Investigaci´on: Grupo de Percepci´on y Control Inteligente (PCI)
Departamento de Ingenier´ıa El´ectrica, Electr´onica y Computaci´on Universidad Nacional de Colombia, Sede Manizales Manizales, Colombia 2011
3D modeling of brain tumors using endoneurosonography and artificial neural networks
Andr´ es Felipe Serna Morales
A Thesis presented for the degree of: : Master of Engineering - Industrial Automation
Supervisor: Flavio Augusto Prieto Ortiz, PhD
Research Areas:: Computer vision, 3D Modeling, Neural Networks Research group: Perception and Intelligent Control Group (PCI)
Department of Electrical, Electronic and Computer Engineering Universidad Nacional de Colombia at Manizales Manizales, Colombia 2011
A mis padres, Jos´e Jaime y Melva Irene, por su infinito amor, su apoyo incondicional y gran sabidur´ıa para indicarme siempre el camino correcto. A mi hermano, David, por su apoyo y compa˜ n´ıa, por cuidar de la familia en los momentos en que no estuve presente. A toda mi familia, por sus invaluables muestras de apoyo y cari˜ no que me dieron la fuerza para continuar en los momentos dif´ıciles. A las personas maravillosas que conoc´ı en M´exico, quienes hicieron de mi estancia en ese pa´ıs un punto de inflexi´on en mi experiencia de vida. A mis amigos en la Universidad Nacional de Colombia y en el CINVESTAV Guadalajara, por su amistad, palabras de aliento, compa˜ n´ıa, paciencia e invitaciones a jugar f´ utbol.
La carga m´as pesada es por lo tanto, a la vez, la imagen de la m´as intensa plenitud de la vida. Cuanto m´as pesada sea la carga, m´as a ras de tierra estar´a nuestra vida, m´as real y verdadera ser´a. Por el contrario, la ausencia absoluta de carga hace que el hombre se vuelva m´as ligero que el aire, vuele hacia lo alto, se distancie de la tierra, de su ser terreno, que sea real solo a medias y sus movimientos sean tan libres como insignificantes. Entonces, ¿Qu´e debemos elegir? ¿El peso o la levedad? — MILAN KUNDERA
Agradecimientos A mi Director, el Profesor Flavio Augusto Prieto Ortiz, por sus invaluables contribuciones y su incondicional apoyo durante el desarrollo de esta investigaci´on. A los profesores del CINVESTAV Guadalajara, Eduardo Bayro Corrochano y Edgar Nelson S´anchez Camperos, por sus valiosas asesor´ıas durante mis estancias acad´emicas en M´exico. Al estudiante de Ingenier´ıa Mecatr´onica de la sede Bogot´a, Luis Felipe Montoya Franco, por su valiosa colaboraci´on en el dise˜ no e implementaci´on de los algoritmos acelerados y otras pruebas experimentales. Al Programa de Becas para Estudiantes Sobresalientes de Posgrado de la Universidad Nacional de Colombia, por financiar mis estudios de maestr´ıa durante estos 2 a˜ nos. Al programa de cooperaci´on internacional entre Colciencias–Colombia y Conacyt–M´exico, por apoyar econ´omicamente mis estancias acad´emicas en el Centro de Investigaci´on y de Estudios Avanzados del IPN, CINVESTAV Unidad Guadalajara (M´exico), bajo los Proyectos 460 y 483 de 2009: “Desarrollo e Implementaci´on de herramientas robustas para la visualizaci´on y seguimiento en tiempo real de estructuras del cerebro empleando im´agenes de ultrasonido 2D y endoscop´ıa”. A la Direcci´on de Investigaciones de la Universidad Nacional de Colombia Sede Manizales, por su apoyo financiero bajo el proyecto DIMA 20201006025: “Modelado 3D de tumores cerebrales empleando endoneurosonograf´ıa y redes neuronales artificiales”.
xiii
Resumen Las cirug´ıas m´ınimamente invasivas no precisan de heridas importantes para acceder a la zona del organismo que necesita ser operada, por lo que se han vuelto muy populares debido a que reducen los riesgos t´ıpicos de una intervenci´on tradicional. En el caso de las neurocirug´ıas, las tendencias recientes sugieren la utilizaci´on conjunta de endoscop´ıa y ultrasonido, una t´ecnica llamada Endoneurosonograf´ıa (ENS), como herramienta de visualizaci´on en tiempo real de estructuras internas del cerebro, como tumores. La informaci´on adquirida mediante esta t´ecnica debe ser utilizada para generar un modelo de representaci´on 3D de tumores que se actualice durante la cirug´ıa. En este sentido, el modelado 3D con redes neuronales ofrece una ventaja, ya que la representaci´on puede desarrollarse en dos etapas: primero, una etapa de entrenamiento fuera de l´ınea, que permite generar un modelo inicial del tumor a partir de informaci´on ENS preliminar. Segundo, una etapa de entrenamiento en l´ınea, que permite ajustar el modelo de acuerdo a la nueva informaci´on ENS recibida. En este trabajo de investigaci´on, se presenta una metodolog´ıa de modelado 3D de tumores cerebrales empleando endoneurosonograf´ıa y redes neuronales artificiales. Espec´ıficamente, se analiza el uso de redes neuronales multicapa alimentadas hacia adelante (MLFFNN), mapas auto–organizados (SOM) y redes neuronales gas (NGN). Se realizan pruebas experimentales de modelado 3D con objetos de realidad virtualizada como tumores cerebrales fantasma, piezas arqueol´ogicas, rostros, frutas y botellas. Las tres arquitecturas neuronales son comparadas en t´erminos de desempe˜ no, costo computacional, tiempo de procesamiento, conveniencia de la visualizaci´on y n´ umero de ´epocas de entrenamiento. Finalmente, se presentan resultados de modelado 3D de tumores sobre una base de datos ENS propia.
Palabras clave: Endoneurosonograf´ıa, endoscop´ıa, ultrasonido, adquisici´on 3D, modelado 3D, redes neuronales
xv
Abstract Minimally invasive surgeries do not require significant injuries for accessing the area of the body that needs to be operated, so they have become very popular because they reduce the typical risks with respect to traditional interventions. In neurosurgery, recent trends suggest the joint use of endoscopy and ultrasound, a technique called Endoneurosonography (ENS), for real–time visualization of brain structures, such as tumors. The ENS information can be used to generate a 3D representation model of brain tumors during surgery. In this sense, 3D modeling using neural networks offers an advantage, since the representation can be developed in two stages: the first one, an off–line training, which generates an initial model of the tumor from preliminary ENS information. The second one, an on–line training, which adjusts the model according to the new information received from the ENS equipment. In this research, a methodology for 3D modeling of brain tumors using endoneurosonography and artificial neural networks is presented. Specifically, the use of multi–layer feed–forward neural networks (MLFFNN), self–organizing maps (SOM) and neural gas networks (NGN) is studied. Experimental tests of 3D modeling are performed using virtualized reality objects as “phantom” brain tumors, archaeological pieces, faces, fruits and bottles. The three neural architectures are compared in terms of performance, computational cost, processing time, displaying convenience and number of training epochs. Finally, the results of 3D modeling of brain tumors from an ENS database are presented.
Keywords: Endoneurosonography, endoscopy, ultrasound, 3D acquisition, 3D modeling, neural networks
Contenido Portada
I
Agradecimientos
XI
Resumen Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Lista de Figuras
XIII
xv XIX
Lista de Tablas
XXIII
1. Introducci´ on
1
2. Revisi´ on de la literatura 2.1. Estado del arte: imagenolog´ıa m´edica . . . . . . . . . . . . . . . . . . . . . . 2.2. Estado del arte: modelado 3D . . . . . . . . . . . . . . . . . . . . . . . . . .
5 5 7
3. Adquisici´ on de informaci´ on 3D de estructuras 3.1. Sistema endoneurosonogr´afico . . . . . . . 3.2. Calibraci´on de c´amaras . . . . . . . . . . . 3.3. Calibraci´on seguidor–c´amara (“hand–eye”) 3.4. Procesamiento de im´agenes endosc´opicas . 3.5. Procesamiento de im´agenes de ultrasonido 3.6. Resultados: adquisici´on de informaci´on 3D 3.7. Resumen y conclusiones . . . . . . . . . .
cerebrales a partir de . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ENS . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . .
21 25 25 30 32 40 42 46
. . . .
51 52 57 64 67
5. Modelado neuronal acelerado por hardware usando GPU 5.1. Aceleraci´on del algoritmo NGN . . . . . . . . . . . . . . . . . . . . . . . . . 5.2. Pruebas experimentales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
71 71 72
4. Modelado 3D de objetos virtualizados usando computaci´ on neuronal 4.1. Modelado 3D empleando redes neuronales multicapa (MLFFNN) . . 4.2. Modelado 3D empleando redes neuronales auto–organizadas . . . . 4.3. Resultados: modelado 3D empleando computaci´on neuronal . . . . . 4.4. Resumen y conclusiones . . . . . . . . . . . . . . . . . . . . . . . .
. . . .
. . . .
. . . .
. . . . . . .
. . . .
Contenido
xviii
5.3. Resumen y conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
75
6. Resultados: modelado 3D de tumores cerebrales 6.1. Adaptaci´on o entrenamiento secuencial . . . . . . . . . . . . . . . . . . . . . 6.2. Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
77 77 79 86
7. Conclusiones y trabajo futuro
89
A. Ap´ endice: Filtro de Kalman A.1. Proceso de estimaci´on . . . . . . . . . . A.2. Filtro discreto de Kalman . . . . . . . . A.3. Filtro extendido de Kalman . . . . . . . A.4. Entrenamiento de redes neuronales con el
. . . .
93 93 94 96 97
. . . .
101 102 105 106 108
B. Ap´ endice: Procesamiento de im´ agenes B.1. Caracterizaci´on de la se˜ nal . . . . . B.2. Reducci´on de ruido y realce . . . . B.3. Resultados . . . . . . . . . . . . . . B.4. Resumen y conclusiones . . . . . . C. Ap´ endice: Publicaciones Bibliograf´ıa
. . . . . . . . . . . . . . . filtro de
. . . . . . . . . . . . . . . Kalman
de ultrasonido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
111 113
Lista de Figuras 1-1. Esquema de modelado 3D usando endoneurosonograf´ıa y redes neuronales . . 2-1. Modelo masa–resorte . . . . . . . . . . . . . . . . . . 2-2. Modelado de una nube de puntos utilizando pol´ıgonos 2-3. Modelado 3D usando geometr´ıa s´olida constructiva . 2-4. Modelado 3D empleando FEM . . . . . . . . . . . . . 2-5. Modelado 3D usando voxelizaci´on . . . . . . . . . . . 2-6. Modelado 3D usando representaciones impl´ıcitas . . . 2-7. Superficie activa (“snake”) . . . . . . . . . . . . . . . 2-8. Modelo 3D empleando superficies activas (“snakes”) . 2-9. Modelado 3D usando “b–splines” triangulares . . . . 2-10.Esquema de modelado 3D utilizando redes neuronales 2-11.Modelado 3D usando redes neuronales gas crecientes
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
3
. . . . . . . . . . .
. . . . . . . . . . .
8 9 10 11 12 13 14 14 16 16 18
3-1. Im´agenes que componen la endoneurosonograf´ıa . . . . . . . . . . . . . . . 3-2. Problemas a resolver con la metodolog´ıa de adquisici´on propuesta . . . . . 3-3. Sistema de adquisici´on endoneurosonogr´afica . . . . . . . . . . . . . . . . . 3-4. Sistema de seguimiento visual POLARIS . . . . . . . . . . . . . . . . . . . 3-5. Sonda de ultrasonido con su haz de emisi´on radial . . . . . . . . . . . . . . 3-6. Patr´on plano empleado para la calibraci´on del endoscopio est´ereo . . . . . 3-7. Calibraci´on seguidor–c´amara (“hand–eye”) . . . . . . . . . . . . . . . . . . 3-8. Metodolog´ıa espacio–temporal de segmentaci´on de la sonda de ultrasonido 3-9. C´alculo del flujo ´optico empleando el algoritmo de Horn y Schunck . . . . . 3-10.Esquema de segmentaci´on de la sonda de ultrasonido . . . . . . . . . . . . 3-11.Segmentaci´on de la sonda de ultrasonido empleando agrupamiento . . . . . 3-12.Eje de la sonda de ultrasonido extra´ıdo mediante PCA . . . . . . . . . . . 3-13.Resultados del seguimiento con completa visibilidad de la sonda . . . . . . 3-14.Diagrama de flujo de la restricci´on de movimiento aplicada . . . . . . . . . 3-15.Resultados del seguimiento de la sonda sin restricci´on de movimiento . . . 3-16.Resultados del seguimiento de la sonda con restricci´on de movimiento . . . 3-17.Microtransductor de ultrasonido y su controlador . . . . . . . . . . . . . . 3-18.Segmentaci´on morfol´ogica de estructuras cerebrales . . . . . . . . . . . . . 3-19.Determinaci´on del eje de la sonda y la posici´on del sensor de ultrasonido .
. . . . . . . . . . . . . . . . . . .
22 23 24 25 26 29 31 33 34 35 36 37 38 39 40 40 41 42 44
xx
Lista de Figuras
3-20.Ubicaci´on 3D de los planos de las im´agenes de ultrasonido . . . . . 3-21.Informaci´on 3D de un tumor fantasma a partir de 790 cuadros ENS 3-22.Informaci´on 3D de un tumor fantasma a partir de 164 cuadros ENS 3-23.Informaci´on 3D de un tumor fantasma a partir de 280 cuadros ENS
. . . .
. . . .
. . . .
. . . .
. . . .
45 46 47 48
4-1. Esquema de modelado 3D basado en MLFFNN . . . . . . . . . . 4-2. Generaci´on de puntos extra a partir de una nube puntos . . . . . 4-3. MLFFNN: evoluci´on del entrenamiento con filtro de Kalman . . . 4-4. MLFFNN: comparaci´on del error cuadr´atico medio . . . . . . . . 4-5. MLFFNN: comparaci´on del n´ umero de ´epocas de entrenamiento . 4-6. Modelado 3D empleando MLFFNN . . . . . . . . . . . . . . . . . 4-7. Tipos de mallas SOM . . . . . . . . . . . . . . . . . . . . . . . . . 4-8. Proceso de adaptaci´on SOM . . . . . . . . . . . . . . . . . . . . . 4-9. Modelado 3D basado en Redes Neuronales Gas (NGN) . . . . . . 4-10.Objetos de realidad virtualizada empleados en los experimentos . 4-11.Comparaci´on del tiempo de entrenamiento . . . . . . . . . . . . . 4-12.Modelado 3D de piezas arqueol´ogicas empleando redes neuronales 4-13.Entrenamiento grueso y fino empleado para el modelado 3D . . . 4-14.Comparaci´on del tiempo de visualizaci´on . . . . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . . . .
53 55 56 57 58 58 59 61 63 65 67 68 69 70
. . . . . . red
. . . .
. . . .
. . . .
73 74 74 75
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
78 80 80 81 82 82 83 83 84 84
7-1. Propuesta de trabajo futuro . . . . . . . . . . . . . . . . . . . . . . . . . . .
90
A-1. Ecuaciones de predicci´on y correcci´on del filtro de Kalman . . . . . . . . . . A-2. MLFFNN entrenado con filtro extendido de Kalman . . . . . . . . . . . . . .
95 98
5-1. 5-2. 5-3. 5-4.
. . . . . . . . . . . . . .
Comparaci´on del tiempo de entrenamiento en GPU y CPU . . . . . Error del modelado 3D para diferentes ´epocas de entrenamiento . . Evoluci´on del modelado NGN durante el entrenamiento . . . . . . . Desempe˜ no del modelado para diferentes n´ umeros de neuronas de la
6-1. Esquema de modelado 3D de tumores cerebrales . . . . . . . . . . . 6-2. Modelado 3D de tumores cerebrales usando ENS y redes neuronales 6-3. Modelado 3D de tumores cerebrales usando ENS y redes neuronales 6-4. Modelado 3D del tumor de la secuencia 1 usando SOM . . . . . . . 6-5. Modelado 3D del tumor de la secuencia 2 usando SOM . . . . . . . 6-6. Modelado 3D del tumor de la secuencia 3 usando SOM . . . . . . . 6-7. Modelado 3D del tumor de la secuencia 4 usando SOM . . . . . . . 6-8. Modelado 3D del tumor de la secuencia 1 usando NGN . . . . . . . 6-9. Modelado 3D del tumor de la secuencia 4 usando NGN . . . . . . . 6-10.Modelado 3D del tumor de la secuencia 5 usando NGN . . . . . . .
. . . . . . . . . .
B-1. Ejemplos de ruido “speckle” en im´agenes de ultrasonido . . . . . . . . . . . . 102
Lista de Figuras B-2. Transformada r´apida de Fourier y extracci´on de bordes . . . . . . . . . B-3. Filtrado gaussiano para hallar el orden de la se˜ nal . . . . . . . . . . . . B-4. Funci´on wavelet daubechies 4 . . . . . . . . . . . . . . . . . . . . . . . B-5. Diagrama de flujo de la metodolog´ıa de procesamiento de im´agenes US B-6. Coeficientes de aproximaci´on y detalle de la descomposici´on wavelet . . B-7. Ecograf´ıa: Descomposici´on wavelet utilizando daubechies 4 . . . . . . . B-8. Ultrasonido radial: Descomposici´on wavelet utilizando daubechies 4 . . B-9. Resultado del procesamiento empleando filtrado wavelet . . . . . . . . .
xxi . . . . . . . .
. . . . . . . .
. . . . . . . .
103 104 105 106 107 108 109 110
Lista de Tablas 3-1. Par´ametros intr´ınsecos del sistema endosc´opico est´ereo . . . . . . . . . . . . 3-2. Par´ametros extr´ınsecos del sistema endosc´opico est´ereo . . . . . . . . . . . . 3-3. Errores de seguimiento con respecto al m´etodo manual (“ground-truth”) . .
28 30 41
4-1. Comparaci´on del error cuadr´atico medio de las arquitecturas MLFFNN . . . 4-2. Comparaci´on de los par´ametros de dise˜ no de cada arquitectura neuronal . . 4-3. Distancia desde cada punto hasta la superficie del modelo generado . . . . .
54 64 66
5-1. Aceleraci´on del modelado 3D para diferentes objetos virtualizados . . . . . .
75
6-1. Secuencias ENS empleadas para las pruebas experimentales . . . . . . . . . . 6-2. Error topogr´afico y de cuantizaci´on del modelado 3D . . . . . . . . . . . . . 6-3. Errores de cuantizaci´on del modelado 3D (mil´ımetros) . . . . . . . . . . . . .
79 85 86
Abreviaturas Abreviatura
T´ ermino
AN N BM U CAD CL CP U CSG CT CU DA DBA DOF EAM ECM EBC EKF EN S GP U HIF U KF LM M LF F N N M RI N CD N GN NN PC P CA P CI P ET R RBF ROI RX
Redes Neuronales Artificiales Neurona de Mejor Ajuste Dise˜ no Asistido por Computador Aprendizaje Competitivo Unidad Central de Procesamiento Geometr´ıa Solida Constructiva Tomograf´ıa Computarizada Compute Unified Device Architecture ´ Diferencia Entre Angulos Grados de Libertad Error Absoluto Medio Error Cuadr´atico Medio Distancia Euclidiana Entre Centroides Filtro Extendido de Kalman Endoneurosonograf´ıa Unidad de Procesamiento Gr´afico Ultrasonido Enfocado de Alta Intensidad Filtro de Kalman Levenberg–Marquardt Red Neuronal Multicapa Alimentada Hacia Adelante Imagen de Resonancia Magn´etica Difusi´on Coherente no–lineal Red Neuronal Gas Red Neuronal Componente Principal An´alisis de Componentes Principales Percepci´on y Control Inteligente Tomograf´ıa por Emisi´on de Positrones Matriz de Rotaci´on Funci´on de Base Radial Regi´on de Inter´es Rayos X
Lista de Tablas
xxvi Abreviatura
T´ ermino
SOM T US VQ W SCE
Mapa Auto–Organizado Vector de Traslaci´on Ultrasonido Cuantizaci´on de Vectores Adelgazamiento Wavelet con Ajuste de Contraste
1. Introducci´ on Las intervenciones m´ınimamente invasivas no precisan de heridas importantes para acceder a la zona del organismo que necesita ser operada, esto hace que el postoperatorio sea m´as corto, menos doloroso, con una corta hospitalizaci´on y una r´apida incorporaci´on a la vida normal. Este tipo de intervenciones han tomado mucho auge en los u ´ltimos a˜ nos debido a que reducen los riesgos t´ıpicos de una intervenci´on tradicional. En los primero a˜ nos de aparici´on de esta t´ecnica, el inconveniente era que no todos los ´organos y tejidos del cuerpo pod´ıan ser operados de esta manera debido a restricciones t´ecnicas. Sin embargo, los continuos desarrollos en herramientas quir´ urgicas y sistemas de visualizaci´on disminuyen estas limitaciones d´ıa a d´ıa. En la actualidad, existen casi tantos tipos de cirug´ıas m´ınimamente invasivas como especialidades quir´ urgicas, entre las cuales se destacan la angioscopia (vasos sangu´ıneos), artroscopia (articulaciones), broncoscopia (bronquios y pulmones), colposcopia (vagina y u ´tero), endoscop´ıa digestiva, laparoscopia (cavidad abdominal), laringoscopia (laringe) y cirug´ıa video-asistida en general. El caso en que los videos intra–operativos son combinados interactivamente y en tiempo real con im´agenes pre–operativas, se denomina Cirug´ıa Guiada por Im´agenes. En el caso de las neurocirug´ıas, las tendencias recientes sugieren la utilizaci´on conjunta de im´agenes endosc´opicas y de ultrasonido, una t´ecnica llamada Endoneurosonograf´ıa (ENS), como herramienta de apoyo al neurocirujano en la visualizaci´on de estructuras internas del cerebro en escenarios intra–operativos. Con las im´agenes endosc´opicas, el neurocirujano puede ver lo que pasa al interior del cr´aneo. Sin embargo, no puede ver lo que pasa m´as all´a de las estructuras opacas, por lo que es necesario complementar su uso con otras t´ecnicas de imagenolog´ıa m´edica como resonancia magn´etica (MRI), tomograf´ıa computarizada (CT), tomograf´ıa por emisi´on de positrones (PET) o ultrasonido (US), siendo esta u ´ltima la m´as adecuada y econ´omica para escenarios intra–operativos. La Endoneurosonograf´ıa permite la adquisici´on en tiempo real y en escenarios intra–operativos de informaci´on 3D de estructuras cerebrales, tales como tumores, a partir de videos endosc´opicos y de ultrasonido. Esto significa que mientras el neurocirujano manipula el equipo, durante la intervenci´on quir´ urgica, la informaci´on 3D que define la morfolog´ıa del tumor se actualiza constantemente y debe ser empleada para actualizar un modelo de representaci´on. En este sentido, el modelado tridimensional con redes neuronales ofrece una ventaja, ya que la representaci´on puede desarrollarse en dos etapas: una etapa de entrenamiento fuera de l´ınea, que permite generar un modelo inicial del tumor a partir de informaci´on ENS preliminar; y
2
1 Introducci´on
una etapa de entrenamiento en l´ınea, que permite ajustar el modelo de acuerdo a la nueva informaci´on ENS recibida. El objetivo de esta tesis es desarrollar un modelo de representaci´on tridimensional, basado en redes neuronales artificiales, que permita la actualizaci´on de la forma de un tumor cerebral a partir de informaci´on recibida de un equipo m´edico de endoneurosonograf´ıa. En este sentido, el trabajo se divide en dos etapas: la primera, el desarrollo de una metodolog´ıa de adquisici´on de informaci´on tridimensional a partir del uso combinado de endoscop´ıa est´ereo y ultrasonido 2D. La segunda, el desarrollo de una metodolog´ıa de modelado 3D basado en redes neuronales artificiales. Para la etapa de adquisici´on, se utilizan t´ecnicas de visi´on est´ereo que permiten la calibraci´on, rectificaci´on y reconstrucci´on del escenario intra–operativo visto por las c´amaras endosc´opicas. Las im´agenes de ultrasonido son empleadas para segmentar las estructuras cerebrales de inter´es mediante t´ecnicas de procesamiento morfol´ogico de im´agenes. Finalmente, se aplica una metodolog´ıa de seguimiento espacio–temporal a la sonda de ultrasonido que permite estimar su pose en el espacio 3D y localizar la informaci´on de los tumores dentro de un espacio coordenado de referencia. Para la etapa de modelado, se analiza el uso de redes neuronales multicapa alimentadas hacia adelante (MLFFNN), mapas auto–organizados (SOM) y redes neuronales gas (NGN) para el modelado 3D de tumores a partir de nubes de puntos 3D. Para comprobar las bondades de estas t´ecnicas de modelado, se realizan pruebas experimentales con objetos de realidad virtualizada como tumores cerebrales fantasma, piezas arqueol´ogicas, rostros, frutas, botellas y otros objetos. Para el entrenamiento de la MLFFNN, se utilizan los algoritmos Levenberg–Marquardt (LM) y Filtro de Kalman (KF). Se realizan pruebas de modelado utilizando la misma arquitectura y los mismos conjuntos de entrenamiento y validaci´on para ambos m´etodos de entrenamiento. El Error Cuadr´atico Medio (ECM) es la medida de desempe˜ no empleada. De acuerdo con los resultados obtenidos, ambos m´etodos presentan errores comparables, con una leve superioridad del algoritmo LM. Sin embargo, para alcanzar un rendimiento dado, el entrenamiento por KF requiere menos ´epocas de entrenamiento que LM, lo que indica una convergencia m´as r´apida. Para el entrenamiento de las arquitecturas auto–organizadas se emplea un esquema de aprendizaje competitivo no supervisado. En este tipo de redes, las neuronas se ajustan asint´oticamente a la superficie del objeto. Las tres arquitecturas neuronales son comparadas en t´erminos de desempe˜ no, costo computacional, tiempo de procesamiento, conveniencia de la visualizaci´on y n´ umero de ´epocas de entrenamiento. Los resultados experimentales demuestran que las arquitecturas neuronales auto–organizadas son las m´as adecuadas para la tarea de modelado 3D. Para estudiar la posible aplicaci´on en tiempo real de los m´etodos de modelado neuronal, el algoritmo NGN es acelerado por hardware mediante una unidad de procesamiento gr´afico (GPU). Para esta tarea, el algoritmo cl´asico NGN es implementado paralelamente en una
3 GPU, y se compara con su implementaci´on serial en una Unidad Central de Procesamiento (CPU). Los resultados computacionales indican que el proceso acelerado es m´as veloz cuando se trabaja con redes neuronales con m´as de 104 neuronas. Este documento est´a organizado como sigue. En el Cap´ıtulo 2 se hace una revisi´on del estado del arte de las t´ecnicas de imagenolog´ıa m´edica, aplicadas a la cirug´ıa m´ınimamente invasiva, y del modelado tridimensional de objetos de realidad virtualizada. En el Cap´ıtulo 3 se explica la metodolog´ıa de adquisici´on de informaci´on 3D de estructuras internas del cerebro empleando endoneurosonograf´ıa, se describe el montaje experimental, las caracter´ısticas del laboratorio y se presentan resultados de adquisici´on con tumores cerebrales fantasma. En el Cap´ıtulo 4 se presenta un esquema de modelado 3D de objetos de realidad virtualizada mediante computaci´on neuronal, se realizan comparaciones entre las arquitecturas MLFFNN, SOM y NGN, y se muestran los resultados de modelado utilizando objetos de realidad virtualizada adquiridos con diferentes sensores. En el Cap´ıtulo 5 se describe la implementaci´on acelerada por hardware del algoritmo NGN con el fin de explorar la posibilidad del modelado tridimensional en tiempo real. En el Cap´ıtulo 6 se presentan resultados de modelado 3D sobre una base de datos endoneurosonogr´afica propia. Finalmente, en el Cap´ıtulo 7 se dan conclusiones sobre el trabajo y se indican las tendencias para la investigaci´on futura. La Figura 1-1 muestra un diagrama de bloques que esquematiza el trabajo desarrollado en esta tesis.
Figura 1-1.: Esquema de modelado 3D usando endoneurosonograf´ıa y redes neuronales
2. Revisi´ on de la literatura 2.1.
Estado del arte: imagenolog´ıa m´ edica
Recientes tendencias en cirug´ıa cerebral m´ınimamente invasiva han sugerido el uso conjunto de endoscop´ıa y ultrasonido para hacer reconstrucciones tridimensionales de las estructuras internas del cerebro, una t´ecnica llamada Endoneurosonograf´ıa (ENS) [95]. Las im´agenes endosc´opicas son un componente esencial ya que permiten al neurocirujano ver lo que pasa al interior del cr´aneo. Sin embargo, las im´agenes endosc´opicas no permiten ver lo que pasa m´as all´a de las estructuras opacas, por lo cual es necesario utilizar t´ecnicas como resonancia magn´etica (MRI), tomograf´ıa computarizada (CT), tomograf´ıa por emisi´on de positrones (PET) o ultrasonido (US), siendo esta u ´ltima la m´as adecuada para escenarios intra–operativos [77].
2.1.1.
Im´ agenes endosc´ opicas
En los u ´ltimos a˜ nos, la detecci´on y el tratamiento del c´ancer ha demandado la atenci´on de los investigadores de todo el mundo, debido a la alta proliferaci´on de la enfermedad y a que un diagn´ostico temprano puede aumentar la probabilidad de ´exito de los tratamientos existentes. Existen diferentes t´ecnicas de imagenolog´ıa m´edica que ayudan a la detecci´on de este tipo de patolog´ıas, siendo la endoscop´ıa una de las que ha tenido mayor crecimiento en los u ´ltimos a˜ nos debido a su precisi´on, m´ınima invasi´on y su uso como herramienta de tratamiento en las etapas tempranas de la lesi´on [41]. En 1949, Uji y otros [48] desarrollaron en la Universidad de Tokio la primera c´amara g´astrica para aplicaciones cl´ınicas. Un a˜ no m´as tarde, Olympus Corp. desarroll´o el primer endosc´opico g´astrico comercial. En 1983, Welch–Allyn Inc. comercializ´o el primer video–endoscopio, y desde entonces muchas compa˜ n´ıas se han dedicado a la fabricaci´on de diversos tipos de endoscopios con mejores materiales de fabricaci´on, mayor calidad de la imagen y m´as larga durabilidad. El diagn´ostico mediante im´agenes endosc´opicas consiste en detectar anormalidades en el color, la forma y la superficie del tejido, considerando la historia cl´ınica del paciente. Los m´edicos deben tener la suficiente experiencia para diagnosticar, mediante la observaci´on, el tipo de anomal´ıa, el nivel de invasi´on y la posibilidad de met´astasis. Si la lesi´on es identificada como un tumor, debe elegirse tratamiento por cirug´ıa, quimioterapia, radioterapia o terapia endosc´opica.
6
2 Revisi´on de la literatura
En 2005, Olympus Corp. lanz´o el primer endoscopio multifuncional con alternativas de visualizaci´on que facilitan la tarea del m´edico realzando regiones de inter´es mediante el uso de diferentes iluminaciones, entre las que se encuentran iluminaci´on blanca, iluminaci´on fluorescente, iluminaci´on de banda angosta e iluminaci´on infrarroja [106, 58]. En el trabajo de Darabi y otros [27], se presenta una t´ecnica de visualizaci´on llamada endoscop´ıa simulada en la que se genera un escenario neuro–quir´ urgico virtualizado a partir de informaci´on endosc´opica. Esta t´ecnica es una manera intuitiva de presentar informaci´on tridimensional para apoyar la planeaci´on de neurocirug´ıas; sin embargo, los expertos m´edicos deben ser cuidadosos y en lo posible tener alg´ un conocimiento sobre reconstrucci´on 3D para saber reconocer las limitaciones de la t´ecnica.
2.1.2.
Im´ agenes de ultrasonido
Los esc´aneres m´edicos de ultrasonido son sistemas no invasivos, r´apidos, seguros, y de relativo bajo costo que se han convertido en una de las herramientas de diagn´ostico m´as utilizadas en los hospitales modernos. Las im´agenes de ultrasonido se obtienen exponiendo parte del cuerpo a ondas ac´ usticas de alta frecuencia para producir im´agenes del interior del organismo a partir del fen´omeno de reflexi´on. Los ex´amenes por ultrasonido no utilizan radiaci´on ionizante, por lo que no representan riesgo para el paciente. Debido a que las im´agenes por ultrasonido se capturan en tiempo real, pueden mostrar la estructura y el movimiento de los o´rganos internos del cuerpo, as´ı como tambi´en la sangre que fluye por los vasos sangu´ıneos. Estas im´agenes son en general pruebas cl´ınicas no dolorosas que ayudan al diagn´ostico y tratamiento de muchas enfermedades. Su aplicaci´on m´as conocida son la ecograf´ıas prenatales, sin embargo, existe un amplio rango de aplicaci´on, como por ejemplo la detecci´on de tumores y anomal´ıas arterio–venosas en varias partes del cuerpo, incluido el cerebro. Estas patolog´ıas se identifican como manchas o regiones irregulares en la imagen entregada por el esc´aner. Cuando el neurocirujano analiza estas im´agenes, realiza su diagn´ostico con base, entre muchas otras variables, en la geometr´ıa, la velocidad y la forma de crecimiento de la regi´on. Esta tarea puede apoyarse efectivamente utilizando t´ecnicas de procesamiento digital de im´agenes e inteligencia artificial [95]. Un tipo especial de imagen de ultrasonido, llamada ultrasonido Doppler, eval´ ua la sangre mientras circula por los vasos sangu´ıneos, lo que permite diagnosticar, por ejemplo, anomal´ıas arterio–venosas. Para el tratamiento y diagn´ostico de tumores cerebrales existe un tipo espec´ıfico de ultrasonido llamado ultrasonido enfocado de alta intensidad (HIFU), cuya frecuencia se ubica entre 250 kHz y 2 MHz, que permite estudiar y tratar zonas espec´ıficas del cerebro sin afectar otras regiones que no son de inter´es [57, 44]. Las im´agenes de ultrasonido son muy sensibles al ruido, lo que las hace dif´ıciles de interpretar comparadas con otras t´ecnicas de imagenolog´ıa m´edica. Sin embargo, presentan la ventaja
2.2 Estado del arte: modelado 3D
7
de ser mucho m´as econ´omicas y no tener efectos secundarios como las im´agenes MRI y las im´agenes de rayos X (RX), lo que representa una potencialidad para su uso masivo en el tratamiento y diagn´ostico de diversas enfermedades. El ´exito de este tipo de im´agenes est´a en la aplicaci´on de un preprocesamiento adecuado [121]. Una de las aplicaciones de las im´agenes de ultrasonido es el diagn´ostico de anomal´ıas cerebrales como tumores y trastornos arterio–venosos. Con un preprocesamiento adecuado de las im´agenes, las regiones donde se encuentran estos trastornos pueden ser segmentadas y sus contornos pueden ser extra´ıdos [57, 44].
2.2.
Estado del arte: modelado 3D
En el modelado 3D existen dos enfoques principales: a) el primero, llamado realidad virtual, que se refiere a la construcci´on de modelos artificiales de objetos reales o imaginarios para aplicaciones en videojuegos, dise˜ no visual, dise˜ no industrial, desarrollo de prototipos, entre otros; b) el segundo, llamado realidad virtualizada, sobre el que se enfoca este trabajo, consiste en desarrollar modelos de objetos reales cuya informaci´on es adquirida mediante visi´on estereosc´opica, esc´aneres de rango, ENS, entre otros. La diferencia radica en que los modelos de realidad virtualizada utilizan informaci´on 3D proveniente directamente del mundo real (adquirida mediante sensores f´ısicos), mientras que en la realidad virtual, la informaci´on utilizada para generar el modelo podr´ıa no provenir del mundo real y ser producto u ´nicamente de la imaginaci´on y el talento del dise˜ nador. Con el r´apido avance de los sistemas de gr´aficos computacionales (tarjetas aceleradoras, memorias de mayor capacidad y procesadores m´as veloces), en los u ´ltimos a˜ nos se han desarrollado una gran variedad de t´ecnicas para el modelado 3D de objetos en entornos de realidad virtualizada. Algunos de ellos son: Sistemas masa–resorte, mallas de pol´ıgonos, parches param´etricos, geometr´ıa s´olida constructiva (CSG), m´etodos de elementos finitos (FEM), modelos impl´ıcitos y redes neuronales. A continuaci´on se hace una breve rese˜ na bibliogr´afica de cada una de ellas.
2.2.1.
Sistemas masa–resorte
Los modelos basados en sistemas masa–resorte son una manera simple de modelar objetos deformables a partir de un sistema din´amico completamente caracterizado. Estos modelos son f´aciles de construir y pueden ser animados m´as sencillamente que los modelos basados en pol´ıgonos. Una de las principales aplicaciones es la animaci´on de rostros humanos, mediante modelos masa–resorte que emulan las tres capas principales del tejido blando: m´ usculo, tejido graso y epidermis. Adicionalmente, estos modelos son extensos pero simples, por lo que pueden realizarse simulaciones en tiempo real empleando hardware acelerador gr´afico [37].
8
2 Revisi´on de la literatura
Los inconvenientes de este tipo de sistemas son: a) proveen una aproximaci´on discreta de lo que realmente ocurre en un cuerpo continuo, por lo que su precisi´on depende del n´ umero de elementos de representaci´on empleados; b) el comportamiento del modelo depende del n´ umero y valores de masa y constante el´astica usadas en cada elemento de representaci´on, y estos valores generalmente no son f´aciles de deducir a partir de la observaci´on y la experimentaci´on; c) ciertas caracter´ısticas f´ısicas de objetos de volumen incompresible y objetos con superficies delgadas resistentes a la curvatura no pueden ser representadas; y, d) los sistemas masa–resorte exhiben problemas cuando se quieren modelar objetos r´ıgidos, ya que en ese caso la constante el´astica de los resortes debe ser alta, lo que genera inestabilidad en los algoritmos num´ericos que se emplean para solucionar el modelo [4]. En la Figura 2-1 se muestra una porci´on de un modelo masa–resorte presentado en [37]. Las conexiones entre resortes ejercen fuerzas sobre todos los vecinos cuando alguna de las masas es desplazada de su posici´on original.
Figura 2-1.: Modelo masa–resorte. Tomado de [37]
2.2.2.
Modelos basados en pol´ıgonos
Modelar objetos tridimensionales por pol´ıgonos es una de las metodolog´ıas m´as populares en la actualidad. Consiste en aproximar la superficie de un objeto por medio de una malla de figuras geom´etricas cerradas, generalmente tri´angulos. En este sentido, es posible aproximar cualquier superficie con la exactitud deseada. Las desventajas de esta t´ecnica surgen cuando se desean modelar objetos de forma compleja, debido a que la precisi´on est´a directamente relacionada con el n´ umero de pol´ıgonos que se deben emplear, por lo que es com´ un encontrar aplicaciones donde se emplean cientos de miles de pol´ıgonos [32]. Este problema influye en el costo computacional, el tiempo de visualizaci´on y los requerimientos de los equipos de c´omputo. En la Figura 2-2 se observa un ejemplo de modelado 3D utilizando pol´ıgonos (tri´angulos). N´otese que este tipo de modelos requieren un algoritmo previo (como el m´etodo de triangulaci´on de Delaunay [16]) que defina los tri´angulos a emplear por el modelo, los
2.2 Estado del arte: modelado 3D
9
cuales deben ser recalculados ante la llegada de nuevos datos.
(a) Nube de puntos
(b) Modelos basado en pol´ıgonos
Figura 2-2.: Modelado de una nube de puntos utilizando pol´ıgonos
2.2.3.
Geometr´ıa s´ olida constructiva (CSG)
La geometr´ıa s´olida constructiva (CSG) se basa en el principio de que cualquier estructura geom´etrica puede ser representada como la combinaci´on de figuras m´as simples [15]. El procedimiento consiste en combinar objetos de geometr´ıa primitiva mediante operaciones de uni´on, intersecci´on y diferencia. Este procedimiento puede escribirse con topolog´ıa de ´arbol de decisi´on, donde los nodos representan las formas b´asicas (esferas, cilindros, cubos, etc.), y las ramificaciones representan las operaciones. En el trabajo de Goldfeather y otros [40], se describen un conjunto de algoritmos para el modelado de objetos 3D usando CSG y representaci´on de vecindarios. Su desventaja es que requieren gran cantidad de memoria, mientras que la ventaja es que pueden emplear informaci´on de color para la representaci´on. En el trabajo de Breen y otros [13], se presenta una metodolog´ıa para convertir modelos volum´etricos CSG en modelos de distancia formados por una base de datos donde se almacenan las distancias m´as cortas entre cada objeto de representaci´on CSG y la superficie del objeto. Este tipo de datos es muy u ´til en diversas aplicaciones gr´aficas, tales como representaci´on 3D de informaci´on proveniente de esc´aneres MRI y CT, evaluaci´on de superficies, transformaciones afines y “morphing”. En la Figura 2-3 se muestra un ejemplo de modelado tridimensional empleando geometr´ıa s´olida constructiva.
10
2 Revisi´on de la literatura
(a)
(b)
Figura 2-3.: Modelado 3D usando geometr´ıa s´olida constructiva. Tomado de [13]
2.2.4.
M´ etodo de elementos finitos (FEM)
Los m´etodos basados en elementos finitos son usados para encontrar aproximaciones de una funci´on continua que satisfaga alguna expresi´on de equilibrio, como por ejemplo una expresi´on de deformaci´on. En FEM, un objeto se divide en puntos discretos unidos por nodos, luego se calcula una funci´on que resuelva la ecuaci´on de equilibrio para cada elemento, y su soluci´on es modificada de acuerdo al vecindario de cada elemento hasta que se cumpla la condici´on de continuidad [37]. Una de las principales ventajas de este m´etodo es la versatilidad, debido a la variedad de objetos que pueden ser modelados. Tradicionalmente, FEM ha sido aplicado con ´exito al modelado de materiales r´ıgidos como metales, donde la deformaci´on se limita al 1 % de las dimensiones del metal [18]; pero tambi´en ha sido aplicado al modelado de tejidos musculares, donde la deformaci´on puede ser m´as del 100 % de las dimensiones iniciales del m´ usculo [43]. El uso de FEM ha estado limitado por los requerimientos computacionales de los algoritmos desarrollados. En particular, existen dificultades t´ecnicas cuando se desean realizar modelos en tiempo real. Esto se debe a que los vectores de fuerza y las matrices de masa y rigidez se calculan mediante integraci´on num´erica sobre el objeto, las cuales, en teor´ıa, deben se recalculan ante cada deformaci´on del objeto. Este rec´alculo es costoso computacionalmente, y en muchas de las aplicaciones reales se prefiere asumir que los objetos presentan peque˜ nas deformaciones para evitar dicho c´alculo. En el trabajo de Jaramillo y otros [59], se presenta una metodolog´ıa de alineamiento y comparaci´on de modelos tridimensionales aplicada a la inspecci´on de piezas manufacturadas en la industria. El m´etodo propuesto utiliza FEM para estimar la deformaci´on f´ısica del modelo real con respecto al modelo de referencia, y funciones de base radial (RBF) para acelerar el proceso y abrir la posibilidad de la inspecci´on en tiempo real. En la Figura 2-4 se muestra el modelado 3D de dos objetos simples empleando el m´etodo de elementos finitos. En la Figura 2-4a se muestra un tetraedro representado mediante
2.2 Estado del arte: modelado 3D
11
4 elementos, y en la Figura 2-4b se muestra un paralelep´ıpedo representado mediante 20 elementos.
(a) Tetraedro: 4 elementos
(b) Paralelep´ıpedo: 20 elementos
Figura 2-4.: Modelado 3D empleando FEM. Tomado de [37]
2.2.5.
Subdivisi´ on espacial: voxelizaci´ on
Esta t´ecnica consiste en dividir el espacio tridimensional en cubos elementales llamados v´oxeles, donde cada uno es etiquetado como lleno o vac´ıo de acuerdo a la forma del objeto que se desea representar. Esta representaci´on es costosa computacionalmente, y su precisi´on depende del volumen de los v´oxeles seleccionados; sin embargo, es una de las t´ecnicas de representaci´on m´as popular, y existen modificaciones al algoritmo original que ofrecen un r´apido renderizado [91]. En el trabajo de Steinbach y otros [105], se presenta una metodolog´ıa para reconstruir objetos del mundo real empleando v´oxeles extendidos; la representaci´on m´ınima de un v´oxel es un punto, y es la representaci´on que menor costo computacional demanda, pues solo se requiere conocer las coordenadas espaciales de su centro; sin embargo, presenta problemas de oclusi´on y huecos cuando se desean implementar representaciones volum´etricas. En el trabajo de Lin y otros [70], se propone una metodolog´ıa llamada cubos marchantes para renderizar superficies 3D a partir de informaci´on volum´etrica; la renderizaci´on superficial es un t´ecnica de visualizaci´on en la que solo intervienen los v´oxeles m´as externos del objeto, es decir, aquellos que son visibles y s´olo representan su superficie. En general, esta metodolog´ıa presenta 3 desventajas principales: a) La renderizaci´on demanda mucho tiempo debido a la cantidad de cubos requeridos; b) Durante la combinaci´on de v´oxeles adyacentes pueden producirse superficies err´oneas debido a las diferentes configuraciones de v´oxeles (existen 15 configuraciones diferentes); y, c) Es posible que aparezcan huecos en la representaci´on debido a problemas de continuidad en v´oxeles vecinos.
12
2 Revisi´on de la literatura
En la Figura 2-5 se muestran ejemplos de modelado tridimensional empleando voxelizaci´on. Estas im´agenes fueron tomadas de [71].
(a)
(b)
(c)
Figura 2-5.: Modelado 3D usando voxelizaci´on. Tomado de [71]
2.2.6.
Representaciones impl´ıcitas
La representaci´on impl´ıcita de objetos tridimensionales consiste en definir el objeto por medio de una expresi´on matem´atica impl´ıcita, como por ejemplo, una esfera, un cono o un paraboloide. La desventaja de esta representaci´on es que solo un n´ umero limitado de formas pueden representarse mediante expresiones matem´aticas, por lo que su aplicaci´on en casos reales es limitada. La ventaja es que los modelos generados pueden manipularse y transformarse f´acilmente [9]. En el trabajo de Liu y otros [72], se presenta un m´etodo para representaci´on de superficies impl´ıcitas a partir de una nube de puntos tridimensionales. La metodolog´ıa consiste en hallar una funci´on continua φ(x, y, z), que represente la superficie envolvente de la nube de puntos a partir de la minimizaci´on de un funcional de energ´ıa. En el trabajo de Ardon y otros [3], se introduce una metodolog´ıa de segmentaci´on basada en bordes mediante aproximaciones impl´ıcitas de objetos 3D aplicada a im´agenes m´edicas. Esta representaci´on es una extensi´on 3D del m´etodo de segmentaci´on llamado contornos activos o “snakes”, el cual se compone de una curva param´etrica deformable que se ajusta progresivamente a un contorno [62]; en la extensi´on 3D de este m´etodo, se trabaja con una superficie param´etrica deformable, por lo que su costo computacional es mayor. En la Figura 2-6 se muestran ejemplos de modelado tridimensional empleando representaciones impl´ıcitas. Estas im´agenes fueron tomadas de [72].
2.2 Estado del arte: modelado 3D
(a)
13
(b)
(c)
Figura 2-6.: Modelado 3D usando representaciones impl´ıcitas. Tomado de [72]
2.2.7.
Contornos/Superficies activas (“snakes”)
Kass y otros en [62] introdujeron el concepto de contornos activos o “snakes” para resolver diferentes problemas en visi´on de m´aquina y an´alisis de im´agenes. Las “snakes” son curvas deformables empleadas para definir contornos o para hacer seguimiento de objetos en movimiento en secuencias de im´agenes. Las “snakes” responden interactivamente a fuerzas internas que se resisten al estiramiento y a la curvatura, a fuerzas externas definidas por las caracter´ısticas de la imagen, y a fuerzas definidas por el usuario. Las “snakes” pueden ser entendidas como un modelo matem´atico de una curva deformable construida de un material flexible [7, 66]. En el campo del procesamiento de im´agenes, una “snake” es un contorno activo que puede cambiar su forma din´amicamente para acoplarse a los bordes de un objeto determinado. Estos contornos se componen de puntos de control, llamados “snaxels”, que se van moviendo hasta encontrar el mejor acople con el contorno real, como se muestra en la Figura 2-7. Finalmente, mediante un proceso de optimizaci´on, la geometr´ıa de la “snake” se modifica hasta obtener el contorno del objeto analizado. Si v(s) es la posici´on parametrizada de la “snake”, la fuerza de deformaci´on interna se expresa como se muestra en la Ecuaci´on 2-1
1 V = 2
Z "
2
#
dv(s) 2
d v(s) 2
α (s)
ds + β (s) ds2 ds
(2-1)
La primera y segunda derivada corresponden a las deformaciones axiales y de curvatura, respectivamente, y los par´ametros α(s) y β(s) son sus ponderaciones. Por ejemplo, al hacer β(s0 ) = 0 se permite que la “snake” tome forma de esquina en el punto s0 . La fuerza externa, definida por la imagen, se integra sobre la longitud de la “snake” y la atrae hacia las regiones de inter´es. Una de las fuerzas externas m´as empleadas es el gradiente de la imagen. Con el objetivo de evitar m´ınimos locales en el camino a la soluci´on deseada, el usuario define las fuerzas aplicadas con base en su conocimiento a priori de la
14
2 Revisi´on de la literatura
Figura 2-7.: Superficie activa (“snake”). Las flechas indican el movimiento de cada punto de control (“snaxel”) hacia los bordes del objeto analizado
regi´on. Para una soluci´on num´erica, la “snake” se discretiza como un conjunto de puntos {vi } parametrizados a lo largo de la curva. La deformaci´on se simula empleando t´ecnicas de integraci´on de Euler que intentan minimizar la energ´ıa total del contorno activo. Los contornos activos 2D han sido generalizados como superficies activas y vol´ umenes activos. Estas extensiones permiten aplicaciones 3D de segmentaci´on de superficies, ajuste de modelos y seguimiento de regiones de inter´es. Una de las aplicaciones m´as comunes es la imagenolog´ıa m´edica [96]. En la Figura 2-8 se muestra un ejemplo de modelado 3D empleando la metodolog´ıa de superficies activas expuesta en [69].
Figura 2-8.: Superficie activa. (a) Objeto a modelar. (b) Inicializaci´on de la “snake”. (c) Resultado despu´es de 20 iteraciones. (e) Resultado despu´es de 40 iteraciones. Tomado de [69]
2.2 Estado del arte: modelado 3D
2.2.8.
15
Parches param´ etricos
Son modelos netamente geom´etricos que computan la forma y el movimiento de objetos deformables. Generalmente, este tipo de t´ecnicas son eficientes computacionalmente, pero dependen de la habilidad del dise˜ nador o del usuario, y su comportamiento no obedece a principios f´ısicos. En el dise˜ no asistido por computador (CAD), los dise˜ nadores necesitan definir num´ericamente curvas y superficies para construir la geometr´ıa de objetos, pero tambi´en requieren m´etodos intuitivos que permitan refinar esos objetos. Las “splines” o los parches param´etricos han surgido como una de las t´ecnicas m´as populares de modelado geom´etrico. Estos m´etodos permiten representar curvas 2D y 3D, as´ı como tambi´en parches 2D para especificar superficies 3D. En estas representaciones, la curva (o la superficie) se define por un conjunto de puntos de control. El usuario debe ajustar el modelo a la forma del objeto moviendo los puntos de control, agregando puntos, quitando puntos, o modificando su ponderaci´on dentro del modelo. Estos ajustes deben realizarse con base en la habilidad del usuario o en alg´ un criterio de error. La representaci´on de objetos mediante estos m´etodos es computacionalmente eficiente y permite modificaci´on interactiva debido a los par´ametros de control. Sin embargo, este nivel de control puede ser una desventaja, pues la modificaci´on precisa de la forma del objeto puede ser laboriosa debido a que cualquier cambio implica el ajuste de muchos puntos de control [5, 29]. 2.2.8.1.
Parches param´ etricos bi–c´ ubicos (“b–splines”)
Es un m´etodo muy similar al de los pol´ıgonos, con la diferencia que no se utiliza una malla de superficies planas sino que se emplean superficies curvas para construir la malla de representaci´on del objeto. Cada superficie es representa por una expresi´on matem´atica parametrizada que indica su curvatura y posici´on en el espacio tridimensional. Al igual que el m´etodo de pol´ıgonos, es costoso computacionalmente y requiere largos tiempos de renderizado; adem´as, presenta un problema de continuidad debido a la uni´on entre los parches [109], lo que genera una condici´on adicional en el proceso de ajuste. Los parches param´etricos bi–c´ ubicos o “b–splines” consisten en definir una superficie param´etrica que se ajuste a una nube de puntos dada. Esta t´ecnica es una de las m´as deseables en el tratamiento de im´agenes m´edicas debido a su continuidad, suavidad en las fronteras, controlabilidad local y compatibilidad con transformaciones afines. Sin embargo, su uso a´ un no es aceptado ampliamente debido a las dificultades que existen para elegir los par´ametros topol´ogicos del modelo a partir de una nube puntos sin ordenar. En [17] se presenta una metodolog´ıa de modelado de superficies 3D basada en “b–splines” que soluciona parcialmente este problema mediante la selecci´on anal´ıtica de puntos de control. En el trabajo de He y Qin [51], se presenta una t´ecnica de reconstrucci´on 3D basada en super-
16
2 Revisi´on de la literatura
ficies “b–splines” triangulares. La diferencia de esta t´ecnica con los algoritmos tradicionales, es que evita los complicados procedimientos de ajuste entre parches, pues esta metodolog´ıa se basa en una triangulaci´on previa para la generaci´on de parches con continuidad C n−1 en las regiones suaves y continuidad C 0 en las esquinas, por lo que el usuario solo debe especificar el orden n del parche y el error de ajuste . Una ventaja importante es que la adaptaci´on de los parches se realiza mediante la optimizaci´on de una funci´on de costo. En la Figura 2-9 se muestra un ejemplo de modelado tridimensional empleando “b–splines” triangulares.
(a) Triangulaci´ on tradicional
(b) Modelo “b–spline”
(c) Tri´angulos “b–spline”
Figura 2-9.: Modelado 3D usando “b–splines” triangulares. Tomado de [51]
2.2.9.
Redes neuronales artificiales
Las redes neuronales ofrecen una soluci´on al problema de modelado tridimensional que requiere muy poco espacio de almacenamiento, brinda buena precisi´on, no requiere conocimiento a priori del objeto que se desea modelar, y permite f´acil manipulaci´on mediante operaciones de traslaci´on, rotaci´on, escalamiento y deformaci´on [93, 21, 24]. Sin embargo, tienen alto costo computacional debido al entrenamiento y a la inexistencia de una teor´ıa bien definida para determinar la arquitectura ´optima que debe tener la red [19, 23, 22, 20]. En la Figura 2-10 se muestra un diagrama de bloques que representa el proceso de modelado mediante redes neuronales.
Figura 2-10.: Esquema de modelado 3D utilizando redes neuronales
2.2 Estado del arte: modelado 3D
17
En el trabajo de Liu y otros [73], se presenta una metodolog´ıa de reconstrucci´on superficial basada en Redes Neuronales de Base Radial (RBF–NN) y superficies param´etricas “b-splines”. La superficie se construye a partir de una nube de puntos 3D que corresponden al volumen que ocupa el objeto en el espacio. El primer paso consiste en ordenar la nube de puntos mediante una RBF–NN; despu´es se genera un modelo matem´atico a partir de la combinaci´on lineal de la funci´on radial y los coeficientes de la capa oculta; finalmente, se utilizan los par´ametros del modelo matem´atico para definir una superficie “b-spline”. En el trabajo de Yang y otros [120], se presenta una metodolog´ıa de modelado 3D basado en procesamiento de im´agenes y redes neuronales, cuyo objetivo es la inspecci´on ´optica autom´atica de la calidad de la soldadura en tarjetas electr´onicas. La arquitectura utilizada es una red neuronal multicapa entrenada mediante el algoritmo de retro–propagaci´on (MLFFNN), cuyas entradas son caracter´ısticas globales de la imagen ante diferentes condiciones y fuentes de iluminaci´on (niveles de gris, bordes y m´etricas estad´ısticas); las salidas de la red son los pesos correspondientes a las regiones presentes en la imagen, de forma que se puede construir la superficie 3D. La validaci´on del m´etodo se realiza comparando los resultados del modelado MLFFNN contra el m´etodo tradicional de inspecci´on l´aser. La exactitud del modelo fue en promedio del 90 %. En el trabajo de Cretu y otros [24], se presenta un esquema para la medici´on y representaci´on de objetos tridimensionales deformables sin conocimiento a priori de su forma y/o composici´on. La soluci´on propuesta combina las ventajas de las redes neuronales gas (NGN) y las redes neuronales multicapa (MLFFNN) para desarrollar un modelo capaz de ajustarse a la forma 3D del objeto y modelar sus caracter´ısticas el´asticas. Adicionalmente, las redes neuronales ofrecen salidas continuas que evitan el uso de m´etodos de interpolaci´on cuando los patrones de entrada sean observaciones no presentes en el conjunto de entrenamiento de la red, y tienen potencial para usarse en aplicaciones en tiempo real debido a sus cortos tiempo de respuesta, siempre y cuando se realice un adecuado entrenamiento fuera de l´ınea de la red. La informaci´on geom´etrica del objeto se obtiene mediante un esc´aner l´aser. Por medio de una NGN se genera un modelo comprimido de la nube de datos de entrada. Durante el entrenamiento, los nodos de la red codifican la geometr´ıa del objeto movi´endose asint´oticamente hacia los puntos del espacio de entrada de acuerdo a la densidad de la nube de puntos. Este tipo de modelado garantiza un mayor n´ umero de nodos de representaci´on en las zonas de mayor densidad de puntos y en las regiones de mayor variaci´on en la forma geom´etrica del objeto, por lo que no solo se genera una identificaci´on de los puntos relevantes de los datos de entrada, sino que tambi´en es posible determinar agrupaciones de puntos con caracter´ısticas geom´etricas similares [20]. En [96] se presenta una aproximaci´on de superficies basada en redes neuronales auto– organizadas e informaci´on de gradiente dentro del enfoque del ´algebra geom´etrica. Esta metodolog´ıa se aplica a una nube de puntos con el fin de encontrar una superficie que los aproxime. Para seleccionar los patrones de entrada que sirvan de conjunto de entrenamiento para la red, se emplea informaci´on del Vector de Flujo Gradiente Generalizado (GGVF),
18
2 Revisi´on de la literatura
mientras que los par´ametros de la red representan diversas transformaciones en el espacio del algebra geom´etrica, lo que facilita transformaciones y deformaciones del modelo generado. En el trabajo de Piastra [92], se presenta una red neuronal auto–organizada llamada SOM adaptativo (SOAM) para reconstruir curvas y superficies en el espacio 3D. Este algoritmo es una modificaci´on del algoritmo cl´asico NGN que hace que la topolog´ıa de la red sea curvada o superficial dependiendo de la dimensi´on del espacio de entrada. Este tipo de redes retiene la simplicidad computacional de los SOM ya que no requiere c´alculos matem´aticos de alta complejidad, sin embargo, por tratarse de una t´ecnica en desarrollo, a´ un no se han aclarado la totalidad de sus fundamentos te´oricos en cuanto a la convergencia del algoritmo ante datos de entrada defectuosos. En la Figura 2-11 se muestra un ejemplo de modelado tridimensional empleando redes neuronales gas crecientes. Estas im´agenes fueron tomadas de [33].
Figura 2-11.: Modelado 3D usando redes neuronales gas crecientes. Tomado de [33]
2.2.10.
Resumen
La comparaci´on entre las t´ecnicas descritas anteriormente se puede hacer en t´erminos de precisi´on, datos requeridos para el modelado, tipo de representaci´on continua, complejidad computacional y espacio de almacenamiento en disco. La precisi´on de los modelos basados en pol´ıgonos y v´oxeles depende de la cantidad de elementos utilizados, donde debe existir un compromiso entre la precisi´on deseada y el costo computacional. En general, las representaciones de este tipo presentan una complejidad baja.
2.2 Estado del arte: modelado 3D
19
Los modelos basados en sistemas masa–resorte son f´aciles de construir y pueden ser animados m´as sencillamente que los modelos basados en pol´ıgonos. El problema es que su precisi´on depende del n´ umero de elementos de representaci´on y los valores de masa y elasticidad usados en cada uno. Por el contrario, los modelos basados en “b–splines” requieren menos elementos de representaci´on, lo cual es una ventaja en t´erminos de tiempo de renderizado, sin embargo, es una representaci´on mucho m´as compleja por la cantidad de par´ametros requeridos. La representaci´on impl´ıcita es muy atractiva por el hecho de ser un modelo continuo, sin embargo, solo puede aplicarse a un n´ umero limitado de objetos. La geometr´ıa s´olida constructiva ofrece la ventaja de ser continua o discreta seg´ un se desee, el resultado es un modelo relativamente simple, aunque no funciona bien para objetos con formas complejas. Finalmente, los modelos basados en redes neuronales artificiales pueden ofrecer representaciones continuas o discretas, volum´etricas o superficiales, y con buena precisi´on empleando pocos recursos de memoria. Su desventaja es el alto costo computacional requerido en las etapas del entrenamiento, y la falta de una teor´ıa bien definida sobre el dise˜ no de las arquitecturas.
3. Adquisici´ on de informaci´ on 3D de estructuras cerebrales a partir de endoneurosonograf´ıa La neurocirug´ıa estereot´actica incluye el registro de im´agenes m´edicas tanto pre–operativas como intra–operativas, t´ıpicamente en modalidades volum´etricas como resonancia magn´etica (MRI), tomograf´ıa computarizada (CT) y ultrasonido (US), dentro de un sistema coordenado arbitrario [38]. En la mayor´ıa de intervenciones quir´ urgicas, el sistema coordenado se define por un conjunto de ret´ıculas (x, y, z) sobre un marco fijado al cr´aneo del paciente. En los sistemas modernos de cirug´ıa asistida por ordenador, el marco se sustituye por un sistema de seguimiento (por lo general o´ptico, mec´anico o magn´etico), que el equipo utiliza para rastrear las herramientas quir´ urgicas, las cuales se presentan en un entorno virtual para proporcionar una gu´ıa al cirujano durante la intervenci´on [39]. Con el fin de obtener buenos resultados, el cerebro no debe moverse de manera cr´ıtica durante la cirug´ıa, lo cual s´olo es posible mediante el uso de cirug´ıa m´ınimamente invasiva, es decir, realizar la operaci´on a trav´es de un peque˜ no orificio en el cr´aneo [97]. Las tendencias recientes en la cirug´ıa m´ınimamente invasiva del cerebro han sugerido la utilizaci´on conjunta de im´agenes endosc´opicas y de ultrasonido, una t´ecnica llamada Endoneurosonograf´ıa (ENS) [76], debido a que es una t´ecnica m´as barata que otras de imagenolog´ıa m´edica como CT y MRI, y adem´as, es m´as f´acil de adquirir en un escenario intra–operativo [107]. En la literatura, se han reportado algunos trabajos que emplean ENS para extraer informaci´on tridimensional de estructuras cerebrales [39]. La Figura 3-1 muestra las im´agenes que componen una secuencia de adquisici´on endoneurosonogr´afica. Debido a sus ventajas, en este trabajo se emplea endoneurosonograf´ıa para la representaci´on de estructuras internas del cerebro, espec´ıficamente tumores. En este cap´ıtulo, se plantea una metodolog´ıa para la adquisici´on de informaci´on tridimensional de estructuras cerebrales utilizando endoneurosonograf´ıa. La ENS es una t´ecnica de adquisici´on 3D que combina la visi´on endosc´opica est´ereo y el ultrasonido 2D. Las im´agenes endosc´opicas se emplean para hacer una reconstrucci´on est´ereo del escenario, en el que la sonda de ultrasonido es el elemento de mayor inter´es, mientras que las im´agenes de ultrasonido se emplean para ubicar regiones biol´ogicas, tales como tumores. Adicionalmente, existe un sistema de seguimiento visual externo (POLARIS) que permite conocer la pose del endoscopio durante la cirug´ıa, por lo que la informaci´on 3D extra´ıda
22
3 Adquisici´on de informaci´on 3D de estructuras cerebrales a partir de ENS
Figura 3-1.: Im´agenes que componen la endoneurosonograf´ıa est´a referenciada respecto a un sistema quir´ urgico de coordenadas. Con esta metodolog´ıa se pretenden resolver cinco problemas espec´ıficos: a) calibraci´on del sistema endosc´opico est´ereo, b) calibraci´on seguidor–c´amara , com´ unmente llamada calibraci´on “hand–eye”, entre el sistema de seguimiento visual y las c´amara endosc´opicas, c) seguimiento de la sonda de ultrasonidos a trav´es de las im´agenes endosc´opicas, d) segmentaci´on de estructuras cerebrales a partir de im´agenes de ultrasonido, y e) extracci´on de informaci´on 3D a partir de la reconstrucci´on est´ereo del escenario y las regiones segmentadas en las im´agenes de ultrasonido. En la Figura 3-2 se muestra un esquema con los problemas a resolver mediante la metodolog´ıa propuesta, y a continuaci´on e hace una breve descripci´on de cada uno de ellos. En el primer paso, el sistema endosc´opico se calibra intr´ınseca y extr´ınsecamente con el objetivo de caracterizar completamente el sistema de adquisici´on y poder hacer una reconstrucci´on est´ereo del escenario intra–operativo. El sistema de visi´on est´ereo se compone de dos c´amaras CCD miniaturas que deben ser calibradas y rectificadas con el fin de extraer informaci´on 3D a partir de cada imagen 2D. Con este fin, se utiliz´o la t´ecnica de calibraci´on propuesta por Zhang [123], la cual s´olo requiere de un patr´on de calibraci´on plano y al menos dos capturas desde orientaciones diferentes de la c´amara. No es necesario que la trayectoria de movimiento sea conocida y lo que importa es el movimiento relativo, por lo que es indiferente si es el patr´on o la c´amara lo que se mueve. En el segundo paso, se aborda el problema de la calibraci´on “hand–eye” que permite estimar
23
Figura 3-2.: Problemas a resolver con la metodolog´ıa de adquisici´on propuesta la transformaci´on geom´etrica desde el sistema de seguimiento visual POLARIS hasta el sistema coordenado de las c´amaras endosc´opicas. Esta transformaci´on permite que la informaci´on endosc´opica adquirida se referencie con respecto a un punto del mundo real. En el tercer paso, se realiza un seguimiento de la sonda de ultrasonido a trav´es de una secuencia de im´agenes endosc´opicas y se calcula su pose en el espacio 3D empleando u ´nicamente informaci´on de las im´agenes, es decir, no se requiere ning´ un sistema de seguimiento externo (ni o´ptico ni magn´etico). Para obtener un seguimiento confiable de la sonda, se aprovecha la informaci´on contextual de la escena como el movimiento de la sonda y el material de construcci´on de la misma. En este sentido, se propone una metodolog´ıa de segmentaci´on basada en flujo ´optico y luminancia. A continuaci´on, se aplica An´alisis de Componentes Principales (PCA) sobre la regi´on segmentada con el fin de determinar el eje principal de la sonda. Por u ´ltimo, se define una restricci´on de movimiento a fin de evitar errores de seguimiento. La determinaci´on y seguimiento del eje principal de la sonda de ultrasonido es una de las tareas esenciales en la reconstrucci´on 3D, dado que las im´agenes de ultrasonido que captura el sensor se ubican en el plano perpendicular a dicho eje. En el cuarto paso, se segmentan las estructuras de inter´es (tumores) en las im´agenes de ultrasonido. Se emplean t´ecnicas morfol´ogicas con el fin de rellenar huecos y eliminar ruido causado por el sub–muestreo y el ruido “speckle” propio del sistema de ultrasonido utilizado [83]. Por u ´ltimo, se aplica un umbral autom´atico utilizando el m´etodo de Otsu para segmentar las regiones de inter´es [90]. En el u ´ltimo paso, las metodolog´ıas de las etapas anteriores se integran con el fin de hacer una reconstrucci´on 3D de las estructuras del cerebro con respecto a un sistema coordenado dentro de la sala de operaci´on quir´ urgica. Para lograr esto, se debe calibrar el equipo de adquisici´on, calcular la pose de la sonda de ultrasonido en el espacio 3D a partir de las
24
3 Adquisici´on de informaci´on 3D de estructuras cerebrales a partir de ENS
im´agenes endosc´opicas, extraer el plano perpendicular al eje de la sonda (que contiene las im´agenes de ultrasonido), segmentar las regiones de inter´es en las im´agenes de ultrasonido, y finalmente, localizar estas regiones en el espacio coordenado de referencia. La configuraci´on del equipo de adquisici´on endoneurosonogr´afica es el siguiente: Se dispone de una camisa de trabajo con varios canales por los que se introducen los elementos quir´ urgicos, como se muestra en la Figura 3-3. El endoscopio est´ereo y la sonda de ultrasonido se introducen por alguno de los canales de la camisa de trabajo, de manera que la sonda sea vista por las dos c´amaras endosc´opicas. Un sistema de seguimiento visual (POLARIS) [87], instalado en la sala de cirug´ıa como se muestra en la Figura 3-4, entrega la pose 3D de la punta del endoscopio. Adicionalmente, con la informaci´on de las im´agenes endosc´opicas se requiere calcular la pose del sensor de ultrasonido, ubicado en la punta de la sonda. El seguimiento de la pose de la sonda es una tarea delicada debido a que la sonda es flexible, gira sobre su propio eje y puede moverse hacia adelante y hacia atr´as a trav´es del canal. Despu´es de que el seguimiento es computado, es posible hacer la reconstrucci´on tridimensional de esta informaci´on. Para esto, deben conocerse las transformaciones de rotaci´on y traslaci´on desde el sistema coordenado de la imagen de ultrasonido hasta el sistema coordenado de referencia en el mundo real. Con estas transformaciones, la informaci´on 3D del tumor se referencia respecto a la posici´on del sistema POLARIS dentro de la sala de cirug´ıa.
Figura 3-3.: Sistema de adquisici´on endoneurosonogr´afica Este cap´ıtulo est´a organizado como sigue: la Secci´on 3.1 describe el montaje experimental utilizado en la adquisici´on endoneurosonogr´afica y discute los aspectos t´ecnicos del equipo. Las Secciones 3.2 y 3.3 explican las t´ecnicas de calibraci´on utilizadas para la caracterizaci´on de las c´amaras endosc´opicas y del sistema seguidor–c´amaras. La Secci´on 3.4 presenta las metodolog´ıas de segmentaci´on y seguimiento espacio–temporal de la sonda de ultrasonido y la determinaci´on de la pose de su eje a trav´es de im´agenes endosc´opicas. Adicionalmente, se presentan los experimentos realizados sobre una base de datos endoneurosonogr´afica propia y se argumenta la utilizaci´on de una restricci´on de movimiento para el seguimiento de la sonda. La Secci´on 3.5 ilustra las t´ecnicas morfol´ogicas empleadas para la segmentaci´on de estructuras cerebrales en im´agenes de ultrasonido. La Secci´on 3.6 aplica el marco te´orico– pr´actico de las secciones anteriores para presentar formalmente la metodolog´ıa de adquisici´on
3.1 Sistema endoneurosonogr´afico
(a) Rango de Acci´ on
25
(b) Seguimiento visual del endoscopio
Figura 3-4.: Sistema de seguimiento visual POLARIS. Tomado de [87] de informaci´on 3D de estructuras cerebrales a partir de endoneurosonograf´ıa. Finalmente, la Secci´on 3.7 est´a dedicada a resumir y concluir el cap´ıtulo.
3.1.
Sistema endoneurosonogr´ afico
El equipo ENS mostrado en la Figura 3-3 se compone de una camisa de trabajo, un endoscopio est´ereo con un telescopio acoplado y una sonda de ultrasonido radial. El endoscopio est´ereo captura simult´aneamente dos im´agenes de color mediante dos sensores CCD miniaturas. El telescopio se introduce por uno de los canales de trabajo de la camisa y transmite las im´agenes cerebrales hasta el endoscopio. Por u ´ltimo, la sonda de ultrasonido radial obtiene im´agenes US de las estructuras cerebrales. La sonda de ultrasonido tiene conectado un micro transductor que gira sobre su propio eje para generar un haz de 360◦ a 10 MHz. La imagen que captura el sensor US es ortogonal al eje de la sonda [76, 101], por lo que hacer el seguimiento de su pose a trav´es de las im´agenes de ultrasonido es fundamental para realizar la triangulaci´on est´ereo que permita computar la pose 3D de la sonda US con respecto a las coordenadas del endoscopio. En la Figura 3-5 se muestra la sonda de ultrasonido, la cual gira sobre su propio eje por medio de un motor. En las siguientes secciones se presentan las t´ecnicas usadas para la calibraci´on est´ereo de las c´amaras endosc´opicas y la calibraci´on “hand–eye” del sistema seguidor–c´amaras.
3.2.
Calibraci´ on de c´ amaras
El proceso de visi´on por computador se inicia con la detecci´on de la luz que proviene de alguna fuente y se refleja en los objetos del escenario. La luz reflejada pasa por la lente de la c´amara y se recoge en su sensor fotoelectr´onico [11]. El modelo de c´amara m´as simple es el de la c´amara estenopeica (“pinhole”), el cual se
26
3 Adquisici´on de informaci´on 3D de estructuras cerebrales a partir de ENS
Figura 3-5.: Sonda de ultrasonido con su haz de emisi´on radial. Tomado de [95]
compone de una pared imaginaria con un peque˜ no agujero en el centro que bloquea todos los rayos de luz, excepto los que pasan a trav´es de la peque˜ na abertura del centro. Este modelo de c´amara es u ´til para entender la geometr´ıa b´asica de los rayos de luz, sin embargo, la peque˜ na abertura no recoge suficiente luz para tomar im´agenes con corto tiempo de exposici´on. Por este motivo, las c´amaras utilizan lentes que re´ unen m´as luz que la que estar´ıa disponible en un solo punto, por lo que su caracterizaci´on no s´olo debe incluir par´ametros geom´etricos de la c´amara, sino tambi´en los par´ametros de distorsi´on de la lente. En la visi´on por computador, la calibraci´on de la c´amara es el proceso mediante el cual se determinan las caracter´ısticas internas de la c´amara (par´ametros intr´ınsecos), y la pose tridimensional de la c´amara con respecto a un sistema de coordenadas determinado (par´ametros extr´ınsecos) [115]. El sistema de visi´on est´ereo utilizado en este trabajo se compone de dos c´amaras endosc´opicas que deben ser calibradas con el fin de extraer informaci´on 3D del escenario a partir de cada par de im´agenes 2D. En general, las t´ecnicas de calibraci´on pueden clasificarse en dos categor´ıas: a) calibraci´on fotogram´etrica, la cual se realiza mediante la observaci´on de un patr´on de calibraci´on cuya geometr´ıa en el espacio 3D se conoce con muy buena precisi´on. Por lo general, el objeto de calibraci´on consta de dos o tres planos ortogonales entre s´ı [110]; y, b) auto–calibraci´on, que no utiliza ning´ un objeto de calibraci´on. Los par´ametros de la c´amara se calculan a partir de diferentes puntos de vista de una escena est´atica [74]. En este trabajo se utiliza la t´ecnica de calibraci´on propuesta por Zhang [123], la cual requiere que la c´amara capture im´agenes de un patr´on de calibraci´on plano en al menos dos orientaciones diferentes. O bien la c´amara o el patr´on de plano se puede mover con la mano y el movimiento no tiene por qu´e conocerse. Este enfoque es un m´etodo h´ıbrido entre los dos tipos de calibraci´on existentes, ya que, al contrario que la auto–calibraci´on, s´ı se requiere un patr´on de calibraci´on, pero este patr´on no es un arreglo de patrones 3D, como en la fotogrametr´ıa, sino que es un patr´on plano. La elecci´on de esta t´ecnica de calibraci´on se debe a su facilidad de implementaci´on, velocidad y buenos resultados reportados en la literatura [10, 12].
3.2 Calibraci´on de c´amaras
3.2.1.
27
Par´ ametros intr´ınsecos
El modelo de c´amara utilizado en este trabajo est´a inspirado en el modelo propuesto por Heikkila y Silven [53]. La c´amara se modela mediante cuatro conjuntos de par´ametros intr´ınsecos: la distancia focal (f c ∈
