3D user interfaces for interventional support and medical education

Abstract

Räumliche Benutzungsschnittstellen haben das Potential, die Interaktion mit medizinischen Strukturen in verschiedenen medizinischen Bereichen zu verbessern. Diese Dissertation präsentiert Interaktionstechniken sowie Ein- und Ausgabegeräte, welche Ärzte bei der Durchführung von Interventionen unterstützen, Studierenden und Dozenten während der medizinischen Ausbildung helfen sowie Ärzten und Patienten ermöglichen, den Prozess der Patientenaufklärung zu verbessern. Zur Unterstützung von Ärzten während der Durchführung von Interventionen werden Freihand-Gesten präsentiert, welche eine berührungslose und somit sterile Interaktion mit Bildgebungssoftware ermöglichen. Dies erlaubt die Analyse von Patienten-spezifischen Daten während des Eingriffs auf sterile Weise. Die Bereiche der Patientenaufklärung, medizinischen Ausbildung und Therapieplanung werden durch die natürliche Interaktionstechnik des Skizzierens unterstützt. Dazu werden Methoden präsentiert, die das echtzeitfähige Erzeugen von zweiund dreidimensionalen vaskulären Strukturen, deren Erkrankungen und Behandlungsmethoden sowie des Blutflusses ermöglichen. Hierfür wird ein interaktives Whiteboard genutzt sowie das zSpace, welches räumliche Ein- und Ausgabegeräte verwendet. Zusätzlich werden in dieser Dissertation Richtlinien für die Evaluierung von interaktiven medizinischen Visualisierungen vorgestellt. Hierzu werden quantitative und qualitative Methoden vorgestellt, Empfehlungen für die Erhebung von Daten, der Definition von Aufgaben und des Studiendesigns gegeben und schließlich die Auswahl geeigneter statistischer Tests unterstützt. Die durchgeführten Studien in dieser Dissertation folgen diesen Richtlinien, wodurch es möglich ist, die entwickelten Prototypen quantitativ und qualitativ zu bewerten. Die vorgestellten Methoden zeigen das Potential der berührungslosen Interaktion mit medizinischen Bilddaten. Weiterhin ermöglichen sie, die Patientenaufklärung zu verbessern und das Verständnis für die Auswirkung verschiedener Behandlungsstrategien zu erhöhen. Schließlich erlauben die vorgestellten Methoden, Studierende beim Begreifen von Besonderheiten und räumlichen Zusammenhängen vaskulärer Strukturen zu unterstützen.

Spatial user interfaces hold the opportunity to improve the interaction with medical structures in several domains. This thesis presents spatial input and output devices as well as interaction techniques that support physicians during interventions, students and teachers in medical education, and patients and physicians during patient education. Physicians are supported with freehand gestures that are used as a touchless interaction technique to control interventional imaging software. This enables them to investigate patient’s radiographic scans during interventions in a sterile manner. Patient education, medical teaching and therapy planning are supported with the natural interaction technique of sketching. Here, approaches are presented to sketch vascular structures, pathologies, treatment options and blood flow in real-time, either as 2D or 3D structures. For this purpose, an interactive whiteboard and a spatial input and output device is used (namely the zSpace). Furthermore, this thesis presents general guidelines for the evaluation of interactive medical visualizations. This comprises quantitative and qualitative methods, directives for the collection of data, the definition of tasks and experimental designs as well as the selection of appropriate statistical tests. The conducted evaluations within this thesis follow these guidelines, which allows to assess them with quantitative and qualitative aspects. The presented prototypes show the potential for touchless interaction with medical image data, the chance to support patients in understanding the impact of different treatment strategies, and the opportunity in helping students to learn particularities and spatial relationships of vascular configurations.