Visual Analysis of Selected Human Anatomy

Abstract

In this cumulative postdoctoral thesis, we present different methods for visual analysis of human anatomy (VAHA). The work is presented in three chapters, the first gives an overview of visualizations for selected medical applications and the following two concern specific medical fields, namely cardiovascular disease and aesthetic orthodontics. In the first chapter, we begin with an introduction to maps of selected human anatomy. We approach such maps from a rather detailed perspective and describe them systematically along various guiding themes that are derived from geographic maps. Special focus is given to the presentation of the anatomy and the technical task that serves a clinical purpose. In the field of prenatal diagnostics, we present placenta maps that allow standardized in-vivo assessment of the placental health similar to the ex-vivo assessment. We subsequently show maps of the human ribs and vertebrae in an anatomical layout to facilitate the examination of bone fractures and lesions. To assist in exploring and comparing family history in a chronological manner, we embed the ancestral graph in a geographic map, with the height being the year of birth. We then present a map display for instrument navigation in laparoscopic surgery. Since this is a delicate procedure, the evaluation of such maps is paramount. Optimally, this is carried out in a controlled environment to allow objective and reproducible evaluation of the visualizations. Therefore, we introduce the augmented visualization box. The next map display incorporates explicit domain knowledge to assist physicians in scoring breast cancer lesions. Finally, we use animation for seamless transitions between dimensions in spatio-temporal map displays to explore dynamical systems in biology, and serial aortic measurements. The next chapter is devoted to cardiovascular diseases, which represent a major health burden worldwide [383]. We approach such diseases in the context of VAHA from a rather holistic and interdisciplinary perspective. Specifically, we study aortic dissection and peripheral arterial disease (PAD) by employing visual analysis for an overarching clinical purpose. Aortic dissection is a rather uncommon but complex disease that requires lifelong follow-up patient examinations. This leads to a wealth of serial data that must be compared and analyzed in a concise and meaningful way to facilitate diagnosis and treatment decisions. PAD is more prevalent, but often underdiagnosed. Accurate segmentation, visualization, and mapping of obstructive lesions in the large peripheral vessels continue to be major challenges in clinical practice. Despite numerous technical advances in imaging and postprocessing in recent years, the analysis of these vessels remains time-consuming and requires a high degree of user interaction. To obtain a holistic perspective of these vascular anatomies, a workflow with the following steps is required: segmentation, measurement, and visualization. We present segmentation methods for aortic dissections and the large peripheral vessels, including complex and challenging cases. Next, we discuss how to measure the dissected aorta and improve the reproducibility of such measurements. These are depicted in customized map displays to facilitate the analysis of aortic dilatation over time. We also model several surface meshes of the multilayered aortic wall anatomy and, finally, discuss different rendering styles for their visualization In the last chapter, we venture into the field of aesthetic orthodontics. Missing teeth have a major impact on a person’s health and a high global prevalence, with nearly one in four over the age of 60 years requiring a full denture [399]. The pain of such restorative treatment is often accompanied by the fear of an unaesthetic denture and its associated embarrassment. To create an appropriate and a dignified denture, we must view the anatomy and aesthetic orthodontics—also referred to as aesthetic smile design—from a holistic perspective. This is a multifaceted challenge that requires considering aesthetics not only in terms of proportion and composition, but also in terms of a patient’s individual aspects, such as sex, personality, and age (SPA). To this end, we introduce a workflow for aesthetic smile analysis and design, consisting of the following steps: face detection, facial landmark detection, head and teeth pose estimation, visual analytics, and visual communication. To facilitate interactive fitting of teeth, we propose several customized visualizations that depict the changes in aesthetics either individually or in their composition. In this way, the preparation of the denture can be steered towards an aesthetic result. To reduce the number of try-in appointments and increase confidence in the treatment, we, finally, communicate the result of such a denture to patients and dental technicians by means of an augmented reality (AR) mirror. All methods were developed during my time as a postdoctoral researcher, in an interdisciplinary team consisting of technical and medical experts. The publications corresponding to these methods are presented in the cumulative part of this postdoctoral thesis.

In dieser kumulativen Habilitationsschrift stellen wir verschiedene Methoden für die visuelle Analyse menschlicher Anatomie vor. Die Arbeit wird in drei Kapiteln vorgestellt, wobei das erste einen Überblick über Visualisierungen für ausgewählte medizinische Anwendungen gibt und die beiden folgenden spezifische medizinische Bereiche behandeln, nämlich Herz-Kreislauf-Erkrankungen und ästhetische Kieferorthopädie. Im ersten Kapitel beginnen wir mit einer Einführung in Karten ausgewählter menschlicher Anatomie. Wir betrachten solche Karten aus einer eher detaillierten Perspektive und beschreiben sie systematisch entlang verschiedener Leitthemen, die von geographischen Karten abgeleitet sind. Besonderes Augenmerk liegt dabei auf der Darstellung der Anatomie und der technischen Aufgabe, die einem klinischen Zweck dient. Für den Bereich der Pränataldiagnostik stellen wir Plazentakarten vor, die eine standardisierte Beurteilung der Plazentagesundheit in-vivo ähnlich der Beurteilung ex-vivo ermöglichen. Anschließend zeigen wir Karten der menschlichen Rippen und Wirbel anatomisch angeordnet, um die Untersuchung von Knochenbrüchen und -läsionen zu erleichtern. Um die Erforschung und den Vergleich der Familiengeschichte auf chronologische Weise zu ermöglichen, betten wir den Ahnengraph in eine geografische Karte ein, wobei die Höhe das Geburtsjahr darstellt. Anschließend stellen wir eine Kartendarstellung für die Instrumentennavigation in der laparoskopischen Chirurgie vor. Da es sich hierbei um ein heikles Verfahren handelt, ist die Auswertung solcher Karten von größter Bedeutung. Optimalerweise wird dies in einer kontrollierten Umgebung durchgeführt, um eine objektive und reproduzierbare Bewertung der Visualisierungen zu ermöglichen. Zu diesem Zweck führen wir die erweiterte Visualisierungsbox ein. In die nächste Kartendarstellung fließt explizites Fachwissen ein, um ÄrztInnen bei der Bewertung von Brustkrebsläsionen zu unterstützen. Schließlich verwenden wir Animationen für nahtlose Übergänge zwischen Dimensionen in räumlich-zeitlichen Kartendarstellungen, um dynamische Systeme in der Biologie, und serielle Aortenmessungen zu untersuchen. Das nächste Kapitel ist den Herz-Kreislauf-Erkrankungen gewidmet, die weltweit eine große gesundheitliche Herausforderung darstellen [383]. Wir nähern uns solchen Krankheiten im Kontext der visuellen Analyse menschlicher Anatomie aus einer eher ganzheitlichen und interdisziplinären Perspektive. Insbesondere untersuchen wir die Aortendissektion und periphere arterielle Verschlusskrankheit (PAVK), indem wir die visuelle Analyse für einen überspannenden klinischen Zweck einsetzen. Die Aortendissektion ist eine eher seltene, aber komplexe Erkrankung, die lebenslange Nachuntersuchungen der PatientInnen erfordert. Dies führt zu einer Fülle von Seriendaten, die verglichen und auf eine übersichtliche und aussagekräftige Weise analysiert werden müssen, um Diagnose- und Behandlungsentscheidungen zu erleichtern. Die PAVK ist häufiger, wird aber oft unterdiagnostiziert. Die genaue Segmentierung, Visualisierung, und das Mapping von obstruktiven Läsionen in den langen peripheren Gefäßen stellen in der klinischen Praxis nach wie vor große Herausforderungen dar. Trotz zahlreicher technischer Fortschritte bei der Bildgebung und Nachbearbeitung in den letzten Jahren ist die Analyse dieser Gefäße nach wie vor zeitaufwändig und erfordert ein hohes Maß an BenutzerInneninteraktion. Um eine ganzheitliche Perspektive auf diese Gefäßanatomien zu erhalten, ist ein Arbeitsablauf mit den folgenden Schritten erforderlich: Segmentierung, Vermessung und Visualisierung. Wir stellen Segmentierungsmethoden der Aortendissektionen und der langen peripheren Gefäße vor, einschließlich komplexer und schwieriger Fälle. Anschließend wird erörtert, wie die Aortendissektionen vermessen und die Reproduzierbarkeit solcher Messungen verbessert werden kann. Diese werden in maßgeschneiderten Karten dargestellt, um die Analyse der Aortendilatation im Zeitverlauf zu erleichtern. Wir modellieren auch verschiedene Oberflächennetze der mehrschichtigen Aortenwandanatomie und diskutieren schließlich verschiedene Darstellungsstile für deren Visualisierung. Im letzten Kapitel begeben wir uns auf das Gebiet der ästhetischen Kieferorthopädie. Fehlende Zähne haben einen großen Einfluss auf die Gesundheit eines Menschen und eine hohe globale Prävalenz, wobei fast jeder Vierte über 60 Jahre eine Vollprothese benötigt [399]. Die Schmerzen, die eine solche restaurative Behandlung mit sich bringt, werden oft von der Angst vor einem unästhetischen Zahnersatz und der damit verbundenen Scham begleitet. Um einen angemessenen und würdevollen Zahnersatz anzufertigen, müssen wir die Anatomie und die ästhetische Kieferorthopädie—auch als ästhetische Lachgestaltung bezeichnet—aus einer ganzheitlichen Perspektive betrachten. Dies ist eine vielschichtige Herausforderung, bei der die Ästhetik nicht nur in Bezug auf Proportion und Komposition, sondern auch in Bezug auf die individuellen Eigenschaften eines Patienten/einer Patientin, wie z.B. Geschlecht, Persönlichkeit, und Alter, berücksichtigt werden muss. Zu diesem Zweck stellen wir einen Arbeitsablauf für die Analyse und das Gestalten eines ästhetischen Lächelns vor, der aus den folgenden Schritten besteht: Gesichtserkennung, Erkennung von Gesichtsmerkmalen, Schätzung der Kopf- und Zahnstellung, visuelle Analyse und visuelle Kommunikation. Zur Erleichterung der interaktiven Anpassung von Zähnen schlagen wir mehrere maßgeschneiderte Visualisierungen vor, welche die Änderungen der Ästhetik entweder einzeln oder in ihrer Komposition darstellen. Auf diese Weise kann die Anfertigung des Zahnersatzes in Richtung eines ästhetischen Ergebnisses gelenkt werden. Um die Anzahl der Anproben zu reduzieren und das Vertrauen in die Behandlung zu erhöhen, präsentieren wir PatientInnen und ZahntechnikerInnen das Ergebnis eines solchen Zahnersatzes schließlich mit Hilfe eines erweiterten Realitätsspiegels. Alle Methoden wurden während meiner Zeit als Postdoktorand in einem interdisziplinären Team aus technischen und medizinischen ExpertInnen entwickelt. Die Veröffentlichungen zu diesen Methoden werden im kumulativen Teil dieser Habilitationsschrift vorgestellt.