A plug-and-play real-time architecture for MPSoC-FPGAs targeting interventional Computed Tomography

Abstract

In recent years, new image-guided interventional procedures, such as interventional Computed Tomography (iCT), have been explored to tackle the increasing number of tumors. During these interventional procedures, surgeons track the needle used for tumor ablation within the patient’s body with the support of Computed Tomography (CT) or multimodal CT/Positron Emission Tomography ( PET)/Magnetic Resonance Imaging (MRI ) techniques. While CT scanners for tumor diagnosis have been typically designed as custom closed systems, new scanners for interventional procedures aim to be adaptable and configurable for multimodality scanning, providing real-time images. Therefore, from the system designer perspective, these scanners are considered Cyber-Physical System (CPS ) devices, where components must be controlled, and data must be acquired and processed in real time. The “Konfigurierbarer, Interfaceoffener, Dosissparender Computertomograph” (KIDS- CT) scanner is the first open-interface CT scanner assembled by Academia aiming to provide new features: extension for adding new components in a plug-and-play fashion, and user-accessible sensor/actuator parameters (e.g., individual settings of detector, X-ray tube voltage, Time-of-flight cameras). These features allow researchers and/or physicians to explore new multimodality techniques and interventional procedures with the aim of optimizing the X-ray dose and enhancing reconstruction algorithms. This thesis addresses the problem of real-time data acquisition and processing in CPSs and their extension capabilities for adding components in a plug-and-play fashion. It focuses on the KIDS-CT scanner, for which multimodality functionalities and real-time support must be provided in order to conduct and explore iCT procedures. To address these problems at the system and hardware design level, this research work firstly contributes in the design process of the CT scanner, modeled as a CPS device, by proposing a System Architecture and the associated Communication Infrastructure; Secondly, it proposes a new Control-Data Acquisition System (CDAS) architecture for Multi-Processor System-on-Chip Field Programmable Gate-Array ( MPSoC-FPGA ) platforms. Although the proposed work has been implemented and validated targeting the KIDS-CT scanner, it is configurable for various CPS applications where data must be collected and processed on the fly, while components must be controlled in real time. In fact, the CDAS plays a crucial role in controlling CPS components at the device level, collecting and processing data in real time, and providing plug-and-play capability for the target application, such as the KIDS-CT scanner. In order to reach these aims, various methodologies have been proposed: Real-time and non-real-time tasks are properly mapped between the Programmable Logic and the Processing System of the MPSoC-FPGA ; The Communication Infrastructure has been modeled in layers and classes that contain different protocols on the base of the task type; A dataflow-module and a data-processing module have been proposed to collect, and preprocess data on the fly, without using external memory. In addition, data can be pre-processed in different formats, making it suitable for exploring the design space by tuning data formats to determine the most appropriate design configuration to pre-process data for interventional procedures. As part of this work, a guideline for designing an open-interface CT scanner has been provided at the system level and digital signal processing level. The proposed communication protocols for the plug-and-play capability and the real-time support have been described. Furthermore, the hardware/software CDAS architecture has been described through its three main components: the Control-synchronization Module, the Data-flow Module, and the Data-processing Module. Moreover, a novel hardware isolation method to enable isolation support on MPSoC-FPGA s has been proposed; the proposed isolation method solves the problem of isolation between hardware modules inside the MPSoC-FPGA. Finally, this work describes the realization of the System Architecture, the Communica- tion Infrastructure and the CDAS architecture in the specific case of the KIDS-CT scanner. For this purpose, the XC7Z045 MPSoC-FPGA has been used for implementing the CDAS architecture. Here, the proposed optimizations have permitted to achieve an efficient solution, which use only 7.81% of Look-Up Tables, 5.82% of Flip-Flops, 5% of Digital Signal Processors, and 7.89% of Block RAMs, and collect and process pixel data in an estimated time of 467.8 ns. Since pixel data are processed on the fly during the acquisition of each projection, and this processing is faster than the “integration period” required to acquire a projection, the proposed pre-processing solution adds zero latency to the acquisition time. Therefore, the Graphics Processing Unit (GPU ) on the reconstruction system only needs to perform the rest of the processing, resulting the entire acquisition and reconstruction time much faster than before. Such a solution could not be achieved with the standard approach, as it would exceed the capacity of the available Digital Signal Processors in the selected MPSoC-FPGA . Furthermore, the proposed optimized solution is 6.4 times faster than the standard approach. In conclusion, this thesis answers to the problem of how to provide real-time support and plug-and-play capability within complex CPSs such as the KIDS-CT scanner, and enables this scanner to explore new multimodality techniques and interventional procedures.

Um die zunehmende Zahl von Tumorerkrankungen zu bekämpfen, wurden in den letzten Jahren neue bildgesteuerte interventionelle Methoden erforscht, wie z. B. das Interventional Computed Tomography (iCT)-Verfahren. Bei diesen interventionellen Verfahren verfolgen die Chirurgen die bei der Tumorentfernung verwendete Nadel im Körper des Patienten mit Computed Tomography (CT) oder multimodalen CT/Positron Emission Tomography (PET )/Magnetic Resonance Imaging (MRI )-Techniken. Während diagnostische CT-Scanner in der Regel als zugeschnittene, geschlossene Systeme konzipiert werden, sollen neue Scanner für interventionelle Verfahren anpassungsfähig und für multimodales Scannen konfigurierbar sein sowie Echtzeitbilder liefern. Daher funktionieren diese Scanner auf der Ebene des Systemdesigns als Cyber-Physical System ( CPS )-Geräte, bei denen die Komponenten gesteuert und die Daten in Echtzeit erfasst und verarbeitet werden müssen. Der “‘Konfigurierbare, Interfaceoffene, Dosissparende Computertomograph“ (KIDS- CT)-Scanner ist der erste von der akademischen Welt fertiggestellte CT-Scanner mit offener Schnittstelle, der neue Funktionen bietet: Erweiterungen für das Hinzufügen neuer Komponenten im Plug-and-Play-Verfahren und für den Benutzer zugängliche Sensor/Aktor-Parameter (z. B. individuelle Einstellungen des Detektors, der Spannung der Röntgenröhre und der Time-of-Flight-Kameras). Diese Funktionen ermöglichen es Forschenden und/oder Ärzten, neue multimodale Techniken und interventionelle Verfahren mit dem Ziel zu erforschen, die Röntgendosis zu optimieren und die Rekonstruktionsalgorithmen zu verbessern. Diese Arbeit befasst sich mit der Problematik der Echtzeit-Datenerfassung und -Ver- arbeitung innerhalb von CPSs und deren Erweiterungsmöglichkeiten für das Hinzufügen von Komponenten in Plug-and-Play-Weise. Der Fokus liegt auf dem KIDS-CT -Scanner, für den multimodale Funktionalitäten und Echtzeitunterstützung bereitgestellt werden müssen, um iCT-Verfahren durchzuführen und zu erforschen. Um diese Probleme auf der System- und Hardware-Entwurfsebene anzugehen, trägt diese Forschungsarbeit erstens zum Entwurfsprozess des als CPS-Gerät modellierten CT-Scanners bei, indem sie eine Systemarchitektur und die zugehörige Kommunikationsinfrastruktur vorschlägt; zweitens schlägt sie eine neue Control-Data Acquisition System (CDAS)-Architektur für Multi-Processor System-on-Chip Field Programmable Gate-Array (MPSoC-FPGA )-Plattformen vor. Obwohl die Arbeit für den KIDS-CT -Scanner implementiert und validiert wurde, ist sie für verschiedene CPS-Anwendungen konfigurierbar, die unter Verwendung der entwickelten Systemarchitektur entwickelt werden können. Tatsächlich spielt das CDAS eine entscheidende Rolle bei der Steuerung von CPS-Komponenten auf Geräteebene, bei der Erfassung und Verarbeitung von Daten in Echtzeit und bei der Bereitstellung von Plug-and-Play-Fähigkeiten für die Zielanwendung, wie z. B. den KIDS-CT-Scanner. Um diese Ziele zu erreichen, werden verschiedene Methoden angewandt: Echtzeit- und Nicht-Echtzeit-Aufgaben werden auf geeignete Art und Weise zwischen der programmierbaren Logik und dem Verarbeitungssystem des MPSoC-FPGA abgebildet; die Kommunikationsinfrastruktur wird in Ebenen und Klassen modelliert, die verschiedene Protokolle auf der Grundlage des Aufgabentyps enthalten; ein Datenflussmodul und ein Datenverarbeitungsmodul werden implementiert, um Daten zu sammeln und vorzubehandeln, ohne externen Speicher zu verwenden. Darüber hinaus kann das Datenverarbeitungsmodul Daten in verschiedenen Formaten vorverarbeiten. Diese Flexibilität ermöglicht die Erkundung des Designraums durch Anpassung der Datenformate. Eine solche Abstimmung hilft bei der Bestimmung der am besten geeigneten Designkonfiguration für die Vorverarbeitung von Daten bei interventionellen Verfahren. Im Rahmen dieser Arbeit wird ferner ein Leitfaden für die Entwicklung eines CT-Scanners mit offener Schnittstelle auf Systemebene und auf Ebene der digitalen Signalverarbeitung bereitgestellt. Die integrierten Kommunikationsprotokolle für die Plug-and-Play Fähigkeit und die Echtzeitunterstützung werden beschrieben. Darüber hinaus wird die Software-/Hardware-Architektur von CDAS mit ihren drei Hauptkomponenten beschrieben: das Steuerungs-/Synchronisationsmodul, das Datenflussmodul und das Datenverarbeitungsmodul. Darüber hinaus wurde eine neuartige Hardware-Isolationsmethode entwickelt, um die Isolationsunterstützung auf MPSoC-FPGA s zu ermöglichen; die dazugehörige Isolationsmethode löst das Problem der Isolation zwischen Hardware-Modulen innerhalb des MPSoC-FPGA. Insgesamt beschreibt diese Arbeit die Realisierung der Systemarchitektur, der Kom- munikationsinfrastruktur und der CDAS-Architektur im speziellen Fall des KIDS-CT -Scanners. Zu diesem Zweck wurde der XC7Z045 MPSoC-FPGA für die Implementierung der CDAS-Architektur verwendet. Mit den hier implementierten Optimierungen wurde eine effiziente Lösung erreicht, die nur 7,81% der Look-Up Tables, 5,82% der Flip-Flops, 5% der Digitalen Signalprozessoren und 7,89% der Block RAMs verwendet und Pixeldaten in einer geschätzten Zeit von 467,8 ns erfasst und verarbeitet. Da die Pixeldaten während der Erfassung jeder Projektion “on-the-fly” verarbeitet werden und diese Verarbeitung schneller ist als die für die Erfassung einer Projektion erforderliche Integrationszeit, fügt die vorgestellte Vorverarbeitungslösung der Erfassungszeit keine Latenz hinzu. Daher muss die Graphics Processing Unit ( GPU ) auf dem Rekonstruktionssystem nur den Rest der Verarbeitung durchführen, wodurch die gesamte Erfassungs- und Rekonstruktionszeit deutlich schneller ist als bei bisherigen Lösungen. Eine solche Lösung könnte mit dem Standardansatz nicht erreicht werden, da sie die Kapazität des verfügbaren Digitalen Signalprozessoren in dem ausgewählten MPSoC-FPGA übersteigen würde. Außerdem ist die vorgeschlagene optimierte Lösung 6,4-Mal schneller als der Standardansatz. Zusammenfassend wird die Frage beantwortet, wie Echtzeit-Unterstützung und Plug-and-Play-Fähigkeit innerhalb komplexer CPS s, wie dem KIDS-CT-Scanner, bereitgestellt und wie damit neue multimodale Techniken und interventionelle Verfahren erforscht werden können.