On the application of hidden Markov models for signal decoding in the context of brain computer interfaces

Abstract

Brain-Computer-Interfaces (BCI) stellen eine direkte Kommunikation zwischen dem menschlichen Gehirn und einem Computer her. Auf diese Weise ermöglichen sie die Steuerung von Assistenzgeräten, wie z. B. Rollstühlen oder Prothesen, ausschließlich auf der Basis von Hirnaktivität. Diese Technologie stellt einen enorm vielversprechenden Ansatz für die Unterstützung von Patienten mit schweren körperlichen Beeinträchtigungen dar, wie sie beispielsweise bei Querschnittslähmungen oder als Folge neurologischer Erkrankungen auftreten. Die zentralen Komponenten eines BCIs befassen sich dabei mit der Messung und Verarbeitung der Hirnsignale. Sie verfolgen das Ziel, die Intention des Nutzers aus dessen Hirnaktivität zu dekodieren um daraus ein Steuersignal für das gewünschte Assistenzsystem zu generieren. Die konkrete Zuordnung einer Intention aus den Daten erfolgt mit Hilfe sogenannter Klassifikatoren, die in verschiedenen Bereichen des maschinellen Lernens eingesetzt werden. Ein bekanntes Anwendungsbeispiel ist die automatische Spracherkennung (ASR), die im Zuge der Verbreitung von Sprachsteuerung in modernen elektronischen Geräten in den letzten Jahren weiter an Bedeutung gewonnen hat. Über die Jahre hat sich dort besonders ein Klassifikationsverfahren als Gold-Standard etabliert: die sogenannten Hidden Markov Modelle (HMM). Die exzellente Eignung von HMMs für die ASR begründet sich vor allem durch ihre Eigenschaft, zeitliche Variationen der Signale korrekt beschreiben zu können sowie ihren umfangreichen Möglichkeiten zur Einbeziehung von Vorwissen in die Erkennung—zwei Aspekte, die auch für die Dekodierung von Hirnsignalen große Vorteile versprechen. Dennoch finden sich in der Literatur bislang nur sehr wenige Studien, welche HMM-basierte Ansätze im Kontext der BCI-Signalverarbeitung verfolgten. Diese Arbeit widmet sich einer ausführlichen Analyse von HMM-basierten Dekodierungsverfahren für unterschiedliche Fragestellungen aus dem Themenfeld BCI. Zunächst wird das Verfahren in sogenannten Single-Trial-Auswertungen evaluiert. Hierbei wird gezeigt, dass die erzielbaren Erkennungsraten von HMM-Klassifikatoren auf das Niveau einer Gold- Standard-Vergleichsmethode (Support-Vektor-Maschine) gebracht werden können und deren Ergebnisse in einzelnen Fällen sogar signifikant übertreffen. Als entscheidende Faktoren stellen sich neben der Wahl einer geeigneten Featureextraktion und -selektion vor allem die optimale Anpassung der gewählten Modellkonfiguration heraus. In einer weiteren Untersuchung wird analysiert, welche Vorteile sich aus den Eigenschaften von HMMs als dynamische Klassifikatoren ergeben. Hierfür wird eine Routine vorgestellt, mit deren Hilfe sich zusätzliche Informationen über die erkannten Ereignisse bei der Dekodierung ermitteln lassen, ohne dass ein separates Training der Routine erforderlich wird. Ergänzend zum Typ eines Ereignisses kann somit zeitgleich auch dessen Länge extrahiert werden kann. Um ein realistischeres Einsatzszenario abzubilden, wird die Klassifikationsroutine für die kontinuierliche Erkennung erweitert. Im Rahmen dieser Arbeit wurde ein umfangreiches Software-Framework entwickelt, welches alle nötigen Anpassungen bereitstellt, um mit dem “Hidden Markov Model Toolkit” (HTK) eines der bekanntesten Softwarepakete aus der ASR auch für den Einsatz in BCIs nutzbar zu machen. Dem substanziell erhöhten Schwierigkeitsgrad bei der kontinuierlichen Erkennung wird durch die gezielte Einbeziehung von Vorwissen begegnet. Hierzu werden Informationen über häufig ausgeführte Aktionen genutzt, die sich durch geschickte Einbindung sogenannter Language-Modelle bei der Dekodierung berücksichtigen lassen. Als Ergebnis kann eine deutliche Reduktion der Fehlerraten bei der Klassifikation erzielt werden. Zusammenfassend kommt diese Arbeit zu dem Schluss, dass HMMs eine äußerst vielversprechende Methode zur Dekodierung von Hirnsignalen im Kontext von BCIs darstellen. Es wird aufgezeigt, dass die Methodik, insbesondere durch die Möglichkeiten zur Vorwissensintegration, großes Potential für robuste, praktische Lösungen sowie weiterführende Entwicklungen bereithält.

Brain-computer-interfaces (BCI) provide direct control over assistive devices using only brain activity. By that, BCI technology is a highly promising means for helping patients with severe handicaps, such as tetraplegia or paralysis due to neurological disorders. The crucial component in BCIs is processing of the acquired brain signals and identifying from the data the intention of the user. This is done with so-called classifiers, which are used in numerous topics of machine learning. A particularly prominent application example is automated speech recognition (ASR), which underwent a substantial increase in attention with the rise of voice control for electronic devices over the last years. For a long time, one specific classifier has been established as gold-standard for ASR: the so-called hidden Markov models (HMM). This dominance is mainly due to their ability to account for temporal variation within the signals as well as various possibilities to incorporate prior knowledge into the decoding—two features that promise great benefit also for decoding of brain signals. In the literature, however, only a small number of studies can be found that considered using HMMs in the context of BCI yet. In this work, a comprehensive investigation of HMM-based decoding approaches is conducted in a variety of BCI settings. First, the performance of HMM classifiers is evaluated in so-called single trial decoding tasks. It is shown that decoding accuracies can be brought to the level of gold-standard routines (here: support vector machines) and in some cases, HMMs even outperformed the comparison method with significant performance advantages. This can be achieved by appropriate adaptions to the central components of the entire signal processing chain, most importantly by means of defining optimal model configurations, but also by finding suitable feature extraction and selection strategies. Furthermore, a method is developed to analyze model output (or more precisely, Viterbi paths), in order to assess the duration of an event without the requirement for a dedicated training routine. This approach takes advantage of the properties of HMMs that arise from the fact that they perform so-called dynamic decoding—a unique feature without equivalent in the widely-used static classifiers. To better reproduce typical application settings, the routines are extended to enable continuous decoding. For that purpose, the gold-standard speech decoding framework ’hidden Markov model toolkit’ (HTK) is adapted for use in BCI decoding tasks and being embedded into an extensive software framework, developed particularly to allow for quick and convenient variation of all central decoding components. Continuous decoding substantially raises the difficulty of the setting. It is shown how this issue can be addressed by incorporation of a priori information into the decoding. By effective utilization of a common ASR technique, so-called language models, available prior knowledge is exploited, and substantial reduction in decoding errors is achieved. In summary, this work provides evidence that the application of HMMs is a highly promising choice for decoding in the context of BCIs. It is shown that the routines—in particular with respect to the possibilities of prior knowledge incorporation—offer great potential for robust, practical solutions and future development.