Learning-supported and force feedback model predictive control in robotics

Abstract

Autonomous dynamical systems enter our daily lives and homes. They appear in the form of self-driving cars, vacuum cleaning robots, and smart manufacturing cobots. Hence, these systems inevitably interact with humans or their surroundings. Safety and reliable performance are two critical aspects, which autonomous systems must meet. These goals can only be achieved by a tight interconnection between several technologies. This includes, among others, the dynamic control of systems and the ability of these systems to learn from interactions. This thesis aims to interlink these two concepts more closely. In particular, we propose to equip model-based controllers with a measure and awareness of the system surroundings. This goal is tackled from three perspectives: First, model predictive control schemes for direct force control are proposed. This tailored model predictive control formulation regulates the interaction forces between a cobot and its environment. Since these forces quantify the interaction of the robotic system with workpieces, other robots, or humans, direct control of contacts is achieved. We hereby utilise the benefits of model predictive control, which allows handling the nonlinearities of robotic systems, includes prior knowledge in terms of models, and explicitly achieves constraint satisfaction. We show how constraints on the interaction forces allow for improved performance and increased safety. They allow guaranteeing tight contact without exceeding safety-critical force limitations. Consequently, the developed model predictive force controller enable to extend the usage of cobots to applications that might have been considered too delicate or dangerous until now. Second, this thesis examines data- and learning-supported predictive force controllers. We equip the developed model predictive force controllers with machine learning models of the interaction. The contact forces are learned via Gaussian processes, which perform well despite noise in sensor data and allow for incorporating prior knowledge about the interaction. Inspired by force control, we develop a generalised concept. We present how Gaussian processes can be included as system output models in predictive controllers, while we provide closed-loop guarantees. The proposed concepts of output learning for predictive controllers constitute a promising step towards the integration of control engineering and computer science. In particular, we achieve increased autonomy of robotic systems that interact with diverse environments via the proposed algorithms. We enable the transfer of predesigned robot control setups to a large variety of applications and environments with the developed learning-supported force controller. Third, this thesis introduces Gaussian processes reference generators for predictive controllers to address the learning from interactions. Since model predictive controllers rely on predictions of future evolutions, the knowledge of the desired motions over the prediction horizon is required. In many cases, these references are not known a priori but encoded by data and obtained via communication and interaction with other systems. Gaussian processes can be used to model, filter, and predict these signals such that the model predictive controller can proactively and foresightedly steer the system to follow the reference. This thesis proposes constrained learning algorithms for the data-based reference generation by Gaussian processes. The proposed constraints in the training phase of Gaussian processes encode trackability conditions. We guarantee the recursive feasibility of learning-supported model predictive control despite uncertainties. The developed reference learning scheme for predictive control tackles the integration of machine learning and control by including systems theory into the data-based training of Gaussian processes. Hence, we achieve the incorporation of extensive prior knowledge in machine learning to obtain reliable, realistic, and safe references and controllers. These three derived concepts for interactive and learning-supported model predictive control are illustrated and evaluated in simulations and experiments. In particular, real-time feasible implementations on lightweight robots are successfully conducted, which underline the respective benefits of the developed approaches and prove the applicability of our theoretical findings to real-world problems. This work shows that model predictive controllers are very well suited to operate systems in safety-critical and delicate tasks if the system’s interaction with the surroundings is taken into account. We show that the awareness of interaction allows systems to learn from the environment and to increase their autonomy while ensuring safety.

Autonome dynamische Systeme wie beispielsweise selbstfahrende Autos, Staubsaugerroboter und intelligente Fertigungsroboter halten Einzug in unser tägliches Leben. Diese Systeme interagieren unweigerlich mit dem Menschen oder seiner Umgebung, wodurch deren Zuverlässigkeit sowie Sicherheit unerlässlich wird. Diese beiden Ziele können nur durch eine enge Verzahnung der eingesetzten Technologien erreicht werden. Schlüsselkomponenten sind dabei die Regelung von Systemen und die Fähigkeit dieser Systeme, aus Interaktionen zu lernen. Ziel der vorliegenden Arbeit ist es zu untersuchen, wie sich diese beiden Konzepte mit Garantien an die Sicherheit verschmelzen lassen. Insbesondere wird in dieser Arbeit aufgezeigt, wie sich modellbasierte Regler mit einer Kenntnis beziehungsweise einem Bewusstsein für ihre Systemumgebung ausstatten lassen. Die genannten Herausforderungen werden in drei Teilen adressiert: Zunächst werden modellprädiktive Reglerformulierungen für die direkte Kraftregelung vorgeschlagen. Eine neuartige modellbasierte Formulierung erlaubt es, Interaktionskräfte zwischen Robotern und ihrer Umgebung explizit zu berücksichtigen. Da diese Kräfte die Interaktion des Robotersystems mit Werkstücken, anderen Robotern oder Menschen beschreiben, ermöglicht dies eine direkte und gezielte Regelung ihrer Kontaktkräfte. Hierbei werden die Schlüsselvorteile der modellprädiktiven Regelung genutzt, die es erlauben, Nichtlinearitäten von Systemen zu berücksichtigen, Vorwissen in Form von Modellen einfließen zu lassen und Beschränkungen einzuhalten. Es wird gezeigt, wie eine Beschränkung der Interaktionskräfte eine verbesserte Regelperformance und eine erhöhte Sicherheit ermöglicht. So kann mit dem Ansatz ein gewünschter Kontakt garantiert werden, ohne sicherheitskritische Kraftbegrenzungen zu überschreiten. Dieser modellprädiktive Kraftregler ermöglicht den Einsatz von Robotern in Anwendungen, die bisher als zu kritisch oder gefährlich galten. Zweitens werden in dieser Arbeit daten- und lerngestützte prädiktive Kraftregler untersucht und entwickelt. Hierzu wird der vorgeschlagene modellprädiktive Kraftregler um maschinelle Lernmodelle, welche die Interaktion beschreiben, erweitert. Die Kontaktkräfte werden dabei über Gaußsche Prozesse gelernt, welche Messrauschen explizit berücksichtigen und es erlauben, Vorwissen direkt einzubeziehen. Diese praktische Fragestellung wird abstrahiert und es wird aufgezeigt, wie sich Gaußsche Prozesse zum Erlernen eines Ausgangsmodells verwenden und in prädiktive Regler integrieren lassen, ohne Garantien für den geschlossenen Regelkreis zu verlieren. Die vorgeschlagenen Konzepte zum Lernen des Ausgangsmodells für prädiktive Regler stellen einen vielversprechenden ersten Schritt zur Verschmelzung von Regelungs- und Informationstechnik dar. Insbesondere erlauben die vorgeschlagenen Verfahren eine erhöhte Autonomie von Robotersystemen, die in wechselnden Umgebungen interagieren. Drittens wird in dieser Arbeit aufgezeigt, wie sich Referenzen für prädiktive Regler mittels Gaußscher Prozesse generieren lassen, die es ermöglichen, aus Interaktionen zu lernen. Da modellprädiktive Regler auf der Vorhersage zukünftiger Entwicklungen beruhen, ist es notwendig und vorteilhaft, dass die Referenzbewegung über den Prädiktionshorizont weitgehend bekannt ist. In vielen Fällen sind diese Referenzen jedoch a priori unbekannt beziehungsweise nur in Form von Messdaten verfügbar. Gaußsche Prozesse erlauben es, diese Signale zu modellieren, zu filtern und vorherzusagen, sodass der prädiktive Regler das System proaktiv und vorausschauend steuern kann, um dem Referenzsignal zu folgen. In dieser Arbeit werden neue Verfahren zum datenbasierten Lernen von Referenzen mittels Gaußscher Prozesse entwickelt. Die Verfolgbarkeit der gelernten Referenz durch das System wird hierbei durch geeignete Beschränkungen während des Lernens realisiert. Diese Beschränkungen garantieren die wiederholte Lösbarkeit der lerngestützten modellprädiktiven Regelung trotz Unsicherheiten. Das entwickelte Verfahren kombiniert maschinelles Lernen mit grundlegenden Konzepten der Regelungstechnik. Es bettet systemtheoretische Eigenschaften in das datengestützte Training Gaußscher Prozesse ein. Dies ermöglicht die Integration von Vorwissen in maschinelle Lernalgorithmen, um zuverlässige und realistische Referenzen für eine sichere und flexible Regelung zu erhalten. Die entwickelten Konzepte zur interaktiven und lerngestützten modellprädiktiven Regelung werden in Simulationen und in realen Experimenten veranschaulicht. Echtzeitfähige Umsetzungen für Leichtbauroboter unterstreichen den Nutzen der entwickelten Ansätze und untermauern die Anwendbarkeit der theoretischen Ergebnisse. Diese Arbeit zeigt auf, dass modellprädiktive Regler sehr gut für die Regelung sicherheitskritischer und schwieriger Aufgaben geeignet sind, wenn die Interaktion des geregelten Systems mit der Umgebung berücksichtigt wird. Die explizite Betrachtung von Interaktionen des Systems ermöglicht es, von der Umgebung zu lernen und hierdurch die Autonomie des Systems zu erhöhen, ohne die Sicherheit zu gefährden.