Automatisches Erzeugen von Testfällen für Web-APIs mit Hilfe großer Sprachmodelle

Abstract

Diese Masterarbeit zielt auf die Entwicklung eines automatisierten Verfahrens ab, das mithilfe bereits existierender großer Sprachmodelle (LLMs) Testfälle für Web-APIs generiert. Zu diesem Zweck wurde ein entsprechendes Konzept entwickelt und auf einer geeigneten Plattform implementiert. Im Rahmen der Entwicklung dieses Verfahrens wurde untersucht, inwieweit sich bestehende LLMs nutzen lassen, um Web-APIs zu testen, und es wurde dargelegt, wie LLM-basierte Verfahren zur Generierung von Testfällen in typische agile Softwareentwicklungsprozesse integriert werden können. Die vorgestellte Lösung wird zudem auch mit den Arbeiten von [Xia+23] und [Kis22] verglichen. Für die Entwicklung eines geeigneten Prompts, mit dem das LLM die notwendigen Funktionen generieren kann, wurde ein Optimierungsverfahren konzipiert. Die Ergebnisse der Optimierung wurden systematisch analysiert und verglichen, um die Prompts so anzupassen, dass das LLM möglichst zuverlässig korrekte Funktionen in Form von Generatoren zur Erzeugung von Testfällen generiert. Diese Generatoren wurden anschließend mit dem durch Swagger Codegen erzeugten API-Client kombiniert, um das eigentliche Test-Tool zu konstruieren. Die Ergebnisse zeigen grundsätzlich, dass LLMs zur Erzeugung von Testfällen verwendet werden können. Allerdings waren die dabei erzeugten Generatoren häufig fehlerhaft, was möglicherweise auf die Verwendung ungeeigneter Prompts zurückzuführen ist. Dennoch konnte ein Test-Tool erstellt werden, das in der Lage war, Anfragen an das System unter Test (SUT) zu senden und die Antworten entgegenzunehmen. Es fehlten jedoch wichtige Prozesse zur automatischen Dokumentation der Ergebnisse und zur Überprüfung auf mögliche Verstöße gegen die in der OpenAPI Specification (OAS) definierten Operationen.