Combinatorial multicriteria acceptability analysis for IT-supported group decisions : detailed analysis, enhanced metric and efficient consensus-building

Abstract

Diese Dissertation stellt ein neues algorithmisches Framework für kooperative, mutlikriterielle Gruppenentscheidungen vor. Bei dieser Art von Entscheidung haben alle Beteiligten ein gemeinsames Ziel, und sie arbeiten zusammen, indem sie ihr Wissen und ihre Expertise einbringen, um die bestmögliche Entscheidung zu erreichen. Beispiele für kooperative Gruppenentscheidungen sind ein interdisziplinäres Ärzteteam bei einem Tumorboard, das die wirksamste Behandlung für einen Krebspatienten beschließt, oder ein Ingenieurteam, das eine neue Maschine für eine Produktionsstätte aussucht. Bewertungskonflikte werden hier durch Informationsaustausch gelöst. Dieser Austausch führt dazu, dass die Entscheidung in der Gruppe besser ist, als die, die jedes einzelne Mitglied der Gruppe allein hätte treffen können. Im Gegensatz zu kooperativen Gruppenentscheidungen haben die Beteiligten an einer konkurrierenden Entscheidung unterschiedliche (und oft gegensätzliche) Ziele. In diesem Fall sind Verhandlungen erforderlich, um Bewertungskonflikte zu lösen. Konfliktauflösungen sind nur durch Kompromisse möglich, mit denen aber keiner der Beteiligten wirklich zufrieden ist. Beide Arten von Gruppenentscheidungen sind in Organisationen verbreitet und erzeugen zwangsläufig Bewertungskonflikte. Der Unterschied zwischen den beiden Gruppenentscheidungen liegt in der Art der Auflösung von Bewertungskonflikten. Herkömmliche Ansätze zur multikriteriellen Gruppenentscheidung eignen sich für kooperative Gruppen aus mehreren Gründen nicht. Erstens neigen die Konsensmetriken zu übertriebenem Optimistismus, sodass sie einen Konsens anzeigen, bevor er überhaupt erreicht wurde. Zweitens schlagen viele Methoden Kompromisse vor, anstatt Einigkeit zu fördern. Drittens können diese Ansätze sogar daran scheitern, einen Konsens überhaupt herbeizuführen. Darum benötigen kooperative Gruppen einen geeigneteren Ansatz zur Konsensbildung, der diese Mängel vermeidet. Diese Forschungsarbeit führt ein neues algorithmisches Framework, die Combinatorial Multicriteria Acceptability Analysis (CMAA), ein, das die Bedürfnisse kooperativer Gruppen bedient. Statt der üblichen Reduktion von Bewertungskonflikten auf einzelne Kompromisswerte begreift CMAA einen Bewertungskonflikt als Indikator für entscheidungskritische, aber verborgene Informationen. Das ist eine wesentliche Veränderung gegenüber bisherigen multikriteriellen Gruppenentscheidungen. Werden nun alle verschiedenen Kombinationen aus allen Bewertungseingaben betrachtet, entsteht ein kombinatorischer Suchraum, für den neue Analyse- und Konsensbildungsalgorithmen entwickelt werden können. CMAA führt eine innovative, auf Entropie basierende Konsensmetrik ein. Diese Metrik kann sowohl den aktuellen Konsens ermitteln als auch den, der erreicht wird, wenn die Gruppe eine bestimmte Bewertung zur Konfliktauflösung wählen würde. Dies ermöglicht eine ‘greedy’ Heuristik, die den Bewertungskonflikt identifizieren kann, der das größte Potenzial zur Verbesserung des Konsens ermöglichen würde. Diese neue Metrik ist einzigartig, weil sie erkennt, ob noch ein Bewertungskonflikt existiert, dessen Auflösung das Entscheidungsergebnis ändern würde. Simulationsexperimente bestätigen die Fähigkeit von CMAA, einen Konsens effizienter und vollständiger als bisherige Metriken zu erreichen. Dies trifft sogar für Entscheidungen zu, bei denen Bewertungskonflikte mit Kompromissen aufgelöst wurden. In vielen Fällen kann ein großer Teil des kombinatorischen Zustandsraums für die Entwicklung eines Konsens sogar ignoriert werden. In diesen Fällen reicht die Auflösung nur eines Bruchteils der ursprünglichen Bewertungskonflikte aus, um einen Konsens zu erreichen. Der kombinatorische Zustandsraum wächst exponentiell mit der Größe der Entscheidung und wird schnell unbeherrschbar. Allerdings kann die Monte-Carlo-Simulation verwendet werden. Sie liefert eine ausreichende Genauigkeit in weniger als einer Sekunde auf einem Notebook-Rechner, sodass sie in Live-Situationen eingesetzt werden kann. Zwei Fallstudien wurden durchgeführt: eine Gruppenentscheidung in einem Biotechnologie-Startup und eine andere in einem Softwareunternehmen. Bei beiden wurden CMAA als digitaler Assistent für einen menschlichen Moderator eingesetzt. Alle Annahmen, die der Methode zugrunde liegen, konnten validiert werden, insbesondere in Bezug auf die Vertrauenswürdigkeit der Methode in den Augen der Entscheidungsträger und ihre Zufriedenheit mit den Ergebnissen. Basierend auf dem neuen kombinatorischen Modell bietet CMAA verbesserte Algorithmen für die drei Basiskomponenten von multikritieriellen Gruppenentscheidungen: • Analysevariablen, • Konsensmetrik und • Konsensbildungsprozess. Die neuen Analysevariablen bieten eine große Menge an Details. Sie zeigen, wie die Leistung jeder Alternative von den einzelnen Bewertungen abhängt und berücksichtigen dabei sämtliche mögliche Kombinationen der anderen Eingaben. Die neue Konsensmetrik setzt einen höheren Standard für Konsens: Die Entscheidenden wissen am Ende nicht nur, welche Alternative sie gemeinsam bevorzugen, sondern auch, dass keine weitere Auflösung eines Bewertungskonflikts dieses Ergebnis ändern kann. Der Konsensbildungsprozess basiert auf der Kenntnis des erreichbaren Konsensniveaus für jede Konfliktauflösung, auf die die Entscheidenden sich im nächsten Schritt einigen könnten. Zusammen ermöglichen die drei neuen Basiskomponenten des CMAA Frameworks eine effiziente Konsensbildung für kooperative Gruppen, die - bis auf kleine Anpassungen an das jeweilige Datenformat - mit jeder Entscheidungsmethode zusammenarbeiten kann.

This dissertation introduces a new algorithmic framework for cooperative multi-criteria group decision-making. In this class of decisions, group members are united by a common objective, working collaboratively to share their knowledge and expertise in order to arrive at the optimal decision. Examples include a multidisciplinary team of physicians on a tumour board deciding on the most effective treatment for a cancer patient or an engineering team deciding on the selection of a new machine for a production facility. Conflicting evaluations are resolved by sharing information, leading to a decision that is superior to the one that any decision-maker could have made on their own. In contrast to cooperative decisions, group members in competitive decisions have different (and often conflicting) goals. Negotiation is needed to resolve conflicts, resulting in compromises that no party is completely happy with. Both types of decisions are prevalent in organisations, and both inevitably create conflicting evaluations. The distinguishing factor between the two types lies in the approaches taken to address conflicting evaluations. Conventional multi-criteria group decision approaches prove inadequate for cooperative decisions for several reasons. First, their consensus metrics tend to be overly optimistic, and they signal consensus before it has been reached. Second, many methods propose compromises rather than encouraging agreement. Last, these approaches may sometimes fail to deliver consensus altogether. Therefore, cooperative decisions require a more suitable consensus-building approach that avoids these shortcomings. The research described in this thesis addresses the needs of cooperative multi-criteria group decision-making by introducing a novel algorithmic framework called Combinatorial Multicriteria Acceptability Analysis (CMAA). A key attribute of CMAA is its interpretation of conflicting evaluations as potential indicators of decision-critical unshared information, rather than the traditional practice of aggregating conflicting evaluations to single compromise values. This approach results in a search space consisting of all possible combinations of decision-maker inputs, for which new analysis and consensus-building algorithms have to be developed. CMAA introduces an innovative, entropy-based output consensus metric that measures both the current degree of consensus and also the next-step consensus that would result from each available conflict resolution. This makes a greedy heuristic possible that determines the clarification task with the greatest potential for improving consensus. The new metric has the unique property of being able to detect that there is no unshared information left in the group that could change the algorithm’s recommendation. Simulation experiments validate CMAA’s ability to achieve consensus more efficiently and more completely than established input and output metrics. This turns out to be true even for decisions that contain compromise resolutions. In many cases, a vast proportion of the combinatorial space can be ignored during consensus-building. In these cases, the path to consensus only needs to visit a fraction of the evaluation conflicts contained in the initial data supplied by the decision-makers.The combinatorial state space that is generated grows exponentially with the size of the decision and quickly becomes intractable. However, Monte Carlo simulation can be used to perform the analysis to a sufficient degree of accuracy in less than a second on a notebook computer, enabling its application in real-time decision-making scenarios. Two case studies were performed. Group decisions in a biotechnology startup and in a software company were carried out with CMAA acting as a digital assistant for a human facilitator. All assumptions underlying the method could be validated, including the trustworthiness of the method in the eyes of the decision-makers and their satisfaction with the results. Based on its new combinatorial model, CMAA provides improved algorithms for the three fundamental components of multi-criteria group decision-making: • the analysis variables, • the consensus metric, and • the consensus-building process. The new analysis variables offer an unmatched level of detail, revealing the performance dependencies for each alternative on individual input evaluations while considering all possible configurations of inputs. The new consensus metric establishes a higher standard for consensus: not only do the decision-makers agree on the most-preferred alternative recommended by the algorithm, but this recommendation cannot be affected by any additional conflict resolutions. The consensus-building process is based on knowledge of the attainable next-step consensus degree for each possible decision by the decision-makers. Together, the three new fundamental components enable efficient consensus-building processes for cooperative decisions. The framework works together with any decision method, only requiring adaptation to the specific data format.