KI als virtuelle Expertenrunde stellt eine besondere Form der strukturierten Zusammenarbeit mit grossen Sprachmodellen dar. Anstatt eine Fragestellung lediglich durch eine einzelne KI-Antwort bearbeiten zu lassen, werden unterschiedliche fachliche Perspektiven definiert, miteinander verglichen und einer kritischen Diskussion unterzogen. Das Ziel besteht darin, komplexe Sachverhalte differenzierter zu betrachten, alternative Interpretationen zu berücksichtigen und mögliche Schwachstellen einer Argumentation zu erkennen.
Für Ärztinnen und Ärzte liegt der Vergleich mit einem interdisziplinären Konsilium nahe. Während dort jedoch tatsächlich voneinander unterscheidbare Fachpersonen mit individuellen Erfahrungen und unterschiedlichen medizinischen Kompetenzen zusammenarbeiten, simuliert ein Sprachmodell lediglich entsprechende Perspektiven. Diese grundlegende Unterscheidung ist entscheidend, um die Möglichkeiten virtueller Expertenrunden sinnvoll zu nutzen und gleichzeitig deren Grenzen zu verstehen.
Die technologischen Grundlagen und die unterschiedlichen Anwendungsmöglichkeiten künstlicher Intelligenz werden im einleitenden Beitrag unserer Artikelserie Was ist künstliche Intelligenz? erläutert.
Inhaltsverzeichnis anzeigen
- Was ist eine virtuelle KI-Expertenrunde?
- Das interdisziplinäre Konsilium als Vorbild
- Multi-Persona Prompting und Multi-Agent Debate
- Unterschiedliche Formen der virtuellen Zusammenarbeit
- Die Auswahl geeigneter Expertenrollen
- Aufbau und Ablauf einer virtuellen Expertenrunde
- Warum kontroverse Diskussionen wichtig sind
- Medizinisches Praxisbeispiel – chronische Belastungsdyspnoe
- Masterprompt für eine virtuelle medizinische Expertenrunde
- Wissenschaftliche Untersuchungen
- Grenzen und potenzielle Fehlerquellen
- Weitere Anwendungsmöglichkeiten in der Medizin
- Bedeutung für die Schweizer Arztpraxis
- Fazit
- Weiterführende Beiträge
- Literatur
Was ist eine virtuelle KI-Expertenrunde?
Unter einer virtuellen KI-Expertenrunde wird in diesem Beitrag ein strukturierter Arbeitsprozess verstanden, bei dem eine oder mehrere KI-Anwendungen eine Fragestellung aus unterschiedlichen, zuvor definierten Perspektiven bearbeiten. Die einzelnen Perspektiven können medizinischen Fachdisziplinen entsprechen, aber auch wissenschaftliche, methodische, ethische oder organisatorische Aspekte berücksichtigen.
So könnte eine medizinische Fragestellung beispielsweise aus hausärztlicher, internistischer, radiologischer und pharmakologischer Sicht betrachtet werden. Zusätzlich lässt sich eine kritische wissenschaftliche Perspektive integrieren, welche die vorgebrachten Argumente hinsichtlich ihrer Evidenz und Nachvollziehbarkeit hinterfragt.
Im Unterschied zu einer einfachen KI-Anfrage steht somit nicht ausschliesslich die Beantwortung einer einzelnen Frage im Vordergrund. Vielmehr sollen unterschiedliche Interpretationen entwickelt, Gemeinsamkeiten und Widersprüche identifiziert sowie offene Fragen systematisch dargestellt werden.
Der Begriff der virtuellen KI-Expertenrunde wird hier als didaktische Bezeichnung für unterschiedliche Formen der strukturierten Zusammenarbeit mit Sprachmodellen verwendet. Er bezeichnet kein einheitlich definiertes oder wissenschaftlich validiertes klinisches Verfahren.
Merksatz: Eine virtuelle Expertenrunde erweitert die Betrachtungsperspektiven einer Fragestellung. Sie erweitert jedoch nicht automatisch die tatsächliche fachliche Kompetenz des verwendeten Sprachmodells.
Das interdisziplinäre Konsilium als Vorbild
Die interdisziplinäre Zusammenarbeit ist ein zentraler Bestandteil der modernen Medizin. Insbesondere komplexe diagnostische und therapeutische Fragestellungen lassen sich häufig nicht ausreichend aus der Perspektive einer einzelnen Fachdisziplin beurteilen.
Ein etabliertes Beispiel hierfür ist das interdisziplinäre Tumorboard. Dort werden klinische Informationen, radiologische Befunde, histopathologische Untersuchungsergebnisse und therapeutische Möglichkeiten gemeinsam diskutiert.
Jede beteiligte Fachperson bringt dabei ihre eigene Ausbildung, klinische Erfahrung und fachliche Verantwortung ein. Darüber hinaus können die Beteiligten unmittelbar auf neue Informationen reagieren, Rückfragen stellen und unterschiedliche Interpretationen begründen.
Die Analogie zur künstlichen Intelligenz
Die grundsätzliche Struktur eines solchen Konsiliums lässt sich auf die Kommunikation mit grossen Sprachmodellen übertragen. Hierfür werden unterschiedliche Rollen definiert, deren Beiträge anschliessend zusammengeführt und diskutiert werden.
Allerdings ist die Unabhängigkeit dieser Rollen bei einem einzelnen Sprachmodell lediglich simuliert. Selbst überzeugend formulierte Beiträge eines virtuellen Kardiologen oder Radiologen stellen daher keine fachärztlichen Stellungnahmen dar.
Während die Beteiligten eines realen Konsiliums über eigenständige fachliche Kompetenzen und individuelle klinische Erfahrungen verfügen, entstehen die Beiträge einer virtuellen Expertenrunde innerhalb eines einzelnen Sprachmodells auf derselben trainierten Modellgrundlage.
Schematische Gegenüberstellung eines realen interdisziplinären Konsiliums und einer durch ein einzelnes Sprachmodell simulierten Expertenrunde. Die Darstellung dient der didaktischen Veranschaulichung und beinhaltet keine Aussage zur vergleichenden diagnostischen Leistungsfähigkeit.
Die Analogie zum interdisziplinären Konsilium betrifft somit die Organisation unterschiedlicher Betrachtungsperspektiven, nicht jedoch die fachliche Qualifikation, die diagnostische Zuverlässigkeit oder die medizinische Verantwortung der Beteiligten.
Multi-Persona Prompting und Multi-Agent Debate
Für das Verständnis virtueller Expertenrunden ist es wichtig, zwischen unterschiedlichen technischen und methodischen Konzepten zu unterscheiden. Obwohl die resultierenden Antworten ähnlich aussehen können, unterscheiden sich die zugrunde liegenden Arbeitsprozesse erheblich.
Die folgenden Konzepte knüpfen an die grundlegenden Funktionsprinzipien an, die im Beitrag Was sind grosse Sprachmodelle (LLM)? beschrieben werden.
Role Prompting – die Zuweisung einer einzelnen Rolle
Beim Role Prompting wird einem Sprachmodell eine bestimmte Rolle oder fachliche Perspektive zugewiesen.
Beispiel: «Betrachten Sie die folgende medizinische Fragestellung aus radiologischer Perspektive und erläutern Sie insbesondere die Möglichkeiten und Grenzen der bildgebenden Diagnostik.»
Durch diese Anweisung wird die Ausrichtung der Antwort beeinflusst. Das Sprachmodell kann beispielsweise radiologische Gesichtspunkte stärker berücksichtigen und eine entsprechende Fachterminologie verwenden.
Die Rollenzuweisung verändert jedoch nicht unmittelbar die trainierten Modellparameter. Ebenso wenig verleiht sie dem Sprachmodell eine fachärztliche Qualifikation.
Ob die resultierende Antwort tatsächlich fachlich genauer oder vollständiger ist als eine Antwort ohne entsprechende Rollenzuweisung, muss unabhängig beurteilt werden.
Die Zuweisung einer Rolle ist eine von mehreren Techniken, die im Beitrag Prompt Engineering – richtig fragen ausführlicher vorgestellt werden.
Multi-Persona Prompting – mehrere Rollen innerhalb eines Sprachmodells
Beim Multi-Persona Prompting werden mehrere unterschiedliche Rollen innerhalb eines Sprachmodells definiert. Dieses kann die jeweiligen Perspektiven nacheinander darstellen und anschliessend eine Diskussion zwischen ihnen simulieren.
Ein solches Vorgehen lässt sich grundsätzlich innerhalb einer gewöhnlichen Chat-Interaktion realisieren. Hierfür sind weder zusätzliche technische Schnittstellen noch mehrere unterschiedliche KI-Anbieter erforderlich.
Die resultierenden Beiträge beruhen allerdings auf demselben zugrunde liegenden Sprachmodell. Deshalb können gemeinsame Wissenslücken, Verzerrungen und fehlerhafte Annahmen in sämtlichen simulierten Rollen auftreten.
Werden mehrere Perspektiven innerhalb einer einzigen Antwort erzeugt, handelt es sich zudem nicht um voneinander getrennte Modellaufrufe. Die sprachlich erkennbare Abgrenzung der Rollen darf daher nicht mit einer unabhängigen Informationsverarbeitung gleichgesetzt werden.
Multi-Agent Systems – Zusammenarbeit mehrerer KI-Agenten
Ein Multi-Agent-System besteht dagegen aus mehreren technisch unterscheidbaren KI-Agenten, die jeweils eigene Aufgaben oder Arbeitskontexte erhalten können.
Diese Agenten können auf demselben Sprachmodell oder auf unterschiedlichen Modellen basieren. Abhängig von der technischen Umsetzung lassen sich ihnen zusätzlich verschiedene Werkzeuge, Informationsquellen und Funktionen zuweisen.
Beispielsweise könnte ein Agent für die Recherche wissenschaftlicher Informationen zuständig sein, ein weiterer Agent für deren strukturierte Auswertung und ein dritter Agent für die Überprüfung der daraus abgeleiteten Schlussfolgerungen.
Die tatsächlichen Fähigkeiten der Agenten ergeben sich dabei nicht allein aus ihrer Rollenbeschreibung, sondern aus der technischen Implementierung, den verwendeten Sprachmodellen, den verfügbaren Werkzeugen und den eingeräumten Zugriffsrechten.
Grundlegende Unterschiede zwischen der gewöhnlichen Chat-Interaktion und werkzeuggestützten KI-Anwendungen werden im Beitrag Wie funktioniert ChatGPT? erläutert.
Multi-Agent Debate – die Diskussion zwischen KI-Agenten
Beim Multi-Agent Debate erstellen mehrere Sprachmodellinstanzen zunächst eigene Antworten. Anschliessend werden die Beiträge den jeweils anderen Agenten zur kritischen Beurteilung und Überarbeitung zur Verfügung gestellt.
Du und Mitarbeiter untersuchten dieses Verfahren anhand verschiedener Aufgaben zur Faktenkenntnis und Problemlösung. Dabei konnten unter den untersuchten experimentellen Bedingungen Leistungsverbesserungen gegenüber ausgewählten Einzelmodellverfahren beobachtet werden [1].
Die technische Trennung mehrerer Instanzen bedeutet allerdings nicht zwangsläufig, dass ihre Fehler statistisch unabhängig voneinander sind.
Insbesondere bei der Verwendung desselben Sprachmodells können unterschiedliche Agenten ähnliche fehlerhafte Annahmen oder Wissenslücken aufweisen. Darüber hinaus besteht bei der anschliessenden Diskussion die Möglichkeit, dass ein zunächst korrekt argumentierender Agent eine fehlerhafte Antwort eines anderen Agenten übernimmt.
Ein Multi-Agent Debate ist folglich nicht allein aufgrund der Anzahl beteiligter Modellinstanzen als zuverlässiger einzustufen.
Wichtige Unterscheidung: Die Simulation mehrerer Expertenrollen innerhalb einer einzelnen Chat-Antwort ist technisch nicht mit einem Multi-Agent-System oder einem Multi-Agent Debate gleichzusetzen. Wissenschaftliche Untersuchungsergebnisse zu technisch implementierten Mehragentensystemen lassen sich deshalb nicht ohne Weiteres auf gewöhnliche Rollensimulationen übertragen.
Unterschiedliche Formen der virtuellen Zusammenarbeit
Für die praktische Anwendung lassen sich vier grundlegende Organisationsformen unterscheiden. Die Auswahl sollte sich dabei an der jeweiligen Fragestellung und nicht allein an der technischen Komplexität des Verfahrens orientieren.
| Verfahren | Funktionsprinzip | Wesentliche Einschränkung |
|---|---|---|
| Role Prompting | Ein Sprachmodell bearbeitet die Fragestellung aus einer definierten Perspektive. | Keine zusätzliche unabhängige Fachkompetenz. |
| Multi-Persona Prompting | Ein Sprachmodell simuliert mehrere fachliche Rollen und deren Diskussion. | Gemeinsame Modellgrundlage und keine unabhängigen Experten. |
| Multi-Agent Debate | Mehrere Modellinstanzen entwickeln Antworten und tauschen diese zur Diskussion aus. | Abhängigkeit von Modellqualität, Diskussionsstruktur und möglicherweise korrelierten Fehlern. |
| Modellübergreifender Vergleich | Dieselbe Fragestellung wird verschiedenen Sprachmodellen vorgelegt. | Überlappende Trainingsdaten und ähnliche systematische Fehler bleiben möglich. |
Redaktionelle Gegenüberstellung unterschiedlicher Formen der strukturierten Zusammenarbeit mit Sprachmodellen. Die Verfahren schliessen sich nicht gegenseitig aus und können abhängig von ihrer technischen Umsetzung miteinander kombiniert werden.
Der Vergleich unterschiedlicher KI-Anwendungen
Auch ohne ein technisch eingerichtetes Multi-Agent-System können verschiedene KI-Anwendungen für die Bearbeitung derselben Fragestellung verwendet werden.
Beispielsweise lässt sich ein identischer Arbeitsauftrag zunächst mit ChatGPT, anschliessend mit Claude und zusätzlich mit Gemini bearbeiten. Die Ergebnisse können danach hinsichtlich ihrer Argumentation, fachlichen Schwerpunkte, Quellen und verbleibenden Unsicherheiten verglichen werden.
Für einen möglichst aussagekräftigen Vergleich sollten die Ausgangsinformationen und Arbeitsaufträge zunächst identisch sein. Ausserdem empfiehlt es sich, den verschiedenen Anwendungen die vorherigen Antworten erst nach Abschluss ihrer jeweiligen Erstbeurteilung zur Verfügung zu stellen.
Dadurch lässt sich zumindest eine unmittelbare Beeinflussung der Erstbeurteilungen durch bereits vorliegende Antworten vermeiden.
Bei der Interpretation solcher Vergleiche ist allerdings zu berücksichtigen, dass sich die verwendeten Anwendungen nicht nur hinsichtlich ihrer Sprachmodelle unterscheiden können. Auch verfügbare Recherchefunktionen, technische Einstellungen, Modellversionen, gespeicherte Gesprächsinhalte und zusätzliche Werkzeuge können das Ergebnis beeinflussen.
Ein solcher praxisorientierter Vergleich ist deshalb nicht mit einem kontrollierten wissenschaftlichen Leistungsvergleich gleichzusetzen.
Allerdings ist auch die Übereinstimmung mehrerer unterschiedlicher Sprachmodelle kein unabhängiger wissenschaftlicher Nachweis. Entscheidend bleibt, ob die erzeugten Aussagen durch nachvollziehbare und geeignete Quellen gestützt werden.
Weitere Informationen zur Überprüfung wissenschaftlicher Aussagen und Literaturangaben finden Sie im Beitrag KI und medizinische Literaturrecherche.
Datenschutzhinweis: Bei der Verwendung mehrerer KI-Anwendungen muss die Zulässigkeit der Datenverarbeitung für jedes beteiligte System gesondert beurteilt werden. Für die Erprobung modellübergreifender Verfahren eignen sich insbesondere fiktive Fallvignetten und öffentlich zugängliche wissenschaftliche Informationen.
Die Auswahl geeigneter Expertenrollen
Eine virtuelle Expertenrunde muss nicht ausschliesslich aus simulierten medizinischen Fachdisziplinen bestehen. Vielmehr können unterschiedliche funktionale Rollen dazu beitragen, verschiedene Aspekte einer Fragestellung systematisch zu berücksichtigen.
Die Auswahl der Perspektiven sollte sich dabei aus dem Ziel des Arbeitsauftrages, der vorhandenen Informationsgrundlage und den tatsächlich relevanten fachlichen Gesichtspunkten ergeben.
| Simulierte Perspektive | Aufgabenstellung |
|---|---|
| Hausärztliche Perspektive | Klinischer Gesamtkontext, Multimorbidität, Versorgungskontinuität und praktische Umsetzbarkeit. |
| Fachmedizinische Perspektive | Fachspezifische diagnostische und therapeutische Gesichtspunkte. |
| Radiologische Perspektive | Fragestellung, bildgebende Verfahren, diagnostische Möglichkeiten und methodische Grenzen. |
| Klinisch-pharmakologische Perspektive | Medikamentenwirkungen, potenzielle Interaktionen und unerwünschte Arzneimittelwirkungen. |
| Wissenschaftlich-methodische Perspektive | Evidenz, Studienqualität, Quellenzugang und Übertragbarkeit wissenschaftlicher Erkenntnisse. |
| Kritische Gegenposition | Hinterfragen von Annahmen, Erkennen von Widersprüchen und Darstellung alternativer Erklärungen. |
| Patientenperspektive | Verständlichkeit, Informationsbedarf und mögliche Belastungen diagnostischer oder therapeutischer Massnahmen. |
| Moderation | Zusammenführung der Beiträge, Darstellung verbleibender Differenzen und Strukturierung offener Fragen. |
Insbesondere die wissenschaftlich-methodische Perspektive und die kritische Gegenposition können eine sinnvolle Ergänzung zu den fachmedizinischen Perspektiven darstellen.
Eine simulierte Patientenperspektive kann ausserdem auf mögliche Kommunikationsprobleme hinweisen. Sie ersetzt jedoch nicht das tatsächliche Gespräch mit der Patientin oder dem Patienten und darf individuelle Präferenzen nicht aus allgemeinen Annahmen ableiten.
Eine möglichst grosse Anzahl simulierter Experten ist dabei nicht zwangsläufig von Vorteil. Entscheidend ist vielmehr, ob die ausgewählten Rollen einen eigenständigen und für die Fragestellung relevanten Betrachtungsaspekt beitragen.
Die Definition konkreter Aufgaben ist wichtiger als die Rollenbezeichnung
Die alleinige Zuweisung einer Expertenrolle beschreibt noch nicht ausreichend, welche Aspekte einer medizinischen Fragestellung tatsächlich berücksichtigt werden sollen.
So ist die Anweisung, eine Fragestellung aus radiologischer Perspektive zu beurteilen, weniger spezifisch als die ergänzende Aufforderung, die Indikation bildgebender Verfahren, deren diagnostische Möglichkeiten, methodische Einschränkungen und potenzielle Risiken getrennt darzustellen.
Ebenso sollte eine wissenschaftlich-methodische Rolle nicht lediglich zur kritischen Prüfung aufgefordert werden. Vielmehr empfiehlt es sich, konkrete Anforderungen an die Quellenprüfung, die Beurteilung der Studienmethodik und die Darstellung wissenschaftlicher Unsicherheiten zu definieren.
Dadurch wird die gewünschte Arbeitsweise nachvollziehbarer und das resultierende Arbeitsergebnis lässt sich anhand zuvor festgelegter Kriterien überprüfen.
Für wiederkehrende medizinische Fragestellungen können solche Rollenbeschreibungen und Kontrollaufgaben in einer übergeordneten Arbeitsanweisung zusammengeführt werden. Die Entwicklung entsprechender Vorlagen wird im Beitrag Vom Prompt zum Masterprompt ausführlich beschrieben.
Praxisempfehlung: Definieren Sie für jede simulierte Expertenrolle eine konkrete Aufgabe. Nicht die Anzahl der Rollen oder die vermeintliche Qualifikation der virtuellen Experten, sondern die Relevanz und Überprüfbarkeit ihrer Beiträge bestimmen den möglichen Nutzen einer virtuellen Expertenrunde.
Aufbau und Ablauf einer virtuellen Expertenrunde
Eine virtuelle Expertenrunde sollte einem nachvollziehbaren Arbeitsablauf folgen. Andernfalls besteht die Gefahr, dass lediglich mehrere unterschiedlich formulierte Antworten entstehen, ohne dass die jeweiligen Argumente tatsächlich miteinander verglichen werden.
ABLAUF EINER VIRTUELLEN EXPERTENRUNDE
Erstbeurteilung
Erstbeurteilung
Erstbeurteilung
Eigenes didaktisches Ablaufschema. Die getrennte Darstellung der Perspektiven innerhalb eines einzelnen Sprachmodells bedeutet keine technische oder statistische Unabhängigkeit. Das Schema beschreibt einen angestrebten Arbeitsablauf und keine technisch garantierte Ausführung sämtlicher Arbeitsschritte.
Die Erstbeurteilung
Zunächst empfiehlt es sich, die unterschiedlichen Perspektiven getrennt darzustellen. Dadurch sollen die jeweiligen Schwerpunkte erkennbar bleiben, bevor die Argumente miteinander verglichen werden.
Innerhalb einer einzigen Chat-Antwort ist diese Trennung lediglich eine strukturierte Darstellung. Technisch getrennte Erstbeurteilungen erfordern dagegen eigenständige Modellaufrufe mit entsprechend getrennten Kontexten.
Bei einem technisch implementierten Mehragentensystem sollten den einzelnen Agenten zunächst dieselben relevanten Ausgangsinformationen zur Verfügung gestellt werden, ohne ihnen bereits die Schlussfolgerungen der jeweils anderen Agenten mitzuteilen.
Auch unter diesen Bedingungen können gemeinsame Wissenslücken und systematische Fehler vorliegen. Die technische Trennung der Erstbeurteilungen ist deshalb nicht mit einer unabhängigen wissenschaftlichen Validierung gleichzusetzen.
Die kritische Diskussion
In einem zweiten Schritt werden Gemeinsamkeiten, Widersprüche und möglicherweise nicht berücksichtigte Aspekte herausgearbeitet. Statt lediglich Zustimmung oder Ablehnung zu formulieren, sollte jede Gegenposition nachvollziehbar begründet werden.
Dabei ist insbesondere darauf zu achten, ob eine Schlussfolgerung tatsächlich auf den bereitgestellten Informationen oder auf zusätzlichen, vom Sprachmodell eingeführten Annahmen beruht.
Ändert eine simulierte Perspektive ihre ursprüngliche Einschätzung, sollte nachvollziehbar dargestellt werden, welche neuen Informationen oder sachlichen Argumente hierfür ausschlaggebend waren.
Die abschliessende Zusammenfassung
Schliesslich werden die wesentlichen Ergebnisse strukturiert zusammengeführt. Hierbei dürfen relevante Meinungsverschiedenheiten und verbleibende Unsicherheiten nicht zugunsten eines scheinbar überzeugenden Gesamtergebnisses ausgeblendet werden.
Die Zusammenfassung sollte zwischen dokumentierten Ausgangsinformationen, wissenschaftlich überprüfbaren Aussagen und modellgenerierten Interpretationen unterscheiden.
Die anschliessende fachliche Kontrolle ist ein eigenständiger Arbeitsschritt. Eine durch das Sprachmodell selbst erstellte Zusammenfassung ersetzt weder die Überprüfung der wissenschaftlichen Quellen noch die ärztliche Beurteilung.
Die systematische Integration solcher Kontrollschritte in wiederkehrende Arbeitsprozesse wird im Beitrag Professioneller Umgang mit KI ausführlicher behandelt.
Warum kontroverse Diskussionen wichtig sind
Das Ziel einer virtuellen Expertenrunde sollte nicht darin bestehen, möglichst schnell eine übereinstimmende Antwort zu erzeugen. Gerade bei komplexen Fragestellungen kann der Erkenntnisgewinn vielmehr darin liegen, unterschiedliche Interpretationen sichtbar zu machen.
Im Beitrag Wenn KI uns recht gibt wurde bereits das Phänomen der Sycophancy behandelt. Dabei handelt es sich um die Tendenz von Sprachmodellen, vorgegebenen Meinungen oder Erwartungen zuzustimmen, selbst wenn diese nicht ausreichend begründet sind.
Ein vergleichbares Problem kann innerhalb einer virtuellen Expertenrunde auftreten. Sobald eine simulierte Perspektive eine überzeugend formulierte Interpretation vorgibt, können nachfolgende Beiträge diese unkritisch übernehmen. Dadurch entsteht möglicherweise der Eindruck eines unabhängigen fachlichen Konsenses.
Auch bei technisch getrennten Modellinstanzen besteht die Möglichkeit, dass sich ursprünglich unterschiedliche Antworten im Verlauf einer Diskussion einander annähern, ohne dass hierdurch zwangsläufig eine Verbesserung der fachlichen Richtigkeit erreicht wird.
Die Funktion einer kritischen Gegenposition
Eine Möglichkeit, eine solche vorschnelle Übereinstimmung zu adressieren, besteht in der ausdrücklichen Zuweisung einer kritischen Rolle. Diese wird gelegentlich auch als Devil’s Advocate bezeichnet.
Ihre Aufgabe ist es, Annahmen und Schlussfolgerungen systematisch zu hinterfragen und insbesondere folgende Aspekte zu untersuchen:
- Welche Ausgangsinformationen wurden möglicherweise falsch interpretiert?
- Welche alternativen Erklärungen wurden nicht berücksichtigt?
- Beruht eine Schlussfolgerung auf einer unbelegten Annahme?
- Gibt es wissenschaftliche Ergebnisse, welche der vorgebrachten Argumentation widersprechen?
- Welche zusätzlichen Informationen wären für eine zuverlässigere Beurteilung erforderlich?
Die kritische Rolle soll jedoch nicht willkürlich widersprechen. Andernfalls könnte sie künstliche Kontroversen erzeugen oder gut belegte Aussagen ohne sachlichen Grund infrage stellen.
Ebenso wenig sollte eine kritische Perspektive dazu führen, dass wissenschaftlich unterschiedlich gut belegte Positionen als gleichwertig dargestellt werden.
Die Aufgabe besteht vielmehr darin, die Qualität der Argumentation zu überprüfen, unbegründete Schlussfolgerungen sichtbar zu machen und die Grenzen der verfügbaren Informationen offenzulegen.
Die Zuweisung einer solchen Rolle ist eine strukturierende Prompt-Technik. Ob sie tatsächlich zur Identifikation relevanter Fehler beiträgt, muss anhand des jeweiligen Ergebnisses überprüft werden.
Konsens ist nicht gleich Wahrheit
Der wesentliche Unterschied zwischen einem Konsens und einer wissenschaftlich überprüften Aussage lässt sich anhand eines einfachen Schemas verdeutlichen.
FÜNF SIMULIERTE EXPERTEN – EINE GEMEINSAME MODELLGRUNDLAGE
Ja
Ja
Ja
Ja
Ja
↓
≠
Fiktives didaktisches Beispiel. Die Übereinstimmung simulierter Rollen stellt keine gemessene Wahrscheinlichkeit für die Richtigkeit einer Aussage dar.
Auch eine vollständig übereinstimmende Beurteilung durch sämtliche simulierten Experten kann auf einer gemeinsamen fehlerhaften Modellannahme beruhen.
Die Anzahl zustimmender Rollen darf deshalb nicht zur Berechnung einer diagnostischen Wahrscheinlichkeit oder zur quantitativen Einschätzung der Zuverlässigkeit einer medizinischen Aussage verwendet werden.
Diese Problematik ist eng mit den grundsätzlichen Einschränkungen grosser Sprachmodelle verbunden, die im Beitrag Grenzen künstlicher Intelligenz ausführlich dargestellt werden.
Merksatz: Wenn fünf durch dasselbe Sprachmodell simulierte Experten einer Aussage zustimmen, liegen nicht fünf unabhängige Bestätigungen dieser Aussage vor.
Medizinisches Praxisbeispiel – chronische Belastungsdyspnoe
Das folgende fiktive Beispiel dient der Veranschaulichung einer virtuellen medizinischen Expertenrunde. Es handelt sich weder um einen realen Patientenfall noch um die Dokumentation eines tatsächlich durchgeführten Modellvergleichs.
Klinische Ausgangssituation
Fiktive Fallvignette:
Ein 68-jähriger Patient berichtet über eine seit mehreren Monaten zunehmende Belastungsdyspnoe und eine verminderte körperliche Leistungsfähigkeit. Anamnestisch bestehen eine arterielle Hypertonie, ein Diabetes mellitus Typ 2 und ein früherer Nikotinkonsum.
Weitere Angaben zur klinischen Untersuchung, zur aktuellen Medikation, zu Laborwerten und zu bereits durchgeführten Untersuchungen liegen zunächst nicht vor.
Aufgrund der begrenzten Ausgangsinformationen lässt sich keine zuverlässige diagnostische Einordnung vornehmen. Gerade deshalb eignet sich das Beispiel für die strukturierte Betrachtung verschiedener medizinischer Perspektiven.
Die nachfolgend dargestellten Überlegungen sollen mögliche Gesichtspunkte einer differenzialdiagnostischen Diskussion veranschaulichen. Sie sind nicht als vollständige Zusammenstellung aller infrage kommenden Ursachen oder als konkrete medizinische Handlungsempfehlung zu verstehen.
Die möglichen Beiträge der einzelnen Perspektiven
Didaktisch konstruierte Darstellung von sechs simulierten medizinischen Betrachtungsperspektiven. Die Beiträge stellen keine tatsächlichen fachärztlichen Stellungnahmen und keine Ergebnisse einer klinischen Modellvalidierung dar.
Zusammenfassung der virtuellen Expertenrunde
Die dargestellten Perspektiven verdeutlichen, dass sich aus den begrenzten Ausgangsinformationen unterschiedliche diagnostische Überlegungen entwickeln lassen. Gleichzeitig besteht die wesentliche Erkenntnis darin, dass die vorliegenden Angaben für eine zuverlässige Priorisierung der Differenzialdiagnosen nicht ausreichen.
Eine geeignete Zusammenfassung sollte deshalb zwischen potenziell relevanten Ursachen, fehlenden klinischen Informationen und offenen diagnostischen Fragen unterscheiden.
Insbesondere folgende Aspekte bleiben in der vorliegenden fiktiven Fallvignette offen:
- Die genauere Charakterisierung der Belastungsdyspnoe und möglicher Begleitsymptome.
- Die Ergebnisse der klinischen Untersuchung und die aktuellen Vitalparameter.
- Die vollständige Medikamentenanamnese.
- Die Ergebnisse bereits durchgeführter Laboruntersuchungen und apparativer Diagnostik.
- Die klinische Relevanz der einzelnen differenzialdiagnostischen Überlegungen.
- Die Indikation und Dringlichkeit weiterer diagnostischer Massnahmen.
Die Beurteilung möglicher Warnzeichen und der Dringlichkeit erfolgt unabhängig davon durch die behandelnde Ärztin beziehungsweise den behandelnden Arzt.
Insbesondere bei Hinweisen auf eine akute Verschlechterung oder eine potenziell zeitkritische Erkrankung darf die Durchführung einer virtuellen Expertenrunde die notwendige ärztliche Abklärung nicht verzögern.
Das Beispiel dient ausschliesslich der Demonstration unterschiedlicher Betrachtungsperspektiven. Es stellt keinen validierten diagnostischen Algorithmus und keine Empfehlung zur konkreten Untersuchungsreihenfolge dar.
Weitere Möglichkeiten und Grenzen der KI-gestützten Bearbeitung medizinischer Fragestellungen finden Sie im Beitrag Künstliche Intelligenz in der Hausarztpraxis.
Didaktischer Kerngedanke: Der Nutzen einer virtuellen Expertenrunde kann darin bestehen, bislang nicht ausreichend berücksichtigte Aspekte sichtbar zu machen. Die Entscheidung, welche Überlegungen klinisch relevant und welche Untersuchungen tatsächlich indiziert sind, bleibt eine ärztliche Aufgabe.
Masterprompt für eine virtuelle medizinische Expertenrunde
Wie im vorherigen Beitrag unserer Artikelserie Vom Prompt zum Masterprompt erläutert, lassen sich wiederkehrende Arbeitsprozesse in Form eines Masterprompts standardisieren. Dieses Prinzip kann auch auf virtuelle Expertenrunden übertragen werden.
Die folgende Musterfassung verbindet unterschiedliche fachliche Perspektiven mit einer kritischen Ergebnisprüfung und einer bewusst zurückhaltenden abschliessenden Zusammenfassung.
MASTERPROMPT – VIRTUELLE MEDIZINISCHE EXPERTENRUNDE
Didaktische Musterfassung – Version 1.1
1. Zielsetzung
Bearbeiten Sie die bereitgestellte medizinische Fragestellung aus mehreren relevanten fachlichen Perspektiven. Ziel ist eine differenzierte, kritisch reflektierte und nachvollziehbare Darstellung möglicher Betrachtungsweisen zur Unterstützung der ärztlichen Beurteilung.
Der Arbeitsauftrag dient der systematischen Aufbereitung medizinischer Überlegungen und nicht der eigenständigen klinischen Entscheidungsfindung.
2. Prüfung der Ausgangsinformationen
Überprüfen Sie zunächst die bereitgestellten Informationen auf Vollständigkeit, mögliche Widersprüche und unbelegte Annahmen. Unterscheiden Sie ausdrücklich zwischen dokumentierten Angaben, Interpretationen und fehlenden Informationen.
Ergänzen Sie keine nicht bereitgestellten klinischen Befunde, Untersuchungsergebnisse oder anamnestischen Angaben.
Interpretieren Sie fehlende Informationen nicht als Hinweise auf unauffällige Befunde oder als Ausschluss bestimmter Erkrankungen.
Verwenden Sie für didaktische Arbeitsaufträge vorzugsweise fiktive Fallvignetten oder tatsächlich anonymisierte Informationen.
Die Verarbeitung realer personenbezogener Gesundheitsdaten setzt eine hierfür geeignete und rechtlich zulässige technische Umgebung voraus. Sofern diese Voraussetzung nicht geklärt ist, weisen Sie auf den bestehenden Prüfbedarf hin. Behaupten Sie nicht, die Datenschutzkonformität des verwendeten Systems selbstständig überprüft zu haben.
3. Auswahl der Perspektiven
Wählen Sie die für die Fragestellung relevanten medizinischen Fachperspektiven aus und begründen Sie deren Auswahl kurz.
Integrieren Sie zusätzlich eine wissenschaftlich-methodische Perspektive und eine kritische Gegenposition. Kennzeichnen Sie sämtliche Beiträge ausdrücklich als simulierte Perspektiven und nicht als tatsächliche fachärztliche Stellungnahmen.
Definieren Sie für jede ausgewählte Perspektive konkrete Aufgaben und fachliche Schwerpunkte. Vermeiden Sie eine unnötige Vervielfältigung inhaltlich weitgehend identischer Rollen.
4. Strukturierte Erstbeurteilung
Stellen Sie jede Perspektive zunächst separat dar und berücksichtigen Sie dabei folgende Aspekte:
- Relevante medizinische Gesichtspunkte.
- Vorliegende Argumente und deren Voraussetzungen.
- Alternative Interpretationsmöglichkeiten.
- Fehlende oder widersprüchliche Informationen.
- Wesentliche Unsicherheiten.
- Mögliche Hinweise auf klinisch besonders relevante oder zeitkritische Aspekte.
Behaupten Sie keine unabhängige Modellbeurteilung, wenn sämtliche Perspektiven innerhalb desselben Sprachmodells erzeugt werden.
Kennzeichnen Sie, ob lediglich unterschiedliche Rollen innerhalb einer Antwort simuliert werden oder ob tatsächlich technisch getrennte Modellaufrufe zur Verfügung stehen.
5. Kritische Diskussion
Vergleichen Sie die Beiträge miteinander. Identifizieren Sie Übereinstimmungen, fachliche Unterschiede, möglicherweise übersehene Aspekte und unbegründete Schlussfolgerungen.
Hinterfragen Sie ebenfalls die ursprünglichen Annahmen des Auftraggebers. Eine Zustimmung zu vorgegebenen Interpretationen darf nicht allein aufgrund ihrer Formulierung oder ihrer vermuteten Erwartung erfolgen.
Vermeiden Sie sowohl einen erzwungenen Konsens als auch unbegründeten Widerspruch.
Wenn eine ursprüngliche Einschätzung nach der Diskussion verändert wird, erläutern Sie die hierfür massgeblichen sachlichen Argumente.
Bewerten Sie die Argumente anhand ihrer fachlichen Plausibilität, der verfügbaren Informationen und der zugänglichen wissenschaftlichen Evidenz, nicht anhand der Anzahl zustimmender Perspektiven.
6. Wissenschaftliche Überprüfung
Sofern eine wissenschaftliche Recherche möglich und für die Fragestellung erforderlich ist, berücksichtigen Sie geeignete Originalpublikationen, aktuelle Leitlinien und anerkannte medizinische Fachquellen.
Kennzeichnen Sie den tatsächlichen Quellenzugang. Unterscheiden Sie nachprüfbare wissenschaftliche Erkenntnisse von modellgenerierten Interpretationen.
Überprüfen Sie bibliografische Angaben und wesentliche wissenschaftliche Aussagen anhand tatsächlich zugänglicher Quellen. Unterscheiden Sie dabei zwischen der Auswertung einer vollständigen Originalpublikation, eines Abstracts und einer Sekundärquelle.
Erfinden Sie keine Literaturangaben, Untersuchungsergebnisse, Leitlinienempfehlungen oder diagnostischen Wahrscheinlichkeiten.
Falls eine erforderliche wissenschaftliche Recherche technisch nicht möglich ist, kennzeichnen Sie die entsprechenden Aussagen als noch nicht überprüft.
Stellen Sie die abschliessende Beurteilung durch dasselbe Sprachmodell nicht als unabhängige wissenschaftliche Validierung dar.
7. Abschliessende Zusammenfassung
Gliedern Sie die abschliessende Darstellung nach folgenden Gesichtspunkten:
- Gesicherte beziehungsweise als Ausgangsinformationen bereitgestellte Angaben.
- Relevante Betrachtungsaspekte.
- Übereinstimmungen der simulierten Perspektiven.
- Verbleibende Widersprüche und alternative Interpretationen.
- Fehlende Informationen.
- Wissenschaftlicher Prüfbedarf.
- Offene Fragen für die ärztliche Beurteilung.
Kennzeichnen Sie ausdrücklich, welche Schlussfolgerungen durch die vorhandenen Informationen nicht ausreichend gestützt werden.
Verwenden Sie die Übereinstimmung der simulierten Experten nicht als quantitatives Mass für diagnostische Sicherheit oder wissenschaftliche Evidenz.
8. Grenzen und Freigabe
Verzichten Sie bei unzureichender Informationsgrundlage auf definitive medizinische Schlussfolgerungen. Stellen Sie die Übereinstimmung mehrerer simulierter Rollen nicht als wissenschaftlichen Nachweis dar.
Weisen Sie auf mögliche zeitkritische Aspekte hin, ohne aus unvollständigen Informationen eine vermeintlich gesicherte klinische Dringlichkeitseinstufung abzuleiten.
Eine virtuelle Expertenrunde darf eine erforderliche ärztliche Beurteilung oder zeitkritische medizinische Massnahme nicht verzögern.
Legen Sie die wesentlichen Einschränkungen des Arbeitsergebnisses offen und kennzeichnen Sie gegebenenfalls nicht durchführbare Prüfschritte.
Kennzeichnen Sie das Ergebnis als KI-generierte Arbeitshilfe zur eigenständigen ärztlichen Prüfung. Die Erstellung einer verbindlichen Diagnose oder Therapieentscheidung ist nicht Bestandteil dieses Arbeitsauftrages.
Verwendung des Masterprompts
Sobald die Arbeitsanweisung im jeweiligen Arbeitskontext verfügbar ist, kann die aktuelle Fragestellung wesentlich kürzer formuliert werden.
Aktueller Arbeitsauftrag: «Betrachten Sie die folgende fiktive klinische Fallvignette entsprechend dem Masterprompt Virtuelle medizinische Expertenrunde.»
Alternativ kann der Masterprompt für medizinische Fachartikel, wissenschaftliche Diskussionen oder die Vorbereitung von Fortbildungen angepasst werden.
Bei wissenschaftlich ausgerichteten Arbeitsaufträgen kann es beispielsweise sinnvoll sein, weniger klinische Fachperspektiven und dafür zusätzliche Rollen zur Beurteilung der Studienmethodik, statistischen Ergebnisse und klinischen Übertragbarkeit wissenschaftlicher Erkenntnisse zu integrieren.
Die entsprechenden Anforderungen an die wissenschaftliche Recherche und Quellenprüfung werden im Beitrag KI und medizinische Literaturrecherche näher erläutert.
Bei der Verwendung solcher Arbeitsanweisungen im medizinischen Alltag sind zudem die datenschutzrechtlichen, organisatorischen und berufsrechtlichen Voraussetzungen zu berücksichtigen. Diese werden im Beitrag KI – Datenschutz und ärztliche Verantwortung ausführlich behandelt.
Die Musterfassung ist als redaktionelle Arbeitshilfe und nicht als wissenschaftlich validiertes klinisches Entscheidungsunterstützungssystem zu verstehen.
Praxisempfehlung: Verwenden Sie virtuelle Expertenrunden vor allem zur Erweiterung und kritischen Überprüfung medizinischer Betrachtungsperspektiven. Beurteilen Sie die Qualität der Ergebnisse anhand der zugrunde liegenden Informationen, der wissenschaftlichen Evidenz und Ihrer eigenen Fachkompetenz – nicht anhand der Überzeugungskraft oder Übereinstimmung der simulierten Experten.
Wissenschaftliche Untersuchungen
Die Zusammenarbeit mehrerer Sprachmodellinstanzen ist Gegenstand wissenschaftlicher Forschung. Dabei wurden sowohl allgemeine Verfahren zur Problemlösung als auch speziell auf medizinische Aufgaben ausgerichtete Konzepte untersucht.
Für die Interpretation der wissenschaftlichen Ergebnisse ist insbesondere die Unterscheidung zwischen experimentellen Benchmark-Untersuchungen und der klinischen Validierung eines Systems unter realen Versorgungsbedingungen von Bedeutung.
Du et al. – Multi-Agent Debate
Du und Mitarbeiter veröffentlichten 2024 auf der International Conference on Machine Learning eine Untersuchung zum Austausch zwischen mehreren Sprachmodellinstanzen [1].
Die einzelnen Instanzen erstellten zunächst eigene Antworten und erhielten anschliessend die Beiträge der anderen Instanzen zur Überarbeitung. Bei verschiedenen experimentellen Aufgaben zur Problemlösung und faktischen Genauigkeit zeigte das Verfahren Vorteile gegenüber ausgewählten Einzelmodellverfahren.
Darüber hinaus verdeutlicht die Arbeit, dass die Ausgestaltung der Diskussion und die Bereitschaft der Agenten zur Übernahme anderer Antworten das Ergebnis beeinflussen können.
Diese Untersuchung liefert eine wichtige konzeptionelle Grundlage für Multi-Agent Debate, stellt jedoch keinen Nachweis einer verbesserten klinischen Versorgung dar.
Tang et al. – MedAgents
Mit MedAgents stellten Tang und Mitarbeiter 2024 ein auf medizinische Fragestellungen ausgerichtetes Verfahren vor [2].
Das Konzept verbindet die Auswahl geeigneter fachlicher Rollen mit einzelnen Modellanalysen und deren anschliessender Zusammenführung und Diskussion.
Die Evaluation erfolgte anhand von neun medizinischen Frage-Antwort-Datensätzen. Dazu gehörten unter anderem MedQA, MedMCQA, PubMedQA und medizinische Teilbereiche des MMLU-Benchmarks.
Unter den untersuchten Bedingungen erzielte das Verfahren bessere Ergebnisse als verschiedene Vergleichsmethoden. Dennoch konnten weiterhin Fehler aufgrund fehlender oder falsch angewandter medizinischer Informationen sowie fehlerhafter Schlussfolgerungen beobachtet werden.
Die Untersuchung medizinischer Testaufgaben ist nicht mit der prospektiven Beurteilung realer diagnostischer Entscheidungen in der Patientenversorgung gleichzusetzen.
Insbesondere lassen sich aus einer verbesserten Beantwortung standardisierter medizinischer Fragen keine unmittelbaren Schlussfolgerungen hinsichtlich der Patientensicherheit, der diagnostischen Zuverlässigkeit unter klinischen Alltagsbedingungen oder der langfristigen Auswirkungen auf die medizinische Versorgung ableiten.
Kim et al. – MDAgents
Kim und Mitarbeiter veröffentlichten 2024 das Konzept MDAgents, ein adaptives Mehragentensystem für medizinische Aufgaben [3].
Im Unterschied zu einer grundsätzlich unveränderten Expertenrunde wird die Organisationsform der Modellzusammenarbeit an die eingeschätzte Komplexität der jeweiligen Aufgabe angepasst. Dadurch können sowohl einzelne Agenten als auch unterschiedliche Gruppenkonstellationen eingesetzt werden.
Nach Angaben der Autoren erreichte das Verfahren bei sieben von zehn untersuchten Benchmarks die beste Leistung unter den verglichenen Methoden.
MDAGENTS – ERGEBNIS DER BENCHMARK-EVALUATION
7 von 10
Quelle: Kim et al., NeurIPS 2024 [3]. Darstellung der im Originalabstract berichteten Anzahl von Benchmarks. Die Grafik zeigt weder eine diagnostische Trefferquote von 70 % noch eine Verbesserung der klinischen Versorgung um 70 %. Die einzelnen Segmente repräsentieren keine individuellen Patienten oder diagnostischen Entscheidungen.
Die Ergebnisse sprechen dafür, dass die Organisation der Zusammenarbeit zwischen Sprachmodellinstanzen für bestimmte medizinische Testaufgaben relevant sein kann.
Dabei ist zu berücksichtigen, dass die Anzahl der Benchmarks, bei denen ein Verfahren die beste Leistung erzielt, für sich genommen keine Aussage über das absolute Ausmass der Leistungsverbesserung erlaubt.
Aus diesen Benchmark-Ergebnissen lässt sich zudem keine unmittelbare Aussage zur diagnostischen Sicherheit oder zum klinischen Nutzen einer gewöhnlichen, durch ein einzelnes Sprachmodell simulierten Expertenrunde ableiten.
Zheng et al. – Die Grenzen von Expertenrollen
Einen wichtigen kritischen Beitrag zur Beurteilung der Rollenzuweisung veröffentlichten Zheng und Mitarbeiter 2024 [4]. Die Autoren untersuchten 162 unterschiedliche Rollen anhand von 2410 Faktenfragen und vier Sprachmodellfamilien.
Insgesamt zeigte sich keine generelle Leistungsverbesserung durch die Ergänzung einer Persona gegenüber der Bearbeitung ohne entsprechende Rollenzuweisung. Zwar konnten einzelne Rollen bei bestimmten Fragen von Vorteil sein, allerdings erwies sich die zuverlässige Auswahl einer geeigneten Rolle als schwierig.
Für die Verwendung virtueller Expertenrunden ergibt sich daraus eine wichtige Konsequenz: Eine fachlich überzeugende Rollenbeschreibung kann die Ausrichtung einer Antwort verändern, garantiert jedoch keine höhere faktische Genauigkeit.
Allerdings untersuchte diese Arbeit primär die Beantwortung von Faktenfragen. Aus ihren Ergebnissen lässt sich nicht ableiten, dass Rollenzuweisungen bei sämtlichen anderen Aufgaben grundsätzlich ohne Nutzen sind.
Beispielsweise können sie weiterhin zur thematischen Strukturierung einer Antwort, zur Anpassung an eine bestimmte Zielgruppe oder zur systematischen Darstellung unterschiedlicher Betrachtungsperspektiven verwendet werden.
Weitere wissenschaftliche Grundlagen zur Gestaltung von Arbeitsanweisungen finden Sie im Beitrag Prompt Engineering – richtig fragen.
Einordnung der wissenschaftlichen Arbeiten
| Publikation | Untersuchungsgegenstand | Wesentliche Aussage |
|---|---|---|
| Du et al., 2024 | Diskussion mehrerer Sprachmodellinstanzen. | Leistungsverbesserungen bei ausgewählten experimentellen Aufgaben möglich. |
| Tang et al., 2024 | Multidisziplinäre modellbasierte Zusammenarbeit bei medizinischen Fragen. | Verbesserungen bei medizinischen Frage-Antwort-Aufgaben unter experimentellen Bedingungen. |
| Kim et al., 2024 | An die Aufgabenkomplexität angepasste Zusammenarbeit mehrerer Agenten. | Die Organisationsform der Modellzusammenarbeit kann die Leistung beeinflussen. |
| Zheng et al., 2024 | Einfluss unterschiedlicher Rollen auf die Beantwortung von Faktenfragen. | Keine generelle Verbesserung der faktischen Genauigkeit durch Rollenzuweisungen bei den untersuchten Aufgaben. |
Zusammenfassend liefern diese Arbeiten Hinweise auf das Potenzial strukturierter Modellzusammenarbeit. Gleichzeitig verdeutlichen sie, dass zwischen der Zuweisung einzelner Expertenrollen, technisch implementierten Mehragentensystemen und klinisch validierten Entscheidungsunterstützungssystemen unterschieden werden muss.
Die Ergebnisse sind ausserdem von den jeweils verwendeten Sprachmodellen, Testdatensätzen, Vergleichsverfahren und technischen Rahmenbedingungen abhängig.
Die dargestellten Arbeiten wurden 2024 veröffentlicht. Sie liefern wissenschaftliche Grundlagen für das Verständnis entsprechender Verfahren, erlauben jedoch keine pauschale Aussage über die Leistungsfähigkeit sämtlicher heute verfügbarer Sprachmodelle.
Wissenschaftliche Einordnung: Verbesserungen bei experimentellen Testaufgaben durch technisch implementierte Mehragentensysteme sind nicht mit einer nachgewiesenen Verbesserung der klinischen Versorgung gleichzusetzen. Ebenso wenig belegen sie eine entsprechende Leistungssteigerung durch die Simulation mehrerer Expertenrollen innerhalb einer einzelnen Chat-Antwort.
Grenzen und potenzielle Fehlerquellen
Virtuelle Expertenrunden unterliegen weiterhin den grundlegenden Einschränkungen grosser Sprachmodelle. Darüber hinaus können durch die Simulation unterschiedlicher Rollen zusätzliche Fehlerquellen entstehen.
Die Illusion unabhängiger Expertise
Wenn ein Sprachmodell mehrere Fachdisziplinen überzeugend simuliert, kann beim Anwender der Eindruck entstehen, dass unterschiedliche medizinische Spezialisten tatsächlich an der Beantwortung einer Frage beteiligt waren.
Dieser Eindruck wird möglicherweise durch fachsprachliche Formulierungen, unterschiedliche Argumentationsstile und eine scheinbar kontroverse Diskussion verstärkt. Dennoch bleibt bei der Simulation innerhalb eines einzelnen Sprachmodells die zugrunde liegende trainierte Modellgrundlage unverändert.
Auch die Verwendung fachmedizinischer Berufsbezeichnungen oder akademischer Titel innerhalb einer virtuellen Expertenrunde verleiht den erzeugten Beiträgen keine zusätzliche fachärztliche Autorität.
Gemeinsame systematische Fehler
Da verschiedene simulierte Perspektiven auf derselben Modellgrundlage beruhen können, besteht die Möglichkeit, dass sie dieselben fehlerhaften Annahmen übernehmen.
Auch technisch getrennte Modellinstanzen können aufgrund gemeinsamer Trainingsgrundlagen ähnliche Fehler aufweisen.
Folglich darf eine wiederholt auftretende Aussage nicht allein aufgrund ihrer Wiederholung als zuverlässiger betrachtet werden.
Selbst bei Verwendung unterschiedlicher Sprachmodelle können sich Trainingsdaten, Informationsquellen und methodische Ansätze überschneiden. Die blosse Übereinstimmung mehrerer Systeme stellt deshalb keinen unabhängigen wissenschaftlichen Nachweis dar.
Die Verstärkung einer fehlerhaften Ausgangsannahme
Wird eine Fragestellung bereits zu Beginn auf eine falsche Prämisse gestützt, können sämtliche simulierten Experten ihre Argumentation daran ausrichten.
Beispielsweise könnte eine bereits als gesichert bezeichnete Diagnose dazu führen, dass alternative diagnostische Erklärungen nicht ausreichend berücksichtigt werden. Gerade deshalb sollte die virtuelle Diskussion mit der Überprüfung der Ausgangsinformationen beginnen.
Diese Problematik steht in engem Zusammenhang mit dem Einfluss der Fragestellung auf die Modellantwort und der Tendenz grosser Sprachmodelle zur Bestätigung vorgegebener Annahmen.
Eine ausführliche Darstellung dieser Zusammenhänge finden Sie im Beitrag Wenn KI uns recht gibt.
Der Verlust wichtiger Gegenargumente
Auch die abschliessende Zusammenfassung einer Expertenrunde kann fehlerhaft sein. Insbesondere besteht die Gefahr, dass abweichende Interpretationen oder wesentliche Unsicherheiten zugunsten eines übersichtlichen Gesamtergebnisses verloren gehen.
Die moderierende Rolle sollte deshalb ausdrücklich angewiesen werden, weiterhin bestehende Differenzen sichtbar zu halten.
Bei umfangreichen oder medizinisch relevanten Arbeitsaufträgen empfiehlt es sich zudem, die abschliessende Zusammenfassung mit den ursprünglich dargestellten Einzelbeiträgen abzugleichen.
Die Grenzen der Selbstkontrolle
Eine wissenschaftlich-kritische Rolle kann zwar auf mögliche Probleme hinweisen, stellt jedoch keine unabhängige externe Qualitätskontrolle dar.
Dasselbe gilt für eine simulierte Diskussion zwischen einem Autor und einem wissenschaftlichen Gutachter innerhalb desselben Sprachmodells. Beide Rollen können einen identischen Fehler übersehen oder sich gegenseitig in einer falschen Interpretation bestätigen.
Auch die wiederholte Aufforderung zu einer erneuten Selbstkontrolle garantiert nicht, dass ein zunächst übersehener Fehler anschliessend erkannt wird.
Übersicht potenzieller Fehlerquellen
| Fehlerquelle | Mögliche Konsequenz | Geeignete Gegenmassnahme |
|---|---|---|
| Halluzinationen | Übernahme erfundener medizinischer Informationen oder Literaturangaben. | Externer Abgleich mit geeigneten Fachquellen. |
| Sycophancy | Bestätigung vorgegebener Annahmen. | Kritische Prüfung der Fragestellung und ausdrückliche Berücksichtigung begründeter Gegenargumente. |
| Korreliertes Fehlverhalten | Mehrere Perspektiven reproduzieren denselben Fehler. | Unabhängige fachliche und wissenschaftliche Überprüfung. |
| Framing und Anchoring | Zu frühe Festlegung auf eine bestimmte Interpretation. | Neutrale Fragestellung und möglichst getrennte Erstbeurteilungen. |
| Erzwungener Konsens | Verlust wichtiger Gegenargumente und Unsicherheiten. | Verbleibende Widersprüche ausdrücklich dokumentieren. |
| Automation Bias | Übermässiges Vertrauen in ein scheinbar überzeugendes Expertenurteil. | Eigenständige ärztliche Beurteilung und überprüfbare Freigabekriterien. |
Redaktionelle Übersicht potenzieller Fehlerquellen und möglicher Gegenmassnahmen. Die vorgeschlagenen Massnahmen sind nicht als Garantie für die Vermeidung von Modellfehlern zu verstehen.
Die dargestellten Fehlerquellen können gleichzeitig auftreten und sich gegenseitig verstärken. Beispielsweise kann eine suggestiv formulierte Ausgangsfrage zu einer fehlerhaften Übereinstimmung mehrerer simulierter Experten führen, deren vermeintlicher Konsens anschliessend das Vertrauen des Anwenders in die generierte Aussage erhöht.
Die grundlegenden technologischen und methodischen Einschränkungen werden im Beitrag Grenzen künstlicher Intelligenz ausführlich erläutert.
Merksatz: Die Simulation zusätzlicher Expertenrollen kann nicht nur unterschiedliche Betrachtungsperspektiven sichtbar machen, sondern auch bestehende Modellfehler vervielfältigen oder ihnen den Anschein einer unabhängigen Bestätigung verleihen.
Weitere Anwendungsmöglichkeiten in der Medizin
Abseits der unmittelbaren Patientenversorgung können virtuelle Expertenrunden für zahlreiche medizinische, wissenschaftliche und organisatorische Aufgaben eingesetzt werden.
Insbesondere bei vorbereitenden und redaktionellen Tätigkeiten lässt sich das Konzept mit einem vergleichsweise geringeren unmittelbaren klinischen Risiko erproben. Auch hierbei können fehlerhafte Informationen jedoch mittelbare Auswirkungen auf die medizinische Versorgung haben und müssen entsprechend überprüft werden.
Wissenschaftliche Publikationen und medizinische Fachartikel
Ein medizinischer Fachartikel kann beispielsweise aus klinischer, wissenschaftlich-methodischer und redaktioneller Perspektive betrachtet werden.
Während die klinische Perspektive die medizinische Relevanz beurteilt, konzentriert sich die wissenschaftlich-methodische Rolle auf die Argumentationsstruktur, die Aussagekraft von Untersuchungsergebnissen und mögliche Limitationen.
Ergänzend kann die redaktionelle Perspektive prüfen, ob der Beitrag verständlich aufgebaut ist und die wesentlichen Informationen angemessen vermittelt werden.
Eine weitere kritische Rolle kann damit beauftragt werden, gezielt nach unbelegten Schlussfolgerungen, widersprüchlichen Aussagen oder möglicherweise fehlenden wissenschaftlichen Quellen zu suchen.
Die Ergebnisse einer solchen modellinternen Diskussion dürfen allerdings nicht mit einem unabhängigen wissenschaftlichen Peer Review gleichgesetzt werden.
Die tatsächliche Überprüfung der Originalpublikationen, Studienergebnisse und Quellenzuordnungen bleibt ein eigenständiger Arbeitsschritt.
Weitere Informationen zu diesem Themenbereich finden Sie im Beitrag KI und medizinische Literaturrecherche.
Medizinische Fortbildungen
Bei der Vorbereitung einer ärztlichen Fortbildung lassen sich die Perspektiven einer klinisch tätigen Fachperson, eines medizinischen Didaktikers und eines potenziellen Kursteilnehmers simulieren.
Dadurch können beispielsweise unzureichend erläuterte Grundlagen, zu umfangreiche Abschnitte oder fehlende praxisrelevante Beispiele identifiziert werden.
Während sich die medizinische Perspektive auf die fachliche Richtigkeit konzentriert, kann die didaktische Perspektive den Aufbau, die Reihenfolge der vermittelten Informationen und die Verständlichkeit einzelner Darstellungen betrachten.
Eine simulierte Teilnehmerperspektive kann darüber hinaus mögliche Verständnisprobleme und ergänzende Fragestellungen aufzeigen.
Ob die Fortbildung ihre Lernziele tatsächlich erreicht, muss jedoch unabhängig davon beurteilt werden. Hierzu können beispielsweise Rückmeldungen der tatsächlichen Teilnehmenden und geeignete Verfahren zur Überprüfung des Lernerfolgs herangezogen werden.
Patienteninformationen
Auch bei der Erstellung allgemein verständlicher medizinischer Informationen können unterschiedliche Betrachtungsweisen hilfreich sein. Hierzu zählen die fachliche Richtigkeit, die sprachliche Verständlichkeit sowie die ausgewogene Darstellung von Nutzen, Risiken und diagnostischen Grenzen.
Darüber hinaus kann eine kritische Überprüfung potenziell missverständlicher Formulierungen erfolgen.
Eine simulierte Patientenperspektive erlaubt allerdings keine zuverlässige Beurteilung der individuellen Bedürfnisse, Vorstellungen oder Präferenzen einer konkreten Patientin beziehungsweise eines konkreten Patienten.
Sie kann deshalb die Vorbereitung der Patientenkommunikation unterstützen, ersetzt jedoch weder das persönliche ärztliche Gespräch noch die individuelle medizinische Aufklärung.
Die abschliessende medizinische Kontrolle bleibt unverzichtbar.
Organisation und Qualitätsmanagement
Ein weiterer möglicher Anwendungsbereich liegt in der Entwicklung organisatorischer Arbeitsabläufe und standardisierter Arbeitsanweisungen.
Bei der Planung eines neuen Praxisprozesses können medizinische, organisatorische, datenschutzrechtliche und patientenbezogene Gesichtspunkte getrennt betrachtet werden.
Rechtliche Aussagen müssen dabei anhand der tatsächlich geltenden Vorschriften und gegebenenfalls mit juristischer Unterstützung überprüft werden.
Für wiederkehrende Aufgaben können die ausgewählten Betrachtungsperspektiven und Anforderungen an die Qualitätskontrolle in einer versionierten Arbeitsanweisung zusammengeführt werden.
Das entsprechende Vorgehen wird im Beitrag Vom Prompt zum Masterprompt ausführlich beschrieben.
Weitere Beispiele für geeignete KI-gestützte Arbeitsprozesse finden Sie im Beitrag Künstliche Intelligenz in der Hausarztpraxis.
Praxisempfehlung: Erproben Sie virtuelle Expertenrunden zunächst anhand wissenschaftlicher, didaktischer und organisatorischer Aufgaben oder fiktiver medizinischer Fallvignetten. Dabei können Erfahrungen mit den Möglichkeiten und Grenzen des Verfahrens gesammelt werden, ohne unmittelbar patientenbezogene Entscheidungen davon abhängig zu machen.
Bedeutung für die Schweizer Arztpraxis
Die FMH hat acht Empfehlungen zum Umgang mit grossen Sprachmodellen im ärztlichen Alltag veröffentlicht [5]. Auch für die Verwendung virtueller Expertenrunden bieten diese Empfehlungen einen wichtigen Orientierungsrahmen.
Besonders relevant sind in diesem Zusammenhang die folgenden Aspekte:
| FMH-Empfehlung | Konsequenz für virtuelle Expertenrunden |
|---|---|
| Nr. 1 – Datenschutzkonforme Systeme | Bei der Verwendung mehrerer KI-Systeme muss jedes beteiligte System hinsichtlich der zulässigen Datenverarbeitung beurteilt werden. |
| Nr. 2 – Kritische Ergebnisprüfung | Die Übereinstimmung simulierter Fachperspektiven ersetzt keine ärztliche Qualitätskontrolle. |
| Nr. 3 – Bestehende Fachkompetenz | Fehlende eigene fachmedizinische Kompetenz kann nicht durch die Simulation entsprechender Spezialisten kompensiert werden. |
| Nr. 4 – Gezieltes Prompt Design | Fragestellungen, Rollen und Kontrollaufgaben sollten präzise definiert werden. |
| Nr. 5 – Dokumentation und Transparenz | Der Beitrag der KI zur ärztlichen Entscheidungsfindung sollte nachvollziehbar bleiben. |
| Nr. 7 – Grenzen der Technologie | Simulierte Expertenrollen dürfen nicht als reale medizinische Konsultationen dargestellt werden. |
Redaktionelle Übertragung ausgewählter FMH-Empfehlungen auf virtuelle Expertenrunden. Die Bezeichnungen der Empfehlungen sind sinngemäss zusammengefasst. Die FMH hat damit keine gesonderte Empfehlung für die klinische Verwendung virtueller Expertenrunden ausgesprochen.
Besondere Anforderungen bei der Verwendung mehrerer KI-Anwendungen
Wer dieselbe medizinische Fragestellung verschiedenen KI-Anwendungen vorlegt, kann dadurch zusätzliche Datenverarbeitungsvorgänge auslösen. Daher reicht die datenschutzrechtliche Beurteilung eines einzelnen Anbieters nicht aus.
Für die Erprobung entsprechender Verfahren empfiehlt sich insbesondere die Verwendung fiktiver Fallvignetten, öffentlich zugänglicher wissenschaftlicher Informationen oder geeigneter, tatsächlich anonymisierter Daten.
Die Entfernung des Namens und anderer unmittelbar identifizierender Angaben allein genügt nicht zwangsläufig, um medizinische Informationen als anonymisiert einzustufen.
Insbesondere bei technisch implementierten Mehragentensystemen ist zudem zu berücksichtigen, welche Informationen zwischen den beteiligten Agenten ausgetauscht werden, auf welche externen Werkzeuge diese zugreifen können und ob weitere Datenverarbeitungsvorgänge ausgelöst werden.
Die entsprechenden datenschutzrechtlichen und berufsrechtlichen Anforderungen werden im Beitrag KI – Datenschutz und ärztliche Verantwortung ausführlich dargestellt.
Die ärztliche Verantwortung bleibt bestehen
Eine virtuelle Expertenrunde kann Hinweise auf mögliche medizinische Zusammenhänge liefern und die Vorbereitung einer fachlichen Diskussion unterstützen. Sie ersetzt jedoch weder die klinische Untersuchung noch die persönliche Beurteilung durch entsprechend qualifizierte Fachpersonen.
Auch im FMH-Fachbeitrag zur Patientensicherheit und zu grossen Sprachmodellen wird darauf hingewiesen, dass die zuverlässige menschliche Kontrolle KI-generierter Inhalte eine anspruchsvolle Aufgabe darstellt. Insbesondere nicht unmittelbar erkennbare Fehler und Auslassungen können problematisch sein [6].
Gerade die Kombination aus fachsprachlich überzeugenden Antworten, vermeintlich unabhängigen Expertenmeinungen und einer scheinbar ausgewogenen Diskussion kann das Vertrauen in ein KI-generiertes Arbeitsergebnis erhöhen.
Deshalb sollte die ärztliche Qualitätskontrolle nicht allein darin bestehen, die abschliessende Zusammenfassung auf ihre allgemeine Plausibilität zu überprüfen. Vielmehr müssen insbesondere entscheidungsrelevante Aussagen, zugrunde liegende Informationen und wissenschaftliche Quellen nachvollziehbar überprüft werden.
Die Verwendung eines Masterprompts, mehrerer Sprachmodelle oder einer simulierten kritischen Gegenposition entbindet nicht von dieser Verantwortung.
Weitere Empfehlungen zur verantwortungsvollen Integration solcher Arbeitsprozesse in den medizinischen Alltag finden Sie im Beitrag Professioneller Umgang mit KI.
Zu den acht Empfehlungen der FMH zum Umgang mit grossen Sprachmodellen im ärztlichen Alltag
Fazit
Die Verwendung künstlicher Intelligenz als virtuelle Expertenrunde stellt eine interessante Erweiterung der klassischen Kommunikation mit grossen Sprachmodellen dar. Durch die Definition unterschiedlicher fachlicher und methodischer Perspektiven können komplexe Fragestellungen systematisch strukturiert und alternative Betrachtungsweisen sichtbar gemacht werden.
Wissenschaftliche Untersuchungen zu Multi-Agent-Systemen zeigen, dass die strukturierte Zusammenarbeit mehrerer Sprachmodellinstanzen bei bestimmten experimentellen Aufgaben Leistungsverbesserungen ermöglichen kann.
Allerdings lassen sich diese Ergebnisse nicht unmittelbar auf einfache Rollensimulationen innerhalb einer gewöhnlichen KI-Anwendung oder auf die reale medizinische Versorgung übertragen.
Für Ärztinnen und Ärzte kann das Konzept insbesondere bei der Vorbereitung wissenschaftlicher Diskussionen, der Erstellung medizinischer Fachartikel, der Entwicklung von Fortbildungen und der kritischen Reflexion komplexer Fragestellungen interessant sein.
Entscheidend ist dabei, dass nicht die Erzeugung eines möglichst überzeugenden Konsenses, sondern die differenzierte Betrachtung der vorhandenen Informationen im Vordergrund steht. Widersprüche, alternative Erklärungen und verbleibende Unsicherheiten sind deshalb ausdrücklich zu berücksichtigen.
Die Qualität einer virtuellen Expertenrunde bemisst sich letztlich nicht an der Anzahl simulierter Experten oder der sprachlichen Überzeugungskraft ihrer Beiträge, sondern an der Nachvollziehbarkeit und Überprüfbarkeit der erzeugten Aussagen.
Welche weiteren Möglichkeiten sich aus einer strukturierten Zusammenarbeit mit künstlicher Intelligenz für den hausärztlichen Alltag ergeben, wird im nachfolgenden Beitrag Künstliche Intelligenz in der Hausarztpraxis ausführlich dargestellt.
Eine virtuelle Expertenrunde kann unterschiedliche Denk- und Betrachtungsperspektiven anregen. Sie ersetzt weder unabhängige wissenschaftliche Evidenz noch medizinische Fachkompetenz oder ärztliche Verantwortung.
Weiterführende Beiträge
Dieser Beitrag ist Teil unserer zwölfteiligen Fachartikelserie zur künstlichen Intelligenz in der Medizin. Die folgenden Beiträge vertiefen die technologischen Grundlagen, die Gestaltung strukturierter Arbeitsprozesse sowie die Möglichkeiten und Grenzen künstlicher Intelligenz im medizinischen Alltag.
- 01 – Was ist künstliche Intelligenz?
- 04 – Grenzen künstlicher Intelligenz
- 05 – Wenn KI uns recht gibt
- 06 – Prompt Engineering – richtig fragen
- 07 – Vom Prompt zum Masterprompt
- 09 – Künstliche Intelligenz in der Hausarztpraxis
- 10 – KI – Datenschutz und ärztliche Verantwortung
- 11 – KI und medizinische Literaturrecherche
- 12 – Professioneller Umgang mit KI
Literatur
- Du Y, Li S, Torralba A, Tenenbaum JB, Mordatch I. Improving Factuality and Reasoning in Language Models through Multiagent Debate. Proceedings of the 41st International Conference on Machine Learning. Proceedings of Machine Learning Research. 2024;235:11733–11763. Originalpublikation.
- Tang X, Zou A, Zhang Z, Li Z, Zhao Y, Zhang X, et al. MedAgents: Large Language Models as Collaborators for Zero-shot Medical Reasoning. Findings of the Association for Computational Linguistics: ACL 2024. 2024:599–621. DOI: 10.18653/v1/2024.findings-acl.33.
- Kim Y, Park C, Jeong H, Chan YS, Xu X, McDuff D, et al. MDAgents: An Adaptive Collaboration of LLMs for Medical Decision-Making. Advances in Neural Information Processing Systems. 2024;37:79410–79452. DOI: 10.52202/079017-2522.
- Zheng M, Pei J, Logeswaran L, Lee M, Jurgens D. When “A Helpful Assistant” Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models. Findings of the Association for Computational Linguistics: EMNLP 2024. 2024:15126–15154. DOI: 10.18653/v1/2024.findings-emnlp.888.
- FMH. Empfehlungen der FMH zum Umgang mit grossen Sprachmodellen (LLMs) im ärztlichen Alltag. Verbindung der Schweizer Ärztinnen und Ärzte. Originalveröffentlichung. Abgerufen am 18.11.2026.
- Schwappach D. Patientensicherheit und grosse Sprachmodelle. Verbindung der Schweizer Ärztinnen und Ärzte (FMH). Originalveröffentlichung. Abgerufen am 18.11.2026.

