Warum externe Validierung bei medizinischer KI entscheidend ist
KI-Systeme zur Analyse konventioneller Röntgenaufnahmen erreichen in Entwicklungs- und Validierungsstudien teilweise hohe diagnostische Leistungen. Für den klinischen Einsatz reicht es jedoch nicht aus, einen Algorithmus mit Daten aus derselben Population zu testen, mit der er entwickelt wurde.
Patientenkollektive, Untersuchungsbedingungen, Geräte und klinische Abläufe können sich zwischen Ländern und Institutionen erheblich unterscheiden. Deshalb ist die externe Validierung ein wichtiger Schritt auf dem Weg von einem vielversprechenden Algorithmus zu einem zuverlässig einsetzbaren klinischen Assistenzsystem.
KI mit indischen Daten trainiert – in den Niederlanden getestet
Die Forschenden untersuchten ein KI-System, das ursprünglich mit mehr als 1,5 Millionen Röntgenaufnahmen aus mehreren medizinischen Zentren in Indien trainiert worden war.
Für die externe Validierung wurden konventionelle Röntgenaufnahmen aus dem Erasmus MC in Rotterdam verwendet. Insgesamt gingen 14.311 Röntgenaufnahmen von erwachsenen Patient:innen in die Analyse ein. Das mediane Alter betrug 48 Jahre. Bei 4.156 Aufnahmen – entsprechend 29 Prozent – lag eine Fraktur vor.
Untersucht wurden zahlreiche anatomische Regionen des appendikulären Skeletts, darunter Schulter, Oberarm, Ellenbogen, Unterarm, Handgelenk, Hand und Finger sowie Becken, Hüfte, Femur, Knie, Unterschenkel, Sprunggelenk, Fuss und Zehen.
87 Prozent Sensitivität und Spezifität
Bei der patientenbezogenen Frakturklassifikation erreichte das KI-System insgesamt eine Sensitivität von 87,1 Prozent und eine Spezifität von ebenfalls 87,1 Prozent. Die Area under the Curve (AUC) lag bei 0,92.
Die diagnostische Leistung war allerdings nicht für alle Körperregionen gleich. Besonders gute Ergebnisse wurden unter anderem bei Klavikula, Femur und Hüfte erzielt. Schwächer war die Leistung beispielsweise bei Ellenbogen, Rippen sowie Hand und Fingern.
Fraktur erkennen ist nicht dasselbe wie Fraktur lokalisieren
Ein besonders interessanter Aspekt der Studie ist die getrennte Analyse von Frakturklassifikation und Frakturlokalisation.
Während das KI-System zuverlässig beurteilen konnte, ob auf einer Untersuchung grundsätzlich eine Fraktur vorhanden war, zeigte sich bei der exakten Lokalisation eine deutlich grössere Variabilität. Insgesamt wurden etwa 60 Prozent der einzelnen Frakturen korrekt lokalisiert.
Die Unterschiede zwischen den anatomischen Regionen waren erheblich: Bei Klavikulafrakturen lag die Detektionsrate bei 90 Prozent, bei Rippenfrakturen dagegen lediglich bei 7 Prozent.
Damit zeigt die Untersuchung einen wichtigen Unterschied, der bei der Bewertung medizinischer KI-Systeme leicht übersehen werden kann: Ein Algorithmus kann eine Untersuchung korrekt als „Fraktur vorhanden“ klassifizieren, ohne jede einzelne Fraktur zuverlässig und präzise zu lokalisieren.
Warum komplexe Anatomie für KI schwierig bleibt
Die Autor:innen diskutieren mehrere mögliche Ursachen für die unterschiedliche Leistungsfähigkeit. Kleine anatomische Strukturen, überlagernde Knochen und komplexe Frakturmuster können die automatische Erkennung und insbesondere die genaue Lokalisation erschweren.
Auch die Art der Referenzmarkierung spielt eine Rolle. Bereits geringe Unterschiede zwischen der von Expert:innen eingezeichneten Frakturregion und der vom Algorithmus erzeugten Markierung können die statistische Bewertung der Lokalisation deutlich beeinflussen.
Was könnte die KI im klinischen Alltag leisten?
Aufgrund der guten Klassifikationsleistung sehen die Autor:innen ein mögliches Einsatzgebiet insbesondere als Triage- und Assistenzsystem. Untersuchungen mit Verdacht auf eine Fraktur könnten beispielsweise priorisiert und Radiolog:innen entsprechend früher zur Befundung vorgelegt werden.
Auch für Ärzt:innen in Notfallstationen sowie für Radiologie-Assistenzärzt:innen könnte eine zusätzliche algorithmische Markierung auffälliger Bereiche hilfreich sein.
Die Studie zeigt jedoch ebenso deutlich, dass eine solche KI nicht als autonomes Diagnosesystem verstanden werden sollte. Gerade bei komplexen anatomischen Regionen und multiplen Frakturen bleibt die ärztliche Beurteilung entscheidend.
Wichtige Einschränkungen der Studie
Bei der Interpretation müssen mehrere Limitationen berücksichtigt werden. Es handelt sich um eine retrospektive Single-Center-Studie. Zudem basierte der Referenzstandard hauptsächlich auf den radiologischen Befunden aus der klinischen Routine und wurde nicht systematisch durch CT oder MRT bestätigt.
Bestimmte komplexe Fälle, beispielsweise Untersuchungen mit Metallimplantaten, Knochentumoren oder relevanten Verkalkungen in Frakturnähe, waren von der Analyse ausgeschlossen. Solche Situationen gehören jedoch zum radiologischen Alltag und können die Übertragbarkeit der Ergebnisse beeinflussen.
Darüber hinaus wurde jeweils nur eine Röntgenprojektion pro Untersuchung analysiert. In der klinischen Praxis werden Frakturen dagegen häufig anhand mehrerer Projektionen beurteilt.
Fazit
Die niederländische Studie zeigt, dass ein mit indischen Röntgendaten trainiertes KI-System auch in einer westeuropäischen Patientenpopulation eine robuste Frakturklassifikation erreichen kann. Mit jeweils 87,1 Prozent Sensitivität und Spezifität sowie einer AUC von 0,92 sind die Ergebnisse vielversprechend.
Gleichzeitig macht die Untersuchung deutlich, dass gute Klassifikationswerte nicht automatisch eine ebenso zuverlässige Lokalisation einzelner Frakturen bedeuten. Die erhebliche Variabilität zwischen verschiedenen anatomischen Regionen zeigt, warum externe Validierungsstudien für medizinische KI unverzichtbar sind.
Für die klinische Radiologie erscheint KI zur Frakturerkennung daher vor allem als Assistenz- und Triageinstrument interessant. Die endgültige Interpretation der Röntgenaufnahme und die diagnostische Verantwortung bleiben bei den behandelnden Ärzt:innen.
Literatur und weiterführende Informationen
Ruitenbeek HC, Sahil S, Kumar A, et al. Cross-validation of an artificial intelligence tool for fracture classification and localization on conventional radiography in Dutch population. Insights Imaging. 2025;16:150. doi:10.1186/s13244-025-02034-1.
