Die Berliner Experten bewerteten 22 ChatGPT-Modelle anhand von 45 validierten Fallbeispielen, die jeweils zehnmal abgefragt wurden. Jeder Fall wurde pro Modell zehnmal eingegeben. Insgesamt entstanden so 9.900 Einzelbewertungen. Die Modelle mussten jeweils entscheiden, ob ein Fall als Notfall, als Fall für ärztliche Abklärung oder als Fall für Selbstversorgung einzustufen ist. Das Forschungsteam bewertete die Genauigkeit der KI-Empfehlung im Vergleich zu einer Empfehlung von 2 Ärzten.
Hohe Fehlerquote
Die Auswertung zeigte: Das beste Modell gab in 74 % aller Fälle korrekte Empfehlungen. Alle Modelle neigten dazu, eine dringendere Versorgung zu empfehlen, als nötig war. Die meisten Fehler traten bei Fällen auf, in denen eine Selbstbehandlung ausreichend gewesen wäre. Die Studie zeigt laut dem Forschungsteam ein strukturelles Muster: Fast alle Modelle neigen dazu, Beschwerden vorsichtshalber als behandlungsbedürftiger einzustufen, als es medizinisch erforderlich wäre.
