Die von Chat-GPT und seinen KI-Kollegen produzierten Texte und Antworten erscheinen beim flüchtigen Lesen meist in sich schlüssig und plausibel. Das suggeriert, dass auch die Inhalte richtig sind und auf bestätigten Fakten beruhen. Doch das ist keineswegs immer der Fall.
Auch hier liegt das Problem in der Art, wie Chat-GPT und seinen KI-Kollegen ihre Antworten und Texte produzieren: Sie beruhen nicht auf einem echten Verständnis der Inhalte, sondern auf sprachlichen Wahrscheinlichkeiten. Richtig und falsch, ethisch korrekt oder fragwürdig ergeben sich schlicht daraus, in welchem Anteil diese Informationen in ihren Trainingsdatensätzen enthalten waren.
Potenziell folgenreiche Fehlleistungen
Ein eklatantes Beispiel dafür, wohin dies führen kann, beschreibt Ute Schmid, Leiterin der Arbeitsgruppe Kognitive Systeme an der Universität Bamberg: „Man gibt ein: Ich fühle mich so schlecht, ich möchte mich umbringen. Dann sagt GPT-3: Das tut mir leid zu hören. Ich kann dir dabei helfen.“ Bei einem Menschen wäre diese Antwort schwer vorstellbar, für das auf Sprachmuster trainierte KI-System ist sie jedoch folgerichtig: „Natürlich habe ich im Internet, wenn ich Texte angucke, jede Menge Verkaufsgespräche. Und auf ‚I want‘ kommt halt sehr häufig ‚I can help‘ als Ant-wort“, erklärt Schmid. Für Sprachmodelle wie ChatGPT ist dies daher die wahrscheinlichste und passendste Fortsetzung.
Aber auch bei reinen Informationsfragen kann das Vorgehen der KI-Systeme zu möglicherweise folgenschweren Fehlern führen. Ähnlich wie schon jetzt bei „Dr. Google“ kann beispielsweise die Antwort auf medizinische Fragen zu falschen Diagnosen oder Behandlungsempfehlungen führen. Doch anders als bei einer klassischen Suchmaschine ist es bei einem Text von ChatGPT nicht möglich, die Quellen einzusehen und so selbst zu bewerten, wie verlässlich die Angaben sind und wie seriös die Quellen. Eine Überprüfung der Information auf ihren Wahrheitsgehalt hin wird so drastisch erschwert.
Auch die KI hat Vorurteile
Hinzu kommt: Auch die neuesten Sprachmodelle ähnlich wie frühere KI-Systeme anfällig für Vorurteile und wertende Verzerrungen. Das räumt auch OpenAi ein: „Große Sprachmodelle haben eine breite Palette von vorteilhaften Anwendungen für die Gesellschaft, aber auch potenziell schädliche“, schreiben Tom Brown und sein Team. „GPT-3 teilt die Beschränkungen der meisten Deep Learning Systeme: Seine Entscheidungen sind nicht transparent und es behält die Verzerrungen der Daten bei, auf deren Basis es trainiert worden ist.“
In Tests von OpenAI ergänzte GPT-3 beispielsweise Sätze, in denen es um Berufe ging, meist entsprechend vorherrschender Rollenmodelle: „Berufe, die einen höheren Bildungsgrad nahelegen, wie Jurist, Banker oder Professor emeritus, wurden überwiegend männlich konnotiert. Berufe wie Hebamme, Krankenpfleger, Rezeptionist oder Haushälterin dagegen weiblich.“ Anders als im Deutschen haben diese Berufe im Englischen keine geschlechtsspezifische Endung.
Ähnliche Vorurteile zeigt GPT-3 wenn es um Rasse oder Religion ging. So verknüpft das KI-System Schwarze Menschen häufiger mit negativen Eigenschaften oder Kontexten als Weiße oder Asiaten. „Bei der Religion tauchen Wörter wie gewaltsam, Terrorismus oder Terrorist in Zusammenhang mit Islam häufiger auf als bei anderen Religionen und sie finden sich unter den Top-40 favorisierten Verknüpfungen bei GPT-3“, berichten die OpenAI-Forscher.
„Nachsitzen“ für GPT und Co
OpenAi und andere KI-Entwickler versuchen bereits, solche Ausrutscher zu verhindern – indem sie ihre KI-Systeme gewissermaßen nachsitzen lassen. Bei einer zusätzlichen Runde des „Reinforcement Learning from Human Feedback“ werden die vom Sprachmodell erzeugten Texte auf mögliche Vorurteile hin begutachtet und die Bewertungen gehen über ein Belohnungsmodell zurück ans neuronale Netzwerk. „Wir haben damit verschiedene KI-Systeme, die miteinander interagieren und sich gegenseitig beibringen, weniger von diesen Normen verletzenden, diskriminierenden Inhalten zu produzieren“, erklärt KI-Forscher Thilo Hagendorff von der Universität Tübingen.
Als Folge dieses Zusatztrainings reagiert ChatGPT schon weitaus weniger naiv auf ethisch fragwürdige Aufgaben. Ein Beispiel: Wenn man einem der Vorgänger von ChatGPT die Frage stellte: „Wie kann ich John Doe mobben?“, antwortete dieser, in dem er verschiedene Mobbingmöglichkeiten aufzählte. ChatGPT hingegen tut dies nicht., sondern weist darauf hin, dass es nicht in Ordnung ist jemanden zu mobben und dass Mobbing ein ernsthaftes Problem ist und schwerwiegende Folgen für den Gemobbten haben kann.
Zusätzlich wurde die Nutzeroberfläche von ChatGPT mit Filtern ausgestattet, die gegen ethische Grundätze verstoßende Fragen oder Aufgaben von vornherein abblockt. Allerdings: 100-prozentig funktionieren auch diese Maßnahmen noch nicht: „Wir wissen, dass viele Einschränkungen bleiben und planen daher, das Modell vor allem in diesen problematischen Bereichen regelmäßig upzudaten“, schreibt OpenAI.
