Künstliche Intelligenz
KI kapituliert bei Grammatikfehlern
von
Wolfgang
Kempkens, pte - 16.01.2024
Foto: Pixabay PDPics
GPT3 und GP3.5 wurden wissenschaftlich auf ihr Grammatikverständnis getestet. Das Ergebnis: vorläufig stechen Menschen die Sprachmodelle noch aus.
Künstliche Intelligenz (KI) kapituliert bei Grammatikfehlern. Das haben Forscher der Humboldt-Universität zu Berlin, der Universitat Autònoma de Barcelona (UAB) und des Catalan Institute of Research and Advanced Studies herausgefunden. Sie haben die Fähigkeiten des Menschen mit den drei besten derzeit verfügbaren großen Sprachmodellen verglichen, zwei basierend auf GPT3 und eines (ChatGPT) basierend auf GP3.5.
Viele falsche Antworten
Die Forscher haben menschlichen Probanden und den KI-gestützten Sprachmodellen sowohl korrekt formulierte als auch fehlerhafte Sätze vorgelegt und sie anschließend mit der Frage konfrontiert: "Ist dieser Satz grammatikalisch korrekt?" Es zeigte sich, dass Menschen fast immer richtig antworteten, während die großen Sprachmodelle viele falsche Antworten gaben.
Tatsächlich wurde festgestellt, dass sie die Standardstrategie verwendeten, meistens mit "Ja" zu antworten, unabhängig davon, ob die Antwort richtig war oder nicht. "Das Ergebnis ist überraschend, da diese Systeme auf der Grundlage dessen trainiert werden, was in einer Sprache grammatikalisch korrekt ist und was nicht. KI-Sprachmodelle können sehr hilfreich sein, aber wir müssen uns ihrer Mängel bewusst sein", mahnt Evelina Leivada von der Abteilung für Katalanistik der UAB.
