KI kapituliert bei Grammatikfehlern fast immer

KI: Sprachmodelle sind beim Grammatik-Check fehleranfällig (Bild: pixabay.com, geralt)

Berlin/Barcelona (pte001/15.01.2024/06:00) - Künstliche Intelligenz (KI) kapituliert bei Grammatikfehlern. Das haben Forscher der Humboldt-Universität zu Berlin ( https://www.hu-berlin.de ), der Universitat Autònoma de Barcelona ( https://www.uab.cat/web/universitat-autonoma-de-barcelona-1345467954774.html ) (UAB) und des Catalan Institute of Research and Advanced Studies ( https://www.icrea.cat/en ) herausgefunden. Sie haben die Fähigkeiten des Menschen mit den drei besten derzeit verfügbaren großen Sprachmodellen verglichen, zwei basierend auf GPT3 und eines (ChatGPT) basierend auf GP3.5.

Viele falsche Antworten

Die Forscher haben menschlichen Probanden und den KI-gestützten Sprachmodellen korrekt formulierte und fehlerhafte Sätze vorgelegt und sie anschließend mit folgenden Fragen konfrontiert: "Ist dieser Satz grammatikalisch korrekt?" Es zeigte sich, dass Menschen fast immer richtig antworteten, während die großen Sprachmodelle viele falsche Antworten gaben.

Tatsächlich wurde festgestellt, dass sie die Standardstrategie verwendeten, meistens mit "Ja" zu antworten, unabhängig davon, ob die Antwort richtig war oder nicht. "Das Ergebnis ist überraschend, da diese Systeme auf der Grundlage dessen trainiert werden, was in einer Sprache grammatikalisch korrekt ist und was nicht. KI-Sprachmodelle können sehr hilfreich sein, aber wir müssen uns ihrer Mängel bewusst sein", mahnt Evelina Leivada von der Abteilung für Katalanistik der UAB.

(Ende)