ChatGPT kapituliert bei Stack-Overflow-Fragen

Fast jede zweite Antwort falsch - Purdue University sieht viele Probleme beim Programmieren

ChatGPT: KI-Chatbot ist noch längst nicht überall perfekt (Bild: Franz26, pixabay.com)

West Lafayette (pte026/11.08.2023/13:42) - Der generative KI-Chatbot ChatGPT ( https://chat.openai.com/ ) von OpenAI ist laut Forschern der Purdue University ( https://www.purdue.edu/ ) nur bedingt als Antwortgeber für Programmierfragen geeignet. Bei der Erstellung von Code-Fragmenten für Software-Vorhaben lieferte das Tool in Tests nur bedingt hilfreiche Ergebnisse - insbesondere bei Stack Overflow.

Ernüchternde Testergebnisse

Die Ergebnisse der Testreihe ( https://arxiv.org/pdf/2308.02312.pdf ) sind ernüchterd, denn der Chatbot hat mit 48 Prozent noch nicht einmal die Hälfte der gestellten Fragen korrekt beantwortet. Zudem fielen 78 Prozent der Antworten im Vergleich zu menschlichen Antworten auf verschiedenen Ebenen inkonsistent aus - dennoch formaler, analytischer und in weniger negativer Tonalität.

Bedingt dadurch konnten 39 Prozent der Fragestellenden dadurch überzeugt werden. Allerdingt gibt es nur bei 22 Prozent Übereinstimmungen zu den von Menschen gegebenen Antworten. Einen Pluspunkt kassiert ChatGPT allerdings in Sachen Verständlichkeit, wie es heißt. Der Bot sei zu 65 Prozent verständlich und die Antworten gut lesbar. Ein Problem bleibt nach wie vor die Fülle an gelieferten irrelevanten Infos.

(Ende)