Tool "KnowHalu" erkennt KI-Halluzinationen

Entwicklerin Bo Li: Sie will LLMs die Flausen austreiben (Foto: illinois.edu)

Urbana-Champaign (pte002/10.05.2024/06:05) - Forscher der University of Illinois Urbana-Champaign ( https://illinois.edu/ ) wollen mit dem neuen Framework "KnowHalu" das Halluzinieren Großer Sprachmodelle (LLM) in KI-generierten Texten erkennen. Das Tool könnte dazu beitragen, die Zuverlässigkeit dieser Modelle zu verbessern und ihre Verwendung für die Erledigung verschiedener Aufgaben der Texterstellung zu vereinfachen. Bisher lassen sich diese manchmal fatalen KI-Halluzinationen nicht zuverlässig erkennen, außer man lässt Menschen zur Überprüfung zu. Doch das widerspricht den Intentionen, Arbeitskräfte einzusparen.

Überprüfung in zwei Phasen

"Motiviert durch diese Lücke haben wir ein neuartiges, wissensbasiertes System zur Erkennung von LLM-Halluzinationen entwickelt. KnowHalu arbeitet mit einem zweistufigen Prozess, um die Genauigkeit und Relevanz der LLM-Ausgaben sicherzustellen. Die erste Phase konzentriert sich auf die Erkennung von Texten, die zwar sachlich korrekt, aber irrelevant oder nicht spezifisch für die vorliegende Anfrage sind", so Entwicklerin Bo Li.

Dazu gehören beispielsweise sinnleere Antworten auf E-Mails von Kunden, die diese ratlos zurücklassen, und eventuell sogar die Geschäftsbeziehung aufkündigen würden. In der zweiten Phase wendet KnowHalu einen wissensbasierten Faktenprüfungsprozess an, der sich über fünf Schritte erstreckt: Schlussfolgern und Abfragen, Wissensabruf, Wissensoptimierung, Beurteilung auf der Grundlage von Multi-Form-Wissen und Urteilsaggregation.

Bisher nur bei englischen Texten

"Wir planen nun, verschiedene Dokumente automatisch zu analysieren und Wissen zu extrahieren, um Halluzinationen bei LLMs abzuschwächen, verschiedene Wissensformen zu erforschen und das gefundene Wissen auf andere Formen wie Logikformen höherer Ordnung abzubilden, um die Modellgenerierung zu unterstützen", so Li.

Darüber hinaus wollen die KI-Forscher versuchen, theoretische Garantien für LLM-Halluzinationen auf der Grundlage gegebener Wissensbasen zu geben und den Rahmen an verschiedene Anwendungsbereiche wie autonome Fahragenten und Agenten im Gesundheitswesen anzupassen. Die Software funktioniert aktuell nur im englischen Sprachbereich.

(Ende)