"Whisper" hat gefährliche "Halluzinationen"

Forscher weisen Defizite und potenzielle Risiken des OpenAI-Tools im medizinischen Bereich nach

Informatikerin Allison Koennecke: warnt vor "KI-Halluzinationen" (Foto: cornell.edu)

Ithaca/Princeton (pte001/29.10.2024/06:00) - Das auf Künstlicher Intelligenz (KI) basierende Transkriptions-Tool "Whisper" von OpenAI ( https://openai.com/ )neigt dazu, Textteile oder sogar ganze Sätze zu erfinden. Das hat Allison Koenecke von der Cornell University ( https://www.cornell.edu/ ) bei Interviews mit mehr als einem Dutzend Software-Ingenieuren, Entwicklern und Wissenschaftlern herausgefunden. Details dazu berichtet "techxplore" unter Berufung auf "The Associated Press".

Whisper erfindet Therapien

Laut den Experten beinhalten einige der erfundenen Texte rassistische Kommentare, gewalttätige Rhetorik und sogar erfundene medizinische Behandlungsvorschläge. Whisper werde weltweit in einer Reihe von Branchen eingesetzt, um Interviews zu übersetzen, zu transkribieren und Untertitel für Videos zu erstellen. Besonders besorgniserregend sei, dass medizinische Zentren Whisper-basierte Tools nutzen, um die Gespräche von Patienten mit Ärzten zu transkribieren, obwohl OpenAI davor gewarnt habe, das Tool in "Hochrisikobereichen" einzusetzen. Whisper wird auch verwendet, um Untertitel für Gehörlose und Schwerhörige zu erstellen.

Die aktuelle Studie der Informatiker hat 187 dieser sogenannten "Halluzinationen" in über 13.000 Audio-Schnipseln aufgedeckt. Dieser Trend würde zu Zehntausenden fehlerhaften Transkriptionen führen. Solche Fehler könnten "wirklich schwerwiegende Folgen" haben, insbesondere in Krankenhäusern, sagt Alondra Nelson, die bis 2023 das Büro für Wissenschafts- und Technologiepolitik des Weißen Hauses leitete und heute Professorin für Sozialwissenschaften an der Princeton University ( https://www.princeton.edu/ ) ist.

Irrglaube an KI-Fähigkeiten

"Das Problem scheint lösbar zu sein, wenn das Unternehmen bereit ist, es zu priorisieren", sagt William Saunders, ein in San Francisco ansässiger Forschungsingenieur, der OpenAI im Februar aufgrund von Bedenken hinsichtlich der Ausrichtung des Unternehmens verlassen hat. "Es ist problematisch, wenn die Leute zu sehr an die Fähigkeiten von KI glauben und sie überall nutzen." Laut einem OpenAI-Sprecher arbeitet das Unternehmen kontinuierlich daran, Halluzinationen zu reduzieren. Whisper ist in einige Versionen von OpenAIs Flaggschiff-Chatbot ChatGPT integriert und ein integriertes Angebot in den Cloud-Computing-Plattformen von Oracle und Microsoft, die Tausende von Unternehmen weltweit bedienen.

(Ende)