Die „falsche Antwort“-Frage für KI-Chatbots: Warum sind sie nicht bereit zuzugeben, dass sie falsch liegen?

Bei den jüngsten großen Chatbots mit künstlicher Intelligenz (KI) gibt es ein überraschendes Phänomen: Wenn man ihnen eine Frage stellt, ist die Wahrscheinlichkeit höher, dass sie falsche Antworten geben, als dass sie zugeben, dass sie falsch liegen. Die Ergebnisse dieser Studie wurden in der Zeitschrift Nature veröffentlicht. Werfen wir also einen Blick auf die Gründe dafür.

Die Forscher wählten drei der größten Modelle aus den in den vergangenen Jahren entstandenen groß angelegten KI-Chatbots zur Analyse aus. Sie fanden heraus, dass die Roboter nicht nur wahrscheinlich falsche Antworten lieferten, sondern auch wahrscheinlich „halluzinierten“ – das heißt, sie könnten auf der Grundlage ihrer Gedanken Dinge erschaffen, die nicht existierten. Um zu verstehen, wie sich diese entwickeln und wie sie sich mit mehr Trainingsdaten und größeren Modellgrößen verändern, haben die Forscher drei der größten Modelle aus den in den vergangenen Jahren entstandenen groß angelegten KI-Chatbots zur Analyse ausgewählt.

Die Forschung wurde von Dr. José Hernández-Orallo vom Institut für Künstliche Intelligenz am Institut von Valencia in Spanien geleitet. Zusammen mit seinem Team hat er herausgefunden, dass KI-Chatbots, wenn wir ihnen Fragen stellen, nicht nur wahrscheinlich falsche Antworten geben, sondern dass sie möglicherweise auch „in den Weltraum schauen“, das heißt, sie können auf der Grundlage ihrer Gedanken Dinge erschaffen, die das nicht tun existieren. Um zu verstehen, wie sich diese entwickeln und wie sie sich mit mehr Trainingsdaten und größeren Modellgrößen verändern, führten die Forscher eine Reihe von Experimenten durch.

Diese Studie führte uns jedoch auch zu einer weiteren unglücklichen Entdeckung: Selbst wenn KI-Chatbots falsche Antworten geben, sind sie nicht bereit, ihre Fehler zuzugeben. Dies bringt uns zu einer Frage: Wenn wir einem KI-Chatbot eine Frage stellen, wie stellen wir fest, ob seine Antwort richtig ist? In diesem Artikel gehen wir diesen Fragen nach, erzählen Ihnen, was die Studie herausgefunden hat, und geben Ihnen einige hilfreiche Ratschläge.

Kann man AI LLM vertrauen?

Wussten Sie? Größere und verfeinerte Sprachmodelle (LLMs) sind genauer als je zuvor. Allerdings sind sie auch weniger zuverlässig geworden. Die Forscher stellten fest, dass die Rate falscher Antworten zunahm, weil die KI-Modelle nun weniger bereit waren, der Beantwortung von Fragen auszuweichen – etwa durch das Eingeständnis, dass sie es nicht wussten, oder durch einen Themenwechsel.

Eine Forscherin, Lexin Zhou, schrieb über „Menschen können sicher sein, dass LLM vertrauenswürdig ist.“

Die Forscher bewerteten Modelle wie GPT von OpenAI, LLaMA von Meta und BLOOM, die frühe und verfeinerte Modelle auf Hinweise in Bereichen wie Arithmetik, Geographie und Informationstransformation testeten. Es wurde festgestellt, dass die Genauigkeit mit der Modellgröße zunimmt, bei schwierigen Problemen jedoch abnimmt.

Selbst in einem verfeinerten Modell wie GPT-4 gibt es mehr als 60 % falsche Antworten. Es ist überraschend, wie selbst einfache Fragen schief gehen können. Freiwillige klassifizierten falsche Antworten falsch, was auf schwerwiegende Probleme bei der Modellüberwachung hindeutet.

Hernández-Orallo schlug vor, dass Entwickler „die KI-Leistung bei einfachen Fragen verbessern“ sollten, und ermutigte Chatbots, die Beantwortung schwieriger Fragen zu vermeiden, damit Benutzer besser verstehen, wann sie dem KI-Modell vertrauen können. „Wir müssen den Leuten klar machen: ‚Ich kann es in diesem Bereich nutzen, aber nicht in diesem Bereich‘“, sagte er.

Wussten Sie? Die heutigen Sprachmodelle sind zwar genauer als früher, aber auch weniger zuverlässig. Im nächsten Artikel werden weitere Forschungsergebnisse und Vorschläge zu diesem Thema vorgestellt.