Kampf der KI-Chatbots: Claude übertrifft die Konkurrenz, ChatGPT enttäuscht

Eine von der Fachhochschule Nordwestschweiz durchgeführte Evaluation zeigt, dass die Leistungen der wichtigsten Chatbots für künstliche Intelligenz uneinheitlich sind. Während sich Claude von Anthropic als bester Schüler durchsetzt, schneidet ChatGPT, obwohl Marktführer, enttäuschend ab. Die Sendung “Kassensturz” von SRF hat diese überraschenden Erkenntnisse ausgestrahlt.

Suisse-blog hat bereits einen Vergleich zu KI Chatbot

Überraschende Fehler bei lokalen Themen

Rabattcode: ZNVC5

In einem deutschsprachigen Schweizer Restaurant eine “Stange” bestellen und erklärt bekommen, dass es sich dabei um ein längliches Gebäck handelt, das individuell gestaltet werden kann? Diese abstruse Antwort gaben zwei Chatbots im Test. In Wirklichkeit bezeichnet eine “Stange” einen Bierkrug. Diese “Halluzinationen” - ein Begriff für erfundene Antworten - traten während des Experiments häufig auf.

Die Forscher stellten zehn Chatbots für die breite Öffentlichkeit über 300 Fragen aus den Bereichen Alltag, Allgemeinbildung, Recht und Gesundheit. Ein fünfter befasste sich speziell mit der Schweiz. Ein Expertenausschuss analysierte anschließend die Ergebnisse.

Der helvetische Chatbot als Schlusslicht

Simon Felix, KI-Spezialist an der FHNW, stellt fest, dass mehrere Chatbots sich besonders schwer tun, wenn es um Schweizer Fragen geht. Sie produzieren entweder Erfindungen oder Antworten, die sich auf Deutschland konzentrieren.

Lumo, das von der Schweizer Firma Proton entwickelt wurde, landete auf dem letzten Platz. Trotz eines tadellosen Datenschutzes bleibt die Qualität seiner Antworten problematisch. Simon Felix beobachtet, dass Lumo zwischen ultrakurzen Antworten mit drei Wörtern und endlosen, manchmal völlig erfundenen Entwicklungen schwankt. Auch der chinesische Chatbot Deepseek und der von Meta erhalten ungenügende Bewertungen.

ChatGPT: schlechte Ergebnisse trotz seiner Beliebtheit

Die Nutzung von Sprachmustern explodiert. ChatGPT dominiert mit rund 800 Millionen wöchentlichen Nutzern laut OpenAI. Dennoch ist seine Leistung nicht überdurchschnittlich. “Es vermeidet katastrophale Antworten, erreicht aber nie Spitzenleistungen”, kommentiert Simon Felix. Das Modell zeigt auch seine Grenzen angesichts der schweizerischen Besonderheiten.

Rabattcode: ZNVC5

Claude von Anthropic an der Spitze der Rangliste

Der Chatbot Claude von Anthropic - einem Unternehmen, das von ehemaligen OpenAI-Forschern gegründet wurde - gewinnt den Preis: “Er kommt direkt auf den Punkt mit knappen Antworten, die keine entscheidenden Elemente auslassen”, betont der Experte.

Copilot von Microsoft und Gemini von Google schneiden ebenfalls gut ab. Faszinierende Tatsache: Copilot verwendet die gleiche Technologie wie ChatGPT, liefert aber bessere Ergebnisse. Simon Felix erklärt dies mit ausgefeilteren Richtlinien und mehr Rechenleistung bei Microsoft, was die Bedeutung der Anpassung der Vorlagen durch die Anbieter verdeutlicht.

Vorsicht bei heiklen Themen empfohlen

Der Experte warnt vor dem Einsatz von Chatbots für bestimmte Themenbereiche. Diese Tools eignen sich nur für Fragen, deren Fehler keine schwerwiegenden Konsequenzen nach sich ziehen. “Bei medizinischen, psychologischen oder rechtlichen Fragen kann eine falsche Antwort dramatische Auswirkungen haben”, warnt Simon Felix.

Der Schutz persönlicher Daten bleibt ebenfalls von größter Bedeutung. Private Informationen, sensible Namen oder vertrauliche Dokumente sollten niemals in diese Systeme eingegeben werden.