.svg)
Was ist ein Large Language Model (LLM)?
Ein Large Language Modell ist eine besondere Art von künstlicher Intelligenz, im Kern lernt ein LLM eine einzige Aufgabe: Im sogenannten Pretraining wird es darauf trainiert, in riesigen Textmengen jeweils das nächste Wort vorherzusagen. Aus dieser Fähigkeit entstehen Zusammenfassen, Übersetzen, Beantworten von Fragen oder Schreiben von Code. Das sogenannte Deep Learning verwendet neuronale Netzwerke, die von Strukturen im menschlichen Gehirn inspiriert sind. "Large" bezieht sich auf zwei Dinge: die Zahl der Parameter, also der Stellschrauben im neuronalen Netz, und die Menge an Trainingsdaten und Rechenleistung.
Viele aktuelle Modelle verarbeiten neben Text auch Bilder, Audio oder Video. Sie heißen multimodal. Der Oberbegriff für solche breit vortrainierten Modelle ist Foundation-Modell. Jedes LLM ist also ein Foundation-Modell, aber nicht jedes Foundation-Modell ist ein reines Sprachmodell.
Was sind Foundation-Modelle?
Als Foundation-Modelle bezeichnet man überwiegend große neuronale Netzwerke, die bereits für einen gewissen Bereich von Anwendungen, beispielsweise Sprachverarbeitung, vortrainiert sind. Für dieses Vortraining sind riesige Datensätze nötig, damit das Foundation-Modell Zusammenhänge in den Daten erkennen und auf neue Anwendungen übertragen kann. Außerdem müssen große Rechenressourcen vorhanden sein, da die zugrundeliegenden Berechnungen umfangreich sind und in großer Zahl anfallen.
Nachdem das Vortraining stattgefunden hat, können die Modelle dann auf spezielle Anwendungen fein abgestimmt werden (englisch: Finetuning). Solch eine Feinabstimmung wird dann beispielsweise genutzt, damit ein Foundation-Modell Texte zusammenfassen, in verschiedene Sprachen übersetzen oder sogar komplett neue Passagen erzeugen kann.
Damit aus einem vortrainierten Modell ein hilfreicher Assistent wird, folgen weitere Trainingsschritte. Dazu gehören Instruction Tuning und Training mit menschlichem Feedback (RLHF). Dabei lernt das Modell, Anweisungen zu befolgen und Antworten zu bevorzugen, die Menschen als hilfreich bewerten. Für Unternehmen ist meist kein eigenes Finetuning nötig. Häufiger wird das Modell zur Laufzeit mit geprüftem Unternehmenswissen verbunden (Retrieval-Augmented Generation, siehe unten).
Wie funktioniert ein Large Language Model?
Ein LLM versteht keine Wörter, sondern rechnet mit Zahlen. Damit aus deiner Frage eine Antwort wird, durchläuft der Text deshalb zwei Übersetzungsschritte. Die Grundlagen zu Sprachmodellen allgemein findest du in unserem Artikel zu Sprachmodellen. Hier geht es um das, was LLMs besonders macht. Wir bleiben dabei bei Text, auch wenn viele Modelle heute ebenso Bilder oder Audio verarbeiten.
Schritt 1: Text wird in Tokens zerlegt. Das Modell zerschneidet die Eingabe in kleine Bausteine, die Tokens. Meist sind das Wortteile, manchmal ganze Wörter oder Satzzeichen.
Schritt 2: Aus Tokens werden Vektoren. In der Embedding-Schicht bekommt jeder Token eine Art Koordinate in einem vielschichtigen Bedeutungsraum. Stell dir einen Vektor wie einen Richtungspfeil vor: (5, 2) heißt etwa “fünf Schritte geradeaus, dann zwei nach links”.
Der Clou: Diese Koordinaten hat das Modell im Training selbst gelernt. Wörter mit ähnlicher Bedeutung landen dadurch nah beieinander. “Spielen” und “die Spielerin” zeigen in eine ähnliche Richtung, Synonyme liegen fast übereinander. So erkennt das Modell, dass Begriffe zusammengehören, ohne dass ihm das jemand erklärt hat.
Transformer, Training und Kosten
Fast alle aktuellen LLMs basieren auf der Transformer-Architektur, die im Paper von Vaswani et al. (2017) vorgestellt wurde. Ihr Herzstück ist der Attention-Mechanismus: Er gewichtet, welche Tokens für die aktuelle Aufgabe wichtig sind, und berücksichtigt dabei auch ihre Position im Satz. So erkennt das Modell zum Beispiel, worauf sich ein “sie” drei Wörter später bezieht.
Trainiert wird das Modell mit riesigen Textmengen, meist aus dem Internet. Dabei lernt es Muster in Sprache, die es für neue Vorhersagen nutzt. “Large” steht deshalb für dreierlei: viele Daten, Milliarden Parameter und enorme Rechenleistung, sowohl beim Training als auch bei jeder einzelnen Anfrage.
Weil mehr Parameter ein Modell vor allem teurer machen, setzen viele Anbieter auf Mixture of Experts (MoE). Das Netz ist dabei in spezialisierte Teilbereiche aufgeteilt, und pro Token arbeitet nur ein kleiner Teil davon. OpenAIs gpt-oss etwa hat rund 117 Mrd. Parameter, nutzt pro Token aber nur etwa 5,1 Mrd. Auch Mistral AI aus Paris setzt mit Mixtral auf dieses Prinzip.
Warum halluzinieren LLMs?
Als Halluzinationen werden korrekt klingende, aber dennoch falsche Aussagen bezeichnet. Sie entstehen unter anderem, weil Training und gängige Bewertungsverfahren das Raten stärker belohnen als das Zugestehen von Unsicherheit. OpenAI bezeichnet Halluzinationen ausdrücklich als grundlegende Herausforderung für alle großen Sprachmodelle. Ein LLM sollte im Kundenkontakt nicht frei aus seinem Trainingswissen antworten, sondern per Retrieval-Augmented Generation (RAG) auf geprüfte Inhalte zugreifen.
Wie können Modelle verglichen werden?
Bei dem Umgang mit Large Language Models (LLMs) und deren Ausgaben ist es oft die subjektive Empfindung des Users, die darüber bestimmt, ob die Leistung des Modells gut oder schlecht ist. Im Vergleich zu anderen Deep-Learning-Anwendungen bietet der Umgang mit natürlicher Sprache deutlich weniger rationale Kennzahlen, die die Qualität eines Modells ausdrücken können. Oftmals ist es die subjektive Wahrnehmung und der Anwendungsfall selbst, der darüber bestimmt, ob das Modell ausreichend gut performt.
Um die Leistungsfähigkeit der Modelle trotzdem unabhängig und rational vergleichbar zu machen, gibt es sogenannte Benchmarks, die belastbare Zahlen liefern. Dabei werden standardisierte Tests und Datensätze genutzt, um die Performance eines LLMs bewerten und es mit den Ergebnissen von anderen Modellen vergleichen zu können. Abhängig von der Anwendung haben sich verschiedene Benchmarks mit der Zeit entwickelt. Zu den am weitesten verbreiteten zählen Folgende:
- IFEval: 25 Typen überprüfbarer Anweisungen in 541 Prompts. Gemessen wird, ob ein Modell Vorgaben wie Wortanzahl oder Pflichtbegriffe exakt einhält.
- BIG-Bench Hard: Dies umfasst eine Reihe von insgesamt 23 verschiedenen Aufgaben, die aus dem Bewertungstest BIG-Bench entnommen wurden und als "hart" eingestuft wurden, da vorherige Sprachmodelle in diesen Aufgaben menschliche Kontrahenten nicht schlagen konnten. Eine Aufgabe umfasst beispielsweise das Verständnis für geometrische Figuren.
- Graduate-Level Google Proof Q&A Benchmark (GPQA): I448 Multiple-Choice-Fragen aus Biologie, Physik und Chemie, geschrieben von Fachexpert:innen. Promovierte oder promovierende Fachleute erreichen 65 % Genauigkeit. Hochqualifizierte Fachfremde kommen trotz durchschnittlich über 30 Minuten freiem Internetzugang nur auf 34 %. Deshalb gelten die Fragen als "Google-proof".
Die bekannteste Rangliste auf Basis menschlicher Bewertungen ist Arena (früher Chatbot Arena bzw. LMArena). Seit dem 28. Januar 2026 tritt das Projekt unter dem Namen “Arena” auf. Nutzer vergleichen dort zwei anonyme Modellantworten und stimmen ab, welche besser ist. Daraus entsteht ein Ranking nach dem Bradley-Terry-Verfahren, ähnlich dem Elo-System im Schach. Wichtig: Ein Spitzenplatz misst allgemeine Nutzerpräferenz, nicht die Eignung für deinen konkreten Anwendungsfall.
Wie weit sind LLMs noch von Artificial General Intelligence entfernt?
Die Artificial General Intelligence beschreibt eine Maschine, die alle Fähigkeiten besitzt, die einem menschlichen Wesen zugeschrieben werden. Dazu zählen neben dem Verständnis von Sprache auch beispielsweise die Eigenschaft, Dinge zu erlernen, Schlussfolgerungen zu ziehen oder kreative Projekte umzusetzen. Da viele LLMs Sprache nicht nur gut verstehen, sondern auch kreative und neue Texte generieren können, entsteht leicht der Eindruck, dass sie menschlicher Intelligenz bereits sehr nahe kommen. Hinzu kommt, dass sich die Modelle in einem schnellen Tempo weiterentwickeln und vorgeben, bereits einfachere Rechenaufgaben in Mathematik oder Physik lösen zu können. Das Modell Gemini von Google findet beispielsweise Fehler in verschiedenen Rechenaufgaben und kann auch bereits die richtige Lösung dazu anbieten, wie man in diesem Video sieht.
Zu den prominentesten Skeptikern gehört Turing-Preisträger Yann LeCun. Er verließ Meta im November 2025 und gründete in Paris AMI Labs, um sogenannte World Models zu entwickeln. Ziel sind laut LeCun Systeme, die die physische Welt verstehen, ein dauerhaftes Gedächtnis haben, schlussfolgern und komplexe Handlungsabfolgen planen können. Seine Kernthese: Menschen lernen den Großteil ihres Wissens aus der Interaktion mit der Umwelt, nicht aus Texten. Deshalb reicht reines Sprachtraining aus seiner Sicht nicht für allgemeine Intelligenz.
Auch die Forschung untersucht bereits, ob die heutigen LLMs überhaupt technisch so aufgesetzt sind, dass sie zur Entwicklung von Artificial General Intelligence (AGI) führen können. Einige Paper, wie beispielsweise Chen et al. (2024) Transformer-Based Large Language Models are not General Learners: A Universal Circuit Perspective, kommen zu dem Schluss, dass die heutige Transformer-Architektur aus denen die meisten LLMs bestehen, technisch limitiert sind, da ihre Kapazitäten nicht ausreichen, um die unterschiedlichen Darstellungsoptionen von Wissen abzubilden. Deshalb fordern sie, dass die zukünftige Forschung neue Architekturen finden muss, um diese Lücke zu schließen. Anders sei es nicht möglich, solch allgemein lernende Modelle zu erstellen.
LLMs und der EU AI Act
Für Anbieter von General-Purpose-AI-Modellen gelten seit dem 2. August 2025 eigene Pflichten aus dem EU AI Act. Ein freiwilliger Code of Practice mit den Kapiteln Transparenz, Urheberrecht sowie Sicherheit unterstützt die Umsetzung. Für Unternehmen, die LLMs im Kundenkontakt einsetzen, ist Artikel 50 entscheidend. Die Transparenzpflichten gelten seit dem August 2026 und geben vor, dass für Nutzer erkennbar sein muss, dass sie mit einer KI interagieren. moinAI kennzeichnet KI-generierte Antworten im Chat klar und erfüllt damit die Anforderungen. Entwickelt und gehostet wird moinAI in Deutschland
Fazit: Das Wichtigste im Überblick
Das Wichtigste im Überblick: Large Language Models sagen auf Basis riesiger Trainingsdaten das jeweils nächste Token vorher. Daraus entstehen Fähigkeiten wie Zusammenfassen, Übersetzen und Beantworten von Fragen. Fast alle basieren auf der Transformer-Architektur, viele nutzen inzwischen Mixture of Experts.
Benchmarks wie GPQA, HLE oder τ-bench machen Modelle vergleichbar, sagen aber wenig über deinen konkreten Einsatz. Die größte praktische Schwäche bleiben Halluzinationen.
Im Kundenservice zählt deshalb nicht das “klügste” Modell, sondern Kontrolle: geprüfte Quellen, Guardrails, nachvollziehbare Antworten und freigegebene Aktionen.
Fordere jetzt deinen eigenen Chatbot-Prototyp an!
Jetzt, da du mehr über die Möglichkeiten von Large Language Models weißt, wird es Zeit, selbst zu erleben, wie diese Technologie deinem Unternehmen hilft. Erstelle ganz unverbindlich deinen ersten Chatbot-Prototyp:
