Large Language Model (LLM)

auch: LLM · Grosses Sprachmodell · Large Language Model

Kurz gesagt: Ein Large Language Model (LLM) ist ein KI-Modell, das auf riesigen Textmengen trainiert wurde und Sprache verstehen sowie erzeugen kann. LLMs wie GPT oder Claude bilden die Basis von ChatGPT und modernen KI-Chatbots.

Ein Large Language Model (grosses Sprachmodell, LLM) ist ein neuronales Netz, das auf enormen Textmengen trainiert wurde, um menschliche Sprache zu verstehen und zu erzeugen. Es funktioniert, indem es das jeweils wahrscheinlichste nächste Wort vorhersagt. LLMs sind die treibende Technologie hinter generativer KI – von ChatGPT über Programmierassistenten bis zu firmeneigenen Chatbots.

Definition

Ein LLM ist ein Sprachmodell mit typischerweise Milliarden von Parametern, das auf umfangreichen Textkorpora trainiert wurde^[1]. «Gross» meint Modellgrösse und Datenmenge – daraus ergeben sich die Sprachfähigkeiten.

Die meisten heutigen LLMs basieren auf der Transformer-Architektur, die 2017 von Google-Forschern vorgestellt wurde^[2] und das Feld grundlegend verändert hat.

Wie ein LLM funktioniert

Text wird in kleine Einheiten («Tokens») zerlegt. Das Modell lernt während des Trainings, welche Tokens in welchem Kontext aufeinander folgen. Bei der Nutzung sagt es Schritt für Schritt das wahrscheinlichste nächste Token voraus und erzeugt so flüssige Antworten.

Der Aufmerksamkeitsmechanismus (Attention) erlaubt es dem Modell, relevante Teile des bisherigen Textes zu gewichten. Wichtig zu verstehen: Ein LLM «weiss» nichts im menschlichen Sinn – es modelliert statistische Sprachmuster. Deshalb braucht es bei Faktenfragen Verfahren wie RAG.

Bekannte Modelle

GPT (OpenAI)

Die GPT-Reihe von OpenAI; bekannt durch ChatGPT.

Claude (Anthropic)

Modellfamilie mit Fokus auf langen Kontext und Zuverlässigkeit.

Gemini (Google)

Googles multimodale Modellfamilie.

Open-Source-Modelle

Frei nutzbare Modelle wie Llama oder Mistral – auch lokal betreibbar.

Einsatzgebiete

Texterstellung

Entwürfe für Marketing, E-Mails, Produktbeschreibungen.

Chatbots & Assistenten

Verstehen Fragen und formulieren Antworten in natürlicher Sprache.

Zusammenfassen & Analysieren

Verdichten lange Dokumente und extrahieren Kernaussagen.

Programmierung

Generieren und erklären Code als Entwickler-Assistent.

Vorteile & Grenzen

Vorteile

Versteht und erzeugt Sprache nahezu menschlich
Vielseitig über viele Aufgaben und Sprachen
Beschleunigt Text- und Wissensarbeit massiv
Lokale Modelle ermöglichen volle Datenkontrolle

Grenzen & Risiken

Kann Fakten erfinden (Halluzinationen)
Wissen ist auf den Trainingsstichtag begrenzt (ohne RAG)
Cloud-Nutzung wirft Datenschutzfragen auf
Betrieb grosser Modelle ist ressourcenintensiv

Häufig gestellte Fragen

Was ist ein Large Language Model?

Ein LLM ist ein neuronales Netz, das aus enormen Textmengen gelernt hat, wie Sprache aufgebaut ist. Es arbeitet, indem es Wort für Wort das wahrscheinlichste nächste Token vorhersagt – und erzeugt daraus flüssige, zusammenhängende Antworten. Modelle wie GPT oder Claude sind Beispiele dafür.

Was ist der Unterschied zwischen einem LLM und ChatGPT?

Ein LLM ist die zugrunde liegende Technologie (z. B. GPT). ChatGPT ist eine Anwendung, die ein solches Modell über eine Chat-Oberfläche nutzbar macht. Das LLM ist gewissermassen der Motor, ChatGPT das Fahrzeug.

Warum erfinden LLMs manchmal Fakten?

Weil ein LLM statistische Sprachmuster modelliert und nicht über eine geprüfte Faktendatenbank verfügt. Es erzeugt die wahrscheinlichste Wortfolge – die kann plausibel klingen, aber falsch sein. Verfahren wie RAG binden die Antwort an echte Quellen und mindern dieses Problem.

Kann man ein LLM lokal in der Schweiz betreiben?

Ja. Open-Source-Modelle wie Llama oder Mistral lassen sich auf eigener Infrastruktur betreiben. Das gibt volle Datenkontrolle und ist für datensensible Anwendungsfälle besonders relevant, geht aber mit höherem Betriebsaufwand einher.

Was bedeutet «Token» bei einem LLM?

Ein Token ist eine kleine Texteinheit – oft ein Wortteil. LLMs verarbeiten Text in Tokens; deren Anzahl bestimmt unter anderem die Kosten und die maximale Kontextlänge eines Modells.

Quellen

Wikipedia: Large language model – en.wikipedia.org/wiki/Large_language_model
Vaswani et al.: «Attention Is All You Need» (2017) – arxiv.org/abs/1706.03762