LLM-Grundlagen
Wie Sprachmodelle wirklich funktionieren — von Tokens und Embeddings über neuronale Netze bis zur Transformer-Architektur und Fine-Tuning.
ChatGPT, Claude, Gemini — Sprachmodelle sind aus dem Alltag nicht mehr wegzudenken. Nur was sind eigentlich Sprachmodelle und was passiert unter der Haube? In dieser Reihe erkläre ich Schritt für Schritt, wie Sprachmodelle funktionieren — von den Grundkonzepten bis zur fertigen Architektur. Acht Artikel, aufeinander aufbauend, plus ein Bonus-Kapitel, in dem alle Bauteile zu einem lauffähigen Mini-Sprachmodell zusammenkommen.
- 1
Das nächste Wort — wie Sprachmodelle funktionieren
Was passiert zwischen Eingabe und Antwort? Tokens, Wahrscheinlichkeitsverteilungen und Sampling-Strategien — Schritt für Schritt erklärt, mit echtem Code.18. Apr 2026 - 2
Wörter als Punkte im Raum — was Embeddings wirklich sind
Wie Sprachmodelle Bedeutung in Zahlen kodieren. Embedding-Tabellen, Cosine Similarity, Vektorarithmetik und warum King minus Man plus Woman gleich Queen ergibt.20. Apr 2026 - 3
Neuronale Netze von Grund auf
Was zwischen Embedding und Logit passiert. Neuronen, Layer, Forward Pass und Aktivierungsfunktionen — vollständig in numpy implementiert, ohne Framework-Magie.21. Apr 2026 - 4
Backpropagation — wie ein Modell lernt
Wie neuronale Netze aus Fehlern lernen. Loss, Gradienten, Chain Rule, Gradient Descent — Backpropagation von Hand implementiert auf einem 2-Layer MLP das XOR und Token-Vorhersage lernt.22. Apr 2026 - 5
Kontext und RNNs — warum Reihenfolge zählt
Warum Sprache Gedächtnis braucht, und wie die ersten Sprachmodelle diesen Kontext gelernt haben. Rekurrente Netze, LSTMs und das Problem mit langen Sätzen, erklärt ohne Formel-Gewitter.24. Apr 2026 - 6
Attention Is All You Need
Wie aus dem Bottleneck der RNNs ein Mechanismus wurde, der jeden Token mit jedem anderen verbindet. Query, Key, Value, Multi-Head und das Paper, das die NLP-Welt umkrempelte, erklärt mit Bibliotheks-Bildern und etwas Mathe für die, die es genau wissen wollen.30. Apr 2026 - 7
Der Transformer, die vollständige Architektur
Position, Tiefe, Stabilität — was zu Attention dazukommt, damit ein vollständiger Transformer entsteht. Positional Encodings, Feed-Forward-Schichten, Residual Connections, Layer Normalization, der ganze Block in Python und der Sprung zu GPT, BERT, Llama und Claude.3. May 2026 - 8
Fine-Tuning, vom Basismodell zum Assistenten
Wie aus einem Basismodell, das Texte vervollständigt, ein hilfreicher Assistent wird. Supervised Fine-Tuning, RLHF, DPO und Constitutional AI — das letzte Stück der LLM-Pipeline, mit der ehrlichen Frage, was Alignment eigentlich löst.5. May 2026 - 9
Bonus: Wir bauen Lal — ein kleines Basismodell aus den Bauteilen der Serie
Acht Artikel Theorie, ein Bonus-Kapitel Praxis. Wir führen alle Code-Bausteine der LLM-Serie zu einem lauffähigen Mini-Sprachmodell zusammen, trainieren es auf TinyShakespeare und hängen einen winzigen SFT-Schritt an. Mit Augenzwinkern Richtung Star Trek TNG.7. May 2026