Transformer
Die neuronale Netzwerkarchitektur hinter modernen KI-Sprachmodellen wie GPT, Claude und Gemini.
Der Transformer ist eine 2017 von Google-Forschern vorgestellte Architektur für neuronale Netze, die seitdem die Grundlage nahezu aller modernen Sprachmodelle bildet. Das zentrale Konzept ist der sogenannte Attention-Mechanismus: Das Modell lernt, welche Teile eines Textes für die Verarbeitung eines bestimmten Wortes oder Satzes besonders relevant sind.
Was bedeutet das für die Praxis?
Für Entscheider ist die interne Funktionsweise des Transformers weniger wichtig als das Ergebnis: Diese Architektur ermöglicht es Modellen, lange Kontexte zu verstehen, komplexe Zusammenhänge herzustellen und menschenähnliche Texte zu erzeugen. Sie ist die technische Basis für ChatGPT, Claude, Gemini und alle vergleichbaren Systeme.
Die Kenntnis dieser Grundlage hilft dabei, Stärken und Grenzen von KI-Produkten realistisch einzuschätzen — und Anbieterversprechen kritisch zu hinterfragen.