Transformer
Ein Transformer ist eine Modellarchitektur, die Zusammenhänge zwischen Teilen einer Eingabe mit einem Aufmerksamkeitsmechanismus verarbeitet.
Statt Wörter nur nacheinander zu betrachten, kann das Modell Beziehungen zwischen unterschiedlichen Positionen gewichten. Die 2017 beschriebene Architektur bildet die Grundlage vieler heutiger Sprachmodelle.
Praktische Bedeutung
Transformer helfen bei Übersetzung, Textverarbeitung und anderen Aufgaben. Die Architektur allein sagt nichts darüber aus, ob eine konkrete Antwort richtig ist.
Ein einfaches Beispiel
In „Der Hund jagt den Ball, weil er rollt“ hilft der Kontext, „er“ dem Ball zuzuordnen.
Nicht verwechseln mit
Transformer ist eine Architektur, kein Produktname und keine Garantie für Verständnis.
Verwandte Begriffe
Quellen und weiterführende Links
Redaktionell verantwortlich: David Schmitt · KI-Unterstützung bei Recherche und Formulierung.
Veröffentlicht: · Aktualisiert: