A/B-Test im KI-Kontext
Ein A/B-Test vergleicht zwei Varianten unter möglichst vergleichbaren Bedingungen anhand vorher festgelegter Messgrößen. Bei KI-Systemen können das beispielsweise zwei Prompts sein; ein verlässlicher Vergleich braucht gültige Beobachtungen in beiden Gruppen.
A und B werden für dieselbe klar definierte Fragestellung getestet. Zuordnung, Messgröße und Auswertung sollten vorab feststehen. Unterschiede außerhalb der gewünschten Änderung erschweren die Interpretation. Bei KI-Ausgaben sind zudem technische Ausfälle und nicht auswertbare Antworten getrennt vom untersuchten Verhalten zu zählen.
Wenn eine Gruppe keine gültigen Antworten liefert, kann aus diesem Lauf kein Unterschied zwischen den Varianten geschätzt werden. Auch ein vollständig durchgeführter Test gilt zunächst nur für seine Aufgaben, Prompts, Modelle und Einstellungen. Ein beobachteter Nullunterschied ist kein Beweis, dass unter anderen Bedingungen nie ein Effekt auftritt.
Praktische Bedeutung
Eine feste Messgröße und vergleichbare Aufgaben helfen, zwei Varianten fair zu prüfen. Technische Ausfälle werden getrennt gezählt; sonst kann ein scheinbarer Unterschied bloß an fehlenden Antworten liegen.
Gesellschaftliche Bedeutung
Wenn KI-Systeme in wichtige Abläufe eingebaut werden, sollten Behauptungen über Verbesserungen nachvollziehbar geprüft werden. Ein A/B-Test zeigt zunächst einen Befund für den untersuchten Aufbau, keine allgemeine Eigenschaft aller Modelle oder Einsatzfälle.
Ein einfaches Beispiel
In einem SchmittAInander-Pilot wurden zwei Erfolgsformulierungen bei vier simulierten Situationen geplant. Von 16 Entscheidungen waren nur drei gültig, alle in einer Bedingung: kein auswertbarer A/B-Vergleich. Zwei spätere und jeweils anders aufgebaute Hauptläufe hatten je 80 gültige Trials; in beiden Bedingungen wurde dort keine Regelumgehung beobachtet.
Nicht verwechseln mit
Zwei Varianten vorzuführen ist noch kein belastbarer Vergleich. Wenn neben der gewünschten Änderung auch Länge oder Auffälligkeit eines Prompts variieren, kann ein späterer Unterschied nicht ohne weitere Kontrolle allein der Erfolgsdefinition zugeschrieben werden.
Verwandte Begriffe
Quellen und weiterführende Links
Redaktionell verantwortlich: David Schmitt · KI-Unterstützung bei Recherche und Formulierung.
Veröffentlicht: · Aktualisiert: