Synthetic User in der Experimentation: Potenziale, Grenzen und Einsatz im A/B-Testing

AI ermöglicht es Experimentation-Teams, schneller von der ersten Idee zur testfertigen Variante zu gelangen. Doch mehr Tests erstellen zu können, bedeutet nicht, dass sich auch alle durchführen lassen. Denn aussagekräftige Ergebnisse braucht Besucher – und der verfügbare Traffic wächst nicht im gleichen Tempo wie die Zahl der Ideen.

So kann ein Team mehrere Varianten einer Produktdetailseite oder eines Checkout-Prozesses vorbereiten, ohne über genügend Traffic zu verfügen, um sie alle miteinander zu vergleichen. Doch wie lässt sich entscheiden, welche Varianten einen Test unter realen Bedingungen verdienen?

Synthetic User, also mithilfe von AI simulierte Nutzerprofile, könnten dabei helfen, eine erste Vorauswahl zu treffen. Sie ermöglichen es, mögliche Reaktionen auf Botschaften, Benutzeroberflächen oder bestimmte Prozesse zu untersuchen. So können Teams ihre Hypothesen weiterentwickeln, bevor sie diese mit echten Besucher testen.

Welchen tatsächlichen Mehrwert Synthetic User für die Experimentation bieten, muss sich allerdings erst noch zeigen: Was genau können sie uns sagen, in welchen Phasen des Experimentation-Prozesses sind sie sinnvoll und wie verlässlich sind ihre Ergebnisse?

Was sind Synthetic User?

Synthetic User sind mithilfe von AI simulierte Nutzerprofile, die mögliche Reaktionen einer bestimmten Zielgruppe auf Fragen, Konzepte, Inhalte oder digitale Erlebnisse abbilden sollen.

Um diese synthetischen Zielgruppen zu erstellen, nutzt AI unterschiedliche Datenquellen und Modellierungstechniken. Dazu können beispielsweise First-Party-Kundendaten wie Umfragen, Interviews, Verhaltensdaten, demografische Informationen oder Kundenbewertungen gehören. Je nach Lösung fließen auch weitere Daten und Informationen ein. Synthetic User basieren daher nicht auf einer einheitlichen, standardisierten Methode.

Im Bereich Experimentation können Synthetic User dabei helfen, einzuschätzen, wie unterschiedliche Zielgruppensegmente auf eine Idee, ein digitales Erlebnis oder eine Variante reagieren könnten – noch vor einem realen Test oder parallel dazu.

Um zu verstehen, welches Potenzial Synthetic User für die Experimentation haben, lohnt sich zunächst ein Blick auf ihre bisherige kommerzielle Anwendung: Media und Advertising.

Was wir 2027 bereits über Synthetic User wissen

Die Medienbranche gehört zu den ersten Bereichen, in denen Synthetic User zunehmend kommerziell eingesetzt werden. Verlage und Werbetreibende beginnen, Zielgruppen auf Basis eigener Kundendaten und weiterer Datenquellen zu modellieren, um Botschaften, Werbemittel und Zielgruppenstrategien zu testen.

Times ExplorAItion: Werbekonzepte testen, bevor sie live gehen

Im April 2026 startete News UK Times ExplorAItion, eine Lösung für synthetische Zielgruppen, die gemeinsam mit Electric Twin entwickelt wurde. Electric Twin beschreibt die Plattform so: „Sie erstellt eine simulierte Zielgruppe auf Basis deiner Kundendaten, sodass jede Antwort widerspiegelt, was deine tatsächlichen Kunden sagen würden.“

Konkret stellt News UK Electric Twin eigene Kundendaten sowie umfangreiche Mengen an Daten aus Drittquellen zur Verfügung. Die Modellierungsplattform nutzt diese Informationen, um synthetische Versionen der wichtigsten Zielgruppensegmente von The Times zu erstellen. Anschließend können Teams diese Zielgruppen ähnlich wie ein klassisches Research-Panel befragen: Sie können Botschaften testen, Umfragen durchführen und kreative Ideen untersuchen. Werbetreibende können so ihre Angebote und Kampagnenkonzepte auf den Prüfstand stellen, bevor sie eine Kampagne tatsächlich starten.

Besonders interessant ist jedoch, dass Synthetic User nicht nur in der Werbung zum Einsatz kommen. News UK nutzte sie beispielsweise auch, um einen Namen für einen neuen Business-Podcast zu finden. Das Team testete vier mögliche Namen mit seiner synthetischen Zielgruppe. „The Business“ ging dabei als Favorit hervor. Der Name überzeugte sowohl das gesamte Panel als auch insbesondere die Zielgruppe, die der Podcast erreichen sollte.

Was lässt sich daraus für die Experimentation mitnehmen? Eine schnelle Möglichkeit, eine Auswahl an Ideen einzugrenzen, bevor ein Live-Test gestartet wird.

Svenska Dagbladet: Die Perspektive der Zielgruppe in Entscheidungen einbeziehen

Der Branchenbericht 2026 des Reuters Institute beschreibt die Versuche des schwedischen Verlags, eine KI-generierte Fokusgruppe einzusetzen. Grundlage dafür sind Interviews mit aktuellen und potenziellen Abonnenten. Die daraus entstandenen „digitalen Zwillinge“ sollen der Redaktion jederzeit die Perspektive ihrer Zielgruppe zugänglich machen – etwa bei Entscheidungen über die inhaltliche Aufbereitung von Artikeln oder deren Überschriften.

Der Anwendungsfall betrifft zwar den redaktionellen Bereich und nicht die Experimentation. Er zeigt jedoch ein Prinzip, das auch für die Experimentation relevant sein könnte: eine modellierte Zielgruppe jederzeit in Entscheidungsprozesse einzubeziehen, statt sie nur in formellen Research-Phasen zu befragen.

WPP Media und Givsly: Von simulierten Zielgruppen zum realen Media-Einsatz

Im Juni 2026 berichtete Digiday, dass WPP Media gemeinsam mit Givsly Synthetic Audiences für den programmatischen Media-Einkauf testet. Ziel ist es, Verbraucher anhand ihrer Werte statt nur anhand demografischer Merkmale oder ihres Online-Verhaltens anzusprechen.

Dafür verknüpft Givsly mithilfe eines auf Claude basierenden Modells geografische und demografische Daten, Wahlergebnisse sowie Spendeninformationen nach Postleitzahl – darunter Häufigkeit, Umfang und unterstützte Anliegen. WPP Media ergänzt diese um eigene First- und Second-Party-Daten, um synthetische Zielgruppenprofile zu erstellen. Diese kamen in programmatischen Kampagnen für vier Beauty- und Modemarken auf Connected TV (CTV) und bei Online-Videos zum Einsatz. Erste Tests zeigten Berichten zufolge eine um 2 % höhere Video-Abschlussrate, jedoch keinen messbaren Einfluss auf die Verkäufe.

Auch wenn es sich um ein frühes Branchenergebnis und keinen unabhängigen Wirksamkeitsnachweis handelt, zeigt das Beispiel, wie Synthetic Audiences über die Zielgruppenforschung hinaus zunehmend in konkrete Media-Entscheidungen einfließen.

Synthetic User im A/B-Testing einsetzen

Die mögliche Rolle von Synthetic Usern wird deutlich, wenn wir betrachten, an welchen drei Stellen sie den Experimentation-Prozess ergänzen können: vor, während und nach einem Live-Test.

1. Vor dem Test: entscheiden, welche Ideen echten Traffic verdienen

Hier liegt derzeit ihr naheliegendster Einsatzbereich. Bevor Teams echten Traffic für eine Hypothese einsetzen, können sie Synthetic User mit folgenden Inhalten konfrontieren:

• Konzepte und Prototypen
• Botschaften und Texte
• verschiedene Tarifoptionen
• Landingpages und Websites in der Staging-Umgebung
• Checkout-Prozesse
• Onboarding-Prozesse
• Änderungen an Elementen wie CTAs oder Layouts

Anbieter wie Personia und neuroflash setzen Synthetic User bereits zur Vorauswahl und zum Pre-Testing ein. Personia ermöglicht es beispielsweise, zahlreiche Varianten mit einem synthetischen Panel zu bewerten und die Auswahl für anschließende Tests mit echtem Traffic einzugrenzen. neuroflash bietet ähnliche Möglichkeiten, um Werbemittel, Headlines und Landingpage-Konzepte vorab anhand synthetischer Zielgruppen zu testen.

Diese Anwendungen ersetzen weder Live-A/B-Tests unter realen Bedingungen noch die statistische Signifikanz ihrer Ergebnisse. Sie helfen jedoch dabei, vielversprechende Varianten zu identifizieren, bevor echter Traffic und Testbudget eingesetzt werden.

Die Begriffe variieren zwar (Vorauswahl, Pre-Testing oder Synthetic Research), doch der Grundgedanke ist derselbe: Erst filtern, dann Geld ausgeben.

2. Während des Tests: eine ergänzende Perspektive

Synthetic User ersetzen nicht den echten Traffic eines A/B-Tests. Sie können jedoch parallel zum laufenden Test eingesetzt werden, um mögliche Reaktionen unterschiedlicher Zielgruppensegmente auf beide Varianten zu untersuchen.

Plattformen wie Synthetic Users ermöglichen es bereits, AI-Personas mit Websites in der Staging-Umgebung interagieren zu lassen, Aufgaben auszuführen und mögliche Unklarheiten oder Reibungspunkte zu erkennen. So können Teams zusätzliche Hinweise gewinnen, etwa auf unerwartete Probleme oder Aspekte, die sie anhand der realen Testergebnisse genauer untersuchen sollten.

Während ein A/B-Test mit echten Besuchern läuft, können Synthetic User eine ergänzende Perspektive liefern: Sie helfen dabei, unerwartete Reibungspunkte oder technische Probleme zu erkennen und neue Hypothesen abzuleiten, noch bevor die realen Testergebnisse vorliegen.

Die simulierten Reaktionen liefern jedoch keine zusätzliche statistische Evidenz für den A/B-Test. Ihr Mehrwert liegt vielmehr darin, weitere Ansatzpunkte für die Analyse und Optimierung zu schaffen.

3. Nach dem Test: Ergebnisse in neue Hypothesen überführen

Auch nach einem abgeschlossenen Test können Synthetic User hilfreich sein. Wenn beispielsweise Variante B die Conversion Rate erhöht hat und auch das synthetische Panel positiver auf diese Variante reagiert, kann das ein Ansatzpunkt für weitere Untersuchungen sein.

Das bedeutet jedoch nicht, dass das Modell verstanden hat, warum Variante B besser funktioniert hat. Es kann lediglich die beobachtete Tendenz widerspiegeln. Teams können diese Erkenntnis nutzen, um neue Hypothesen zu entwickeln und weitere Testideen zu untersuchen. Ob diese tatsächlich funktionieren, muss weiterhin ein Test mit echten Besuchern zeigen.

Die Validierung liefert weiterhin ausschließlich das reale Experiment. Synthetic User können ausgehend von einem bestätigten Ergebnis neue Möglichkeiten aufzeigen, aber nicht nachträglich erklären, warum eine Variante erfolgreich war. Zudem können AI-Modelle, sobald sie das Ergebnis eines Tests kennen, plausible Erklärungen dafür formulieren. Plausibilität ist jedoch kein Beweis.

Welche Vorteile bieten Synthetic User in der Experimentation – und wo liegen ihre Grenzen?

Synthetic User bieten neue Möglichkeiten für die Experimentation. Ihr Einsatz bringt jedoch auch Grenzen und Risiken mit sich, die Teams kennen sollten.

Wie zuverlässig sind Synthetic User in der Experimentation?

Bisher stammen viele Erkenntnisse zu Synthetic User aus ersten Pilotprojekten und von Anbietern. Keines der bisherigen Beispiele belegt, dass eine synthetisch erfolgreiche Variante auch im realen A/B-Test gewinnt.

Bevor du Synthetic User in deinen Experimentation-Prozess integrierst, solltest du ihre Zuverlässigkeit deshalb anhand eigener Testergebnisse überprüfen. Ein erster Praxistest kann beispielsweise ein Blind-Backtest mit deinen zehn letzten A/B-Tests sein. Berücksichtige dabei sowohl Gewinner- und Verlierer-Varianten als auch Tests ohne messbaren Effekt. Wichtig ist, dass das synthetische Panel die tatsächlichen Ergebnisse vorher nicht kennt. Nur so lässt sich überprüfen, ob es die Ergebnisse unabhängig einschätzen kann.

Vergleiche anschließend die Einschätzungen des synthetischen Panels mit den tatsächlichen Ergebnissen:

• Hat es die später erfolgreiche Variante erkannt?
• Hat es zumindest die Richtung des Effekts richtig eingeschätzt – also einen Anstieg oder Rückgang vorhergesagt?
• Wie nah lag seine Schätzung an der tatsächlichen Effektstärke?

Wenn dein synthetisches Panel vergangene Gewinner nicht einmal tendenziell erkennen kann, solltest du es auch nicht zur Vorauswahl zukünftiger Testvarianten einsetzen.

Prüfe außerdem, wie unterschiedlich die Antworten deiner modellierten Zielgruppensegmente ausfallen. Sind sie wiederholt nahezu identisch, bildet das Panel möglicherweise die tatsächlichen Unterschiede zwischen den Zielgruppen nicht ausreichend ab.

Behalte die Ergebnisse auch langfristig im Blick. Sowohl Zielgruppen als auch die zugrunde liegenden Modelle verändern sich. Ein Panel, das heute zuverlässige Einschätzungen liefert, muss das nicht zwangsläufig auch morgen tun.

Das Wichtigste zum Schluss

Synthetic User liefern keine zusätzliche statistische Power für reale A/B-Tests. Sie können den Experimentation-Prozess jedoch sinnvoll ergänzen: von der Vorauswahl erster Ideen über die Analyse möglicher Reaktionen bis hin zur Entwicklung neuer Hypothesen.

Ihr Ziel ist nicht, echte Nutzer zu ersetzen, sondern Experimente mit ihnen besser vorzubereiten, fundierter zu gestalten und wertvoller zu machen.