Testergebnisse unter der Lupe: Warum ein Ergebnis ohne Uplift trotzdem ein Gewinn ist

Christopher Meil, 15.08.2016

Testergebnisse_unter_der_Lupe

Heftiges Tastaturgeklapper, ein Ratschen des Mausrades, Stille und dann... ein großes Fluchen. Thilo Tester schimpft wie ein Rohrspatz vor sich hin. Das ist jetzt der 7. Test von seinen insgesamt nun 10 Tests, welcher wieder keine Click-Through-Rate Steigerung seiner Landing Page gebracht hat.

Ist das Testprogramm von Thilo Tester gescheitert, testet er schlecht? Nein auf keinen Fall, denn beim Testen geht es darum einen Erkenntnisgewinn zu genieren und nicht nur Uplifts.

Wenn man es genau nimmt sind die Uplifts eine positive Nebenerscheinung des Testings, denn im Kern geht es um das Lernen. Jedes Testergebnis hilft Ursache und Wirkung zu verstehen, daraus zu lernen und ist damit ein Gewinn für die Weiterentwicklung. Ähnlich wie beim Laufen-Lernen braucht es auch das Hinfallen, um zu verstehen und hierdurch den Gesamtprozess des Gehens zu lernen.

Kommen wir zurück zu Thilo Tester: statistisch gesehen ist sein Testprogramm von der Performance erstmal auch nicht schlechter als andere, denn Untersuchungen wie z.B. die von Convert zeigen, dass 7 von 10 Tests keinen Uplift generieren. Aber wie gesagt es geht beim Testen nicht (nur) um Uplift sondern vor allem um Erkenntnisgewinn. Deshalb sollte Thilo Tester seine Perspektive wechseln und sich mit den 4 möglichen Ergebnistypen beschäftigen:

Mehr als nur Uplifts – Die 4 möglichen Ergebnis-Typen

In jeder Nachrichten-Sendung werden wir damit konfrontiert – den Sportergebnissen wie z.B. die Ergebnisse der Fußball-Bundesliga. Was aber haben die Sportergebnisse und Testergebnisse gemein? Sie können verschiedene Ausgänge annehmen es gibt Gewinner, Verlierer, Unentschieden...und hier sind die Testergebnisse der immerwährenden Testing-Liga:

 

-       Test-Variante schlägt Kontroll-Variante

-       Kontroll-Variante schlägt Test-Variante

-       Gleichstand für Kontroll-Variante und Test-Variante

-       Kontroll-Variante und Test-Variante wechseln als Gewinner

 

Schauen wir uns das ganze anhand eines Landing Page Test Beispiels einmal konkret an und betrachten sinnvolle Ableitungen:

Test-Variante schlägt Kontroll-Variante

Test_variante_schlaegt_kontroll_variante

Die Testvariante der Landing Page mit einem neuen Produkt-Bild erzeugt eine höhere Click-Through-Rate als die Kontroll-Variante der Landing Page mit dem bisherigen (unveränderten) Bild

--> Ableitung: Stärken stärken und ausweiten

Der neue Ansatz hat gut funktioniert z.B. die auffällige Kennzeichnung „Neuheit“ auf dem Produktbild, dann könnte eine sinnvolle Verstärkung darin liegen, auch im Produkttext einen Neuheit-Absatz nebst Neuheit-Zwischenüberschrift hinzuzufügen.

Zusätzlich sollte über eine Ausweitung nachgedacht werden: Wo und wie könnte der funktionierende Ansatz noch eingesetzt werden? Andere Seiten, Offline usw.

Kontroll-Variante schlägt Test-Variante

Kontrollvariante_schaegt_testvariante

Die Kontroll-Variante der Landing Page mit dem bisherigen Produktbild erzeugt eine höhere Click-Through-Rate als die Test-Variante mit dem neuen Produktbild

--> Ableitung: Probiere es mit dem Gegenteil

Die Idee durch mehrfache Textkürzung für einen schnelleren Überblick zu sorgen hat nicht funktioniert – dann könnte doch das Gegenteil ein Ansatz sein: Texte ergänzen und zusätzliche Zwischenüberschriften einziehen. Vielleicht braucht es mehr Informationen, damit Nutzer eine Entscheidung treffen können.

Gleichstand für Kontroll-Variante und Test-Variante

Varianten_gleich_auf

Die Click-Through-Rate ist sowohl bei der Kontroll-Variante der Landing Page mit dem bisherigen Produktbild als auch bei der Test-Variante mit dem neuen Produktbild identisch

--> Ableitung: Andere(s) entscheidet

Der Test mit der neuen Farbgebung der Navigation hat weder eine Engagement-Verstärkung noch Verringerung verursacht, dann können nun Andere (z.B. das Management) oder anderes (z.B. was besser zum Gesamt CI passt) zur Entscheidung herangezogen werden. Eins sollte eventuell bei diesem Ergebnis auch noch geprüft werden: War ein tatsächlicher Unterschied zwischen Kontroll-Variante und Test-Variante überhaupt erkennbar? Denn z.B. ein blauer versus ein hellblauer Link als Testansatz kann leicht übersehen werden und damit keine wirkliche Wirkung entfalten.

Kontroll-Variante und Test-Variante wechseln als Gewinner

Kontrolle_und_Test_wechseln

Januar: Die Kontroll-Variante der Landing Page mit dem bisherigen Produktbild erzeugt eine höhere Click-Through-Rate als die Test-Variante mit dem neuen Produktbild

Februar: Die Test-Variante mit dem neuen Produktbild erzeugt eine höhere Click-Through-Rate als die Kontroll-Variante mit dem bisherigen Produktbild

--> Ableitung: Kontroll-Variante und Test-Variante wechseln als Gewinner - Abtauchen in die Daten

Keine Ergebnisstabilität über die Testlaufzeit resultiert in den allermeisten Fällen daraus, dass andere Faktoren außerhalb des Testansatzes das Ergebnis maßgeblich beeinflussen. Deshalb gilt es hier in die Daten abzutauchen und herauszufinden was sich im Testumfeld während der Testlaufzeit verändert hat: Gab es Änderungen in der Traffic-Zusammensetzung z.B. Anfangs viele neue Nutzer versus viele Wiederholen in der zweiten Testlaufzeit-Hälfte? Wurde eine große Werbekampagne parallel zum Testanfang gefahren, die Einfluss auf den Test haben könnte? Gibt es einen Saison-Effekt a la Weihnachten, Ostern, etc. was das Nutzerverhalten massiv beeinflussen könnte?

Fazit – Jedes Testergebnis ist ein (Erkenntnis) Gewinn und dient der Weiterentwicklung

Das klare Ziel des Testens ist Verstehen und Lernen, die Steigerung ergibt sich als Nebeneffekt (und sei es erst später auf Basis mehrerer Test- Learnings). Testen sollte nicht zum Selbstzweck und als reine Anpassungsmechanik zur Steigerung betrieben und verstanden werden wie z.B. Ohne-Zu-Hinter-Fragen-Wirkungsketten: hohe Bouncerate - neues Bild - Bouncerate verringert - weiter so. Denn wir befinden uns in der Mensch-Maschine-Interaktion d.h. davor sitzt ein Mensch mit komplexem Verhalten (Wünsche, Ängsten, Ablenkungen, Abwägungen) und dieses gilt es zu verstehen. Denn wenn ich weiß warum das neue Bild mit z.B. dem Familienmotiv besser funktioniert, dann kann ich auch alle weiteren Optimierungen darauf aufbauen. Ein solcher Erkenntnisgewinn greift viel weiter und hilft im Zweifel sogar meine gesamte Unternehmens-Strategie und mein Vorgehen zu verbessern

Christopher Meil ist Onlinemarketing-Spezialist mit über 16 Jahren Erfahrung in digitalen Projekten & Prozessen. Er liebt es neue Methoden und Tools auszuprobieren. Abseits des digitalen schätzt er gutes Essen, spannende Bücher (Thriller) und liebt Wald & Natur.
Fragen oder Anregungen zu diesem Artikel?
Christopher Meil freut sich von Ihnen zu hören: 0221/9808014  oder cmeil@optimeil.de

0 Kommentare

Schreiben Sie einen Kommentar zu dieser Seite

Antwort auf:  Direkt auf das Thema antworten

5308 - 2

0221 98 08 014

Ruth-Scheye-Weg 16, 51105 Köln