Return on Marketing Investment (ROMI) von AB-Testing – Lohnt sich Testing?

Lohnen sich Aktivitäten im Bereich AB-Testing für Unternehmen und wie sieht es mit dem ROMI (Return on Marketing Investment) der Optimierungs-Strategie und Testing Aktivitäten aus? Wir haben ein typisches AB-Testing Projekt unter die Lupe genommen und erklären, warum es sich lohnt, jetzt zu starten.

ROMI von AB-Testing: Was soll das denn jetzt?

„Bei Plakaten stellt sich ja auch niemand die Frage, warum also bei AB-Testing?” Tja, „neue“ Methoden müssen sich ihr Budget eben immer erst verdienen. Seien wir also gerüstet für die Frage der Fragen: „Was bringt uns denn der Spass?“ Vor mittlerweile gut 6 Jahren hat man Online-Marketing-Manager nach dem ROI von AB-Testing befragt. Das Ergebnis ist ernüchternd: 53% können den ROI nicht bemessen. Besteht in Wahrheit keine Rechtfertigungspflicht zu Marketing Maßnahmen, ist das Marketing Controlling einfach zu schwach ausgeprägt? Ich glaube, das ist in vielen Unternehmen tatsächlich leider immer noch der Fall. Gehen wir aber mal von den Musterschülern aus, die ihre Hausaufgaben machen. Die gute Nachricht: Immerhin 38% gaben an, einen positiven ROI zu messen und nur 3% einen negativen Effekt. Was aber genau bedeutet das denn nun und wie lässt sich AB-Testing überhaupt bemessen?

RO(M)I von AB-Testing: Die Faustregel

Pauschal gesehen muss man sich in einem ersten Schritt die Frage stellen, ob AB-Testing überhaupt für das eigene Unternehmen Sinn macht. In Anbetracht von Tool Kosten und den Möglichkeiten signifikante Tests in einer vernünftigen Qualität durchzuführen, sollte man sich in etwa ab einem Volumen von 50.000 Besuchern pro Monat Gedanken über den Einsatz machen. Das wären aus Umsatzsicht dann in etwa 200.000-500.000 € Umsatz im Shop. Wie bei jeder Faustregel bestätigen Ausnahmen die Regel. Werfen wir daher einen Blick auf die Details. Wer sich übrigen jetzt fragt, wer eigentlich ROMI ist, ist auf dem richtigen Weg (Kleiner Tipp).

Die Kostenseite von AB-Testing

Wie jede andere Marketing Disziplin ist auch AB-Testing mit Kosten verbunden. Um Ergebnisse zu erzielen, muss man also erst einmal investieren. Bevor man das tut, sollte man eine Strategie haben und die Auswahl des Tools und des nötigen Betreuungskontingents danach ausrichten.

AB Testing Strategie

Wer verbessern will, braucht ein gutes Gefühl (unterfüttert mit Daten) für Probleme auf der Seite, aktuelle Nutzerströme und Potenziale. Eine strukturierte Herangehensweise im AB-Testing und ein Prozess, der die bestmögliche Nutzung von Ressourcen, Potenzialen und Test Slots ermöglicht runden die AB-Testing Strategie ab.

Kostenpunkt: Je nach Art und Umfang der Methodik zwischen 8.000 € und 15.000 € (zum Projektstart)

AB Testing Tool

Um Tests sauber durchführen zu können, braucht es ein AB-Testing Tool wie AB-Tasty oder Optimizely. Auch wenn Testing Teil einer bestehenden Suite ist, sollte man die Kosten dafür beachten. Je nach Testing Stadium reichen Einsteiger Pakete mit einfachen AB-Tests für den Start aus. Je nach Reifegrad reichen die Tarife hier von 200€ bis mehrere tausend Euro im Monat. Tipp: Bei der Auswahl der geeigneten Software von Profis beraten lassen.

Kostenpunkt: 199€ bis ca. 2.500 € im Monat

Abwicklung von AB Tests

Für die laufende Abwicklung der AB-Tests könnte man auf interne Ressourcen zurückgreifen. Da im Testing aber jede Menge unterschiedlicher Kompetenzen (Konzepter, Analyst, Grafik, Frontend) gefragt sind, (Es sei denn man belässt es beim Umbenennen und Umfärben von Buttons) empfiehlt sich die Zusammenarbeit mit einer spezialisierten Agentur.

Kostenpunkt: Je nach Anzahl der Tests zwischen 2.500€ und 8.000€ im Monat.

Jährliche Ausgaben:
Small: ca. 36.000 €
Medium: ca. 86.000€
Large: ca. 140.000 €

Je komplexer die Tests, umso länger die Umsetzungsdauer und die Implementierungskosten. Eine gute Priorisierung von Tests und die gleichzeitige Nutzung verfügbarer Testplätze (bspw. Desktop vs. Mobile) sind hier also das A und O.

Interne Personalkosten

Noch nicht eingerechnet sind an dieser Stelle Ressourcen von Mitarbeitern. Laut unser Studie Uplift, beschäftigen sich im Schnitt 1,5 – 3 Personen im Unternehmen für in etwas einen Tag pro Woche mit AB-Testing. Macht grob – je nach Unternehmensgröße und Hierarchie des Conversion-Managers – nochmal 8.400€ – 24.000 € pro Jahr.

Implementierungskosten

Hinzu kommen neben dem AB-Testing selbst die Implementierungungskosten für Features, die erfolgreich getestet wurden. Diese machen einen nicht unterheblichen Teil der Kosten aus, der in vielen Kalkulationen, neben dem Gehalt von Inhouse Mitarbeitern, oft übersehen wird. Im Falle eines mittelgroßen Webshops müssen bis zu 24 Elemente / Features im Shop angepasst werden, die in der Umsetzung eine nicht zu vernachlässigende Komplexität erreichen können.

Die Ertragsseite von AB-Testing

Voraussetzung für einen Ertrag durch AB-Testing sind Ergebnisse. Ergebnisse sollten einer Überprüfung standhalten regelmäßig einen Uplift von fünf, zehn oder mehr Prozent liefern. Nur so ist der Mehrumsatz auch spürbar und rechnet sich vor allem auf lange Sicht. Doch auch die hidden effects sind nicht zu unterschätzen. Was wir damit meinen, gleich dazu mehr.

Mehrumsätze beurteilen

Haben wir alle unsere Tests richtig priorisiert, starten wir da mit dem Geschraube, wo das größte Potenzial besteht. Entweder wird an dieser Stelle viel Geld für Paid Channels ausgegeben, der Painpoint ist sitewide zu finden oder extrem nahe am Checkout, Antrag, Lead, usw. Gedreht wird also da, wo es aktuell weh tut.

Wieviel Umsatz macht der Shop aktuell?

Wer einen Return on Investment beurteilen möchte, sollte zumindest vorab ein Gespür für aktuelle Umsätze haben. Wir gliedern analog zu den Investments daher Shops in 3 Umsatzkategorien. Als Rechenbeispiel wollen wir uns einen mittelgroßen Shop über die Laufzeit von einem Jahr ansehen.

Small: bis 500k – 1 Mio€
Medium: 10-90 Mio€
Large: 100-300 Mio€

Shop Optimierung auf Basis eines Beispielshops

Unser Beispielshop hat pro Jahr 7 Mio Besucher, 400.000 Verkäufe und ca. 28 Mio Umsatz. Der ROMI berechnet sich durch den zusätzlichen Nettogewinn (-19% Steuern). Achtung, wir spielen mit jeder Menge Variablen und selbst kleinste Änderungen in Warenkorbgröße, Verkaufsanzahlen, usw. machen oft einen großen Unterschied.

ROI / ROMI von Conversion Optimierung binnen einem Jahr?

Wer einen ROMI beurteilen soll, stellt sich unweigerlich auch die Frage, in welchem Zeitraum dieser ROMI investiert wurde. So ist ein ROMI idealerweise mit einer Laufzeit verbunden. Wir sehen uns in diesem Beispiel 6 Monate und ein Jahr an. Starten wir also mit unserer Testserie von 24 Tests:

Um die Rechnung nun nicht unnötig komplex zu machen, gehen wir von folgenden Bedingungen aus. Ein typischer Test hat eine Laufzeit von ca. 20 Tagen. Da ein Test entweder auf Desktop oder Mobile ausgespielt wird, sind die Uplifts auch nur diesem Trafficanteil (50%) zuzurechnen. 2 von 8 Tests erzielen im Beispiel keine Signifikanz. Damit haben wir über alle Tests gerechnet einen Uplift von je 6%. Jeder dieser Tests kann seine Wirkung erst entfalten, wenn er auch in der Echtumgebung online gestellt wurde. Im Beispiel gehen wir also davon aus, dass ab dem zweiten Monat jeweils immer 2 Tests in die Echtumgebung übernommen werden und damit einen zusätzlichen Wert für den Shop liefern.

Lohnt sich AB-Testing aus finanzieller Sicht?

Halbjährlicher ROMI (Return on Marketing Investment):

Test 1 und 2 wirken damit bei unserer halbjährlichen Berechnung 5 Monate. Nämlich vom Start des zweiten Testmonats bis Ende der Laufzeit. Regulär werden je Kanal ca. 16.000 Sales getätigt. Mit dem berechneten Uplift werden ab Monat 2 also durch die ersten beiden Tests 1920 Sales mehr getätigt. Die Hälfte davon wirkt jeweils immer schon im Testmonat selbst, zumal 50% der Testgruppe den erfolgreichen Test ja schon sehen.

1+2 Test (5 Monate Wirkung) = 9600 Sales zusätzlich + 960 Sales (50% der Testmenge)
3+4 Test (4 Monate Wirkung) = 7680 Sales zusätzlich +960 Sales
5+6 Test (3 Monate Wirkung) = 5760 Sales zusätzlich +960 Sales
7+8 Test (2 Monate Wirkung) = 3840 Sales zusätzlich +960 Sales
9+10 Test (1 Monate Wirkung) = 1920 Sales zusätzlich +960 Sales
11+12 Test = wirken erst nach einem halben Jahr. +960 Sales

Bei einem Warenkorbwert von im Schnitt 70 € generieren wir damit in einem halben Jahr einem Mehrumsatz von 2.403.200 €. Dem gegenüber stehen Kosten von 37.300 € + 30.000 € Implementierungskosten.

ROMI / Halbjahr: Nettomehrumsatz (2 Mio €) – 67.300€ / investiertes Testing-Kapital (67.300 €) = 28,7

Jährlicher ROMI

Da die meisten Tools mittlerweile jährliche Verträge anbieten und man ein strategisches Thema auch länger als ein halbes Jahr verfolgen sollte, hier nochmal die jährliche Rechnung:

1+2 Test (11 Monate Wirkung) = 21.120 Sales zusätzlich +960 Sales
3+4 Test (10 Monate Wirkung) = 19.200 Sales zusätzlich +960 Sales
5+6 Test (9 Monate Wirkung) = 17.280 Sales zusätzlich +960 Sales
7+8 Test (8 Monate Wirkung) = 15.360 Sales zusätzlich +960 Sales
9+10 Test (7 Monate Wirkung) = 13.440 Sales zusätzlich +960 Sales
11+12 Test (6 Monate Wirkung) = 11.520 Sales zusätzlich +960 Sales
13+14 Test (5 Monate Wirkung)  = 9.600 Sales zusätzlich +960 Sales
15+16 Test (4 Monate Wirkung) = 7.680 Sales zusätzlich +960 Sales
17+18 Test (3 Monate Wirkung) = 5.760 Sales zusätzlich +960 Sales
19+20 Test (2 Monate Wirkung) = 3.840 Sales zusätzlich +960 Sales
21+22 Test (1 Monate Wirkung) = 1.920 Sales zusätzlich  +960 Sales
23+24 Test = wirken erst nach einem Jahr. + 960 Sales

Wir generieren innerhalb eines Jahres einen Mehrumsatz von 9,6 Mio. Dem gegenüber stehen Kosten von 101.000 € + 50.000 € Implementierungskosten.

ROMI / Jahr: Nettomehrumsatz (8 Mio €) – 151.000€ / Testing-Kapital (151.000 €) = 52

… und nu?

Fazit: Bei einem mittelgroßen Shop rechnet sich AB-Testing in jedem Fall. Neben den Erfolgen ist es aber auch wichtig, die internen Prozesse und Kosten für Tests im Auge zu behalten und nicht zu früh zu stoppen.

AB-Testing sollte mindestens ein Jahr betrieben werden und die Testfrequenz durch eine gute Strategie optimal genutzt werden. Die Priorisierung von Tests ist wichtig, denn je früher große Probleme beseitigt werden, umso eher wirken die Erfolge nach (logisch). Macht man alles richtig, so kann man für jeden eingesetzten Euro in AB-Testing und Conversion Rate Optimierung grob mit 52 Euro Mehrumsatz rechnen.

Nicht berücksichtigt sind in diesem Ansatz Hidden Effects: Dazu gehören Fehlervermeidung durch das „Nicht umsetzen von schlechten Features“, die Wirkung einer Optimierung über ein Jahr hinaus oder Learnings, die im Team aufgebaut werden und für künftige Kampagnen automatisch übernommen werden. Jeder der hier genannten Beträge ist sehr flexibel (Basismengen und saisonale Effekte wurden zudem nicht verändert) und selbst kleinste Unterschiede in der Warenkorbgröße, den Implementierungskosten und oder Dauer, sowie der Einsatz interner Mitarbeiter oder Agenturkosten können einen deutlichen Unterschied machen.

Bei aller Hochrechnung geht es vor allem darum, ein Gefühl zu bekommen, ob man 150.000 € in Adwords, eine neue Plakatserie oder Social Media investiert oder sich über Testing Gedanken machen sollte. Ich denke, der Beitrag liefert dazu genug Impulse.

Am Ende geht es bei AB-Testing auch stark um die Etablierung einer datengetriebenen Unternehmenskultur, die weiter wirken kann als das eigentlich AB-Testing selbst. Man denke nur daran, wie in Zukunft Entscheidungen über neue Funktionen und Visuals getroffen werden.

Hinweis: Das Rechenmodell unterscheidet sich stark von Branche zu Branche und so muss jedes Unternehmen seine eigenen Erfahrungen machen. Als AB-Testing Experten begleiten wir gerne dabei.

Jetzt mit AB-Testing starten

Informiere dich jetzt über die Möglichkeiten für dein Unternehmen. Starte bspw. mit unserem 3 Monate sorgenfrei Starterkit bestehend aus Testsoftware, Conversion-Workshop, Teststrategie und Umsetzung der ersten Tests.
Jetzt Info anfordern.

Weitere Gedanken zum ROI von AB-Testing
https://www.linkedin.com/pulse/roi-romi-different-seriously-jeff-nelson
http://growthrock.co/ab-testing-roi-worth-it/
https://vwo.com/blog/tag/ab-testing-roi/
http://blog.analytics-toolkit.com/2017/improved-roi-ab-testing-agile-statistical-method/

Wie werden Investments in AB-Testing in deinem Unternehmen berechnet?
Welche Erfahrungen hast du damit gemacht?