Wie gut sind die von Google und in diversen Foren, Blogs und Artikeln gepriesenen Performance Max-Kampagnen wirklich? Wir wollten es in einem Test herausfinden.
Der Kampagnentyp “Kampagne für maximale Performance”, kurz “Performance Max” oder einfach “PMax,” wurde im Juni 2021 als offene Beta und seit November 2021 für alle Werbetreibenden als Produkt neu eingeführt. Das Besondere: Angeblich bietet dieser Kampagnentyp die beste Werbeleistung mit geringstmöglichem manuellen Optimierungsansatz. Denn Google sorgt hier theoretisch selbst über die Kombination aus verschiedenen Netzwerken (Suche, Shopping, Display, etc.), diversen Werbemittelformaten (Texten, Bildern, Videos) und Machine Learning für die jeweils bestmögliche Werbebotschaft pro Nutzer. Man muss oder besser: kann hier gar nicht mehr selbst optimieren – schlichtweg, weil Google bei diesem Kampagnentyp nahezu keine Informationen über Suchbegriffe, Placements, Zielgruppen & Co. bereitstellt. Und selbst wenn sie bereitgestellt würden, könnte man sie nicht verarbeiten. Denn es gibt z. B. keine Möglichkeit, Suchbegriffe auszuschließen.
Gerüchteweise machten einige Agenturen gute Erfahrungen nach der Umstellung ihrer Kampagnen. Allerdings riefen immer mehr Firmen bei uns an, die mit ihren PMax-Kampagnen offenbar nicht zufrieden waren. Nicht nur deshalb gab es auf Seiten von Keyword-Experte starke Zweifel, ob die neuen Kampagnen funktionieren würden. Doch diese Zweifel galt es zu belegen.
Das geeignete Testszenario für den PMax-Test finden
Die Kampagnentypen parallel laufen zu lassen, haut nicht hin. Denn Performance Max bedient sich der gleichen Werbeplätze wie Google Shopping und dem Suchnetzwerk, so dass beide gegeneinander konkurrieren würden. Nacheinander schalten, also beispielsweise drei Wochen nur Performance Max und anschließend für den gleichen Zeitraum auf klassische Kampagnentypen setzen, wäre problematisch, wegen Saisonalitäten, Änderungen des Marktes, des Inventars, etc.
Das Naheliegendste ist also ein A/B-Test. Google bietet mit den “Tests” eigentlich eine derartige Möglichkeit, Kampagnen gleichzeitig gegeneinander zu testen. Doch funktioniert das mit Performance Max-Kampagnen derzeit nicht, sondern nur mit klassischen Such- und GDN-Kampagnen ohne Google Shopping. Also musste eine andere Lösung her: Unsere Geo-Cluster. Das heißt, es wurden für die deutsche Kampagne zwei Geo-Cluster gebildet, die ungefähr gleich viele Einwohner haben, die gleiche Reichweite (laut Google Standorte) und jeweils gleich viele Standorte im Westen, Osten, Süden und Norden Deutschlands umfassen. Historische Daten zeigten bei diesem Kunden eine gute Übereinstimmung der Leistung beider Geo-Cluster mit einer Abweichung von weniger als 10 % in beide Richtungen bei allen relevanten Metriken.
Die Ausgangssituation
Ausprobiert wurde das Testszenario an einem unserer Kunden, der einen Onlineshop für den Vertrieb von rund 1.000 Produkten im Bereich Rebuilt Toner und Tinte betreibt. Gestartet wurde nach einem Inhaberwechsel und gleichzeitigem Relaunch der Webseite. Die Google Ads-Kontenhistorie reicht bis ins Jahr 2002 zurück. Conversions werden seit 2011 gemessen, seit 2017 mit Conversion-Wert. Alle Kampagnen im A/B-Test wurden zu Testbeginn neu erstellt und wie folgt aufgeteilt:
- Für die Standorte aus Geo-Cluster 1 wurde eine PMax-Kampagne erstellt. Die Standorte des Geo-Clusters 2 wurden dort ausgeschlossen.
- Für die Standorte aus Geo-Cluster 2 wurden eine Brand-Kampagne (eine Suchkampagne mit einem einzigen exakten Keyword für den Shopnamen), eine DSA-Kampagne und eine normale Shopping-Kampagne erstellt. Die Standorte des Geo-Clusters 1 wurden dort jeweils ausgeschlossen.
- Für die PMax-Kampagne (Geo-Cluster 1) wurde die Gebotsstrategie “Conversion-Wert Maximieren” mit anfänglich 167 % Ziel-ROAS auf Kampagnen-Ebene eingerichtet.
- Für die anderen Kampagnen (Geo-Cluster 2) wurde eine gemeinsame Ziel-ROAS Portfolio-Strategie mit anfänglich 167 % Ziel-ROAS eingerichtet*.
- Die PMax-Kampagne (Geo-Cluster 1) erhielt ein Budget auf Kampagnen-Ebene von 50 Euro/Tag.
- Die anderen Kampagnen (Geo-Cluster 2) erhielten ein gemeinsames Budget von 50 Euro/Tag.
- Während der Laufzeit regelten unsere eigenen Tools den jeweiligen Ziel-ROAS täglich nach, sodass die Budgets in beiden Clustern im Rahmen der ROAS-Vorgabe des Kunden jeweils optimal ausgelastet waren. Als Untergrenze wurde mit dem Kunden ein Ziel-ROAS von 167 % vereinbart.
- Der A/B-Test sollte zunächst über 30 Tage laufen
- Als wichtigste Vergleichsmetrik sollte der erzielte Conversion-Wert dienen, außerdem auch die Conversion-Rate und die Zahl der Conversions.
*Obwohl das Konto eine 20-jährige Historie hat, davon über 10 Jahre mit Conversion Tracking und Shopping-Kampagnen, konnte die neue Shopping-Kampagne nicht direkt zur Portfolio-Ziel-ROAS Strategie hinzugefügt werden, sondern musste erst für rund 2 Wochen mit “Klicks Maximieren” laufen, bevor sie zur Ziel-ROAS Strategie hinzugefügt werden konnte.
Der Verlauf des Performance Max A/B-Tests
Die PMax-Kampagne kam nur langsam in die Gänge und konnte über lange Zeit das Budget nicht auslasten. Und das, obwohl (deswegen) die Ziel-ROAS-Vorgabe von unseren Tools praktisch die ganze Zeit auf dem Mindestwert von 167 % gelassen wurde. Der tatsächlich erreichte ROAS lag am Ende bei 112 %, also deutlich darunter (siehe Grafik).
Die anderen Kampagnen, insbesondere die DSA-Kampagne, waren bereits nach wenigen Tagen deutlich in Führung. Da das Budget hier ausgelastet wurde, konnte unser Tool die Ziel-ROAS-Vorgabe deutlich anheben, sodass sie im Schnitt zuletzt über 250 % betrug. Der tatsächlich erreichte ROAS lag bei 261 % und damit noch etwas über der Vorgabe (siehe Grafik).
Obwohl die PMax-Kampagne auch nach 4 Wochen noch immer deutlich zurücklag, entschieden wir uns gemeinsam mit dem Kunden, den Test noch um weitere zwei Wochen zu verlängern.
Endergebnis unseres Performance Max A/B-Tests
Bezogen auf die letzten 30 Tage des Tests:
Die PMax-Kampagne brachte eine um 49 % schlechtere Conversion-Rate (2,42 % zu 4,74 %), 62 % weniger Conversions (15 zu 40) und einen um 62 % geringeren Conversion-Wert (1.248,83 € zu 3.326,19 €) als die Vergleichskampagnen.
Das Endergebnis ist bezogen auf die Conversion-Rate mit einer Konfidenz von 95 % statistisch signifikant.
Fazit zur PMax-Kampagne
Nach Ende des Tests haben wir die PMax-Kampagne wieder abgeschaltet. Zudem wurde die Auslieferung der anderen Kampagnen auf ganz Deutschland ausgeweitet sowie das Budget entsprechend angepasst.
PMax müsste erheblich besser laufen, damit dieser Kampagnentyp trotz großer Nachteile bezüglich der Insights und Optimierungsmöglichkeiten für unsere Kunden interessant sein könnte. Wenn man nicht mehr sieht, was man gekauft hat, dann will man wenigstens sicher sein, dass es ein guter Kauf war.
Wir werden die Leistungsfähigkeit dieses Kampagnentyps natürlich in regelmäßigen A/B-Tests im Auge behalten.
