Manchmal kommt es selbst in der Welt der Suchmaschinenoptimierung zu Momenten, die ein bisschen
überraschend sind. Dass das Crawl-Team von Google einen Bug-Report direkt an
WordPress-Plugin-Entwickler schickt, gehört definitiv dazu. Doch genau das ist
passiert – und der Fall offenbart einiges über die tieferen Mechanismen hinter Crawling, Plugin-Architektur und dem sogenannten
„Crawl-Budget“. Ich habe mir den Fall genauer angesehen, und du wirst
sehen: Es steckt viel mehr dahinter, als nur ein kleiner technischer Arbeitsauftrag.
Wenn Google selbst beim Debuggen hilft
Die Info kam nicht aus irgendeinem dunklen Forum, sondern direkt aus
Googles eigenem Umfeld. In einem internen Jahresrückblick zum Crawl-Verhalten wurde festgestellt, dass bestimmte WordPress-Plugins
unnötige Crawling-Aktivitäten erzeugen. Gary Illyes, einer der bekanntesten Googler aus dem Search-Relations-Team,
sprach darüber in einem Podcast und schilderte, wie seine Leute im
Crawl-Team dem Ganzen auf den Grund gegangen sind.
Das Team hatte ein Muster entdeckt: Bei einer Vielzahl von WooCommerce-Websites fand der Googlebot immer wieder URLs mit
Variablen wie ?add_to_cart=true. Diese führten nirgendwo hin, wurden aber dennoch als eigenständige Seiten behandelt. Das Problem: Der Bot
muss jeden dieser scheinbar neuen Links crawlend prüfen. Das kostet Serverressourcen, Datenvolumen und internes
Crawl-Budget – sowohl auf Seiten Googles als auch auf Seiten der Betreiber.
Interessant ist, dass Google den Fehler nicht stillschweigend hingenommen, sondern aktiv im GitHub-Repository von WooCommerce
einen Bug Report erstellt hat. Dein Plugin verursacht Crawl Waste, lautete sinngemäß die Botschaft. Und WooCommerce reagierte tatsächlich
schnell: Innerhalb kurzer Zeit wurde der Code so angepasst, dass die Add-to-Cart-Parameter künftig nicht mehr
automatisch generiert oder indexierbar sind.
Warum andere Entwickler nicht reagierten
Während WooCommerce das Thema professionell anging, blieb es bei anderen Plugin-Herstellern still. Google hatte
ähnliche Tickets gegen zwei weitere Plugins erstellt, die mit sogenannten
Action-Parametern arbeiteten. Diese verändern URLs dynamisch –
zum Beispiel, wenn jemand einen Eintrag in den Kalender legt oder eine
Empfehlungsfunktion nutzt. In einem Fall führte das zu einer
theoretisch unendlichen Zahl an URL-Variationen, weil jede Aktion
neue Pfade generierte. Der Entwickler dieses kommerziellen Kalender-Plugins reagierte überhaupt nicht. Das ist heikel, denn es handelt sich um ein
Muster, das tausende Sites gleichzeitig betrifft.
Gary Illyes erwähnte in dem Zusammenhang, dass etwa 25 % aller Crawl-Probleme auf
diese Action-Parameter zurückzuführen seien. Nur die facettierte Navigation – also dynamisch erzeugte Filter-URLs –
sei mit etwa 50 % ein noch größerer Faktor. Zusammengenommen verursachen
beide Quellentypen rund drei Viertel aller Crawling-Ineffizienzen.
Was genau ist Crawl Waste?
Crawl Waste bedeutet schlicht: Googlebot verbringt Zeit damit, Seiten
aufzurufen, die keinen Mehrwert haben.
Das kann bei dir dazu führen, dass wichtige neue Inhalte nicht rechtzeitig
gecrawlt werden, weil die Ressourcen bereits auf sinnlose Parameter-URLs
verteilt wurden. Oft springen dann sogar die Serverlast oder die
Responsezeiten nach oben, und du fragst dich, warum das so ist –
ohne sofort zu erkennen, dass ein Plugin die Ursache ist.
Je größer eine Website, desto sichtbarer wird dieses Problem.
Insbesondere Shops mit Produktvarianten oder Wunschlisten
produzieren eine Flut von URLs, die faktisch auf dieselbe Seite zeigen.
Es ist, als würde der Googlebot ein Einkaufszentrum betreten,
aber statt die Läden zu besuchen, immer wieder durch denselben
Eingang laufen, nur weil jedes Mal eine leicht andere
Türnummer drüber hängt.
Illyes betonte, dass Googlebot an sich keine Intelligenz besitze,
um direkt zu erkennen, welche Parameter sinnvoll
und welche überflüssig sind. Erst wenn große Bereiche einer Domain
gecrawlt wurden, kann das System Rückschlüsse ziehen – aber da hat der
Schaden längst begonnen. Deshalb ist proaktives Handeln so wichtig.
Der WooCommerce-Patch als positives Beispiel
Was mir persönlich gefällt, ist, wie der WooCommerce-Fix ablief. Laut
Illyes dauerte es nur wenige Tage zwischen Meldung und Implementierung.
Das zeigt, dass transparente Zusammenarbeit zwischen Google
und Open-Source-Communities durchaus funktioniert, wenn die Strukturen
offen sind. Der Bug-Report war öffentlich, die Diskussion sachlich,
und am Ende stand ein konkreter Code-Change, der weltweit Millionen
Shops hilft.
WooCommerce fügte eine Logik hinzu, die verhindert, dass Add-to-Cart-Parameter
an externe Crawler übermittelt werden. Zudem sollen temporäre Anfragepfade
automatisch aus der internen Linkstruktur entfernt werden. So bleiben
die URLs für Google klar und bereinigt.
Aus meiner Sicht hätte es kaum einen besseren Ausgang geben können.
Denn WooCommerce ist für viele Shops der technische Kern,
der abertausende Unterseiten generiert. Wenn hier etwas optimiert wird,
spürt das fast jeder Betreiber indirekt.
Plugins als blinder Fleck im SEO-Ökosystem
Die ganze Geschichte zeigt ein grundsätzliches Dilemma:
Viele Website-Betreiber wissen gar nicht, dass Plugins tief in die Codebasis eingreifen.
Ein unbedacht aktiviertes Feature kann schnell dazu führen,
dass eine Domain exponentiell mehr URL-Varianten erzeugt, ohne
sichtbare Funktion für den Nutzer. Google sieht aber trotzdem
jedes dieser Artefakte als potenzielle Seite an – und behandelt
sie erst einmal wie echte Inhalte.
Dass Illyes und sein Team inzwischen direkt Bugs melden, spricht Bände.
Man hat erkannt, dass das Problem an der Wurzel liegt:
Wenn ein Plugin eine schlechte Praxis automatisiert, multiplizieren sich die Fehler mit jeder Installation.
Und weil WordPress weltweit auf Millionen Sites läuft, hat so ein Parameter-Fehler globale Wirkung.
Was mich dabei erstaunt, ist, dass nicht alle Entwickler die
Chance nutzen, direkt mit Google zu kommunizieren. Vielleicht
liegt es am Zeitmangel, vielleicht an Skepsis gegenüber Eingriffen
von außen. Doch letztlich profitieren alle von klarer Kommunikation
zwischen den Ökosystemen. Crawl Budget mag wie ein
technisches Randphänomen wirken – tatsächlich geht es aber um
sichtbare SEO-Performance.
Handlungsempfehlungen für dich
Wenn du WordPress nutzt, lohnt sich ein Blick auf deine URL-Struktur.
Schau in die Google Search Console oder in Logfiles: Gibt es Pfade
mit Parametern wie „?action=“, „?wishlist=“ oder „?add_to_cart=“?
Oft sammeln sich dort hunderte Einträge, die nichts bringen.
Die einfachste Maßnahme ist, solche Parameter über die robots.txt
auszuschließen. Das kostet keine Zeit und sorgt dafür, dass
Googlebot gar nicht erst in diese Sackgassen läuft.
Wenn du WooCommerce im Einsatz hast, kannst du zudem sicherstellen,
dass du die Version mit dem neuen Patch verwendest – viele
Probleme sind darin schon behoben.
Langfristig wäre es wünschenswert, wenn auch andere CMS-Hersteller
ähnlich eng mit Google kooperieren. Denn das Konzept „Crawl Waste“
wird uns weiter begleiten, solange Plattformen automatisch Links
mit zufälligen Parametern erzeugen.
Was uns dieser Vorfall lehrt
Die eigentliche Botschaft ist: SEO beginnt oft unter der Oberfläche.
Selbst bestes Content-Marketing nützt wenig, wenn Suchmaschinen
ihre Ressourcen in überflüssigen URL-Schleifen verbrauchen.
Dass Google aktiv in die Open-Source-Szene greift, ist
ein positives Signal – es zeigt, wie ernst das Thema genommen wird.
Doch es steckt auch ein bisschen Ironie drin:
Googles eigenes Crawling-System kämpft mit der unendlichen
Kreativität der CMS-Welt, die immer neue Parameter,
Session-IDs und Filter hervorbringt. Und so korrigiert
der Suchriese nun von außen, was unzählige kleine Erweiterungen
im Detail falsch machen.
Für dich als Betreiber bleibt die Pflicht, regelmäßig
zu prüfen, was hinter deinem Aufbau steckt. Denn selbst wenn das
Problem in einem Plugin beginnt, liegt die Verantwortung bei dir.
Google unterscheidet am Ende nicht, ob dein Shop oder die Erweiterung
den Crawl Waste erzeugt – entscheidend ist das Ergebnis.
Aus meiner Erfahrung kann eine solche Optimierung messbare
Effekte bringen. Weniger Crawler-Lärm bedeutet, dass der
Bot sich stärker auf deine produktiven Seiten konzentriert.
Indexierung, Ladezeiten und sogar Positionen in Search
können davon profitieren.
Fazit
Ein vermeintlich kleines Detail in WooCommerce wurde zum Beispiel
dafür, wie Suchmaschinen und Plattformen miteinander interagieren sollten.
Google machte auf ein echtes Problem aufmerksam, WooCommerce handelte
schnell, und tausende Seiten wurden effizienter. Das ist
Crawl-Budget-Optimierung im großen Stil.
Bleibt zu hoffen, dass sich weitere Anbieter ein Beispiel nehmen.
Denn solches Engagement – und der offene Austausch darüber –
führt am Ende dazu, dass das Web insgesamt sauberer wird.
Und das ist etwas, das sowohl Nutzer als auch Suchmaschinen
gleichermaßen schätzen.
Kurz gesagt: Wenn du das nächste Mal ein Plugin installierst, denk kurz darüber nach,
welchen Einfluss es nicht nur auf dein Frontend, sondern auch auf
den unsichtbaren Prozess des Crawlings haben könnte. Manchmal steckt
die größte SEO-Maßnahme in einer kleinen Checkbox im Backend.
