Die Robots.txt-Datei ist ein oft übersehenes, aber wichtiges Element deines WordPress-Systems. Standardeinstellungen sind meist unzureichend, wenn du die Kontrolle über die Crawler-Aktivitäten und die Indexierung verbessern möchtest. Natürlich stecken hier viele Potenziale, die wir direkt untersuchen werden.
Hinweis: Diese Anleitung gilt nur für WordPress-Installationen im Root-Verzeichnis deiner Domain oder Subdomain, z. B. domain.com oder subdomain.domain.com.
Wo befindet sich deine WordPress Robots.txt Datei?
WordPress erstellt standardmäßig eine virtuelle Robots.txt-Datei, die du unter der URL deines Systems findest: https://deineseite.com/robots.txt. Diese Datei existiert nur virtuell und befindet sich nicht physisch auf deinem Server.
Willst du eine angepasste Datei nutzen, brauchst du lediglich die eigens erstellte Robots.txt-Datei in das Root-Verzeichnis deines Systems hochzuladen. Alternativ kannst du auch Plugins wie Yoast SEO (SEO → Tools → File Editor) nutzen, um die Datei bequem aus dem WordPress-Adminbereich zu bearbeiten.
Standardmäßige Robots.txt von WordPress
Die Standardeinstellungen sehen so aus:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Obwohl diese grundlegenden Einstellungen sicher sind, können sie durch Ergänzungen deutlich optimiert werden.
Ergänze deine XML-Sitemaps
Damit Suchmaschinen alle URLs deiner Website finden können, solltest du deine XML-Sitemaps hier aufführen:
Sitemap: https://example.com/sitemap_index.xml
Sitemap: https://example.com/sitemap2.xml
Wichtige Bereiche NICHT blockieren
Es ist ein weitverbreiteter Irrglaube, dass einige Core-Verzeichnisse wie /wp-includes/ oder /wp-content/plugins/ blockiert werden sollten. Bitte vermeide dies. Hier sind die Gründe:
- Google ignoriert unwichtige Dateien ohnehin, aber das Blockieren von CSS oder JavaScript kann das Rendern deines Inhalts behindern.
- Uploads, wie Bilder oder Videos, könnten unabsichtlich blockiert werden.
Lass Suchmaschinen die Dateien abrufen, die für eine ordnungsgemäße Darstellung notwendig sind.
Schütze Test- und Staging-Websites
Es ist besonders wichtig, dass Testversionen deiner Seite nicht von Suchmaschinen gecrawlt werden. Setze dazu Meta-Tags auf noindex und füge dies in die Robots.txt-Datei ein:
User-agent: *
Disallow: /
Denke daran, diese Einstellung zurückzusetzen, bevor du deine Inhalte live schaltest.
Entrümple unnötige WordPress-Pfade
Bestimmte Standard-Pfade bringen keine SEO-Vorteile. Du kannst sie sicher blockieren:
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: */embed/
Disallow: /cgi-bin/
Disallow: /wp-login.php
Unerwünschte Parameter blockieren
Wenn deine URLs oft unnötige Parameter enthalten, solltest du dies in der Robots.txt berücksichtigen:
User-agent: *
Disallow: /*?*replytocom=
Disallow: /*?*print=
Niedrigwertige Taxonomien und Suchergebnisse ausschließen
Hier kannst du Suchmaschinen anweisen, Archivseiten oder interne Suchergebnisse nicht zu crawlen:
User-agent: *
Disallow: /tag/
Disallow: /page/
Disallow: /?s=
Analyse und Überwachung
Nutze die Google Search Console, um die Crawl-Aktivitäten zu überprüfen:
- Unter „Crawl-Statistiken“ siehst du, ob Bots Ressourcen unnötig beanspruchen.
- Prüfe mit dem URL-Inspektions-Tool, ob gesperrte URLs trotzdem indexiert sind.
- Stelle sicher, dass deine Sitemap nur relevante Seiten auflistet.
Fazit
WordPress ist ein fantastisches CMS, aber vom Werk aus ist es oft nicht ideal optimiert. Einige strategische Anpassungen in deiner Robots.txt können langfristig unnötige Crawl-Aktivitäten vermeiden, Ladezeiten verbessern und die Skalierbarkeit deiner Seite sichern.
Fang gleich an und optimiere deine Robots.txt-Direktiven!
