Seit über 10 Jahren helfen mein Team und ich Hersteller und Unternehmen auf google und bei Amazon erfolgreich zu verkaufen.

Interessante Themen

Kontakt

+49-800-456-478-23

München

support@tom-brigl.com

Wie oft solltest du technische Website Crawls für SEO durchführen?

Black Laptop Computer Turned on Showing Computer Codes

Es gibt keinen allgemeingültigen Zeitplan für technische Website-Crawls. Erfahre mehr über die Faktoren, die die Häufigkeit von Crawls für SEO beeinflussen.

Es wird nie eine feste Häufigkeit geben, in der jeder SEO-Profi technische Checks durchführen muss.

Jede Website hat ihren eigenen Entwicklungs- und Veröffentlichungszeitplan und eine Vielzahl anderer Variablen, die die Notwendigkeit einer technischen Analyse beeinflussen können.

Wie oft solltest du also technische Website-Crawls für SEO durchführen? Das kommt darauf an.

Wovon hängt es ab? Das ist die entscheidende Frage.

Werfen wir einen kurzen Blick darauf, was ein Website-Crawl ist und warum wir ihn durchführen, bevor wir uns der Frage widmen, wie oft wir ihn durchführen sollten.

Was ist ein technisches SEO Website Crawl?

Beim Crawlen einer Website besucht der „Crawler“ oder Bot einer Software jede Seite einer Website und extrahiert dabei Daten. Das ist so ähnlich, wie der Bot einer Suchmaschine deine Website besuchen könnte.

Er folgt den Befehlen, die du ihm gibst, indem er deine robots.txt respektiert oder ignoriert, ihm sagt, dass er nofollow-Tags befolgen oder ignorieren soll, und andere Bedingungen, die du festlegen kannst.

Dann crawlt er jede Seite, die er findet, indem er Links folgt und XML-Sitemaps liest.

Auf seinem Weg liefert der Crawler Informationen über die Seiten zurück. Das können z. B. Server-Antwortcodes wie 404 sein, das Vorhandensein eines no-index-Tags auf der Seite oder ob Bots über die robots.txt am Crawlen der Seite gehindert werden.

Sie kann auch HTML-Informationen wie Seitentitel und -Beschreibungen, das Layout der Website-Architektur und entdeckte doppelte Inhalte zurückbringen.

All diese Informationen geben dir einen aussagekräftigen Überblick darüber, ob deine Website gecrawlt und indexiert werden kann.

Außerdem können Probleme aufgedeckt werden, die sich auf das Ranking auswirken können, z. B. die Ladegeschwindigkeit oder fehlende Metadaten.

Der Zweck eines technischen SEO Website Crawls

Wenn du einen Crawl einer Website durchführst, geht es in der Regel darum, eines oder mehrere der folgenden Probleme zu identifizieren, die sich auswirken könnten:

    1. Crawling.
    2. Indizierung.
    3. Rankings.

Das Crawlen einer Website ist eine einfache Aufgabe, wenn du die Software dafür hast. Wenn du potenzielle oder aktuelle Probleme mit deiner Website erkennen willst, ist es sinnvoll, sie regelmäßig und oft zu crawlen.

Warum solltest du eine Website nicht ständig crawlen?

In der Suchmaschinenoptimierung gibt es fast unendlich viele Aufgaben, die wir jederzeit erledigen könnten – SERP-Analysen, das Aktualisieren von Meta-Titeln und das Umschreiben von Texten in der Hoffnung auf eine bessere Platzierung in den Suchmaschinen.

Ohne eine Strategie hinter diesen Aktivitäten lenkst du dich im besten Fall von der effektiven Arbeit ab. Im schlimmsten Fall könntest du die Leistung deiner Website verringern.

Wie bei anderen SEO-Aufgaben auch, muss hinter den Website-Crawls eine Strategie stehen.

Die Kehrseite der Frage „Wie oft solltest du technische Website-Crawls durchführen?“ ist zu verstehen, warum du sie nicht ständig durchführen solltest.

Sie kosten Zeit und Ressourcen – wenn nicht für die Durchführung, dann zumindest für eine effektive Analyse.

Zeit

Eine URL zu einem Website-Crawler hinzuzufügen und auf „Los“ zu klicken, ist keine besonders lästige Aufgabe. Es ist sogar noch weniger zeitaufwändig, wenn du Crawls automatisch einplanst.

Warum ist also die Zeit ein entscheidender Faktor dafür, wie oft du eine Website crawlst?

Weil es keinen Sinn hat, eine Website zu crawlen, wenn du die Ergebnisse nicht auswerten willst. Das ist es, was Zeit braucht – die Interpretation der Daten.

Vielleicht hast du eine Software, die Fehler in einem farblich gekennzeichneten Ampelsystem nach Dringlichkeit hervorhebt, so dass du schnell einen Blick darauf werfen kannst. Das ist keine Analyse eines Kriechvorgangs.

Auf diese Weise könntest du wichtige Probleme übersehen. Du könntest dich zu sehr auf ein Tool verlassen, das dir sagt, wie deine Website optimiert ist.

Solche Berichte sind zwar sehr hilfreich, aber du musst sie mit tiefergehenden Prüfungen und Analysen verbinden, um zu sehen, wie deine Website deine SEO-Strategie unterstützt.

Es gibt wahrscheinlich gute Gründe, warum du diese automatischen Berichte regelmäßig ausführen lassen willst. Vielleicht gibt es ein paar Probleme wie Serverfehler, auf die du jeden Tag aufmerksam gemacht werden möchtest.

Diese sollten jedoch als Warnungen betrachtet werden, die eine genauere Untersuchung erfordern. Eine gründliche Analyse deiner Crawls und die Kenntnis deines SEO-Plans brauchen Zeit.

Hast du die Kapazität oder das Bedürfnis, täglich eine vollständige Durchsuchung und Analyse durchzuführen?

Ressourcen

Um deine Website zu crawlen, brauchst du eine Software.

Manche Software ist kostenlos und kann unbegrenzt genutzt werden, wenn du eine Lizenzgebühr bezahlst. Bei anderen musst du je nach Nutzung bezahlen.

Wenn sich die Kosten für die Crawling-Software nach der Nutzung richten, kann es teuer werden, deine Website jeden Tag zu crawlen. Es kann sein, dass du dein monatliches Kontingent zu früh verbrauchst, so dass du die Website nicht mehr crawlen kannst, wenn du sie brauchst.

Server-Belastung

Leider verlassen sich einige Websites auf Server, die nicht besonders robust sind. Daher kann ein zu schnelles Crawlen oder ein Crawlen zu einer Zeit, in der viel los ist, die Seite zum Absturz bringen.

Ich habe schon verzweifelte Anrufe des Servermanagers beim SEO-Team erlebt, in denen er fragte, ob wir die Seite noch einmal crawlen würden.

Ich habe auch schon an Websites gearbeitet, die Crawling-Tools in der robots.txt blockiert haben, in der Hoffnung, dass ein übereifriger SEO die Website nicht zum Absturz bringt.

Das ist natürlich keine ideale Situation, aber für SEOs, die für kleinere Unternehmen arbeiten, ist das ein allzu häufiges Szenario.

Um die Website sicher zu crawlen, müssen möglicherweise die Tools verlangsamt werden, was den Prozess zeitaufwändiger macht.

Das kann bedeuten, dass du dich mit der Person, die für die Wartung des Servers zuständig ist, in Verbindung setzen musst, um sicherzustellen, dass sie sich auf das Crawlen vorbereiten kann.

Dies zu häufig oder ohne guten Grund zu tun, ist nicht nachhaltig.

Alternativen zum Crawling Ihrer Website

Du musst deine Website nicht unbedingt täglich crawlen, um die Probleme zu finden. Du kannst den Bedarf an häufigen Crawls verringern, indem du andere Prozesse und Tools einsetzt.

Software für die Überwachung von Änderungen

Manche Software kann deine Website auf eine ganze Reihe von Änderungen überwachen. Du kannst zum Beispiel einen Alarm für einzelne Seiten einrichten, um zu überwachen, ob sich der Inhalt ändert.

Das kann hilfreich sein, wenn du wichtige Konversionsseiten hast, die für den Erfolg deiner Website entscheidend sind, und du sofort wissen willst, wenn jemand eine Änderung daran vornimmt.

Du kannst auch Software einsetzen, die dich über den Serverstatus, das Auslaufen von SSL, robots.txt-Änderungen und XML-Sitemap-Validierungsprobleme informiert. All diese Arten von Warnmeldungen können dir das Crawlen der Website ersparen, um Probleme zu erkennen.

Stattdessen kannst du dir diese Crawls und Audits für den Fall aufheben, dass ein Problem entdeckt wird und behoben werden muss.

Prozesse, die SEO-Fachleute über Änderungen/Pläne informieren

Eine andere Möglichkeit, die Notwendigkeit, deine Website häufig zu crawlen, zu minimieren, besteht darin, mit anderen Teammitgliedern Prozesse einzuführen, die dich über Änderungen an der Website auf dem Laufenden halten. Das ist in den meisten Fällen leichter gesagt als getan, aber es ist eine gute Praxis, die du einführen solltest.

Wenn du Zugang zum Ticketing-System des Entwicklungsteams oder der Agentur hast und regelmäßig mit dem Projektmanager kommunizierst, wirst du wahrscheinlich wissen, wann sich Änderungen auf die Suchmaschinenoptimierung auswirken könnten.

Selbst wenn du nicht genau weißt, was sich durch die Einführung ändern wird, kannst du deine Crawls so planen, dass sie um diese Termine herum stattfinden.

Wenn du weißt, wann neue Seiten online gehen, Inhalte umgeschrieben werden oder neue Produkte auf den Markt kommen, weißt du, wann ein Crawl erforderlich ist.

So musst du nicht jede Woche im Voraus crawlen, wenn es Änderungen gibt.

Automatisierte Crawls mit maßgeschneiderten Berichten

Wie bereits erwähnt, bieten Crawling-Tools oft die Möglichkeit, die Crawls zu planen. Du bist vielleicht der Meinung, dass dein Server und deine Prozesse das verkraften können.

Vergiss nicht, dass du die Crawls immer noch lesen und analysieren musst. Wenn du die Crawls also planst, sparst du nicht unbedingt viel Zeit, es sei denn, sie liefern am Ende einen aufschlussreichen Bericht.

Vielleicht kannst du die Ergebnisse des Crawls in einem Dashboard ausgeben, das dich auf bestimmte Probleme aufmerksam macht.

So kannst du z. B. sehen, wie die Anzahl der Seiten, die 404-Server-Antworten zurückgeben, im Laufe der Zeit zugenommen hat.

Diese Automatisierung und die Berichte könnten dann Anlass sein, einen gezielteren Crawl und eine genauere Analyse durchzuführen, anstatt ein sehr häufiges, von Menschen initiiertes Crawling zu verlangen.

Wann sollte ein Crawl durchgeführt werden?

Wie wir bereits besprochen haben, sind häufige Begehungen zur Überprüfung des Gesundheitszustands vor Ort nicht unbedingt notwendig.

Begehungen sollten nur in den folgenden Situationen durchgeführt werden.

Vor Entwicklung oder inhaltlichen Änderungen

Wenn du deine Website auf eine Änderung vorbereitest – zum Beispiel eine Migration von Inhalten auf eine neue URL-Struktur – musst du deine Website crawlen.

So kannst du feststellen, ob es auf den zu ändernden Seiten bereits Probleme gibt, die ihre Leistung nach der Migration beeinträchtigen könnten.

Das Crawlen deiner Website vor einer Entwicklung oder inhaltlichen Änderung stellt sicher, dass die Website in einem optimalen Zustand ist, damit die Änderung positiv ausfällt.

Vor der Durchführung von Experimenten

Wenn du ein Experiment auf deiner Website durchführst, z. B. um herauszufinden, welche Auswirkungen das Entfernen von Spam-Backlinks hat, musst du die Variablen kontrollieren.

Es ist wichtig, deine Website zu crawlen, um herauszufinden, ob es noch andere Probleme gibt, die das Ergebnis des Experiments beeinflussen könnten.

Du willst mit Sicherheit sagen können, dass die Disavow-Datei den Anstieg der Rankings für einen problematischen Bereich deiner Website verursacht hat und nicht, dass die Ladegeschwindigkeit dieser URLs zur gleichen Zeit gestiegen ist.

Wenn etwas passiert ist

Du musst alle größeren Änderungen an deiner Website überprüfen, die sich auf den Code auswirken könnten. Dazu ist ein technischer Crawl erforderlich.

Zum Beispiel nach einer Migration, wenn neue Entwicklungsänderungen vorgenommen wurden oder wenn die Website mit Schema-Markup versehen wurde – alles, was kaputt gegangen sein könnte oder nicht korrekt implementiert wurde.

Wenn du auf ein Problem aufmerksam gemacht wirst

Es kann sein, dass du durch Tools oder menschliche Entdeckungen auf ein technisches SEO-Problem aufmerksam gemacht wirst, z. B. eine defekte Seite. Das sollte den Startschuss für deinen Crawl- und Audit-Prozess geben.

Mit dem Crawl soll festgestellt werden, ob das Problem weit verbreitet ist oder sich auf den Bereich der Website beschränkt, auf den du bereits aufmerksam gemacht wurdest.

Was kann beeinflussen, wie oft Sie technische SEO Crawls durchführen müssen?

Keine zwei Websites sind identisch (außer deine wurde geklont, aber das ist ein anderes Thema). Die Anforderungen an das Crawlen und Überprüfen von Websites hängen von einer Vielzahl von Faktoren ab.

Die Größe der Website, ihre Komplexität und die Häufigkeit, mit der sich Dinge ändern, können sich auf die Notwendigkeit des Crawlens auswirken.

Größe

Die Notwendigkeit, deine Website häufig zu crawlen, ist gering, wenn sie nur ein paar Seiten umfasst.

Die Chancen stehen gut, dass du weißt, welche Änderungen an der kleinen Website vorgenommen werden, und dass du größere Probleme leicht erkennen kannst. Du bist immer auf dem Laufenden über alle Änderungen.

Unternehmensseiten hingegen können zehntausende von Seiten umfassen. Hier treten wahrscheinlich mehr Probleme auf, da Änderungen auf Hunderten von Seiten gleichzeitig durchgeführt werden.

Schon ein einziger Fehler kann dazu führen, dass eine große Anzahl von Seiten auf einmal betroffen ist. Websites dieser Größe müssen unter Umständen sehr viel häufiger gecrawlt werden.

Typ

A website monitoring tool would alert you to those pages that return a 404 status code. However, additional software might be beyond your budget. In this case, you may still need to crawl your site weekly or more often.

This is one of the examples where automated crawls are very useful for detecting these issues.

Ecommerce

Eine der besonderen Nuancen von E-Commerce-Seiten, wenn es um SEO geht, ist der Bestand. Es kann sein, dass jeden Tag neue Produktseiten online gehen und dass Produkte genauso häufig ausverkauft sind. Das kann technische SEO-Probleme aufwerfen, die schnell gelöst werden müssen.

Es kann sein, dass eine Website mit nicht vorrätigen Produkten so umgeht, dass sie sie vorübergehend oder dauerhaft umleitet. Es kann auch sein, dass nicht vorrätige Produkte einen 404-Code zurückgeben.

Welche Methode auch immer gewählt wird, du musst darauf aufmerksam gemacht werden, wenn es passiert.

Vielleicht bist du versucht, deine Website täglich zu crawlen, um diese neuen oder gelöschten Seiten aufzuspüren. Wie bereits erwähnt, gibt es jedoch bessere Möglichkeiten, diese Änderungen zu erkennen.

Ein Website-Überwachungstool würde dich auf diese Seiten aufmerksam machen, die einen 404-Statuscode zurückgeben. Zusätzliche Software könnte jedoch dein Budget übersteigen. In diesem Fall musst du deine Website vielleicht trotzdem wöchentlich oder öfter crawlen.

Dies ist eines der Beispiele, bei denen automatisierte Crawls zur Erkennung dieser Probleme sehr nützlich sind..

News

Nachrichten-Websites neigen dazu, häufig neue Seiten hinzuzufügen; es kann mehrere neue Seiten pro Tag geben, manchmal sogar Hunderte bei großen Nachrichten-Sites. Das sind viele Änderungen, die jeden Tag an einer Seite vorgenommen werden.

Je nach den internen Abläufen werden diese neuen Seiten mit großer Sorgfalt veröffentlicht, um die SEO-Leistung der Seite zu verbessern… oder auch nicht.

Forum und nutzergenerierte Inhalte

Jede Website, auf der die Allgemeinheit Inhalte hinzufügen kann, birgt ein erhöhtes Risiko für technische SEO-Fehler.

Defekte Links, doppelte Inhalte und fehlende Metadaten sind zum Beispiel auf Seiten mit Foren keine Seltenheit.

Solche Seiten müssen häufiger gecrawlt werden als Inhaltsseiten, die nur von Webmastern veröffentlicht werden können.

Multiple Publishers

Eine Content-Website mit wenigen Vorlagentypen mag relativ risikoarm klingen, wenn es um technische SEO-Probleme geht. Wenn du aber „viele Köche“ hast, besteht die Gefahr, dass der Brei verdorben wird.

Nutzer/innen, die nicht wissen, wie man URLs formt oder was wichtige CMS-Felder sind, können technische SEO-Probleme verursachen.

Obwohl dies eigentlich eine Frage der Schulung ist, kann es trotzdem notwendig sein, Websites zu crawlen, während die Schulung durchgeführt wird.

Zeitplan und Rhythmus

Ein weiterer wichtiger Faktor, den du berücksichtigen musst, ist der Zeitplan der anderen Teams in deinem Unternehmen.

Dein Entwicklungsteam arbeitet vielleicht in zweiwöchigen Sprints. Vielleicht musst du deine Website nur einmal alle zwei Wochen crawlen, um ihre Auswirkungen auf deine SEO-Bemühungen zu sehen.

Wenn deine Redakteure täglich neue Blogs veröffentlichen, solltest du die Website vielleicht häufiger crawlen.

Schlussfolgerung und Zusammenfassung

Es gibt keinen allgemeingültigen Zeitplan für technische Website-Crawls. Deine individuelle SEO-Strategie, deine Prozesse und die Art deiner Website haben Einfluss auf die optimale Häufigkeit der Crawls.

Auch deine eigenen Kapazitäten und Ressourcen wirken sich auf diesen Zeitplan aus.

Nimm Rücksicht auf deine SEO-Strategie und implementiere andere Warnungen und Kontrollen, um die Notwendigkeit häufiger Website-Crawls zu minimieren.

Deine Crawls sollten keine reine Wartungsübung sein, sondern eine Reaktion auf einen präventiven oder reaktiven Bedarf.

Fazit

Es gibt keinen allgemeingültigen Zeitplan für technische Website-Crawls. Deine individuelle SEO-Strategie, deine Prozesse und die Art deiner Website beeinflussen die optimale Häufigkeit der Crawls.

Auch deine eigenen Kapazitäten und Ressourcen wirken sich auf diesen Zeitplan aus.

Nimm Rücksicht auf deine SEO-Strategie und implementiere andere Warnungen und Kontrollen, um die Notwendigkeit häufiger Website-Crawls zu minimieren.

Deine Crawls sollten keine reine Wartungsübung sein, sondern eine Reaktion auf einen präventiven oder reaktiven Bedarf.

Affiliate-Links: Für einige der unten stehenden Links erhalte ich möglicherweise eine Vergütung als Affiliate, ohne dass dir dadurch Kosten entstehen, wenn du dich für den Kauf eines kostenpflichtigen Plans entscheidest.

Disclosure:  Some of the links in this article may be affiliate links, which can provide compensation to me at no cost to you if you decide to purchase a paid plan. These are products I’ve personally used and stand behind. This site is not intended to provide financial advice and is for entertainment only. You can read our affiliate disclosure in our  privacy policy .

Inhaltsverzeichnis
    Add a header to begin generating the table of contents