Dein erster Crawl: Wie SEO-Crawler Dir helfen können! [Alles auf Start Episode 11]

14. Mai 2020 | Von in Podcast "Search Camp", SEO

Ohne einen Crawl geht bei den meisten SEOs gar nichts. Gerade für SEO-Einsteiger sind Crawler aber eher schwer einzuschätzen: Wie kann man diese Tools bedienen? Und wie kann die eigene Website davon profitieren? Darum geht es in dieser Episode – und auch darum, warum ich Crawlen durchaus kritisch sehe.

 

 

Hinweis: Von unserem Podcast "Alles auf Start" werden leider keine neuen Episoden mehr veröffentlicht (letzte Episode: Dezember 2023). Mehr SEO auf die Ohren? Dann können wir Dir natürlich unseren Podcast Search Camp empfehlen!

 

Shownotes

Crawler (Installation):

Crawler (Cloud):

Mein Seminar:

 

Transcript

Moin! Wir wollen heute übers Crawlen sprechen. Ich weiß, dass es natürlich viele da draußen gibt, die schon Crawlings machen. Ich weiß aber auch leider, dass es immer noch viele gibt, die es nicht machen. Für die ist heute diese Folge. Für die anderen auch so ein klein bisschen, aber primär geht es erst mal um die Frage, wer noch nie gecrawlt hat, der soll heute eigentlich noch so den Kickoff kriegen, soll sagen, okay, ich mache das jetzt.

Es geht natürlich immer auch um die Frage: Was bringt mir das? Also wie können SEO-Crawler dir helfen, um deine Website besser aufzustellen? Und da möchte ich auf jeden Fall darauf eingehen, denn ganz so einfach ist diese Fragestellung nicht wirklich.

Erst mal grundsätzlich, Crawlen ist eines meiner Lieblingsthemen. Ich gebe viele Seminare dazu, beschäftige mich viel damit. Es wird auch im Juli und August eine neunteilige Webinar-Reihe zu dem Thema von mir geben, die heißt, Crawl Time. Die findet ihr auf jeden Fall auf bloofusion.de/webinare. Lasst uns mal ins Thema einsteigen.

 

Was ist eigentlich Crawlen?

Crawlen heißt: Du installierst dir eine Software oder nutzt eine Software in der Cloud und diese Software lädt eine Website herunter, und zwar Seite für Seite. Das heißt, typischerweise fängst du an damit, dass du dem Tool deine Startseite übergibst, dann lädt dieses Tool die Startseite herunter, sieht, dass die Startseite auf andere Seiten verlinkt, Impressum, Kontakt, Produkte, Lösungen, wie auch immer das bei dir heißt, und folgt dann allen diesen Links. Folgen heißt: Diese Seiten werden dann auch heruntergeladen. Das heißt, der Crawler lädt deine Website Seite für Seite herunter.

Wie findet er die ganzen Seiten? Eben über interne Verlinkungen. Das heißt, jeder Link im Menü unten im Footer, im Content-Bereich, all diesen Links folgt der, solange, bis er einfach alle Seiten heruntergeladen hat. Irgendwann ist er dann halt fertig, hat alles gesehen und hat quasi dann eine Liste aller Seiten deiner Website vorliegen.

Dann kann der Crawler hingehen und diese Seiten anhand bestimmter Regeln überprüfen: Wo passt denn da was? Angenommen, du hast irgendwo eine Seite, da ist ein Link drin auf eine andere Seite, die es aber gar nicht mehr gibt, also ein 404-Fehler. Sowas kann eine Software super erkennen. Oder irgendwo ist der Seitentitel zu lang, zu kurz, irgendwo fehlt eine Hauptüberschrift und so weiter.

Dafür werden dann sogenannte Hints generiert, also Hinweise. Die kannst du dann in der Regel über die Tools abrufen. Die sagen dir also, der Hint ist dann zum Beispiel: Hauptüberschrift H1 fehlt. Dann kannst du dir anzeigen lassen, welche URLs haben diesen Fehler oder diesen Hint. Dann kannst du natürlich hingehen und das Ganze beheben. Danach kannst du es dann natürlich nochmal crawlen, um zu gucken, ob diese Fehler, ob diese Hints immer noch auftauchen. Klingt erst mal soweit ganz gut.

 

Warum sollte ich eigentlich crawlen?

Naja, ganz einfach: Viele Fehler erkennt man sonst nicht mehr, weil die Website einfach zu groß ist. Grad wenn du hunderte, tausende von Seiten hast, klar, kannst du die alle manuell durchklicken, aber das wird nicht viel Erfolg bringen oder eher sehr viel Frust. Zum Beispiel, irgendwo ist ein kaputter Link, also ein so genannter Broken Link, du kannst ja nicht auf jeden Link innerhalb deiner Webseite draufklicken. Ein Stück Software kann das und kann das unglaublich effizient.

Außerdem für vieles muss man erst mal in den HTML-Code reinschauen. Das sieht man im Browser vielleicht gar nicht. Angenommen, du hast eine Hauptüberschrift, dann stellt sich mir die Frage: Ist die auch als H1 formatiert, sodass sie auch wirklich erkennbar eine Hauptüberschrift ist? Oder ist das Ganze anders gelöst worden, zum Beispiel über CSS? Das kann man nur sehen, indem man im HTML-Code nachguckt, ob das auch eine H1-Überschrift ist. Oder einfach zu prüfen, hat eine Seite vielleicht zwei H1 er oder drei H1er. Das darf nämlich auch nicht sein. Und nochmal, ohne HTML-Code kann ich diese Frage eigentlich nicht wirklich beantworten.

Dann gibt es Aspekte, da reicht es nicht, sich eine Seite anzugucken, sondern man muss sich mehrere Seiten angucken. Das ist zum Beispiel bei den hreflang-Tags so. Die braucht man, wenn man eine internationale Website hat. Da muss man ganz ehrlich sagen, das kann man faktisch nicht mehr per Hand machen, denn wenn du zehn Länder hast, musst du wirklich zehn Seiten erst mal abrufen, diese ganzen Tags miteinander abgleichen. Das wäre so eine wahnsinnige Arbeit, also theoretisch kann man das machen, aber das macht natürlich niemand. Dafür braucht man wirklich solche Tools, die alles das perfekt machen können.

 

Was kann ein Crawler eigentlich erkennen, was in Bezug auf SEO relevant ist?

Hängt vom jeweiligen Crawler ab, muss man sagen. Also die unterschiedlichen Crawler haben natürlich einen unterschiedlichen Funktionsumfang, aber man muss sagen, das, was eigentlich alle zusammen bieten, ist eigentlich schon absoluter Standard. Das heißt, alles was ich jetzt erzähle gleich, das können eigentlich so ziemlich alle guten Tools.

Was können die jetzt erkennen? Eine Sache: Seitentitel und Meta Description. Diese beiden Elemente sind wichtig, weil ich darüber das sogenannte Snippet definieren kann, also wie werde ich im Suchergebnis dargestellt. Wenn ich da zum Beispiel eine zu kurze Meta Description habe, dann sieht mein Snippet auch zu kurz aus, was eben dazu führen kann, dass zum Beispiel weniger auf mein Snippet draufklicken und mehr auf meine Wettbewerber. Das möchte ich nicht.

Insgesamt das Thema mit den Hauptüberschriften und den Zwischenüberschriften, also gibt es genau eine H1 auf jeder Seite. Gibt es H2s, also Zwischenüberschriften? All das können diese Tools auch sehr effizient herausfinden.

Was sie auch sehen können, ist alles, was die URL betrifft. Also ist die URL zu lang, habe ich Groß- oder Kleinschreibung verwendet? Habe ich Nicht-ASCII-Zeichen, also zum Beispiel Umlaute in der URL? Auch das dürfte es eigentlich nicht geben. Und das können so Tools natürlich sehr effizient abrufen.

Tools können sich auch gut mit Bildern beschäftigen. Also habe ich zum Beispiel Bilder, die zu groß sind? Haben alle Bilder auch ein beschreibendes Attribut, das sogenannte Alt-Attribut? All das kann Software sehr schnell prüfen.

Insgesamt dieses ganze Thema der Indexierung, also sowas wie ein Canonical Tag oder Direktiven wie noindex, XML-Sitemaps, all das können diese Tools auch relativ einfach überprüfen, auch wenn es nicht immer sonderlich intuitiv ist für den SEO-Neuling.

Manche Tools können sich auch mit Pagespeed auseinandersetzen. Da ist es so, wenn eine Website sehr langsam ist, dann kann sie Nachteile in der mobilen Suche haben. Auch das kann man sich mit einigen der Tools anzeigen lassen.

Plus dieses ganze Thema http-Codes oder Status-Codes. Also gibt es irgendwo unnötige Umleitungen? Wird auf kaputte Seiten verlinkt, also Seiten, die es nicht mehr gibt? Also diese Themen wie 301- oder 302-Weiterleitungen, 404-Seiten, all das kann man mit diesen Tools sehr gut aufdecken.

Insgesamt auch das Thema interne Verlinkung oder auch Klicktiefe, also sind alle Inhalte meiner Website auch über interne Links erreichbar? Gibt es Inhalte, die vielleicht zu tief in der Website liegen? Auch das kriegen die Tools gut hin.

Und dann gibt es noch so spezielle Sachen, gerade so technische Sachen wie rel, prev, next für die Verlinkung von Komponenten-Seiten, AMP für schnelle Seiten, hreflang für internationale Seiten, all das kann man eben auch leicht über solche Tools abprüfen lassen. Die meisten von euch haben das nicht, deswegen müssen wir da jetzt in der Tiefe gar nicht so drauf eingehen.

Und es gibt ein paar Sicherheitsthemen, wo sich manche Tools auch mit beschäftigen, sowas wie HSTS. Auch das kann man sich von diesen Tools alles anzeigen lassen. Und vieles davon ist auch rankingrelevant oder indexierungsrelevant. Das heißt, gerade zum Beispiel das mit dem Snippet, das kann wirklich Auswirkungen auf deine Website haben. Deswegen sollte man sich das natürlich mit solchen Crawlern dann auch mal in Ruhe angucken.

 

Was können diese Tools eigentlich nicht erkennen?

Denn das ist wichtig. Ich merke das in der Praxis leider wieder ganz oft und ich hatte eben noch ein Gespräch im Rahmen der SEO-Sprechstunde, dass viele Menschen glauben, dass diese Crawler eben die Website komplett analysieren. Das heißt, in dem Augenblick, wo mir das Tool keine Empfehlung mehr anzeigt, ist die Website auch gut so. Das stimmt leider überhaupt nicht, denn es gibt viele Aspekte, die können diese Tools nicht aufdecken.

Und das Wichtigste daran, was sie eben nicht aufdecken können, ist das Thema Content. Das stimmt nicht so hundertprozentig, es gibt immer Möglichkeiten, aber im Großen und Ganzen, alles was die Bewertung von Content angeht, das können die Tools nicht. Also zum Beispiel: Habe ich für meine Inhalte sinnvolle Suchbegriffe ausgewählt? Oder: Gibt es sinnvolle Suchbegriffe, die noch nicht über Inhalte bei mir abgedeckt sind? Also so ein klassisches Thema wie: Habe ich eigentlich die richtige Website-Struktur für meine Suchbegriffe? Das können Tools nicht erkennen.

Auch so Sachen wie Search Intent, also passt mein Content eigentlich zu der Suchabsicht? Keine Chance.

Domainstruktur ist gerade bei internationalen Websites ein gutes Thema, auch das gucken sich die Crawler nicht an. Da kann ich leider auch relativ viele Fehler machen. Es gibt auch noch so ein paar andere Sachen wie, ich kann zum Beispiel ganz bestimmte Ordner oder Subdomains auf Länder ausrichten, auch das können die Tools gar nicht erkennen, weil sie da nicht reingucken können.

Aber auch so Sachen wie die Historie der Domain, also war da früher mal eine Porno-Website drauf zum Beispiel, das gucken sich die Tools auch nicht an.

Oder gibt es Abstrafungen für meine Website? Das können die Crawler auch nicht erkennen.

Insgesamt muss man natürlich leider sagen, das, was ein Crawler macht, er guckt sich die Website aus der Onpage-Sicht an, also das, was Technik, Inhalt, Struktur ist. Das ist allerdings nicht das einzige, was für Google zählt, sondern für Google zählt ja auch Offpage, also wie gut ist die Website verlinkt, wie oft wird sie erwähnt? Solche Sachen. Das kann absolut kritisch sein und ich habe sehr oft Fälle gerade von kleinen Unternehmen, die eigentlich eine gute Website haben, aber sie sind einfach nicht verlinkt. Und auch das gucken sich die Tools, die Crawler in der Regel nicht an. Das heißt, das muss dir klar sein, Onpage oder Crawling heißt eigentlich immer, wir gucken nur auf Onpage-Daten. Und die zweite große Gleichung lässt man damit eigentlich komplett raus.

 

Wie crawlt man denn eigentlich?

Du brauchst natürlich einen Crawler, das ist klar. Da gibt es verschiedenste Tools. Ich hatte schon am Anfang gesagt, es gibt die zum Installieren und es gibt die als Cloud-Lösung. Zum Installieren ist mit Sicherheit der Marktführer der Screaming Frog SEO Spider. Der hat den Vorteil, dass er bis 500 URLs kostenlos crawlt, danach bricht er ab. Ansonsten muss man bezahlen, kostet jetzt aber auch wirklich nicht die Welt.

Es gibt auch ein paar kostenlose Tools. Ich packe dir noch ein paar Sachen einfach in die Shownotes rein, dann musst du hier nicht einfach mitschreiben.

Als Cloud-Lösung ist es halt so, der Marktführer ist mit Sicherheit RYTE. RYTE ist aber kostenpflichtig. Es gibt aber auch kostenlose Tools wie den Sistrix Optimizer, der ist kostenlos bis 1000 URLs. Das heißt, da kannst du einfach deine Website erst mal crawlen. Wenn deine Website mehr als 1000 URLs hat, dann heißt das natürlich nicht, dass dieser Crawler nicht für dich funktioniert, er guckt sich nur die ersten 1000 an. Was in der Regel auch vollkommen okay ist, denn die meisten Fehler sind systematischer Natur. Das heißt, das, was ich in den ersten 1000 URLs finde, spiegelt sich meistens auch in den nächsten zehntausend URLs wider.

 

Warum kann Crawlen kritisch sein?

Es gibt SEO-Aspekte, die können Crawler aufdecken, die haben aber keinen positiven Effekt, wenn du das Ganze behebst. Und es gibt SEO-Aspekte, die können die Crawler eben nicht finden, die hätten aber einen positiven Effekt. Hm, das ist komisch.

Es kann also passieren, dass du dich mit Aspekten beschäftigst, deren Behebung nur Zeit und Geld kosten, während du die wahren Probleme deiner Website nicht anfasst. Das ist so ein bisschen vielleicht wie beim Auto. Du misst die Profiltiefe deiner Sommerreifen, stellst fest, du liegst bei sechs Millimeter. Diese Zahl an sich sagt erst mal gar nichts aus, weil du weißt gar nicht, ob das gut oder schlecht ist, ich muss das selber nachlesen. Die Empfehlung ist, weniger als drei Millimeter sollten es nicht sein. Wenn du das aber nicht weißt, kaufst du dir vielleicht einfach neue Reifen, obwohl das Dinge vielleicht noch zwei Jahre gute Dienste geleistet hätte. Und so ist es hier halt auch.

Diese Tools spucken erst mal ganz viele Empfehlungen aus, zum Beispiel Hauptüberschrift fehlt. Das heißt aber nicht, dass die Behebung dieses Fehlers oder dieses Hints dazu führt, dass sich deine Website verbessert.

 

Soll ich jetzt crawlen oder nicht?

Du hast echt viel jetzt grad drüber erzählt Markus, aber du hast erzählt, was sie können, du hast erzählt, was sie nicht können. Ich bin immer dafür, dass man crawlt, überhaupt keine Frage. Man muss sich nur darüber im Klaren sein, was Crawler bevorzugt finden können.

Die können technische Fehler finden, die können Fehler auf den Verlinkungen finden, solche Sachen. Und es bringt natürlich etwas das zu beheben. Zum Teil übrigens nicht mal nur für SEO. Also auch ein Nutzer, der auf einen Broken Link klickt, ist vielleicht auch verärgert über die Qualität meiner Website und verlässt sie wieder. Das heißt, wir machen das nicht nur für SEO, wir machen das natürlich auch alles für die Nutzer.

Das einzige Problem bei alledem ist, man muss wissen, was man da tut, weil ansonsten kann es wirklich passieren und ich erlebt das wirklich regelmäßig in der Praxis, dass Menschen sich auf Baustellen stürzen, ohne dass es irgendeine Auswirkung hat.

Es gibt natürlich viele Sachen, wo man sagen kann, ja, es wäre schön, wenn das behebst. Also es ist Best Practice es anders zu machen, aber wenn du es behebst, hat es keinen SEO-Effekt für dich. Dann hast du die Best Practices erfüllt, das ist schön, aber du bist nicht einen Millimeter weiter. Du hast eher Zeit verschwendet, du hast Geld verschwendet und das sollte man bedenken.

Was man sich immer angucken kann, muss man ganz ehrlich sagen, ist der Standard. Also Seitentitel, Meta Description H1, solche Sachen. Sind die zu kurz sind die zu lang? Gerade Seitentitel und Meta Description machen einen durchaus wesentlichen Teil des Erfolges aus. Also wie wird meine Webseite in den Suchergebnissen dargestellt? Und damit kannst du dich in jedem Fall beschäftigen. Auch das Thema mit der H1, einfach zu gucken, gibt es eine Hauptüberschrift, macht absolut Sinn.

Aber nochmal, meine Sorge ist natürlich, dass du dich mit Sachen beschäftigst, die dir am Ende einfach nichts bringen und dass du einfach Zeit verschwendest. Zeit, in der du vielleicht einen tollen Blog-Beitrag hättest schreiben können. Zeit, in der du vielleicht einen tollen Link hättest aufbauen können. Aber das hast du nicht getan, weil du dich mit ihr welchen Canonical Tags oder irgendeinem anderen Krempel auseinandergesetzt hast. Und das ist die große Gefahr.

Also gibt es eigentlich für mich verschiedene Richtungen. Die eine Richtung ist, dass du einen Crawler benutzt und den nur so weit benutzt, wie du dir sicher bist, dass das, was du dir da anguckst einen Effekt hat. Oder halt: Wenn du crawlst und was ich dir immer nur empfehlen kann, dass du dich richtig reindenkst in die Sache, dass du dich wirklich damit beschäftigst. Diesen Aspekt, den ich mir da gerade angucke, zum Beispiel canonical Tags oder noindex, was bedeutet das eigentlich und was bringt es mir, wenn ich das jetzt behebe? Ich weiß, das ist ein relativ langer Weg, aber es ist eben auch ein Weg, der dir relativ viel bringen kann. Und nochmal, der wichtige Hinweis, gerade zwei sehr wichtige Themen, nämlich Content und Offpage wirst du mit diesem Crawler Tool nur sehr schwierig Herr werden. Das heißt, es darf niemals so sein, dass, du sagst, ich habe jetzt Onpage alles gemacht und deswegen ist meine Website gut. Nein, eher nicht.

Selbst wenn ein Crawler total happy ist mit deiner Website, kannst du immer noch miserable Inhalte haben und du kannst immer noch nicht verlinkt sein, was dann eben auch dazu führt, dass du keinen Erfolg in Suchmaschinen hast.

Falls ich euch scharfgemacht habe für das Thema Crawling, bei uns auf omcampus.de da gibt es natürlich auch Seminare dazu. Und ja, ich kann euch dazu nur motivieren euch damit auseinanderzusetzen, gerade wenn ihr eine größere Website habt oder wenn ihr auch mehrere Websites habt, dann ist es natürlich einfach nur sinnvoll sich damit zu beschäftigen. Ob wir das jetzt in Form meines Seminars tut oder einfach euch kreativ damit auseinandersetzt, es gibt auch sehr viele Toolhersteller, die sehr gute Hilfen anbieten. Setzt euch einfach nur damit auseinander und ich sage noch letztes Mal die Warnung: Macht nicht einfach nur Sachen, weil das Tool sagt, dass die fehlerhaft sind, sondern überlegt euch immer, ob das so wirklich auch Auswirkungen auf die Website hat, auf euren Erfolg und verschwendet eure Zeit bitte nicht mit Sachen, die für euch nicht wirklich geschäftsrelevant sind. Okay. Ich hoffe, ich habe dich trotzdem fürs Thema Crawling motiviert und ein paar Tools habe ich dir wie gesagt in die Shownotes reingepackt. Klick dich da mal durch, beschäftige dich damit und wenn du dazu noch Fragen hast, melde dich einfach. Und vielleicht sehe ich dich auch mal in der SEO-Sprechstunde, der Link wie immer www.seosprechstunde.de. Das war es für heute zu einem meiner Lieblingsthemen, zum schönsten Thema der Welt, zweitschönsten Thema der Welt. Ich wünsche euch noch was! Ich wünsche euch viel Erfolg, kommt gesund und munter aus dieser Zeit wieder heraus und bis bald! Ciao!

Mehr zu diesem Thema:
Nächste Events

Nächste Webinare

Alle kommenden Webinare

Nächste Seminare

Alle kommenden Seminare

The following two tabs change content below.
Avatar-Foto
My Instagram profile

Markus Hövener

Markus Hövener ist Gründer und SEO Advocate der auf SEO und SEA spezialisierten Online-Marketing-Agentur Bloofusion. Als geschäftsführender Gesellschafter von Bloofusion Germany ist er verantwortlich für alle Aktivitäten in Deutschland, Österreich und der Schweiz. Markus Hövener ist Buchautor, Podcaster und Autor vieler Artikel und Studien rund um SEO.

Markus hat vier Kinder, spielt in seiner Freizeit gerne Klavier (vor allem Jazz) und genießt das Leben.

Kommentieren