Das beste SEO-Crawler-Tool? Hängt davon ab… [Search Camp Episode 99]

15. Oktober 2019 | Von in Podcast "Search Camp", SEO

Crawling-Tools gibt es jede Menge: Screaming Frog, Ryte, Sitebulb, DeepCrawl, Audisto – um nur einige zu nennen. In dieser Episode geht es darum, das beste aller Tools zu finden. Man ahnt es schon: DAS Tool gibt es natürlich nicht. Aber wo liegen meiner Meinung nach die Stärken der unterschiedlichen Tools?

 

 

Die wichtigsten Podcast-Links:

 

Transcript

Moin, herzlich willkommen bei Search Camp, dem Online-Marketing-Podcast. Hier ist wieder Markus Hövener. Heute mit dem Thema: SEO Crawler Tools. Ja, die SEOs und ihre Tools ist natürlich immer ein Thema, und vor allem Crawler brauchst du einfach als SEO. Es gibt da relativ viele Tools und ich möchte euch heute mal meine Sicht der Dinge vorstellen, was ist eigentlich das beste SEO Crawler Tool?

Dann lass uns mal über SEO Crawler reden, meine Meinung heute. Ich teste da viel mit rum, also überhaupt glaube ich, ein SEO, der jetzt keinen Crawler hat, das ist irgendwie auch kein SEO. Braucht man einfach, um ganz bestimmte Fehler auf der Website natürlich zu finden, um Potenziale zu entdecken, muss ich euch nicht erzählen.

So, ich fange erst mal an mit kostenlosen Crawler Tools, weil ich auch oft mitkriege, gerade in manchen Unternehmen ist das schwierig, auch für relativ günstige Tools einfach eine Lizenz zu bekommen. Ich hatte letztes Mal in einem Seminar jemanden, die brauchte 3 Jahre bis sie dann ihre Screaming Frog Lizenz bekommen hat, und der ist jetzt wirklich auch nicht auf der teuren Seite. Was gibt’s erst mal an kostenlosen Crawler Tools?

Zum Installieren kenne ich erstmal Beam Us Up. Finde ich grundsätzlich ganz gut, offensichtlich wurde vor 2 Jahren so der letzte Blog-Beitrag bei denen auf der Website geschrieben und ich vermute, dass das Tool nicht weiterentwickelt wird.

eiterentwickelt wird definitiv der SiteAnalyzer, zu finden unter site-analyzer.pro, ein Tool aus Russland. Dem Screaming Frog im Interface relativ gut nachempfunden, das heißt, wer den schon mal benutzt hat, wird sich sofort zurechtfinden. Muss man auch installieren.

Ebenfalls zum Installieren natürlich der Screaming Frog SEO Spider, bis 500 Seiten kann man den kostenlos nutzen. Man hat ein paar Optionen weniger, überhaupt keine Frage, ein paar Konfigurationsoptionen fehlen einfach in der kostenlosen Version, aber trotzdem kann man erst mal damit absolut gut loslegen.

Und in der Cloud gibt es zum Beispiel noch den SISTRIX Smart, der crawlt dann bis 1.000 Seiten. Ist natürlich die Frage, 500 Seiten oder 1.000 Seiten: Ist das nicht viel zu wenig, wenn ich eine große Website habe? Es hängt ein bisschen davon ab.

Erstmal natürlich, wenn du eine kleine Website hast, dann passt das Ganze für dich. Viele Fehler sind systematischer Natur, das heißt in vielen Fällen finde ich, muss der Crawler gar nicht alle Seiten crawlen, um alle Fehler zu finden. Er kann allerdings im Einzelfall manche Fehler nicht aufdecken, denn die Crawler werden in der Regel so arbeiten, dass sie quasi erst alle Seiten der Klicktiefe 1 und 2 und 3 abservieren, und wenn da dann schon das Limit erreicht mit 500 oder 1.000 Seiten, dann wird der natürlich Fehler, die auf der 4. oder 5. Ebene passieren, einfach nicht mehr finden können. Das heißt, es hängt immer davon ab, ob diese Beschränkung wirklich für euch relevant ist. Wie gesagt, je nachdem was ihr jetzt nutzt, gerade der Frog, ein paar Optionen fehlen euch dann einfach, ob ihr diese Optionen braucht, weiß ich natürlich im Einzelfall nicht. Trotzdem nochmal zum Testen ist das alles cool.

Und vielleicht noch eine Option oder ein Aspekt, der natürlich wichtig ist: Gerade Beam Us Up und der SiteAnalyzer können jetzt kein JavaScript-Rendering, und das kann natürlich für einige Websites zum Problem werden. Also von daher nochmal, es hängt immer davon ab, hängt von eurer Website ab. Gerade wenn ihr eine kleine Website habt, weiß nicht, ihr habt 200 Seiten oder so, dann könnt ihr auch mit diesen kostenlosen Tools echt prima arbeiten. Gerade wenn ihr selten crawlt, ist es natürlich vollkommen ausreichend.

Lass uns über kostenpflichtige Tools reden. Und da muss ich sagen, ich habe grundsätzlich 3 davon im permanenten Einsatz, das ist einmal der Screaming Frog SEO Spider, ich glaube, das ist so der Branchenstandard, den du auch auf jedem SEO Laptop finden wirst. Dann nutze ich auch noch RYTE. Und ein Tool, was eigentlich relativ unbekannt ist in Deutschland, ist Sitebulb, ist auch finde ich preislich sehr spannend, also eher so am unteren Ende. Muss sich allerdings in meinen Augen nicht wirklich vor den Großen verstecken.

So, und jetzt will ich einfach mal durchgehen, also versprochen habe ich ja, was ist das beste SEO Crawler Tool, und ganz ehrlich: Es hängt davon ab. Es hängt auch hier wieder davon ab und ich habe das total oft in Seminaren, dass dann jemand fragt, welches soll ich denn jetzt nehmen? Und ich kann nur sagen, was willst du denn damit machen? Also ich möchte gerne ein paar Features euch näherbringen, die ich bei den jeweiligen 3 genannten Tools sehr, sehr gut finde. Und vielleicht hilft euch das weiter, dass ihr sagt, okay, das Feature kannte ich so noch nicht oder das brauche ich für mich, und vielleicht nutzt ihr auch das Tool, aber kennt das Feature noch gar nicht, kann ja auch sein.

Also erst mal, was alle 3 gleich gut machen und ist ein Feature, was ich erst in letzter Zeit wirklich schätzen gelernt habe, auch weil es das in den Tools vorher zum Teil gar nicht gab, ist der Abgleich zwischen XML-Sitemap und Crawl. Finde ich ein extrem wichtiges Feature, das ist beim Frog glaube ich in Version 10 mit hinzugekommen, dass er eben nicht nur den normalen Crawl macht, Startseite anfangen, allen Links in die Tiefe folgen, sondern er crawlt eben auch noch komplett die XML-Sitemap, mit dem Vorteil, dass man dann sehen kann, welche Seiten sind mir wichtig, weil sie in der XML-Sitemap auftauchen, und tauchen aber im Crawl gar nicht auf, sind also intern nicht verlinkt. Wie gesagt, das können eigentlich alle 3 Tools gut. Von der Darstellung finde ich das bei Sitebulb am besten, ansonsten, wie gesagt, das können alle cool.

Ich würde mal anfangen mit dem Screaming Frog SEO Spider, ist sowieso mein Lieblings-Tool. Wer da noch nicht so wahnsinnig drin ist, ich gebe auch regelmäßigst Online-Seminare zu dem Thema, respektive auch Offline-Seminare, also zum Beispiel am Vortag von OMX und SEOkomm, wer da in Salzburg noch mal die Druckbetankung in Sachen Frog haben möchte, bitte, würde mich freuen euch da zu treffen.

Was finde ich beim Screaming Frog besonders gut?

Das eine ist sicherlich das Konzept, dass jede URL als indexable oder non-indexable bezeichnet wird, das hilft einfach unglaublich, um Fehler zu finden. Ich weiß gar nicht, wie alt das Konzept schon ist, es ist auf jeden Fall noch relativ jung. An jeder URL gibt es ja eben diesen Indexability-Status und dann kann man eigentlich relativ schnell sehen, wird diese Seite in den Suchergebnissen erscheinen oder nicht?

Ebenfalls cool finde ich die Funktion eine Custom Robots.txt zu hinterlegen. Das brauche ich in der Praxis wirklich manchmal, zum Beispiel, wenn wir einen Stage haben, also wir haben eine neue Website und die ist erst mal per Robots.txt komplett für Suchmaschinen geblockt. Jetzt will ich aber schon mal austesten, wie sieht denn eigentlich die spätere Robots.txt aus? Das kann ich mit diesem Feature machen, also ich kann quasi jeder Website eine bestimmte Robots.txt unterjubeln. Und gerade wie gesagt so für Pre-Launch-Tests ist das extrem hilfreich.

Ebenfalls begeistert bin ich von den Features Custom Extraction und zum Teil auch Custom Search, vor allem Custom Extraction, das heißt, ich kann mir aus Websites erst mal alles herausholen. Das brauchen wir vor allem oft, wenn wir neu mit einem Kunden anfangen und man erstmal gucken will, auf welchen Seiten hast du denn eigentlich überhaupt Texte? Oder auch der klassische Fall, man macht einen Relaunch und will die alten Produktdetail-Seiten mit den neuen matchen, crawl man einmal die alte Seite, holt sich da die Artikelnummern raus, in die neue, holt sich die Artikelnummern raus und hat dann eigentlich schon direkt eine Abbildung der alten auf die neuen URLs. Unglaublich schlau.

Hilfreich finde ich auch den Report Redirect and Canonical Chains. Ist für mich eigentlich der beste Report, wenn man 301-Umleitungen testen möchte, denn bei 301-Umleitungen kann eigentlich so ziemlich alles schiefgehen. Also ich kann zum Beispiel 301en auf eine URL, die dann per noindex gesperrt ist. Also gerade in Relaunch-Situationen muss man sowas eben sehr exzessiv testen. Ich kann 301en auf eine Seite, die per Robotx.txt gesperrt ist, ich kann 301en auf eine 404er-Seite und, und, und. In diesem Report kann ich das eben alles sehr genau sehen. Er ist s vielleicht manchmal ein bisschen schwierig zu lesen, aber ansonsten kenne ich keine gute Möglichkeit, Redirects so gut und zielgerichtet auf Fehler zu testen.

Ebenfalls interessant beim Frog ist das Feature der Visualisierung, die Visualization, das heißt, man kann sich verschiedene Aspekte der Website-Struktur anzeigen lassen. Das hat Sitebulb auch zum Teil, finde ich beim Frog etwas besser gelöst. Interessant auch da, dass man so eine Visualisierung komplett speichern kann, um es einfach auch mit einem Kunden zu teilen. Ich brauche es in der Praxis relativ selten, man kann allerdings, also das Kernproblem an diesem Feature ist eigentlich nicht, dass man sich das anzeigen lassen kann, sondern dass man eben Sinn machen muss aus dem, was man da eigentlich sieht. Da muss man schon glaube ich ein sehr geschultes Auge dafür haben, um typische Website-Probleme schon anhand dieser visuellen Darstellung erkennen zu können. Ist gerade für Einsteiger ein bisschen schwierig und gerade bei komplexen Website-Strukturen, mit denen wir es ja oft zu tun haben, wird es dann auch ziemlich schnell ziemlich voll auf dem Bildschirm.

Ebenfalls cool beim Frog ist natürlich alles, was so in Richtung Automatisierung geht, also einmal kann man den Frog auch über die Kommandozeile starten und man kann ihn schedulen, das heißt, ich kann ihn zu einem ganz bestimmten Zeitpunkt, täglich, wöchentlich, monatlich, kann ich ihn jetzt mit einer ganz bestimmten Konfiguration einfach hochstarten. Das finde ich erstmal cool. Das heißt, man kann schon sehr, sehr viel automatisieren damit. Wenn ich eben 100 Websites crawlen möchte übers Wochenende, kann ich mir davon eine Konfiguration zusammenbauen und dann über die Kommandozeile die einfach alle runterarbeiten. Das brauche ich schon manchmal, relativ selten, aber gerade wenn ich jetzt zum Beispiel ein Seminar habe und ich will im Hintergrund schon mal 20 Teilnehmer durchcrawlen lassen, dann kann man das auf diesem Wege sehr effizient machen.

Und was ich beim Frog auch noch gut finde, ist neu in Version 11, ist die Untersuchung der strukturierten Daten. Das ist ganz cool, weil man eben so einfach mal die ganze Website crawlen kann und gucken kann, was ist denn eigentlich alles da an strukturierten Daten? Und den Haken kannst du eigentlich immer setzen in der Konfiguration, weil es kostet jetzt einfach auch nichts das mitzumachen.

Was ich an Sitebulb gut finde?

Eigentlich eine ganze Menge. Es ist halt eher so ein Clicky-Bunty-Tool, also auch das zum Installieren, aber eben jetzt nicht so freakig wie der Frog.

Erstmal die Exportfunktion. Ich habe einmal die Möglichkeit einen PDF-Export zu machen und da kriege ich wirklich wahnsinnig viel exportiert. Gerade wenn ich einen Kunden mal wirklich beeindrucken möchte, kann ich mir das alles einmal fleißig exportieren. Und es gibt auch den sogenannten Bulk-Export und auch da gibt es viele Funktionen wie die Audit Summary oder Export All, und da kann ich einfach mal alles in einer großen Zip-Datei kriegen und das fleißig durchklicken und durcharbeiten. Also dafür ist es wirklich sehr, sehr spannend. Auch das brauche ich relativ oft, wenn ich zum Beispiel 10 Seminarteilnehmer habe und ich möchte halt effizient deren Websites crawlen und einfach schnell viele gute Daten zur Verfügung haben.

Sitebulb finde ich auch gut, weil sie viele Empfehlungen geben in Bezug auf Security und Pagespeed. Da gibt’s zum Beispiel so einen Hint, heißt es ja immer da, wie „has too many synchronized JavaScript requests“. Und das sind schon echt coole Sachen, jetzt nichts, was ich jetzt mit einem Lighthouse oder so nicht rausfinden würde, aber trotzdem cool einfach. Bevor man crawlt, muss man halt den Haken setzen, dass einen Pagespeed interessiert und dann kriegt man wirklich sehr, viele Sachen. Und wie gesagt, auch zum Security-Thema gibt’s immer wieder spannende Insights, die zum Beispiel ein Frog einfach gar nicht abprüfen kann.

Und eigentlich ein sehr geniales Feature bei Sitebulb, was es in meinen Augen so bei der Konkurrenz nicht gibt, ist der sogenannte Data Explorer. Das heißt, da kann ich mir über Filter so mit AND und OR, kann ich mir alles eigentlich aus den Daten zusammenholen, was ich irgendwie brauche. Also selbst, wenn ich sehr spezifische Sachen brauche, kann ich mir schnell einen Filter anlegen, suche mir das raus, exportiere das und fertig ist die Gartenlaube. Also prima Teil, und wirklich für das Preisschild, was da dranhängt, muss ich persönlich sagen, ist Sitebulb nach wie vor eine gute Empfehlung, und vor allem auch für Leute, die so ein mittleres SEO-Niveau haben, ist es echt ein cooles Ding. Kann man nicht so gut automatisieren wie einen Frog, ist halt eher wirklich so auf der Clicky-Bunty-Seite.

Und Tool Nummer 3: RYTE, finde ich persönlich auch immer wieder gut.

Gut finde ich vor allem, dass sie zum Beispiel Fehler auch versuchen zu bewerten, also sozusagen kritische Fehler anzumerken. Das ist natürlich gerade für viele Einsteiger auch ein Problem, du kriegst irgendwie 100.000 Empfehlungen, was bricht mir jetzt davon eigentlich gerade wirklich das Genick oder was hat jetzt wirklich auch einen Impact, wenn ich es verändere? Das ist einfach ein super Feature bei RYTE.

Ebenso bei RYTE natürlich auch, dass es anders als die anderen Tools eben regelmäßig läuft und dass ich eben auch das Delta kriegen kann. Also zum Beispiel ein bisschen Gamification natürlich, wie sehr habe ich mein SEO verbessert, aber auch, dass ich natürlich so ein paar Monitoring-Funktionen drin habe, dass zum Beispiel meine Robots.txt beobachtet wird. Also es geht nicht nur um quasi diesen einen Snapshot, den ich jetzt mache, sondern eben um eine laufende Beobachtung der Website. Da ist RYTE natürlich deutlich besser. Vor- oder Nachteil, weiß ich gar nicht, aber ich muss nichts installieren, RYTE läuft halt komplett in der Cloud und man muss natürlich schon sagen, wenn man jetzt so gerade nebenbei auf seinem Laptop noch einen Frog laufen hat und da vielleicht sogar das JavaScript Rendering eingeschaltet hat, ja, das geht schon auf die Laufzeiten. Also ist auch schön manchmal einfach nur zu sagen, hier RYTE, mach mal gerade.

Und hilfreich bei RYTE, da bin ich wirklich ein Fan davon, ist die Einzelseiten-Analyse. Also es vergeht eigentlich kein SEO Audit, wo ich jetzt nicht die einzelnen Seitentypen nochmal jeweils kurz in eine Einzelseiten-Analyse hereinstecke, weil im Zweifelsfall findet RYTE eben immer noch die eine oder andere Sache, die man vielleicht auch jetzt grade übersehen hat, wo man komplett blind ist. Oder wenn ich mal schnell wissen will, welche H1, H2, H3 gibt es auf der Seite, da ist die RYTE Einzelseiten-Analyse einfach ein prima Tool dafür. Man kriegt einfach sehr, sehr viel auf einen Blick und er prüft einfach unglaublich viel ab, und einfach ein sehr geniales Tool.

So, das waren so die Punkte, die ich mir aufgeschrieben habe. Die ganzen Standards habe ich jetzt natürlich nicht mit reingenommen. Ich meine, alle Tools können euch sagen, welche Seiten-Titel sind zu lang, zu kurz, doppelt, fehlen, Meta Descriptions zu lang, zu kurz, doppelt, fehlen und solche Sachen, das kann wirklich jedes Tool, und da könnt ihr eigentlich auch nichts falsch machen. Die Frage war ja, was ist das beste SEO Crawler Tool? Ganz ehrlich? Je nachdem, hängt davon ab. Also ich habe wirklich Projekte, wo ich nur mit dem Frog arbeite, ich lasse in der Regel, wenn ich ein SEO Audit mache, aber auch einen Sitebulb komplett drüber laufen, und in der Regel lasse ich auch einen RYTE komplett drüber laufen, einfach weil alle Tools dann doch noch mal zum Teil einen anderen Blickwinkel haben. Wie gesagt, gerade Sitebulb mit seinen vielen Hinweisen in Bezug auf Security oder Pagespeed, das ist schon echt sehr gut. Dafür hat der Frog natürlich Sachen, die dann Sitebulb wieder nicht hat und so. Also im Prinzip muss man hier wirklich seinen Werkzeugkoffer kennen und dann jeweils entscheiden, was brauche ich eigentlich an welchem Punkt?

Wenn ihr da draußen jetzt wirklich trotzdem eine Empfehlung hören wollt, ist es nach wie vor relativ schwierig. Ich glaube, also ich bin absoluter Frog Fan, wer da Bock hat, hört euch mal mein Seminar an. Anfang September ist zum Beispiel wieder ein Online-Termin, aber auch regelmäßig gibt’s neue Termine unter omcampus.de. Wie gesagt, einen RYTE finde ich sehr gut, gerade wenn du vielleicht eher inhouse bist und du jetzt nicht eine einmalige Analyse machst, sondern eher an einem laufenden Monitoring interessiert bist, finde ich RYTE sehr gut. Es hängt wirklich immer davon ab, also kennt euren Werkzeugkoffer.

Wenn ihr von diesen 3 Tools nur eins haben wollt, ist es wirklich schwer sich zu entscheiden, aber dann würde ich mich wirklich für den Frog entscheiden, weil er glaube ich schon noch das universellste Werkzeug ist, aber auch muss man ganz ehrlich sagen, natürlich eins mit einer relativ hohen Einarbeitungszeit, und hübsch ist das Tool auch nicht. Es ist halt effizient.

Ich hoffe, ich konnte euch ein bisschen weiterhelfen. Ich hoffe, ich konnte euch einen Einblick geben, welche Tools ihr so braucht. Ich danke euch glaube ich einfach nur fürs Zuhören, war schön mit euch. Wenn ihr auch dazu Gedanken habt, lasst es mich wissen, lasst uns treffen. Gerade in diesem Jahr steht noch die SEOkomm an, wie gesagt, am Vortag der OMX, die OMX am Vortag der SEOkomm, da gibt’s auch noch ein Screaming Frog Seminar von mir. Wenn ihr Lust habt, würde es mich freuen, wenn wir uns da sehen. Ansonsten macht euch eine geile Zeit. Bis bald! Tschö!

Mehr zu diesem Thema:
Nächste Events

Nächste Webinare

Alle kommenden Webinare

Nächste Seminare

Alle kommenden Seminare

The following two tabs change content below.
Avatar-Foto
My Instagram profile

Markus Hövener

Markus Hövener ist Gründer und SEO Advocate der auf SEO und SEA spezialisierten Online-Marketing-Agentur Bloofusion. Als geschäftsführender Gesellschafter von Bloofusion Germany ist er verantwortlich für alle Aktivitäten in Deutschland, Österreich und der Schweiz. Markus Hövener ist Buchautor, Podcaster und Autor vieler Artikel und Studien rund um SEO.

Markus hat vier Kinder, spielt in seiner Freizeit gerne Klavier (vor allem Jazz) und genießt das Leben.

Kommentieren