Den Crawler des neuen „Projekt“ Neomo von Stefan Fischerländer packe ich mal in die Kategorie SpamBot „böser Bot“. Warum? Francis, so der Name des Crawlers von Neomo, fragt scheinbar keine robots.txt an zumindest hält er sich nicht dran, fragt diverse gleiche Dateien hundertemale an und verbrät unendlich viel Traffic und das quasi für nichts.
Derzeit bewegt sich unser Crawler Francis mit dieser User-Agent-Angabe durch’s Web: Francis/2.0 (francis@neomo.de http://www.neomo.de/)
(Bitte beachten Sie, dass sich diese Angabe aber jederzeit ändern kann.)
… auch nicht gerade konsequent. Auch andere Webmaster klagen das Francis den Server mit tausenden Requests teilweise lahmlegt.
Kommentare
6 Antworten zu „Neomo Bot“
Sollte sich unser Crawler nicht anständig benommen haben, möchte ich mich dafür entschuldigen. Natürlich beachtet er die robots.txt-Datei; sollte er dies in Einzelfällen nicht getan haben, so wäre ich für konkrete Hinweise dankbar, damit unser Team mögliche Probleme finden und beheben kann.
Zum Projekt selbst möchte ich auf einen Artikel in der Financial Times verweisen:
Neomo und Suchen.de. Der Ausdruck „SpamBot“ ist also definitiv unangebracht.
Naja, SpamBot ist in der Tat unangebracht, der Hintergrund des Projekts ist mir schon bekannt. Das der liebe Francis sich nicht benimmt bei mir, nenne ich ihn aber trotzdem mal bösen Bot. 😉
Konkrete Hinweise schick ich nachher mal per mail
Ich finde die ganze Suchmaschine nicht unbedingt gelungen … unter „werbeagentur regensburg“ ist eine meiner Experementalseiten auf Platz1. Schein PR hoch zu werten oder zumindest PR Links
Ich glaube kaum, dass Neomo auf Googles-PR-Werten aufbaut 🙂
@Johannes … naja … ob PR oder ähnlicher Algo. Es stehen zumindest bei meinen Test-Keys seiten vorne, die ausser PR nicht viel zu bieten haben.
Ich geb mal ein Beispiel, weil ich die Unterseite bald abschalte: „werbeagentur regensburg“ … freeunix.de auf Platz 1. Dürfte normalerweise nicht dort stehn.
Naja Neomo wird warsch irgendwann als Contentlieferant für Spamsumsa enden – vermute ich 😉